ハイパーパラメータ

ハイパーパラメータ とは、推論や予測の枠組みの中で決定されないパラメータのことを指す。損失関数の正則化項の影響度を表す係数などが該当する。ハイパーパラメータは、多くの場合、あらかじめ値の候補を用意しておき、各候補に対して、それを一定の値として一旦採用し、予測や推論を行い、最終的に最も性能の良いモデルのハイパーパラメータを採用する。よって、ハイパーパラメータには人間の任意性がある。これを解決する方法として、ハイパーパラメータを確率変数と見做し、事前分布を導入する、エビデンス近似というベイズ的手法が存在する。 (出典: ハイパーパラメータ - Wikipedia)