青イルカ深層学習 P.016 二乗誤差の2乗と誤差関数の係数1/2の意義

P.16に、二乗誤差とその誤差関数が導入されている

二乗誤差:
$$
\| \mathbf{d} – \mathbf{y(x;w)} \|^{2}
$$
誤差関数E:
$$
E(\mathbf{w}) = \frac{ 1 }{ 2 } \displaystyle \sum_{ n = 1 }^{ N } \| \mathbf{d}_n – \mathbf{y(x_n;w)} \|^{2}
$$

なぜ、二乗誤差ではノルムを2乗し、誤差関数では係数1/2を付しているのだろうか。実は、これは単に後の章で出てくる計算のための便宜である。

二乗誤差でノルムを2乗する理由は、ノルムの定義で現れる平方根を取り払うためである。
$$
\| \mathbf{a} \| = \sqrt{ \mathbf{a} \cdot \mathbf{a} }
\Leftrightarrow \| \mathbf{a} \|^{2} = \mathbf{a} \cdot \mathbf{a}
$$
また、誤差関数Eにおいて係数1/2が付されている理由は、後の章でEを微分した時にその係数を1にするためである。

なお、二乗誤差の2乗や誤差関数の係数1/2には、理論的な本質的意味は無い。あくまで後の章で行われる計算の便宜のための変形に過ぎない。