何を間違いとみなすかで、学習が近づく先が変わる

前回は損失を「ずれの2乗の平均」と決めて話を進めました。この回はその決め方の話です。二乗誤差、絶対誤差、Huber 損失、交差エントロピーの順に、何を間違いとみなすかで学習の行き先が変わる様子を見て、最後にほかの損失関数もまとめます。

書いた日
所属棚
AIのウラばなし
確かめ方
論文を読む
根拠にしたもの
Zhang ほか『Dive into Deep Learning』3.1節・4.1節/PyTorch 公式ドキュメント(nn の損失関数)/scikit-learn 公式ドキュメント(Hinge loss・Pinball loss)/Radford ほか「Improving Language Understanding by Generative Pre-Training」(2018)/Lin ほか「Focal Loss for Dense Object Detection」(2017) ほか、各損失関数の原論文
変わりやすさ
新しい損失関数は増えていくが、ここで扱う定番は変わりにくい
目次はじめに
  1. はじめに
  2. 外れ方を数えて、少しずつ直す
  3. 二乗誤差は、大きなずれを強く罰する
  4. 絶対誤差は、外れた記録に引っ張られにくい
  5. Huber 損失は、二つのあいだをとる
  6. 見分ける問題では、交差エントロピーを使う
  7. ほかの損失関数
  8. この考え方でできること・できないこと
  9. 確かめたこと

前回は出力と正解のずれを2乗して平均し、その数を損失と呼んで話を進めました。けれど、ずれを1つの数にまとめる方法はほかにもあります。ずれから損失を計算する決まりを、損失関数と呼びます。

どの損失関数を選ぶかは、どんな間違いを重く見るかを決めることです。そのため、同じ勾配降下でも、損失関数を変えると重みがたどり着く先が変わります。

外れ方を数えて、少しずつ直す

ダーツを練習するときは、投げて、的の中心からどれだけ外れたかを見て、腕の振りを少し直し、また投げます。AIの学習も同じ順に進みます。出力を出し、正解からどれだけ外れたかを損失で数え、損失が減る向きへ重みを少し直します。ダーツの腕の振りにあたるのが、AIの重みです。

このとき、外れ方をどう数えるかを決めるのが損失関数です。中心からの距離をそのまま数えるか、2乗して数えるかで、1本だけ大きく外れたときの直し方が変わります。2乗で数えると、その1本の外れが大きな数になるので、それを減らすことを優先して直します。数え方が違えば、練習を重ねてたどり着く投げ方も違ってきます。

下の図は前回の歩いた時間と距離の例で、この1周を1回ずつ進めるものです。「1周進める」を押すたびに、線が記録に近づき、損失が下がっていきます。

  1. 1出力を出すw = 1.00 で、4回分の距離を出す
  2. 2損失を数えるずれの2乗の平均 = 68.0
  3. 3重みを直すw を 1.00 → 2.35 にする
1234点が正解、線が出力、金の線がずれ(横が時間、縦が距離)
0周ごとの損失(横は進めた周の数。0 が最初)
最初は w = 1 で、線が記録よりずっと下にあります。「1周進める」を押してください。

二乗誤差は、大きなずれを強く罰する

ℓ = (ŷ − y)2

上の図で損失を数えるのに使っていたのが、前回と同じ二乗誤差です。記録ごとに、出力 ŷ と正解 y の差を2乗します。ずれが2倍になると罰は4倍、10倍になると100倍になるので、大きく外れた記録ほど強く罰します。

絶対誤差は、外れた記録に引っ張られにくい

ℓ = |ŷ − y|

差を2乗せず、絶対値をそのまま使うのが絶対誤差です。ずれが2倍なら罰も2倍で、大きく外れた記録を特別に重くは見ません。

違いが出るのは、外れた記録が混ざったときです。二乗誤差は外れた記録に敏感すぎることがあります。前回の4回分の記録に、5回目として、3時間歩いた日の距離を書き間違えた記録を1つ足してみます。二乗誤差は大きなずれを強く罰するので、その1つのずれを減らそうとして、線ごと引っ張られます。絶対誤差の線はほかの4つの記録の近くに残ります。

5回目の記録を動かして、2つの損失で選ばれる線を比べる

5回目(3時間・30.0 km)123410203040時間距離(km)横が歩いた時間、縦が進んだ距離(km)。白い点は前回の4回分の記録です

二乗誤差で選んだ線絶対誤差で選んだ線5回目の記録(距離を書き間違えた例)

30.0 km
5回目の記録だけが外れると、二乗誤差の線は w = 5.39 まで引っ張られます。絶対誤差の線は w = 4.10 で、ほかの4つの記録の近くに残ります。

Huber 損失は、二つのあいだをとる

ℓ = {½ e2 (|e| ≤ δ)δ (|e| − ½ δ) (それ以外)

二乗誤差は、ずれが小さくなるほど傾きもなめらかに小さくなりますが、外れた記録に引っ張られます。絶対誤差は外れた記録に強い一方で、ずれが 0 の所で折れていて、底の近くでも傾きの大きさが変わりません。

Huber 損失は、ずれが δ 以下なら二乗で、δ を超えたら直線で測ります。小さなずれは二乗誤差のように、大きなずれは絶対誤差のように扱う形です。

ずれ(横)に対して、どれだけ罰するか(縦)

−4−2+2+40

二乗誤差絶対誤差Huber 損失|ずれ| ≤ δ の範囲

1.00
Huber 損失は帯の内側(ずれが δ 以内)では二乗誤差の半分の曲線、外側では絶対誤差と同じ傾きの直線です。δ を大きくすると二乗誤差の側に、小さくすると絶対誤差の側に寄ります。

見分ける問題では、交差エントロピーを使う

L = − Σj yj log ŷj

ここまでは数を当てる問題でした。りんごかみかんかを見分ける問題では、AIの出力は、5本目の softmax で作った割合の並びになります。正解の札を 1、ほかを 0 とした並びと比べて損失を計算します。

よく使われるのが交差エントロピーです。式の yj は正解の札だけが 1 なので、残るのは、正解の札に付けた割合 p の対数にマイナスを付けた −log p です。p が 1 に近いほど損失は 0 に近づき、p が 0 に近づくほど、損失はどこまでも大きくなります。同じ割合を二乗誤差で測ると、どれだけ外しても罰は 1 までです。

softmax と組み合わせたときの傾きが簡単なことも、選ばれる理由の1つです。出力に対する傾きは softmax の割合から正解の 0 と 1 を引いた差になります。文章を書くAIの学習も前の語から次の語を当てる問題として、正解の語に付けた割合の対数を大きくするように進みます。これは −log p を小さくするのと同じことです。

正解の札に付けた割合 p と、2つの損失の大きさ

00.250.50.751

交差エントロピー −log p二乗誤差 (1 − p)²

正解に付けた割合 p0.30交差エントロピー1.20二乗誤差0.49
0.30
二乗誤差はどれだけ外しても 1 までですが、交差エントロピーは p が 0 に近づくほど大きくなります。p を小さくしてみてください。

ほかの損失関数

ここまでの4つのほかにも、解きたい問題に合わせて多くの損失関数が使われています。どれも、何を間違いとみなすかの決め方が違います。開くと、それぞれの考え方と使われる場面が読めます。

二値交差エントロピー

使う場面:2択の判定(迷惑メールかどうか)や、1枚の画像に複数の札を付ける問題

ℓ = −[ y log x + (1 − y) log(1 − x) ]

「はい」の確率 x を1つ出し、正解 y(1 か 0)と比べます。正解が「はい」なのに x が小さいほど、「いいえ」なのに x が大きいほど、大きく罰します。交差エントロピーを2択に絞った形です。

KL ダイバージェンス

使う場面:割合の並びを、別の割合の並びに近づけたいとき。画像を作るモデル VAE の学習の一部

ℓ = Σ p log (p / q)

正解が1つの札でなく、割合の並び p 全体のときに使います。出力の並び q との食い違いを間違いとみなし、2つが同じ並びなら 0 になります。VAE では、モデルの中で作る数の散らばりが、先に決めた形から離れすぎないよう、この量を損失に入れています。

ヒンジ損失

使う場面:サポートベクターマシンなど、境目で2つに分ける問題

ℓ = max(0, 1 − y f)

正解 y を +1 と −1 で表し、出力 f と掛けた値が 1 以上なら罰しません。1 より小さければ、足りない分だけ罰します。正しい側にいても、境目から余白を持って離れていなければ間違いとみなす形で、1本目のパーセプトロンが、まちがえた点だけで重みを直したのと近い考え方です。

フォーカル損失

使う場面:背景が大半を占める画像から物を探す、物体検出

ℓ = −(1 − p)γ log p

交差エントロピーに (1 − p) の γ 乗を掛けて、もう当てられている例(p が 1 に近い例)の罰を小さくします。見分けやすい背景の例が多すぎて、損失のほとんどを占めてしまう問題に向けて、Lin ほか (2017) が示しました。γ = 0 なら交差エントロピーと同じで、論文の実験では γ = 2 がいちばん良い結果でした。

対照損失

使う場面:2つのものが似ているかどうかを、距離で測れるようにしたいとき

ℓ = (1 − Y) · ½ D2 + Y · ½ max(0, m − D)2

似た組(Y = 0)と違う組(Y = 1)を用意し、似た組の距離 D が遠いことと、違う組の距離が m より近いことを間違いとみなします。違う組は m より離れていれば罰しません。似た組を近づけるだけだと全部が同じ点に集まってしまうので、違う組を離す項が要る、と Hadsell ほか (2006) は書いています。

三つ組損失

使う場面:顔の照合(同じ人の写真かどうか)

ℓ = max(0, ‖a − p‖2 − ‖a − n‖2 + α)

基準の写真 a、同じ人の写真 p、別の人の写真 n の3枚を1組にします。a から p までの距離が、a から n までの距離より α 以上短くなっていなければ間違いとみなします。Schroff ほか (2015) の FaceNet で使われました。

InfoNCE

使う場面:画像と文のように、組になるものを結びつける学習

ℓ = −log ( f(本物) / Σ f(候補) )

本物の組1つと偽物の組をいくつか並べ、本物を選べないことを間違いとみなします。形は本物に付けた割合の交差エントロピーです。画像と文を結びつける CLIP も、まとめて並べた組の中から正しい組を当てる交差エントロピーで学習しています。3本目の Word2Vec が本物の周りの語と偽物を見分けて学んだのと近い考え方です。

CTC

使う場面:音声認識や、手書き文字の読み取り

ℓ = −ln p(z | x)

音の並びのどこがどの文字にあたるかは、ふつう正解データに書かれていません。CTC はありうる位置の合わせ方の確率をすべて足して正解の文字列 z の確率を出し、その低さを間違いとみなします。そのため、区切りの付いていない正解データでも学習できます。

分位点損失(ピンボール損失)

使う場面:真ん中でなく、高めや低めの見積もりを当てたいとき

ℓ = α max(y − ŷ, 0) + (1 − α) max(ŷ − y, 0)

実際の値より低く当てたときは α、高く当てたときは 1 − α の重さで罰します。α を大きくすると低く当てることを重く罰するので、高めの線が選ばれます。α = 0.5 なら、絶対誤差の半分と同じです。

拡散モデルのノイズ当て

使う場面:画像を作るAI(拡散モデル)

ℓ = ‖ε − εθ(xt, t)‖2

画像にノイズ ε を足しておき、モデルに足したノイズを当てさせます。足したノイズと当てたノイズの差の二乗が損失です。Ho ほか (2020) は、理論から出てくる重みを外したこの簡単な形のほうが、よい画像になったと報告しています。二乗誤差がいまも主役で使われている例です。

敵対的損失(GAN)

使う場面:画像を作るAI

minG maxD E[log D(x)] + E[log(1 − D(G(z)))]

本物と偽物を見分ける側 D と、偽物を作る側 G を一緒に学習させます。同じ1つの式を、D は大きく、G は小さくしようとします。D にとっては見分けまちがいが、G にとっては見破られることが間違いにあたります。

この考え方でできること・できないこと

できる

  • 何を間違いとみなすかを、問題に合わせて決める
  • 外れた記録への強さや、割合の当て方を、損失の形で変える

これだけではできない

  • 正解データそのものの誤りを見つけて直す
  • 新しいデータでも当たることを保証する

層を重ねた式で、重みごとの傾きをどう計算するか(誤差逆伝播)は、別の回で。

確かめたこと

式と定義は『Dive into Deep Learning』の3.1節と4.1節、PyTorch と scikit-learn の公式ドキュメント、各損失関数の原論文で確かめました。原論文を開けなかったものは、下の補足に書いています。

歩いた時間と距離の記録は前回と同じく説明のために置いたもので、5回目の記録は書き間違いの例として足したものです。

確かめた資料と、確かめきれなかったこと

二乗誤差の式と、外れた記録に敏感すぎることがあるという説明は『Dive into Deep Learning』3.1.1.2節、交差エントロピーの式は4.1.2.1節の式(4.1.8)、softmax と組み合わせたときの傾きは4.1.2.2節の式(4.1.10)で確かめました。言語モデルの学習の式は Radford ほか (2018) の3.1節の式(1)です。論文の式は対数尤度を大きくする形で、それが −log p を小さくするのと同じだというのは、この記事での言い換えです。

絶対誤差、Huber 損失、二値交差エントロピー、KL ダイバージェンスの式は PyTorch の公式ドキュメント(nn.L1Loss、nn.HuberLoss、nn.BCELoss、nn.KLDivLoss)で確かめました。Huber 損失の元になった Huber (1964) の論文そのものは開けていません。ヒンジ損失と分位点損失は scikit-learn の公式ドキュメントの定義で書き、Cortes・Vapnik (1995) と Koenker・Bassett (1978) の原論文は開けていません。

フォーカル損失は Lin ほか (2017) の式(4)、対照損失は Hadsell ほか (2006) の式(4)、三つ組損失は Schroff ほか (2015) の式(3)、InfoNCE は van den Oord ほか (2018) の式(4)、CLIP の学習は Radford ほか (2021) の2.3節、CTC は Graves ほか (2006) の式(12)、拡散モデルは Ho ほか (2020) の式(14)、敵対的損失は Goodfellow ほか (2014) の式(1)、VAE の KL の項は Kingma・Welling (2013) の式(3)です。式の記号は記事の中でそろうように一部置き換えています。

図の線は、重みが1つなので w を 0.001 刻みで全部試して、損失がいちばん小さいものを選びました。記録の数字は説明のために置いたものです。

同じ棚「AIのウラばなし」の記事

2026.11.15間違いの責任は、出口から入口へさかのぼって配る論文を読む2026.11.06学習は、間違いが減る向きへ少しずつ動くこと論文を読む