学習は、間違いが減る向きへ少しずつ動くこと

これまでの回で「重みは学習で決まる」と書いてきました。この回はその決まり方です。正解のある記録から始めて、出力と正解のずれを小さくするように重みを直していく流れを順に追い、その方法である勾配降下法にたどり着きます。

書いた日
所属棚
AIのウラばなし
確かめ方
論文を読む
根拠にしたもの
Zhang ほか『Dive into Deep Learning』3.1節・12.3節・12.4節/Cauchy「Méthode générale pour la résolution des systèmes d'équations simultanées」(1847)/Lemaréchal「Cauchy and the Gradient Method」(2012)
変わりやすさ
しばらく変わりにくい
目次はじめに
  1. はじめに
  2. 正解が分かっている記録を集める
  3. AIにしてほしいのは、正解に近い数を出すこと
  4. 出力と正解には、ずれがある
  5. ずれがいちばん小さくなる重みを探したい
  6. 重みを少しずつ直すと、ずれが減っていく
  7. このやり方を、勾配降下法と呼ぶ
  8. この方法でできること・できないこと
  9. 確かめたこと

1本目で、教科書のパーセプトロンは、まちがえた点を見つけるたびに重みを少し動かすと書きました。3本目では、言葉のベクトルが練習で決まりました。5本目の最後にも、まちがいから重みを直す仕組みが別に要ると残しています。

この回はその「重みがどう決まるか」の話です。正解のある記録から始めて、順に追っていきます。

正解が分かっている記録を集める

AIに重みを決めさせるには、まず答え合わせのできる材料が要ります。入力と、そのときの正しい答えを組にした記録です。これを正解データと呼びます。

この回では歩いた時間から進んだ距離を当てる例で考えます。手元に4回分の記録があり、どれも何時間歩いて何km進んだかが分かっています。時間が入力で、距離が正解です。

記録1回目2回目3回目4回目
歩いた時間(入力)1 時間2 時間3 時間4 時間
進んだ距離(正解)4.2 km7.8 km12.3 km15.9 km

記録は説明のために置いたもので、実際に測った値ではありません。

AIにしてほしいのは、正解に近い数を出すこと

出力 = w × 時間

AIにしてほしいのは、時間を渡したら、正解の距離に近い数を出すことです。ここでは、上のいちばん簡単な式を使います。

w は時間にかける数で、1本目から呼んでいる重みです。この例では歩く速さ(時速)にあたります。w が決まれば、どんな時間を渡されても距離を出せます。残る問題は w をいくつにすればよいかです。

出力と正解には、ずれがある

L(w) = 1n Σi (w xi − yi)2

w を1つ決めて記録の時間を入れると、出力が4つ出ます。それぞれを正解と比べると、多すぎたり少なすぎたりします。これが出力と正解のずれです。

ずれは記録ごとに4つあり、このままではどの w がよいかを比べにくいです。そこで、ずれを2乗して平均し、1つの数にまとめます。この数を損失と呼びます。2乗するのは、多すぎたずれと少なすぎたずれが打ち消し合わないようにするためです。損失が小さいほど、出力が正解に近いということです。

下の図で w を動かして、ずれと損失がどう変わるかを見てください。

12341020点が正解、線が出力。横が歩いた時間、縦が距離(km)
時間正解出力ずれ
14.21.5−2.7
27.83.0−4.8
312.34.5−7.8
415.96.0−9.9

損失(ずれの2乗の平均)47.3

1.5
w = 1.5 のとき、損失は 47.3 です。点と線の縦の差(金の線)が、出力と正解のずれです。
式の読み方と、ほかの損失

xi は i 回目の記録の時間、yi はその正解の距離、n は記録の数(ここでは 4)です。w xi が出力なので、かっこの中が出力と正解のずれになります。

教科書によっては、前に 1/2 を掛けた形で書きます。微分したときに 2 が消えて式が短くなるためで、谷の底の位置は変わりません。りんごかみかんかのように見分ける問題では、交差エントロピーと呼ばれる別の損失がよく使われますが、下り方はこの回と同じです。

ずれがいちばん小さくなる重みを探したい

ほしいのは、損失がいちばん小さくなる w です。w を 0 から 8 まで変えながら損失を計算して並べると、下の図のような谷の形になります。谷の底の w が記録にいちばん合う重みです。

この例は重みが1つで式も簡単なので、全部の w を試すことも、計算で底を一度に求めることもできます。けれど5本目のように関数を挟んで層を重ねた式では、ふつうは底を一度に求められません。重みも何百万個もあるので、組み合わせを全部試すこともできません。谷全体を見渡せないまま、底を探す方法が必要です。

w を 0 から 8 まで変えて、そのたびに損失を計算した

谷の底(w ≈ 4.0)012345678横が重み w、縦が損失
w が底から離れるほど、損失は大きくなります。この例は重みが1つなので、全部の w を試して底を見つけられます。

重みを少しずつ直すと、ずれが減っていく

谷全体が見えなくても、いまの w のまわりの様子なら分かります。w を少し増やしたときに、損失が増えるか減るかです。この変わり方を表す数を傾きと呼び、微分で計算できます。

傾きが正なら、w を増やすと損失も増えるので、w を少し減らします。負なら少し増やします。動いた先でまた傾きを測り、同じことを繰り返すと、w は谷の底へ近づき、ずれが減っていきます。重みはこうして更新されます。

一度にどれだけ動かすかは、傾きに小さな数 η(イータ)を掛けて決めます。この η を学習率と呼びます。シャワーの温度を栓で合わせるときと同じで、大きく回しすぎると熱すぎたのが冷たすぎになり、なかなか合いません。

少しずつしか動かさないのは、傾きが教えてくれるのが、いまいる場所のすぐ近くのことだけだからです。下の図の細い線はいまの場所の傾きを延ばした直線です。近くでは曲線とほぼ重なりますが、離れるほど外れていきます。学習率を変えて、1歩ずつ進めてみてください。

学習率を選んで、1歩ずつ下ってみてください(最初は w = 1)

02468
歩数0w1.00傾き-45.2損失 L68.0
0.050
「1歩進む」を押すと、w が傾きと反対の向きへ、学習率 × 傾き の分だけ動きます。細い線はいまいる場所の傾きを延ばした直線です。
この例で、学習率はどこまで大きくできるか

この例の損失は w の2次式なので、1歩ごとに底までの距離が (1 − 15η) 倍になります。η が 1/15(約 0.067)より小さければ同じ側からまっすぐ近づき、1/15 から 2/15(約 0.133)のあいだでは左右を行き来しながら近づき、2/15 を超えると離れていきます。

15 は損失の曲がり具合(2階微分)で、記録の数と値で決まります。重みが何百万個もある本物のAIでは、この境目を前もって計算できないので、学習率は試しながら決めます。

このやり方を、勾配降下法と呼ぶ

w ← w − η ∇L(w)

傾きと反対の向きへ、学習率の分だけ重みを動かすことを繰り返す。このやり方を勾配降下法と呼びます。式にすると上のようになります。

重みが2つ以上あるときは、重みごとに傾きを求めて並べます。この並びを勾配と呼び、∇L と書きます。勾配は損失がいちばん急に増える向きを指すので、その反対へ動かすと、いちばん急に下れます。下の図は式に足す数 b を加え、w と b の2つの重みで同じことをしたものです。

5本目で、sigmoid は入力の絶対値が大きいと傾きがほぼ 0 になり、学習が止まりやすいと書きました。この式で見ると、傾きがほぼ 0 なら、重みはほとんど動かないことが分かります。

2つの重み w と b で見た損失。押した所から下り始めます

123456-22b = 0横が w、縦が b。輪は損失が同じ高さの所で、内側ほど低くなります
矢印はいまの場所での傾きと反対の向きです。輪に直角に、いちばん急に下る向きを指します。谷が細長いので、道は左右に振れながら底(白い点)へ向かいます。
記号の読み方と、傾きの式

式の η は学習率、∇L は勾配です。重みが w と b の2つなら、∇L = (∂L/∂w, ∂L/∂b) と書きます。∂L/∂w は「b を止めて w だけを少し動かしたときの、損失の変わり方」で、偏微分と呼びます。∇ はナブラと読みます。

この例の傾きは ∂L/∂w = (2/n) Σ xi(w xi + b − yi) で、記録と今の重みから計算できます。曲線全体を描かなくても、いまの場所の傾きは求まります。

勾配降下法のはじまりと、実際の学習での使い方

この考え方は、1847年にコーシーが連立方程式を解く方法として書いています。0 より小さくならない関数を考え、各変数をその偏微分に小さな数 θ を掛けた分だけ減らすと、θ が十分小さければ関数の値が下がる、というものです。

本物のAIの学習では記録が何百万件もあるので、1歩ごとに全部の記録で傾きを計算すると重くなります。そこで毎回いくつかの記録をランダムに選び、その分だけで傾きを計算して1歩進みます。これを確率的勾配降下法と呼び、選んだ記録のまとまりをミニバッチと呼びます。1回ごとの傾きは全体の傾きから少しずれますが、平均すると全体の傾きに一致します。

この方法でできること・できないこと

できる

  • 傾きが計算できる式なら、重みがいくつあっても同じ手順で損失を減らす
  • 人の手では決めきれない数の重みを、正解データから決める

この方法だけではできない

  • いちばん低い谷に着くことを保証する(谷がいくつもあると、近くの浅い谷で止まることがあります)
  • 学習率を自分で決める
  • 新しいデータでも当たることを保証する

もう1つ、層を重ねた式で、重みごとの傾きをどう計算するかも、まだ書いていません。出口から入口へ逆向きにたどって傾きを求める方法を誤差逆伝播と呼びます。その話は別の回で。

確かめたこと

損失と勾配降下法の式、学習率とハイパーパラメータの呼び名は『Dive into Deep Learning』の3.1節と12.3節、確率的勾配降下法は12.4節で確かめました。コーシーの1847年の方法は原文を引用して読み解いた Lemaréchal (2012) で確かめています。

歩いた時間と距離の記録は、説明のために置いたものです。

確かめた資料と計算の細部

損失の式は『Dive into Deep Learning』3.1.1.2節の式(3.1.5)(3.1.6)から、前の 1/2 を除き、b を 0 に置いた形です。1/2 は微分で消えて便利なだけで違いはない、という説明も同じ節にあります。学習率とハイパーパラメータの呼び名は3.1.1.4節、線形回帰が式で一度に解けることと、それが例外的に恵まれた場合だという説明は3.1.1.3節です。

1つの重みでの更新は12.3.1節の式(12.3.4)、重みが複数のときは12.3.2節の式(12.3.7)です。学習率が小さすぎると進みが遅く、大きすぎると底を飛び越えて離れていく例と、谷がいくつもある関数では浅い谷で止まることがあるという説明は12.3.1.1節と12.3.1.2節にあります。確率的勾配降下法の式と、1歩の計算量が O(n) から O(1) に減ること、選んだ記録の傾きの平均が全体の傾きに一致することは12.4節の式(12.4.3)(12.4.4)です。

交差エントロピーの呼び名は4.1.2.1節、sigmoid の傾きが入力 0 で最大 0.25 になり、0 から離れると 0 に近づくことは5.1.2.2節、誤差逆伝播が重みの傾きを出口から入口へ逆向きに計算する方法だという定義は5.3節で確かめました。

コーシーの方法は原文(C. R. Acad. Sci. Paris 25巻 536–538ページ, 1847)を引用して読み解いた Lemaréchal (2012) で確かめました。原文そのものは開いていません。勾配がいちばん急に上る向きを指すことと、傾きの直線が離れるほど曲線から外れることは、式を展開して自分で確かめました。学習率の境目 1/15 と 2/15 はこの例の数から自分で計算したものです。歩いた時間と距離の記録は説明のために置いたもので、実際に測った値ではありません。

同じ棚「AIのウラばなし」の記事

2026.11.15間違いの責任は、出口から入口へさかのぼって配る論文を読む2026.11.08何を間違いとみなすかで、学習が近づく先が変わる論文を読む