間違いの責任は、出口から入口へさかのぼって配る

前回までに、重みは損失が減る向きへ少しずつ動かすと書きました。そのためには重みごとの傾きが要ります。層を重ねた式で、入口に近い重みの傾きをどう求めるのかを、掛け算でつながる変わり方から順に追い、誤差逆伝播にたどり着きます。

書いた日
所属棚
AIのウラばなし
確かめ方
論文を読む
根拠にしたもの
Rumelhart・Hinton・Williams「Learning representations by back-propagating errors」(1986)/Zhang ほか『Dive into Deep Learning』5.3節・5.4節/Griewank「Who Invented the Reverse Mode of Differentiation?」(2012)/Nielsen『Neural Networks and Deep Learning』5章
変わりやすさ
しばらく変わりにくい
目次はじめに
  1. はじめに
  2. 層を1つ挟むと、入口側の傾きが見えなくなる
  3. 変わり方は、掛け算でつながる
  4. 出口から逆向きにたどると、計算を使い回せる
  5. このやり方を、誤差逆伝播と呼ぶ
  6. 層を深くすると、入口側の傾きが細ることがある
  7. この方法でできること・できないこと
  8. 確かめたこと

8本目で、重みは損失が減る向きへ少しずつ動かすと書きました。そのためには、重みごとの傾きが要ります。重みが1つで式も簡単なら、微分すれば済みました。

8本目と9本目の最後には、層を重ねた式で重みごとの傾きをどう計算するかは別の回で、と残しています。この回はその話です。

層を1つ挟むと、入口側の傾きが見えなくなる

h = σ(w1 x)

y = w2 h

L = (y − 正解)2

これまでと同じ、歩いた時間から進んだ距離を当てる例で考えます。今回は5本目のように、式の途中に関数 σ を1つ挟みます。時間 x に重み w₁ を掛けて σ に通した値を h とし、h に重み w₂ を掛けたものを出力 y にします。損失 L は出力と正解のずれの2乗です。

w₂ は出口のすぐ手前にあります。w₂ を少し動かせば y が動き、y が動けば損失が動くので、傾きは8本目と同じように求められます。

w₁ はそうはいきません。w₁ を動かすと h が動き、h が動くと y が動き、y が動いてはじめて損失が動きます。w₁ は損失に、あいだの値を通してしか効きません。このつながりを1つずつほどけば、傾きが出せます。

変わり方は、掛け算でつながる

歯車で考えます。歯車 A を1回まわすと B が2回まわり、B を1回まわすと C が3回まわるとします。このとき A を1回まわすと、C は 2 × 3 で6回まわります。

傾きも同じです。w₁ が少し動いたときの h の動き、h が少し動いたときの y の動き、y が少し動いたときの損失の動きを、それぞれつなぎ目の傾きとして求めます。この3つを掛け合わせると、w₁ が少し動いたときに損失がどれだけ動くか、つまり w₁ の傾きになります。上の式はこれを書いたもので、連鎖律と呼びます。

つなぎ目ごとの傾きは、どれも近くの1か所だけを見れば求められます。遠くの重みの傾きも近くの傾きの掛け算に分けられます。

A:1回B:2回C:6回A → B は 2倍B → C は 3倍A → C は 2 × 3 = 6倍
つなぎ目ごとの倍率を掛けると、離れた歯車どうしの倍率になります。傾きも同じで、つなぎ目ごとの傾きを掛けると、遠くの重みの傾きになります。

出口から逆向きにたどると、計算を使い回せる

掛け算はどちらの端から始めても答えは同じです。それでも、出口から入口へ向かってたどります。

損失は1つで、重みはたくさんあります。出口側で一度「y が動くと損失がどれだけ動くか」を求めておけば、w₂ の傾きにも、h を通って w₁ の傾きにも、その数をそのまま使えます。層が何十あっても、出口に近い層で求めた数を、1つ手前の層が受け取って使います。重みが何百万個あっても、同じ計算を何度もし直さずに済みます。

逆向きにたどるには、行きの計算で出た途中の値が要ります。h の値が分からないと、h のところの傾きが求められないからです。そのため、出力を出すまでの計算(順伝播)で出た途中の値を、逆向きの計算が終わるまで覚えておきます。AIの学習が、答えを出すだけのときよりメモリを多く使うのはこのためです。

下の図で w₁ と w₂ を動かし、「逆向きに計算」を押してください。出口から順に、つなぎ目の傾きが埋まっていきます。

2回目の記録(2時間歩いて 7.8km)だけで見た、1本の鎖

入力 x2
中間 h0.73
出力 y5.85
損失 L3.81
∂L/∂w₁?
∂L/∂h?
∂L/∂y?
出口L

∂L/∂w₂ = ∂L/∂y × h = ?

∂L/∂w₁ = ∂L/∂h × h(1 − h) × x = ?

0.50
8.0
「逆向きに計算」を押すと、出口(損失)の側から、つなぎ目ごとの傾きを順に求めます。重みを動かすと、行きの値(上の段)がその場で変わります。

このやり方を、誤差逆伝播と呼ぶ

出口の損失から入口へ向かって、つなぎ目ごとの傾きを掛けながら重みごとの傾きを求める。このやり方を誤差逆伝播と呼びます。求めた傾きを使って、8本目の勾配降下法で重みを直します。

この方法がニューラルネットの学習法として広く知られるきっかけになったのは、Rumelhart・Hinton・Williams が1986年に Nature に出した論文です。論文の式は、下の補足で開いて読めます。

論文が示したのは、この方法で学習すると、入力と出力のあいだの層が、入力にも出力にも直接は書かれていない特徴を自分で作るようになることでした。逆向きに微分を求める考え方そのものは、もっと前から、丸め誤差の見積もりや回路の設計など、いくつもの分野で別々に使われていました。

いまのAIの道具も同じ仕組みで動いています。PyTorch の公式資料には、順伝播で計算の記録を残し、それを逆向きにたどって連鎖律で傾きを求めると書かれています。

1986年の論文の式

(4)∂E∂yj = yj − dj

(6)∂E∂wji = ∂E∂xj · yi

(7)∂E∂yi = Σj ∂E∂xj · wji

Rumelhart・Hinton・Williams (1986) の式番号。E は損失、dj は正解

記号はこの回に合わせず、論文のまま載せています。xj はある部品に入る値の合計、yj はその部品が出す値、wji は部品 i から部品 j へのつながりの重みです。

式(4)は、出口の部品が出す値が損失をどれだけ動かすかを表します。式(6)は、ある重みの傾きがその先の部品の傾きと手前の部品の出力の掛け算になることを表します。式(7)は、1つ手前の部品の傾きを、その先にあるすべての部品の傾きに重みを掛けて足し合わせれば求められることを表します。式(7)を出口から入口へ順に使うのが、逆向きにたどるという意味です。

論文の残りの式と、重みの直し方

論文は、部品に入る値の合計を xj = Σi yi wji(式1)、部品が出す値を sigmoid で yj = 1 / (1 + e−xj)(式2)、損失を E = ½ Σc Σj (yj,c − dj,c)²(式3)と置いています。c は記録の番号です。式(5)は ∂E/∂xj = ∂E/∂yj · yj(1 − yj) で、yj(1 − yj) が sigmoid の傾きです。

重みは Δw = −ε ∂E/∂w(式8)で直します。8本目の勾配降下法と同じ形で、ε が学習率です。論文はさらに、前の回に動かした分を少し残して足す Δw(t) = −ε ∂E/∂w(t) + α Δw(t − 1)(式9)も示しています。α は 0 から 1 の数で、論文の例では ε = 0.1、α = 0.9 を使っています。

逆向きに微分を求める考え方の、もう少し前の話

出口から入口へ逆向きに微分を求める考え方は、1986年より前から、いくつもの分野で別々に見つかっていました。Griewank (2012) によると、Linnainmaa は1970年の修士論文で、計算の丸め誤差を見積もる道具としてこの方法を書いています。1960年代には、電子回路の最適化にも使われていました。

1986年の論文自身も、同じような手続きを Parker と Le Cun が独立に見つけていたと書いています。1986年の論文が示したのは、この方法で学習すると、隠れた層が入力にも出力にも直接は書かれていない特徴を自分で作るようになることでした。

層を深くすると、入口側の傾きが細ることがある

逆向きにたどるたびに、つなぎ目の傾きが掛かります。掛ける数が1より小さいことが続くと、入口に近い重みの傾きはどんどん小さくなります。

5本目の sigmoid の傾きはいちばん大きいところでも 1/4 です。sigmoid が出す値を s とすると、傾きは s(1 − s) と書け、s が 1/2 のときに 1/4 になります。sigmoid を何段も挟むと、入口側の傾きはほぼ 0 になりやすく、8本目の式で見たとおり、重みはほとんど動きません。これを勾配消失と呼びます。

ただし、いつも小さくなるわけではありません。重みが大きいと、掛けるたびに傾きが大きくなり、学習が暴れることもあります。こちらは勾配爆発と呼びます。

5本目で、隠れ層の関数が sigmoid から ReLU に置き換わったと書きました。ReLU の傾きは、入力が正なら 1 です。何段重ねても、掛け算で細りにくくなります。

下の図で層の数を増やしてみてください。sigmoid では入口側ほど傾きの棒が細くなります。ReLU に切り替えると、細り方が変わります。

層ごとの傾きの大きさ(出口を 1 とした倍率・対数の目盛り)

6
1.0
いちばん入口側の傾きは、出口の 1.1×10⁻⁴ 倍まで小さくなりました。入口に近い重みは、ほとんど動きません(勾配消失)。

この方法でできること・できないこと

できる

  • 損失1つから、すべての重みの傾きを、行きと帰りの計算1回ずつで求める
  • 層がいくつあっても、つなぎ目ごとの傾きが求められる式なら、同じ手順で使う

この方法だけではできない

  • いちばん低い谷に着くことを保証する(1986年の論文も、浅い谷で止まることがあると書いています)
  • 深い層で傾きが細ったり膨らんだりするのを防ぐ
  • 新しいデータでも当たることを保証する

最後の点は、5本目の最後に残した「曲げすぎ」の話とつながります。手元の記録に合わせすぎて、新しいデータで外れる。その話は別の回で。

確かめたこと

誤差逆伝播の式は Rumelhart・Hinton・Williams (1986) の式(1)〜(9)を、論文のページを開いて確かめました。連鎖律の書き方と、途中の値を覚えておくためにメモリを使うことは『Dive into Deep Learning』の5.3節、勾配消失と勾配爆発は5.4節で確かめています。sigmoid の傾きの最大が 1/4 であることは『Dive into Deep Learning』の5.1.2.2節と Nielsen の本の5章で確かめ、式からも導きました。Nielsen 自身は、層を重ねると傾きが小さくなる説明を、厳密な証明ではないと断っています。

逆向きに微分を求める考え方の歴史は Griewank (2012) で確かめました。Linnainmaa (1970) の修士論文の原本は開けていません。

歩いた時間と距離の記録、歯車の回転数は、説明のために置いたものです。

同じ棚「AIのウラばなし」の記事

2026.11.08何を間違いとみなすかで、学習が近づく先が変わる論文を読む2026.11.06学習は、間違いが減る向きへ少しずつ動くこと論文を読む