- 書いた日
- 所属棚
- AIのウラばなし
- 確かめ方
- 論文を読む
- 根拠にしたもの
- Zhang ほか『Dive into Deep Learning』4.1節・5.1節/Cornell 大学 CS4780 の講義ノート「The Perceptron」/Glorot・Bordes・Bengio「Deep Sparse Rectifier Neural Networks」(2011)/Hendrycks・Gimpel「Gaussian Error Linear Units (GELUs)」(2016)/Vaswani ほか「Attention Is All You Need」(2017)/Cybenko「Approximation by superpositions of a sigmoidal function」(1989)
- 変わりやすさ
- しばらく変わりにくい
目次はじめに
1本目の最後に「曲がった境目の作り方は、別の回で」と書きました。この回はその続きです。答えは式の途中に1つ関数を挟むことで、なぜ挟むと曲がるのかを、直線を重ねても曲がらない理由から順に見ていきます。
直線1本では分けられない並び
りんごが左下と右上に、みかんが左上と右下にある並びは、XOR と呼ばれます。1本目の式は境目が必ず直線になるので、どこに線を引いても、見分けまちがいが残ります。
直線を重ねても、直線のまま
y = w2(w1x + b1) + b2 = (w2w1)x + (w2b1 + b2)
1本では足りないなら、式を2段に重ねるのはどうでしょう。1段目の結果を、2段目の入力にします。展開すると、x にかかる数と足す数が別の値になるだけで、形は1段のときと同じです。
3段でも100段でも同じです。重みをかけて足す計算だけを何段重ねても、できあがるのは1本の直線で、段を増やしても表せる形は増えません。
間に、折り曲げる関数を挟む
y = w2 σ(w1x + b1) + b2
そこで、段と段のあいだに関数 σ を1つ挟みます。σ を活性化関数と呼びます。たとえば σ に ReLU(負の値を 0 にする関数)を入れると、この式はもう1つの直線にまとめられず、0 のところで折れた線になります。
実は1本目の式にも、まっすぐでない部分はありました。y が 0 以上かどうかで分ける判定です。ただし、この判定は計算の最後に置かれているので、境目は y = 0 の直線のままでした。線が折れるのは、関数を計算の途中に挟んで、その結果にさらに重みをかけて足すからです。
この形は今のAIの中にもあります。Transformer の式の1つは FFN(x) = max(0, xW₁ + b₁)W₂ + b₂ で、上の式の σ に ReLU を入れた形です。
折ると、1本の線で分けられる
XOR の点は、x₁ + x₂ の値の順に並べると見通しがよくなります。小さいほうから、りんご、みかん、りんごの順です。両側にりんごがいるので、まっすぐな線では、両方のりんごを同じ側にできません。
ReLU の部品を2つ足すと、線を2か所で折れます。1つ目の部品で線を下げ、2つ目の部品で上げ直すと、真ん中だけが谷になります。下の図で折る量を増やしてみてください。
x₁ + x₂ の順に並べて見る
x₁ + x₂ →
同じ結果を、平面で見る
赤み x₁ → ↑ でこぼこ x₂
平面に戻すと、境目は2本の線
みかんが谷に入ると、りんごは y = 0 の水平線より上に、みかんは下に分かれます。境目は高さで見れば1本の水平線ですが、元の平面に戻すと2本の線になり、1本の直線では作れなかった境目になります。
次のシートの図は、同じことを平面全体で見たものです。シートの高さが y で、関数を選ぶとシートが折れます。
シートを折って、XOR を分ける
シートの高さが y。水面(y = 0)より上がりんご側、下がみかん側です。
zi = 6(x1 + x2 − ti)
りんごみかん 金の輪は、見分けまちがいの点
点の位置と折り目、重みの数は説明のために置いたものです。どの関数でも内側の重みを 6 にそろえて、関数のちがいだけを比べています。
よく使われる関数
σ に入れる関数はいくつもあります。どれも1つの数を受け取り、1つの数を返します。
名前の似ている tan と tanh は別の関数です。tanh の値は −1 から 1 に収まります。
隠れ層(入力と出力のあいだの層)では、以前は sigmoid がよく使われ、今は ReLU に置き換わりました。sigmoid は入力の絶対値が大きいと傾きがほぼ 0 になり、学習が止まりやすくなるためです。重みと傾きの関係は、勾配の回で扱います。
ステップz ≥ 0 なら 1、それ以外は 0
1本目の判定と同じ形。傾きが 0 なので、勾配で学習できません
出力0 か 1
sigmoid1 / (1 + e⁻ᶻ)
ステップをなめらかにした形。2択を確率として読む出口で今も使います
出力0〜1
tanh(1 − e⁻²ᶻ) / (1 + e⁻²ᶻ)
sigmoid の範囲を −1〜1 に広げた形。原点について対称です
出力−1〜1
ReLUmax(0, z)
負を 0 にするだけ。Transformer の式にも使われています
出力0 以上
GELUz Φ(z)
ReLU をなめらかにした形。Φ は標準正規分布の累積分布関数です
出力小さな負の値から上
softmax は、出口で割合にそろえる
pi = exp(zi) / Σj exp(zj)
softmax も非線形の関数ですが、ここまでの関数とは役割が違います。1つの数でなく数の列を受け取り、全部の合計が 1 になる割合の列を返します。そのため、層の途中よりも出口で「どれがどのくらい確からしいか」をそろえるのに使われます。
指数をとるので、大きなスコアほど割合が強調されます。スコアの大小の順番は変わりません。Transformer も次の語の確率を出す出口で softmax を使っています。前の回のアテンションでも、各語をどの割合で混ぜるかを決めるところに出てきました。
選択肢が2つで、片方のスコアを 0 に置くと、softmax の式は e^z / (e^z + 1) になります。分子と分母を e^z で割ると 1 / (1 + e^−z) で、sigmoid と同じ式です。
スコアsoftmax のあと(合計 1)
この式でできること・できないこと
できる
- 間に関数を挟み、折れた線や曲がった境目を作る
- 部品を足して、折り目を増やす
隠れ層が1つでも、部品の数に上限を置かなければ、決まった範囲の連続した関数にいくらでも近づけられます。Cybenko が1989年に sigmoid 型の関数について示しました。
この式だけではできない
- 重みを自分で決める(まちがいから重みを直す仕組みが別に要ります)
- 分け方に合う部品の数を決める
- 新しいデータでも当たることを保証する
曲げられる力が大きいと、手元の点に合わせて曲げすぎることもあります。その話は別の回で。
確かめたこと
ReLU、sigmoid、tanh の式と役割の移り変わりは『Dive into Deep Learning』5.1.2節、softmax の式と順番を変えないことは同じ本の4.1.1.2節で確かめました。ReLU の式は Glorot ほか (2011) の3.1節、GELU の定義は Hendrycks・Gimpel (2016) の2節、Transformer の式は Vaswani ほか (2017) の3.3節と3.4節を開いて確かめています。Cybenko (1989) の定理は単位超立方体の上の連続関数についてのもので、部品の数に上限がないことが前提です。
softmax と sigmoid が同じ式になることは、式を変形して自分で確かめました。点の位置、折り目の位置、重みの数は説明のために置いたものです。
同じ棚「AIのウラばなし」の記事
2026.11.15間違いの責任は、出口から入口へさかのぼって配る論文を読む2026.11.08何を間違いとみなすかで、学習が近づく先が変わる論文を読む