直線を何段重ねても、境目は曲がらない。曲げるのは間に挟む関数

1本目で残した「曲がった境目の作り方」の回です。直線を重ねるだけでは曲がらない理由と、間に挟む非線形の関数の役割を、ReLU、sigmoid、tanh、softmax まで順に読みます。

書いた日
所属棚
AIのウラばなし
確かめ方
論文を読む
根拠にしたもの
Zhang ほか『Dive into Deep Learning』4.1節・5.1節/Cornell 大学 CS4780 の講義ノート「The Perceptron」/Glorot・Bordes・Bengio「Deep Sparse Rectifier Neural Networks」(2011)/Hendrycks・Gimpel「Gaussian Error Linear Units (GELUs)」(2016)/Vaswani ほか「Attention Is All You Need」(2017)/Cybenko「Approximation by superpositions of a sigmoidal function」(1989)
変わりやすさ
しばらく変わりにくい
目次はじめに
  1. はじめに
  2. 直線1本では分けられない並び
  3. 直線を重ねても、直線のまま
  4. 間に、折り曲げる関数を挟む
  5. 折ると、1本の線で分けられる
  6. 平面に戻すと、境目は2本の線
  7. よく使われる関数
  8. softmax は、出口で割合にそろえる
  9. この式でできること・できないこと
  10. 確かめたこと

1本目の最後に「曲がった境目の作り方は、別の回で」と書きました。この回はその続きです。答えは式の途中に1つ関数を挟むことで、なぜ挟むと曲がるのかを、直線を重ねても曲がらない理由から順に見ていきます。

直線1本では分けられない並び

りんごが左下と右上に、みかんが左上と右下にある並びは、XOR と呼ばれます。1本目の式は境目が必ず直線になるので、どこに線を引いても、見分けまちがいが残ります。

まちがい 6
まちがい 6
まちがい 3

直線を重ねても、直線のまま

y = w2(w1x + b1) + b2 = (w2w1)x + (w2b1 + b2)

1本では足りないなら、式を2段に重ねるのはどうでしょう。1段目の結果を、2段目の入力にします。展開すると、x にかかる数と足す数が別の値になるだけで、形は1段のときと同じです。

3段でも100段でも同じです。重みをかけて足す計算だけを何段重ねても、できあがるのは1本の直線で、段を増やしても表せる形は増えません。

直線を2段
直線を3段
間に ReLU を挟む

間に、折り曲げる関数を挟む

y = w2 σ(w1x + b1) + b2

そこで、段と段のあいだに関数 σ を1つ挟みます。σ を活性化関数と呼びます。たとえば σ に ReLU(負の値を 0 にする関数)を入れると、この式はもう1つの直線にまとめられず、0 のところで折れた線になります。

実は1本目の式にも、まっすぐでない部分はありました。y が 0 以上かどうかで分ける判定です。ただし、この判定は計算の最後に置かれているので、境目は y = 0 の直線のままでした。線が折れるのは、関数を計算の途中に挟んで、その結果にさらに重みをかけて足すからです。

この形は今のAIの中にもあります。Transformer の式の1つは FFN(x) = max(0, xW₁ + b₁)W₂ + b₂ で、上の式の σ に ReLU を入れた形です。

折ると、1本の線で分けられる

XOR の点は、x₁ + x₂ の値の順に並べると見通しがよくなります。小さいほうから、りんご、みかん、りんごの順です。両側にりんごがいるので、まっすぐな線では、両方のりんごを同じ側にできません。

ReLU の部品を2つ足すと、線を2か所で折れます。1つ目の部品で線を下げ、2つ目の部品で上げ直すと、真ん中だけが谷になります。下の図で折る量を増やしてみてください。

−0.5 × ReLU(z₁)
1.7 × ReLU(z₂)
2つを足して 0.3 を加える

x₁ + x₂ の順に並べて見る

y = 0 上がりんご側

x₁ + x₂ →

同じ結果を、平面で見る

赤み x₁ →  ↑ でこぼこ x₂

見分けまちがい 6 / 12
左の図は、右の点を x₁ + x₂ の順に並べ直したものです。まっすぐな線では、両側のりんごを同じ側にできません。

平面に戻すと、境目は2本の線

みかんが谷に入ると、りんごは y = 0 の水平線より上に、みかんは下に分かれます。境目は高さで見れば1本の水平線ですが、元の平面に戻すと2本の線になり、1本の直線では作れなかった境目になります。

次のシートの図は、同じことを平面全体で見たものです。シートの高さが y で、関数を選ぶとシートが折れます。

シートを折って、XOR を分ける

シートの高さが y。水面(y = 0)より上がりんご側、下がみかん側です。

y = w1 σ(z1) + w2 σ(z2) + b

zi = 6(x1 + x2 − ti)

1つ目の折り目の位置
2つ目の折り目の位置
1つ目の部品にかける重み
2つ目の部品にかける重み
全体の高さ
上から見ると
見分けまちがい0 / 12

りんごみかん  金の輪は、見分けまちがいの点

点の位置と折り目、重みの数は説明のために置いたものです。どの関数でも内側の重みを 6 にそろえて、関数のちがいだけを比べています。

よく使われる関数

σ に入れる関数はいくつもあります。どれも1つの数を受け取り、1つの数を返します。

名前の似ている tan と tanh は別の関数です。tanh の値は −1 から 1 に収まります。

隠れ層(入力と出力のあいだの層)では、以前は sigmoid がよく使われ、今は ReLU に置き換わりました。sigmoid は入力の絶対値が大きいと傾きがほぼ 0 になり、学習が止まりやすくなるためです。重みと傾きの関係は、勾配の回で扱います。

ステップz ≥ 0 なら 1、それ以外は 0

1本目の判定と同じ形。傾きが 0 なので、勾配で学習できません

出力0 か 1

sigmoid1 / (1 + e⁻ᶻ)

ステップをなめらかにした形。2択を確率として読む出口で今も使います

出力0〜1

tanh(1 − e⁻²ᶻ) / (1 + e⁻²ᶻ)

sigmoid の範囲を −1〜1 に広げた形。原点について対称です

出力−1〜1

ReLUmax(0, z)

負を 0 にするだけ。Transformer の式にも使われています

出力0 以上

GELUz Φ(z)

ReLU をなめらかにした形。Φ は標準正規分布の累積分布関数です

出力小さな負の値から上

softmax は、出口で割合にそろえる

pi = exp(zi) / Σj exp(zj)

softmax も非線形の関数ですが、ここまでの関数とは役割が違います。1つの数でなく数の列を受け取り、全部の合計が 1 になる割合の列を返します。そのため、層の途中よりも出口で「どれがどのくらい確からしいか」をそろえるのに使われます。

指数をとるので、大きなスコアほど割合が強調されます。スコアの大小の順番は変わりません。Transformer も次の語の確率を出す出口で softmax を使っています。前の回のアテンションでも、各語をどの割合で混ぜるかを決めるところに出てきました。

選択肢が2つで、片方のスコアを 0 に置くと、softmax の式は e^z / (e^z + 1) になります。分子と分母を e^z で割ると 1 / (1 + e^−z) で、sigmoid と同じ式です。

この式でできること・できないこと

できる

  • 間に関数を挟み、折れた線や曲がった境目を作る
  • 部品を足して、折り目を増やす

隠れ層が1つでも、部品の数に上限を置かなければ、決まった範囲の連続した関数にいくらでも近づけられます。Cybenko が1989年に sigmoid 型の関数について示しました。

この式だけではできない

  • 重みを自分で決める(まちがいから重みを直す仕組みが別に要ります)
  • 分け方に合う部品の数を決める
  • 新しいデータでも当たることを保証する

曲げられる力が大きいと、手元の点に合わせて曲げすぎることもあります。その話は別の回で。

確かめたこと

ReLU、sigmoid、tanh の式と役割の移り変わりは『Dive into Deep Learning』5.1.2節、softmax の式と順番を変えないことは同じ本の4.1.1.2節で確かめました。ReLU の式は Glorot ほか (2011) の3.1節、GELU の定義は Hendrycks・Gimpel (2016) の2節、Transformer の式は Vaswani ほか (2017) の3.3節と3.4節を開いて確かめています。Cybenko (1989) の定理は単位超立方体の上の連続関数についてのもので、部品の数に上限がないことが前提です。

softmax と sigmoid が同じ式になることは、式を変形して自分で確かめました。点の位置、折り目の位置、重みの数は説明のために置いたものです。

同じ棚「AIのウラばなし」の記事

2026.11.15間違いの責任は、出口から入口へさかのぼって配る論文を読む2026.11.08何を間違いとみなすかで、学習が近づく先が変わる論文を読む