Yuu Works/Guides
本体サイトへ

Guides/AIのウラばなし― 解式新書

ここから先は、AIの裏側の話です。

具体例を手がかりに、AIの裏側で動いている式をのぞいていきます。わかったことを、式と一緒に。仕事の相談とは別の、寄り道の棚です。

いま流れている式注意機構・拡散モデル・学習の式

基礎

  • AIの「見分ける」は、足し算から始まるy = w₁x₁ + w₂x₂ + b
  • 言葉の近さは、向きで測るcos θ = a·b / (‖a‖‖b‖)
  • 直線を何段重ねても、境目は曲がらない。曲げるのは間に挟む関数y = w₂ σ(w₁x + b₁) + b₂
  • 音も画像も言葉も、AIに渡す前に数の並びにするx[n] = x(nT)

応用

  • 特徴量は、見分けたい違いを残し、関係ない違いを落とした数S(i, j) = Σ Σ K(a, b) X(i + a, j + b)
  • 学習は、間違いが減る向きへ少しずつ動くことw ← w − η∇L(w)
  • 何を間違いとみなすかで、学習が近づく先が変わるL = −Σ yⱼ log ŷⱼ
  • 間違いの責任は、出口から入口へさかのぼって配る∂L/∂w₁ = ∂L/∂y · ∂y/∂h · ∂h/∂w₁

実戦

  • 言葉のベクトルは、周りの語を当てる練習で決まるp = exp(v′·v) / Σ exp(v′·v)
  • アテンションは、同じ語でも周りの語を見て向きを変えるAttention(Q, K, V) = softmax(QKᵀ / √dₖ) V

Guides に戻る作品を見る