- 書いた日
- 所属棚
- AIのウラばなし
- 確かめ方
- 論文を読む
- 根拠にしたもの
- Zhang ほか『Dive into Deep Learning』7.1節・7.2節/NumPy 公式ドキュメント numpy.fft/scikit-learn 公式ドキュメント Text feature extraction/Bengio・Courville・Vincent「Representation Learning」(2013)/Krizhevsky・Sutskever・Hinton「ImageNet Classification with Deep Convolutional Neural Networks」(2012)/Zeiler・Fergus「Visualizing and Understanding Convolutional Networks」(2013)
- 変わりやすさ
- しばらく変わりにくい
目次はじめに
特徴量とは、生の数から、見分けたい違いを残し、関係ない違いを落として作った数です。1本目で果物を表した「赤み」と「でこぼこ」が、まさに特徴量でした。
なぜ生の数のままでは足りないのか
前の回で写真は画素の数の並びになりました。ところが、この数は見分けたいこと以外でも大きく変わります。同じりんごでも、写る場所が少しずれるだけで多くの数が別の値になります。下の図でりんごの絵をずらして、2つの比べ方で遠さがどう変わるかを見てください。
| りんごとの遠さ | ずらしたりんご | みかん |
|---|---|---|
| 画素をそのまま比べる | 0.00 | 0.06 |
| 特徴量で比べる | 0.00 | 0.45 |
横が赤み、縦がでこぼこ。金の輪がずらしたりんごです
画素のまま比べると、大きくずらしたりんごはみかんより遠くなります。これでは「同じりんご」と言えません。特徴量で比べると、りんごどうしは近く、みかんは遠いままです。場所のずれという関係ない違いを落とし、色と肌という見分けたい違いを残したからです。
図の数の中身
絵は 48 × 48 マスで、色も入れると 6,912 個の数です。特徴量として使うのは赤みとでこぼこの2つだけです。
赤みは果物のマスの赤と緑の差の平均、でこぼこは隣のマスとの明るさの差の平均です。遠さは画素では全マスの差の平均、特徴量では2つの数の差から計算しました。単位が違うので、同じ行の中で比べてください。絵は式で描いたもので、実際の写真を測った値ではありません。
例1 新しい数を1つ作る
5本目で境目を折って分けた XOR の点でも、特徴量で同じことができます。(x₁ − 0.5)(x₂ − 0.5) を計算すると、りんごは正の数に、みかんは負の数になり、0 を境に1本の線で分かれます。
ここで残した違いは、りんごかみかんかです。落とした違いは、りんごが左下と右上のどちらにあるかです。
例2 画像は小さな窓で変わり目を取り出す
S(i, j) = Σa Σb K(a, b) X(i + a, j + b)
輪郭は隣との明るさの差なので、画素を1つずつ見ても分かりません。そこで 3 × 3 ほどの小さな窓 K を用意し、画像 X の上をずらしながら、重なった数を掛けて足します。結果の S がここでの特徴量です。
輪郭の窓で残した違いは、明るさの変わり目です。落とした違いは、絵全体の明るさです。
3 × 3 の窓の数を変えると、取り出すものが変わります
式の読み方と呼び名
i と j は窓を置く場所、a と b は窓の中の位置です。窓の数を変えると、取り出すものが変わります。図の「縦の輪郭」と「横の輪郭」は、Sobel フィルターの係数です。輪郭の窓は数の合計が 0 なので、絵全体が同じだけ明るくなる違いは結果に出ません。
この計算は畳み込みニューラルネットワークで「畳み込み」と呼ばれますが、正確には相互相関と呼ぶ計算です。
例3 音は波を周波数に分ける
Xk = Σm xm exp(−2πi mk / n)
波の高さの列を見ても、どんな音が混ざっているかは読み取りにくいものです。離散フーリエ変換を使うと、どの速さの振れがどれだけ含まれるかを取り出せます。
ここで残した違いは、どの周波数がどれだけ含まれるかです。落とした違いは、波の始まりのずれです。
3つの波を混ぜた音を、周波数ごとの大きさに分ける
式の読み方と、時間で変わる音
x は測った数、n はその個数、k は窓の中で何回振れるかを表します。大きさだけを見ると、窓の中で波が同じ形のまま始まりだけずれる違いは落ちます。
実際の音は時間とともに変わるので、短い窓をずらしながらこの計算を繰り返します。結果を時間と周波数の表にしたものがスペクトログラムです。
例4 言葉は語の回数を数える
いちばん簡単な特徴量は語の回数です。語ごとに列を作り、文ごとに出てきた回数を数えます。
ここで残した違いは、どの語が出てきたかです。落とした違いは語の順番です。
| 短い文 | りんご | みかん | 赤い | 車 | 買う |
|---|---|---|---|---|---|
| りんごが赤い | 1 | 0 | 1 | 0 | 0 |
| りんごとみかんを買う | 1 | 1 | 0 | 0 | 1 |
| 赤い車を買う | 0 | 0 | 1 | 1 | 1 |
文は説明のために置いたものです。「が」「と」「を」は表から外しています。
TF-IDF と、Word2Vec やアテンションとの関係
多くの文に出てくる語の重みを下げるのが TF-IDF で、その文での回数に、語がどれだけ珍しいかを表す数を掛けます。
落とした順番や、似た意味の語が別の列になることが問題になる場面もあります。3本目の Word2Vec は周りの語を手がかりにベクトルを作り、4本目のアテンションは文ごとにベクトルを作り直しました。どちらも言葉の特徴量の別の作り方と読めます。
特徴を人が決めるかAIが作るか
ここまでの計算は、どれも人が決めたものです。深層学習では窓の数そのものを学習で決めます。何を残して何を落とすかを、AIがデータから決めていることになります。
論文に書かれていること
Bengio らは2013年の論文で、人による特徴の設計は大切だが手間がかかり、学習の方法の弱さを人の知恵で補っているのだと書いています。
2012年の AlexNet では学習した窓の中に、特定の周波数や向きに反応するものと、色のかたまりに反応するものが現れました。Zeiler と Fergus は2013年に、層が深くなるほど反応するものが複雑になる様子を可視化しています。
- 2層目 角や輪郭の組み合わせ
- 3層目 似た模様
- 4層目 種類ごとの形(犬の顔など)
- 5層目 物全体
Zeiler・Fergus (2013) が調べたネットワークの例です。絵は説明のための模式図で、論文の可視化結果ではありません。
この考え方でできること・できないこと
できる
- 数の並びから、見分けに効く数を取り出す
- 表す数を変えることで、問題を解きやすくする
これだけではできない
- どの特徴が目的に合うかを、計算の前に保証する
- 新しいデータでも当たることを保証する
特徴や部品を増やすと、手元のデータに合わせすぎることがあります。その話は別の回で。
つまり特徴量とは何か
特徴量とは、生の数から、見分けたい違いを残し、関係ない違いを落として作った数です。4つの例は計算こそ違いますが、どれも同じことをしています。
何が「関係ない違い」かは、知りたいことで変わります。何の話かを見分けるだけなら語の回数で足りることもありますが、文の意味を読みたいなら語の順番を残す必要があります。だから特徴量を考えるときは、計算を選ぶ前に、何を見分けたいのかを決めます。
| 相手 | 生の数 | 特徴量 | 残した違い | 落とした違い |
|---|---|---|---|---|
| 果物の写真 | 画素の色 | 赤み、でこぼこ | 色と肌 | 写る場所 |
| XOR の点 | x₁ と x₂ | (x₁ − 0.5)(x₂ − 0.5) | りんごかみかんか | どちらの角にあるか |
| 画像 | 画素の明るさ | 窓をかけた結果 | 明るさの変わり目 | 全体の明るさ |
| 音 | 波の高さの列 | 周波数ごとの大きさ | 含まれる周波数 | 波の始まりのずれ |
| 文章 | 語の並び | 語の回数 | どの語が出たか | 語の順番 |
確かめたこと
「残す違い」と「落とす違い」で揃えた整理は、この連載での説明です。Bengio ほか (2013) の、役立つ情報を取り出しやすくする表現という考え方に沿って書きました。
確かめた資料と計算の細部
Google の機械学習用語集で確かめられたのは、特徴量の値を並べたものが特徴ベクトルだという定義までです。
窓の式は『Dive into Deep Learning』7.1節の式(7.1.3)から、定数 u を除いて K と X の名前に置き換えた形です。畳み込みと相互相関の呼び名は同じ本の7.2節、Sobel の係数は scikit-image の公式ドキュメントで確かめました。図の窓は scikit-image の係数と符号の向きが違うものを含みますが、変わり目を取り出す働きは同じです。窓の合計が 0 なら全体の明るさの違いが落ちることと、周波数の大きさが波の始まりのずれで変わらないことは、式から自分で確かめました。
離散フーリエ変換の式は NumPy の公式ドキュメントで、短い窓をずらす計算は SciPy の公式ドキュメントで確かめました。スペクトログラムという呼び名は、公式ドキュメントの本文では確かめきれていません。語の回数と TF-IDF は scikit-learn の公式ドキュメント、AlexNet は NeurIPS 版の6.1節、層の階層は Zeiler・Fergus (2013) の4節です。
層の図は説明のための模式図で、論文の図そのものではありません。層の説明の「4層目」は論文の Layer 4 の例(犬の顔など)から書きました。絵、波、短い文は説明のために置いたものです。
同じ棚「AIのウラばなし」の記事
2026.11.15間違いの責任は、出口から入口へさかのぼって配る論文を読む2026.11.08何を間違いとみなすかで、学習が近づく先が変わる論文を読む