- 書いた日
- 所属棚
- AIのウラばなし
- 確かめ方
- 論文を読む
- 根拠にしたもの
- Shannon「Communication in the Presence of Noise」(1949)/MIT 6.003 Lecture 21「Sampling」/W3C「PNG Specification (Third Edition)」/RFC 3629「UTF-8」/Sennrich ほか「Neural Machine Translation of Rare Words with Subword Units」(2016)/OpenAI「tiktoken」README
- 変わりやすさ
- しばらく変わりにくい
1本目では果物を2つの数にするところから話を始めました。では、声や写真や文章はどうやって数になるのでしょう。コンピュータが計算できるのは数だけなので、AIに渡す前に、どれも数の並びにします。この回はその変換を音、画像、言葉の順に見ます。
音は一定の間隔で波の高さを測る
x[n] = x(nT)
音は空気の振動で、マイクを通すと、時間とともに変わる波の形になります。その高さを T 秒ごとに測って並べると、数の列 x[n] ができます。n は何番目に測ったかを表します。
測る回数を増やせば元の波に近づきますが、いくらでも要るわけではありません。Shannon の1949年の論文は、W より高い周波数を含まない波が 1/2W 秒おきの値で完全に決まることを示しています。1秒あたりで言えば 2W 回です。
下の図で測る回数を減らしてみてください。足りなくなると、同じ点を通る別の波と区別できなくなります。
波の高さを、1 秒に何回測るか
測った数0.00 0.71 1.00 0.71 0.00 −0.71 −1.00 −0.71 …
画像はマスに区切って明るさを測る
画像では時間の代わりに場所で区切ります。マス目に分けて、1マスごとの明るさを数にします。音で波の高さを測ったのと同じ考え方です。
色のある画像では1マスに赤、緑、青の3つの数を持ちます。たとえば PNG の 8 ビットの場合、それぞれの数は 0 から 255 までの整数です。
同じ絵を、何マスに区切って何段階で測るか
数の個数64個
白黒の場合です。色のある画像では、赤・緑・青の3つの数を1マスごとに持ちます。
言葉は文字や単位に番号を付ける
文字には Unicode の番号が付いています。「り」の番号は U+308A です。保存や通信で使う UTF-8 では、この番号を1文字あたり1〜4バイトに直します。「り」は 227、130、138 の3バイトになります。
AIに渡すときには、文字より少し大きな単位に切り分けて番号を付ける方法があります。この単位をトークンと呼びます。BPE という方法はよく隣り合う組を繰り返しまとめて単位を作ります。OpenAI のモデルで使う tiktoken もこの方法で、平均すると1トークンが約4バイトにあたるとされています。
音や画像と違って、言葉の番号の大きさには意味がありません。番号が近くても、意味が近いわけではありません。意味の近さを数で表す話は、2本目と3本目で扱いました。
3つとも数の並びになる
音も画像も言葉も、ここまで来ると形が違うだけの数の並びです。AIの計算はこの数を受け取ります。
[0.31, 0.59, 0.81, …]時間の順に並んだ波の高さ[[[212, 64, 58], …], …]1マスに赤・緑・青の3つの数[4821, 305, 77, …]切り分けた単位ごとの番号数の値は形を示すための例です。
この変換でできること・できないこと
できる
- 音、画像、言葉を、同じ計算に渡せる数にする
- 周波数の上限が決まった波を、飛び飛びの値で表す
この変換だけではできない
- 測った点の間の情報を取り戻す(別の波でも同じ点を通ることがあります)
- 何が写っているかを、数を見ただけで知る
- どの数が見分けに効くかを決める
最後の2つは、次の回の特徴量の話につながります。
確かめたこと
標本化の定理は Shannon (1949) の Theorem 1、同じ点が別の波を表せることは MIT 6.003 の講義資料で確かめました。式 x[n] = x(nT) は T 秒ごとに測ることを式にした書き方で、この講義資料には図と文章で出てきます。式の字面そのものは資料の中で確かめていません。
PNG の画素と深度は W3C の仕様の4節と11節の表、UTF-8 は RFC 3629 で確かめました。「り」のバイト列は RFC の規則から自分で計算し、図は同じ規則で動くブラウザの TextEncoder で計算しています。BPE は Sennrich ほか (2016) の3.2節、tiktoken は公式の README を開いて確かめました。
図の波と絵、形を示す表の数は説明のためのものです。絵は写真の代わりに式で描いています。
同じ棚「AIのウラばなし」の記事
2026.11.15間違いの責任は、出口から入口へさかのぼって配る論文を読む2026.11.08何を間違いとみなすかで、学習が近づく先が変わる論文を読む