間違いの責任は、出口から入口へさかのぼって配る
前回までに、重みは損失が減る向きへ少しずつ動かすと書きました。そのためには重みごとの傾きが要ります。層を重ねた式で、入口に近い重みの傾きをどう求めるのかを、掛け算でつながる変わり方から順に追い、誤差逆伝播にたどり着きます。
本文を読むAIで何かを作るとき、頼む人も作る人も、同じところで迷います。規約、重さ、費用、そして新しい研究やツールが本当に使えるのか。自分で作って確かめたことを、確かめ方ごと置いています。
今号の1本
前回までに、重みは損失が減る向きへ少しずつ動かすと書きました。そのためには重みごとの傾きが要ります。層を重ねた式で、入口に近い重みの傾きをどう求めるのかを、掛け算でつながる変わり方から順に追い、誤差逆伝播にたどり着きます。
本文を読むAIを触ったことはあるものの、AIエージェントはまだ活用できていない方に向けて、自分のパソコンでAIに作業を任せるところまでを一緒に進める、少人数の講座を開きました。全2回のうち第1回を終えたので、事例としてまとめます(参加者の方から掲載の承諾をいただいています)。
お知らせや商品説明をAIで下書きしてサイトに載せる前に、Google 検索セントラルの公式ページで「AIを使うこと自体は問題か」「どんな使い方が違反になるか」「AIを使ったと書くべきか」を確かめました。
目次
前回は損失を「ずれの2乗の平均」と決めて話を進めました。この回はその決め方の話です。二乗誤差、絶対誤差、Huber 損失、交差エントロピーの順に、何を間違いとみなすかで学習の行き先が変わる様子を見て、最後にほかの損失関数もまとめます。
Zhang ほか『Dive into Deep Learning』3.1節・4.1節/PyTorch 公式ドキュメント(nn の損失関数)/scikit-learn 公式ドキュメント(Hinge loss・Pinball loss)/Radford ほか「Improving Language Understanding by Generative Pre-Training」(2018)/Lin ほか「Focal Loss for Dense Object Detection」(2017) ほか、各損失関数の原論文
これまでの回で「重みは学習で決まる」と書いてきました。この回はその決まり方です。正解のある記録から始めて、出力と正解のずれを小さくするように重みを直していく流れを順に追い、その方法である勾配降下法にたどり着きます。
Zhang ほか『Dive into Deep Learning』3.1節・12.3節・12.4節/Cauchy「Méthode générale pour la résolution des systèmes d'équations simultanées」(1847)/Lemaréchal「Cauchy and the Gradient Method」(2012)
同じりんごの写真を少しずらすと、画素の数は大きく変わります。それでも変わらず、みかんとは離れる数が特徴量です。画像、音、言葉の例を読み、最後に特徴量とは何かをまとめます。
Zhang ほか『Dive into Deep Learning』7.1節・7.2節/NumPy 公式ドキュメント numpy.fft/scikit-learn 公式ドキュメント Text feature extraction/Bengio・Courville・Vincent「Representation Learning」(2013)/Krizhevsky・Sutskever・Hinton「ImageNet Classification with Deep Convolutional Neural Networks」(2012)/Zeiler・Fergus「Visualizing and Understanding Convolutional Networks」(2013)
コンピュータが計算できるのは数だけです。音は波の高さを測り、画像はマスに区切って明るさを測り、言葉は番号にする。特徴量の話の手前にある、数への変換を順に見ます。
Shannon「Communication in the Presence of Noise」(1949)/MIT 6.003 Lecture 21「Sampling」/W3C「PNG Specification (Third Edition)」/RFC 3629「UTF-8」/Sennrich ほか「Neural Machine Translation of Rare Words with Subword Units」(2016)/OpenAI「tiktoken」README
1本目で残した「曲がった境目の作り方」の回です。直線を重ねるだけでは曲がらない理由と、間に挟む非線形の関数の役割を、ReLU、sigmoid、tanh、softmax まで順に読みます。
Zhang ほか『Dive into Deep Learning』4.1節・5.1節/Cornell 大学 CS4780 の講義ノート「The Perceptron」/Glorot・Bordes・Bengio「Deep Sparse Rectifier Neural Networks」(2011)/Hendrycks・Gimpel「Gaussian Error Linear Units (GELUs)」(2016)/Vaswani ほか「Attention Is All You Need」(2017)/Cybenko「Approximation by superpositions of a sigmoidal function」(1989)
見積書や顧客リストをChatGPT・Claude・Geminiに貼る前に、プランごとに「学習に使われるか」「どれくらい残るか」「人が見ることがあるか」を公式ページで確かめました。
OpenAI のエンタープライズ向けプライバシーと ChatGPT のデータ設定/Anthropic(Claude)の個人向け・法人向けの学習と保存期間の説明/Google の Gemini アプリと Google Workspace の生成AIプライバシー/個人情報保護委員会の生成AIサービス利用に関する注意喚起
Word2Vec では、1つの語に1本のベクトルでした。この回は、同じ語のベクトルを文ごとに作り直す仕組み、アテンションの1本の式を、Q・K・V から順に部品に分けて読みます。
Vaswani ほか「Attention Is All You Need」(2017)/Bahdanau・Cho・Bengio「Neural Machine Translation by Jointly Learning to Align and Translate」(2014)/Jain・Wallace「Attention is not Explanation」(2019)/Wiegreffe・Pinter「Attention is not not Explanation」(2019)
2本目では、できあがったベクトルどうしを比べました。この回は、そのベクトルを作る Word2Vec(2013年に公開されたツール)の、真ん中にある1本の式を部品に分けて読みます。
Mikolov ほか「Distributed Representations of Words and Phrases and their Compositionality」(2013)/Mikolov ほか「Efficient Estimation of Word Representations in Vector Space」(2013)
言葉が数の並び(ベクトル)になっているとき、2つの言葉の近さは向きの近さとして測れます。この回は、できあがったベクトルどうしを比べる話です。
Jurafsky・Martin『Speech and Language Processing』3rd ed. 草稿 第5章/Mikolov・Yih・Zweig「Linguistic Regularities in Continuous Space Word Representations」(2013)/Mikolov ほか「Efficient Estimation of Word Representations in Vector Space」(2013)/Nissim ほか「Fair Is Better than Sensational」(2020)
特徴に重みをかけて足し、0 より上か下かを見る。見分ける仕組みをさかのぼると、この小さな計算に行き着きます。今のAIが、この計算だけで見分けているわけではありません。
Rosenblatt「The perceptron」(1958)/Shalev-Shwartz・Ben-David『Understanding Machine Learning』9.1節/Cornell 大学 CS4780 の講義ノート「The Perceptron」
制作費の見積もりには出てきにくい、公開してからかかるお金。ドメイン・公開先・保守の三つに分けたうち、ドメインと公開先(https の証明書を含む)について、無料で済むところと済まないところ、更新を忘れたときに起きることを整理します。
Vercel の Hobby プランと Fair Use Guidelines/Cloudflare Pages の制限と料金、Cloudflare Registrar/Let's Encrypt の概要/ICANN「Expired Registration Recovery Policy」/JPRS「ドメイン名の廃止に関する注意」
公開したあとのサイトの管理を、自分でやるか任せるかを見極めるための記事。管理でやることを時期で分けた一覧、自分で管理するときに起きやすいこと、6つの目安、任せる場合の保守費と契約で確かめること、どちらに決めても自分で持つものを整理します。
WordPress「Hardening WordPress」/IPA「安全なウェブサイトの運用管理に向けての20ヶ条」と「安全なウェブサイト運営にむけて」/Let's Encrypt「期限切れ通知メールの終了」/GitHub「Dependabot security updates」と Cloudflare Pages「Rollbacks」/ICANN「Transfer Policy」
熊本の電器店のホームページを、ページ構成や文章、URLを変えずに、文字・色・アイコン・部品の見た目から見直しました。
生成AIの画像を広告やロゴ、商品に使ってよいのか。ツールの規約・著作権・商標という別々の問題を切り分けて、使う前に確認する順番を整理します。
Midjourney・OpenAI・Adobe Firefly の利用規約/文化庁「AIと著作権に関する考え方について」/産業構造審議会 商標制度小委員会(2025年6月)
商品やサービスを3Dで見せたいが、表示が重くなるのが不安。その「重さ」がどこから来ていて、どこまで下げられるのかを、制作する側から整理します。
web.dev の LCP の解説/Khronos の glTF 圧縮(Draco・KTX 2.0)の発表
毎月の勤怠登録を、一件ずつの手入力からまとめての登録へ。登録前に内容を確認できる形で、作業時間を短縮しました。