蒸留
じょうりゅう蒸留（知識蒸留、distillation）は、大きく高性能なモデルが学んだ内容を、より小さなモデルに移し替える学習手法。大きい側を教師モデル、小さい側を生徒モデルと呼び、生徒は正解ラベルだけを覚えるのではなく、教師が出力した確率の分布（ソ…
意味・読み
| 読み | じょうりゅう |
|---|---|
| カテゴリ | テクノロジー |
| 話題になった時期 | 2015-03 頃 |
蒸留の読み方は「じょうりゅう」です。
蒸留（知識蒸留、distillation）は、大きく高性能なモデルが学んだ内容を、より小さなモデルに移し替える学習手法。大きい側を教師モデル、小さい側を生徒モデルと呼び、生徒は正解ラベルだけを覚えるのではなく、教師が出力した確率の分布（ソフトターゲット）を再現するように訓練される。分布には「どのクラスとどのクラスが似ているか」という情報が含まれるため、正解だけを見るより豊かな手がかりが得られる。目的は、計算資源の限られた環境でも動く小さなモデルで、実用に足る性能を保つこと。
経緯・背景
概念を定式化したのは、Geoffrey Hinton、Oriol Vinyals、Jeff Dean による2015年3月9日投稿の論文「Distilling the Knowledge in a Neural Network」とされる。複数のモデルを平均して精度を上げるアンサンブルは性能が高い一方、そのまま運用するには計算量が大きすぎるという実務上の課題に対し、アンサンブルの知識を単一のモデルに移す圧縮手法として提案された。論文ではMNISTでの実証と、商用システムで使われていた音響モデルの改善が示されている。ただし発想の源流はさらに古く、2006年には Cristian Buciluă、Rich Caruana、Alexandru Niculescu-Mizil が、高性能なアンサンブルでラベル付けした大量の疑似データで小さなモデルを訓練するというモデル圧縮の研究を発表している。
なぜ話題になったのか
モデルは大きくすれば賢くなるが、大きいままでは端末上や低コストな環境で動かせない。蒸留は「賢さをできるだけ落とさずに小さくする」という需要にまっすぐ応える手法なので、実用化の話題とともに繰り返し取り上げられてきた。自然言語処理では DistilBERT が代表的な適用例として知られ、物体検出や音響モデル、グラフニューラルネットワークにも応用されている。近年は、軽量な派生モデルの登場が相次いだことで、技術者以外の目に触れる機会も増えた語になっている。
人気ポスト・反応
人気ポストの概要
小さなモデルが高い性能を示したときに、その手法として言及されることが多い語。手元で動かせる軽量モデルの話題や、モデル提供者の利用規約と出力の再利用をめぐる議論の中でも登場する。技術の説明としては、教師と生徒という比喩がそのまま使われることが多い。
※ 上記は実際に見られる反応の傾向をまとめたものです。特定の投稿を再現・引用したものではありません。
「蒸留」に関するXの人気ポスト（話題の投稿）は、以下のリンクからXの検索結果でご覧いただけます。
※ リンク先はX（旧Twitter）の検索・該当ページです。表示内容は時期により変動します。
関連するサイト
この話題に近いことを扱っている姉妹サイトのページです。あわせてどうぞ。
関連する商品
以下はAmazonの検索リンクです。当サイトはAmazonアソシエイトとして、適格販売により収入を得ています。
よくある質問
- 蒸留とは何ですか？
- 蒸留（知識蒸留、distillation）は、大きく高性能なモデルが学んだ内容を、より小さなモデルに移し替える学習手法。
- 蒸留の読み方は？
- 蒸留は「じょうりゅう」と読みます。
- 蒸留はなぜ話題になったのですか？
- モデルは大きくすれば賢くなるが、大きいままでは端末上や低コストな環境で動かせない。
- 蒸留の元ネタ・由来は？
- 概念を定式化したのは、Geoffrey Hinton、Oriol Vinyals、Jeff Dean による2015年3月9日投稿の論文「Distilling the Knowledge in a Neural Network」とされる。
出典・関連ページ
「蒸留」を調べるときに参考にした、実際に開けることを確認したページです。画像と見出しはリンク先のものです。
