モデル蒸留

大規模で複雑なAIモデルから、より小型で効率的なモデルへ知識を転移するプロセス。

モデル蒸留は、小規模でコンパクトなモデル（「生徒」）が、大規模でリソース集約型のモデル（「教師」）の挙動と出力を再現するように訓練される機械学習技術である。より大きなモデルから軽量なフレームワークへ知識を転送することで、開発者は大幅に少ない計算能力とメモリで実行できる高度なAIツールを作成できる。 テクノロジーおよび半導体セクターの投資家にとって、モデル蒸留はコスト効率と展開戦略の主要な推進要因である。最先端の基盤モデルの訓練には、主に高度なGPU（グラフィックス処理ユニット）向けに数千万ドルの設備投資が必要となる。蒸留により、ソフトウェア企業はこれらの機能をスマートフォンやラップトップなどのエッジデバイスに展開したり、クラウドデータセンターで運用・推論コストのほんの一部で実行したりできる。 競争の観点からは、蒸留は機会とリスクの両方をもたらす。競合他社が蒸留を用いて高価な独自モデルの性能を同じ研究開発費を負担することなく複製できるため、AI機能の急速なコモディティ化につながる可能性がある。投資家は、企業が知的財産をどのように保護しているか、また蒸留のトレンドがハイエンドハードウェアの長期的需要を減少させるかどうかを監視する必要がある。

AIソフトウェア企業は、実行に1,000 APIクエリあたり$0.08かかる大規模な「教師」モデルを運用している。蒸留を通じてより小規模な「生徒」モデルを訓練することで、運用コストを1,000クエリあたり$0.004に削減する。同社が月間5億クエリを処理する場合、月間運用費は$40,000（$0.08 × 500,000）から$2,000（$0.004 × 500,000）に下がり、推論コストの95%削減に相当する。