推論ワークロード

学習済みAIモデルにライブデータを入力し、予測、意思決定、または応答を生成するプロセス。

推論ワークロードとは、事前学習済みの機械学習モデルが本番環境に導入され、実際のライブ入力を処理して予測、意思決定、または応答を生成する、人工知能の運用フェーズを指す。モデルの知能を構築するために大規模なデータセットを高性能プロセッサのクラスターに投入する学習フェーズとは異なり、推論はその知能を新しいデータに能動的に適用することである。 投資家が推論ワークロードを注視するのは、それが人工知能を、資本集約的な研究開発フェーズから、商業化され収益を生み出すユーティリティへと移行させる動きを表しているからである。モデルの学習にはハードウェアに対する巨額の初期資本的支出（capex）が必要となる一方で、推論ワークロードは実際のユーザー採用に応じて拡大し、経常的な運営費用（opex）とソフトウェア収益を生み出す。その結果、推論ワークロードをホストしたり支えたりする企業は、より予測可能で長期的な需要を享受できることが多い。 AIバリューチェーンに属する企業を分析する際、学習主導の需要から推論主導の需要へのシフトは、市場の成熟を示すシグナルとなり得る。推論需要の高まりは、エンドユーザー向けアプリケーションが浸透しつつあることを示唆しており、クラウドサービスプロバイダー、Software-as-a-Service（SaaS）ベンダー、専門チップメーカーに恩恵をもたらす。しかし、投資家にとっての大きな落とし穴は、推論ワークロードを大規模に実行する際の高い運用コストを見過ごすことである。企業がハードウェア効率やモデルサイズを最適化できなければ、これは粗利益率を圧迫しかねない。

あるソフトウェア企業がカスタマーサービスAIモデルを導入する。履歴チャットログでモデルをトレーニングするには、500,000ドルの一時費用がかかった。稼働後、モデルは月間1,000,000件の顧客クエリを処理し、各クエリには応答を生成するためにクラウドコンピューティングリソースで0.002ドルかかる。継続的な推論ワークロードコストは、1,000,000クエリ × 0.002ドル = 月額2,000ドルと計算される。