大手テクノロジー企業にとっての小規模 AI モデルの大きな利点

August 02, 2024に更新 1議事録を読みます

人間の知能の複製を追求する中で、人工知能の軍拡競争の焦点は当初、広範なデータセットでトレーニングされた大規模なモデルの作成に集中していました。しかし、最近では顕著な変化があり、ハイテク大手や新興企業は、より合理化され、より安価で高速な専門化された AI ソフトウェアにますます注目を向けています。

これらの中小規模の言語モデルは、特に特定のタスク向けに設計され、少ないデータでトレーニングされたもので、非常に人気が高まっています。大型の同等品とは異なり、1,000 万ドル未満のコストで開発でき、使用するパラメータの数は 100 億未満です。比較のために、最大のモデルの 1 つである OpenAI の GPT-4o は、構築に 1 億ドル以上を必要とし、1 兆を超えるパラメーターを使用しました。これらのモデルのサイズが小さいため、計算能力要件が低くなり、クエリあたりの価格が削減されます。

たとえば、Microsoft は小型モデルの Phi ファミリに重点を置いています。 Microsoft の CEO、Satya Nadella 氏は、これらのモデルは OpenAI の ChatGPT の背後にあるモデルの 100 分の 1 のサイズであるにもかかわらず、同等の効率で多くのタスクを処理できると主張しています。 Microsoft の最高商業責任者である Yusuf Mehdi 氏は、大規模なモデルの実行に伴うコストが予想よりも高くなるとして、さまざまなタスクに個別のモデルを使用する必要性を強調しています。さらに、Microsoft は最近、検索と画像生成に多数の AI モデルを利用する AI ラップトップを導入しました。これらのモデルは、ChatGPT の場合のように、大規模なクラウドベースのスーパーコンピューターに依存することなく、デバイス自体で動作します。

Google などの他の企業や、Mistral、Anthropic、Cohere などの AI スタートアップ企業も、より小型のモデルをリリースしています。さらに、Apple は、携帯電話での AI 動作の速度とセキュリティを強化するために、小型モデルを統合する計画を発表しました。

大型モデルを提唱することで有名な OpenAI は、主力モデルのより手頃なバージョンを発売し、将来的には小型モデルの開発に注力する予定です。大規模なモデルは、単純な食料品の買い物にタンクを使用するのと同様、ドキュメントの要約や画像生成などのタスクには過剰であることがわかります。一方、小型モデルは、大幅に低いコストで同等のパフォーマンスを提供できます。これらのモデルは、多くの場合、法的文書の管理や内部コミュニケーションなどの特定のタスクに合わせて調整されています。 AI21 Labs の Yoav Shoham 氏は、小型モデルのほうが広範な使用に経済的に適しており、コストは大規模モデルに比べてほんの数分の 1 で済み、同時に質問に対する回答も得られると主張しています。

企業は、効率を高めてコストを削減するために、これらの小型モデルを容易に採用しています。たとえば、Experian は AI チャットボットの小型モデルに移行し、より大きなモデルと同等のパフォーマンスを、コストを削減して達成しました。 Salesforce の Clara Shih 氏は、モデルは過剰な出費や遅延の問題につながることが多いため、小型モデルの実用性を強調しています。

OpenAI による GPT-4 のリリース以来、大規模モデル開発には大きな進歩がなく、その結果、進歩が停滞しています。その結果、取り組みは小型モデルの効率向上に向けられるようになりました。 Microsoft の Sébastien Bubeck 氏は、大規模な開発が現在停止していることを観察し、効率を高める努力を奨励しています。

この変化にもかかわらず、大規模なモデルは依然として高度なタスクにとって価値があります。 Apple や Microsoft のような企業は、次のような大規模なモデルを組み込み続けています。 ChatGPT として製品に組み込まれていますが、これらの統合は通常、AI 取り組み全体のほんの一部にすぎません。この進歩は、AI が未来的なデモンストレーションから実用的なコマーシャルへの変革を意味します。