デバイス上でのジェネレーティブ AI (GenAI) 推論の分散化 — ホワイトペーパー

詳細

AI 推論をデータソースに近づけることで、コスト、プライバシー、パフォーマンスにおいて大きなメリットが得られます。軽量なGenAIモデル(つまり、1〜8Bのパラメーター)の最近の進歩は、GenAIの導入をクラウドからエッジに移行する破壊的な機会を提供しますが、クラウドベースのGenAIに代わるものは実用的で効率的である必要があります。このホワイトペーパーでは、CPU-GPU-NPU (インテル® Core™ Ultraプロセッサー、インテル® Arc™ GPU など) とオープンソースの GenAI モデルに組み込まれたコンピューティング・アクセラレーションを使用して、GenAI の導入をクラウドネイティブ (GPU ベース) ソリューションからエッジ (ハードウェアベース) ソリューションに移行するための戦略的アプローチについて概説します。オンデバイス展開は、低い総保有コスト(TCO)、オフライン機能、データ主権、およびレイテンシーの低減を提供し、以前は展開の障壁に直面していた可能性のある地域やセクターを超えて強力なGenAIモデルにアクセスできるようにします。