生成 AI とは？
生成 AI は、比較的短期間で世界に多大な影響をもたらしました。このテクノロジーにより、ユーザーの簡単な入力から、魅力的で有益なテキストを生成できます。インテリジェントで応答性の高い人間のようなデジタルチャットボットは、社員の関与なしに、顧客を支援することができます。美しい画像、動画、オーディオを、想像しうるあらゆるクエリに応答して、ほぼ瞬時に作成することができます。
生成 AI は、膨大な量のデータと複雑にトレーニングされた AI アルゴリズムによって可能となるため、データ・サイエンティストとデベロッパーは、ビジネスが必要なアウトプットやエクスペリエンスを確保するために多大な努力を必要とします。理想的には、予算の範囲内で、これらのワークロードに必要な低レイテンシーと高速な応答時間を実現する、強力で慎重に選択されたハードウェアが導入されます。
一般的には、生成 AI は、ユーザーのプロンプトに応答して、デマンド生成メール、素晴らしい風景、またはダイナミックなチャットボットの応答などのコンテンツを生成する AI ソリューションのことを指します。ChatGPT、Stable Diffusion、Dall-E などのテクノロジーを使用して構築されたソリューションは、毎日トップニュースで報じられ、あらゆる組織で、その運用化と革新的価値を引き出す方法を模索しています。
生成 AI は、データ・サイエンティストとデベロッパーが、ビジネスに必要なアウトプットやエクスペリエンスを微調整する必要があるトランスフォーマー・モデルを使用して、非構造化データ群でトレーニングされます。
ビジネス上の課題に生成 AI を適用しようとする組織は、モデルをゼロからトレーニングするか、ニーズに合わせて微調整できる事前にトレーニングされたモデルを選択することができます。
生成 AI は、言語 AI と自然言語処理 (NLP) と組み合わせて構築され、導入されることで、AI は人間の言語を処理し、理解することができます。生成 AI と NLP は、ユーザープロンプトを理解し、テキスト、ビデオ、画像、オーディオのいずれにおいても、適切な応答を生成することができます。
生成 AI はどのように機能しますか？
生成 AI は、AI モデルにユーザープロンプトへの応答方法を「教える」広範なデータセットにより、実現されます。生成 AI モデルは、類似したタイプのデータと情報間の共通性を見出し、新しいコンテンツを作成します。モデル・トレーニングは、アルゴリズム学習をガイドし、より正確なアウトプットを導くためにデータ・サイエンティストと専門家のインプットからも情報を入手します。
生成 AI ソリューションを実現するために、オープンソース・モデルを、組織固有のニーズに合わせてカスタマイズすることができます。例えば、一般化された AI チャットボットのアルゴリズムを、組織の顧客ベースやビジネスモデルの特定の特性に合わせてトレーニングすることができます。または、別の例として、コンテンツ・マーケティングで使用されるテキストを生成することを意図するモデルを、さらに専門化および微調整することで、特定のインダストリーや対象ユーザーに焦点を当てることができます。よりドメイン固有のモデルもまた、急速なペースで出現しています。これらは、大きなモデルよりも、より小さく、よりターゲットを絞ったデータセットでトレーニングされます。新たな結果は、慎重に収集されたデータでトレーニングすれば、小さなモデルが大きなモデルの精度を複製できることを示しています。
生成 AI ソリューションは、大規模言語モデル (LLM) と呼ばれる AI のブランチを利用します。これらは、ディープ・ニューラル・ネットワークを使用してテキストを処理し、生成する言語 AI モデルです。これらは、膨大な量のテキストデータでトレーニングされ、一貫した有意義なアウトプットを提供するように設計されています。LLM は、トランスフォーマー・アーキテクチャーを使用して、入力シーケンスを並列処理し、従来のニューラル・ネットワークと比較してパフォーマンスとスピードを向上させます。
生成 AI と言語 AI ユースケース
生成 AI と言語 AI を組み合わせることで、次のような新しいツール、サービス、アプリケーションを作成できます。
- コンテンツ生成: 記事、ブログ投稿、製品説明、その他の文書を自動的に作成します。
- チャットボット: 顧客がテキストまたは音声を介してやり取りできる、ダイナミックでインテリジェントな会話 AI モデルを強化します。
- 画像、動画、オーディオの生成: 既存の資料を分析し、ユーザープロンプトに照らし、新しいビジュアルとサウンドを作成します。
- 言語翻訳: ある言語から別の言語にテキストを翻訳します。
- データ増強: 他の機械学習モデル用の合成データを作成し、精度とパフォーマンスを向上させます。
- テキスト要約: 分量の多いテキストを簡潔なフォーマットに要約することで、読者がメインのポイントやアイデアをすぐに理解できるようにします。
言語外のケースや生成 AI 以外のケースを含む、より多くの AI ユースケースについては、インテル® AI ユースケース概要をご覧ください。
インテル® テクノロジーによる生成 AI のトレーニングと導入
生成 AI のパワーをビジネスに活用することは、スピード、コスト、スケールのバランスをとることが重要です。生成 AI 機能を自信を持って導入していただくために、インテルはイニシアチブの合理化し、ROI を加速するための、ハードウェアおよびソフトウェア・テクノロジーの両方が組み合わせられた専用ポートフォリオを提供します。インテルの使命は、AI イノベーターが、エッジからクラウドおよびデータセンターまで、必要な場所に最適なパフォーマンス、スケーラビリティー、コストでの AI を導入することを可能にすることです。
生成 AI トレーニングと導入を簡素化するソフトウェア・リソース
インテルは、トレーニングと導入の両方において、パフォーマンスの最大化と生産性の飛躍的な向上をサポートする、幅広いソフトウェア・ツールと最適化を、デベロッパーとデータ・サイエンティストに提供します。
PyTorch や TensorFlow など、人気のデータ・サイエンス・フレームワークのために、インテル® アーキテクチャーのパフォーマンスを大幅に向上させる最適化を提供します。oneAPI による統一プログラミング言語の一部として、ディープラーニング・ビルディング・ブロックが高度に最適化された実装を備えるインテル® oneAPI ディープ・ニューラル・ネットワーク・ライブラリーを提供します。oneAPI® による統一プログラミング・モデルはまた、開発チームの負担を軽減し、異機種のハードウェア・プラットフォームをサポートするために使用することもできます。
インテル® Extension for Transformers は、インテル® プラットフォーム上でトランスフォーマー・ベースのモデルの高速化を可能にするための、もうひとつの重要なツールです。このツールキットは、モデル圧縮、高度なソフトウェアの最適化、独自の圧縮認識ランタイム、および Stable Diffusion、GPT-J-6BM、BLOOM-176B などの最適化されたモデル・パッケージにおいて、シームレスなユーザー体験を提供します。
さらに、Accenture とのパートナーシップにより、生成または言語 AI プロジェクトの開始に役立つリファレンス・キットを提供します。
インテル® ディストリビューションの OpenVINO™ ツールキット
インテル® ディストリビューションの OpenVINO™ ツールキットにより、デベロッパーが生成 AI を開発し導入する際に、時間を節約し、成果を加速することができます。このオープンソースのツールキットは、デベロッパーがコードを一度書けば、あらゆる場所に導入できるようにします。TensorFlow、PyTorch、Caffe など、人気のフレームワーク向けのモデルを簡単に変換して最適化し、AI 戦略に必要なさまざまなタイプのハードウェア・アーキテクチャーに高速化されたパフォーマンスで導入できます。
始めるには、GitHub のノートブック Stable Diffusion による画像生成と、ControlNet Conditioning によるテキスト画像生成をご覧ください。
インテル® ディストリビューションの OpenVINO™ ツールキットで、インテル® GPU および CPU での Stable Diffusion の使用についての詳細は、こちらの記事も合わせてご参照ください。
生成 AI についての Hugging Face とのパートナーシップ
生成 AI と言語 AI のトレーニングとイノベーションを円滑にするため、インテルは AI モデルとデータセットを共有する人気のプラットフォームである Hugging Face と提携しました。最も注目すべきは、Hugging Face が NLP 向けに構築されたトランスフォーマー・ライブラリーで知られていることです。
Hugging Face と協力し、トランスフォーマー・モデルによるトレーニング、ファインチューニング、予測のための最先端のハードウェアおよびソフトウェア・アクセラレーションを構築しました。ハードウェア・アクセラレーションは、インテル® Xeon® スケーラブル・プロセッサー・ファミリーにより駆動され、ソフトウェア・アクセラレーションは、最適化された AI ソフトウェア・ツール、フレームワーク、ライブラリーのポートフォリオにより有効化されます。
Optimum インテルは、Hugging Face トランスフォーマー・ライブラリーと、インテル® ニューラル・コンプレッサーを含むインテル® アーキテクチャーのエンドツーエンドのパイプラインを高速化するさまざまなツールおよびライブラリーとの間のインターフェイスを提供します。インテルラボ、UKP ラボ、Hugging Face もまた、共同で、センテンス・トランスフォーマーの少量データファインチューニングのための効率的なフレームワークである SetFit の構築に取り組みました。
インテルの Habana® Gaudi® ディープラーニング・アクセラレーターもまた、Habana® Optimum ライブラリーを通じて、Hugging Face のオープンソース・ソフトウェアと共同し、Hugging Face コミュニティによって最適化された数千のモデルでのデベロッパーの使いやすさを向上させました。
Hugging Face はまた、Stable Diffusion、T5-3B、BLOOMZ 176B および 7B、および新しい BridgeTower モデルといった生成 AI モデルに対する、Habana® Gaudi® 2 のパフォーマンスの評価も公開しています。
インテル® ディストリビューションの OpenVINO™ ツールキットによる Stable Diffusion の運営に関する関連情報も、Hugging Face によりご覧いただけます。
インテルと Hugging Face が、生成 AI への取り組みの計画と最適化にどのようなお手伝いができるかの詳細については、次のページをご覧ください。
- ブログ: インテル® CPU で Stable Diffusion モデルを微調整する
- ブログ: インテル® CPU での Stable Diffusion 推論の高速化する
- ブログ: NNCF と Hugging Optimum によるインテル® CPU の Stable Diffusion を最適化する
- ブログ: インテル® Xeon® スケーラブル・プロセッサー・ファミリーで PyTorch トランスフォーマーを高速化する パート 1
- ブログ: 第4世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーで PyTorch トランスフォーマーを高速化する パート ２
- SetFit ウェビナー: 製造現場における Few-Shot 学習
- インテルと Hugging Face のツールでトランスフォーマー・モデルを最適化
生成 AI トレーニングと導入のためのハードウェア推奨事項
適切なソフトウェア・ツールセットが、生成 AI および言語 AI の導入を成功させるためには不可欠である一方、ハードウェアも欠くことのできない役割を果たします。AI がラボから日常の使用へと進歩するにつれて、スケーラビリティーとサステナビリティーは、トレーニングと推論の両方にとって主要な懸念事項となっています。
生成 AI モデルまたは言語 AI モデルを導入するための計算要件は、関連するパラメーターの数に応じて大きく異なります。モデルのトレーニングも同様です。イニシアチブの規模にかかわらず、インテルはあなたに合ったハードウェア・ソリューションを提供します。
大規模トレーニングと推論: Habana® Gaudi® 2
生成 AI ワークロードの大規模なトレーニング、ファインチューニング、推論には、特化した AI ハードウェアが必要であり、ここで、Habana® ソリューションが役立ちます。
トレーニングと導入のニーズに応じて、Habana® Gaudi® 2 の導入は、1 台のアクセラレーターから、8 台のアクセラレーター対応 AI サーバーで構成される数千の Habana® Gaudi® 2 クラスターまで調整することができます。インテル® デベロッパー・クラウドでは、Habana® Gaudi® 2 プラットフォームでのトレーニングおよび推論ワークロードの優位性をご確認いただけます。
Habana® Gaudi® 2 ソリューションの高度なパフォーマンス機能の詳細については、https://habana.ai/blog/ をご覧ください。
中規模トレーニングと推論: インテグレーテッド・アクセラレーター・エンジンまたはディスクリート・グラフィックスを搭載したインテル® Xeon® スケーラブル・プロセッサー・ファミリー
一般的に、生成 AI 推論モデルのファインチューニングと負荷の低いトレーニング・ワークロードには、インテル® Xeon® スケーラブル・プロセッサー・ファミリーをお勧めします。これらのソリューションは、より高度なワークロード向けに、ディスクリート GPU で補強することができます。
導入のコスト効率を最大化するために、最新のインテル® Xeon® スケーラブル・プロセッサー・ファミリーは、次の強力な 2 つのインテグレーテッド・AI アクセラレーション・エンジンを搭載しています。
- 特化されたアーキテクチャーによるディープラーニング・トレーニングと推論ワークロードを最適化するインテル® アドバンスト・マトリクス・エクステンション (インテル® AMX)。
- 単精度 (32 ビット) と半精度 (16 ビット) の両方の表現を活用し、トレーニングを高速化し、メモリー効率を向上させるインテル® Auto Mixed Precision (インテル® AMP)。
これらの統合機能を活用することで、インテル® Xeon® スケーラブル・プロセッサー・ファミリーを使用して、専用のハードウェアに投資することなく、より要求の厳しい推論をサポートし、ワークロードをトレーニングすることができます。これにより、AI ソリューションのコスト効率とスケーラビリティーが向上します。
小規模推論: インテグレーテッド・グラフィックスまたはディスクリート・グラフィックスを搭載したインテル® Core® プロセッサー・ファミリー
エッジ導入を含む基本的な推論タスクについては、インテル® Core™ Ultra プロセッサーを導入することで、パフォーマンスのニーズを満たしながら、コスト効率を最大限に引き出すことができます。これらのプロセッサーは、複雑さの少ない推論タスクを多く処理できるインテグレーテッド・グラフィックスを搭載しています。また、インテル® Arc™ グラフィックスで補強することで、パフォーマンスを向上させ、より複雑なタスクをサポートすることもできます。
さらに、インテル® Core™ Ultra プロセッサーは、強力なインテグレーテッド・グラフィックス機能またはディスクリート・グラフィックス・アクセラレーターによる補強により、複雑なワークロードにもハイパフォーマンスな推論機能を提供します。推論を汎用 CPU に頼ることで、ニーズの変化に応じて、より幅広いワークロードをサポートする、全体的なフレキシビリティーが向上します。
インテル® AI プラットフォームでの構築を今すぐ開始
インテル® AI ハードウェアおよびソフトウェアのポートフォリオの幅広さと奥行きは、AI イノベーションを、自信と、最小限に抑えられたリスク、最大化されたフレキシビリティーを持って追求するための無数の方法を提供します。インテルは、モデルをゼロからトレーニングする場合、既存のアルゴリズムをファインチューニングする場合、または高度な推論を大規模に実行する方法を模索する場合など、いかなる場合においても、生成 AI および言語 AI イニシアチブの成功をお手伝いします。
包括的な AI ポートフォリオの詳細、およびインテル® テクノロジーのメリットをさらに詳しく知るには、次のページをご覧ください。