課題
ビジョン AI は、Meituan にとって、ビジネスモデル・イノベーションを推進し、ユーザーにより正確でパーソナライズされたインターネット・サービスを提供し、競争上の優位性を高めるための鍵となっています。しかしまた、Meituan の AI 推論のビジョンは、処理能力とコストにおいてさまざまな課題に直面しています。
パフォーマンス
Meituan のビジネスとユーザーベースが増大し続ける中、より多くのアプリケーションが、ビジョン AI を通じたインテリジェントなプロセスの開発を必要とします。Meituan は、精度を損なうことなく、ビジョン AI 推論のスループットを向上させ、よりインテリジェントな運用をサポートする必要があります。
コスト
大量のデータでビジョン AI 推論を実行するには、大規模なインフラストラクチャーの投資が必要です。ディスクリート GPU はパフォーマンス要件を満たすことができますが、その価格は比較的高額です。低トラフィックのロングテール・モデル推論サービスには、多くの場合、CPU の方がよりコスト効率が高くなります。
柔軟性
Meituan は、複数のアーキテクチャー全体での柔軟なリソース・スケジューリングにより、そのビジョン AI サービスの俊敏性を高め、ロングテール・シナリオの AI 推論要件を満たすことを目指しています。
ソリューションの概要
現在、人工知能 (AI) を搭載したコンピューター・ビジョンは、企業がデータインサイトを獲得し、ビジネスのインテリジェント・トランスフォーメーションを推進するための重要な方法になっています。ビジョン AI は、強化されたディープラーニング・ニューラル・ネットワークを活用することで、より洗練された方法でデータを抽出し、分析を新しいレベルに引き上げ、作業効率の最適化、コストの削減、収益の向上、および顧客満足度の向上を実現します。企業は、ビジュアルデータの爆発的な成長と継続的なビジネス開発により、コンピューター・ビジョン AI モデルのトレーニングを加速し、推論パフォーマンスを向上させながら、投資による利益の向上を得ることを期待しています。
Meituan は、主要なリテール・テクノロジー企業として、「リテール + テクノロジー」戦略を通じて、人々がより良く食べ、より良く生活できるよう支援するという使命に尽力しています。Meituan は、革新的なビジョン AI テクノロジーを使用して、ケータリング、旅行、観光、ショッピング、エンターテインメントなどのビジネスを支援することを重要視しています。Meituan は、AI 推論を高速化するために、第 4 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーや、内蔵インテル® アドバンスト・マトリクス・エクステンション (インテル® AMX) などの高度なハードウェア機能を活用しています。従来のビジョンモデルの推論パフォーマンスは、FP32 から BF16 へのモデル変換などの方法により、約 3.38 ～ 4.13 倍向上できます。1 Meituan は、これらのテクノロジーを動的スケーリングなどのヘッダーサービス最適化戦略と組み合わせることで、オンラインリソースの全体的な効率を 3 倍超向上させ、サービスコストを 70% 節約しました。2
図 1.Meituan ビジネスにおけるビジョン AI テクノロジーの代表的なアプリケーション。
Meituan が、ビジョン AI アプリケーションを活用してインテリジェントな変革を支援
ビジョン AI は、Meituan のコンテンツ作成、コンテンツレビュー、配布、ユーザーとのやり取り、価値実現、そのほかの関連ビジネスに浸透しています。Meituan のビジョン AI は、シナリオベースの製品と革新的なツールにより、業界を支援します。これは、インテリジェントな画像処理、加盟店登録証明書の識別、QR コード・バイクロック、医薬品パッケージのスキャン、ID 認証などのシナリオに応用されており、ビジネスの知的変革を実現しています。
図 2。Meituan のマイクロサービス・ベースのビジョン AI アルゴリズム・プロセスのフロー。
Meituan は、ビジョン AI 推論サービスをさらに最適化するために、元のアルゴリズム・サービス・プロセスをマイクロサービス・ベースのビジョン AI アルゴリズム・プロセスに変換し、CPU サービスをほかのアクセラレーター・サービスから分離し、異なるワークロードをさまざまなデバイスで実行できるようにしています。スケジューリングを中間層でスケジューリング・サービスを開始て実行し、ハードウェアの使用率を向上させます。
Meituan は、ビジョン AI 推論サービスのコストの課題に直面して、低トラフィックのロングテール・モデル推論サービスに CPU ベースの戦略を採用しました。インテル® Xeon® スケーラブル・プロセッサー・ファミリーは、比較的低いワークロードの圧力とレイテンシー要件を備えたモデル推論サービスを処理するために使用されました。このアプローチは、Meituan が、既存の CPU リソースを効率的に活用し、GPU 導入と O&M のコストを削減できることを保証します。
図 3。Meituan の CPU ベースの低トラフィック・ロングテール・モデル推論サービス。
また、Meituan は、遅延に敏感で高い安定性を必要とし、変動するトラフィックを有するオンライン動作を、遅延の影響を受けず、安定性を必要としない均一のトラフィックを有するオフラインのバッチ処理操作から分離する、トラフィック感応型ヘッダーサービス最適化戦略も採用しています。多くのリソースは、動的スケーリングにより、オフラインバッチ処理向けにオフピーク期間に解放されるため、リソースを節約し、全体的な AI 推論パフォーマンスを向上させます。
図 4. Meituan のビジョン AI 推論最適化戦略。
第 4 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーが、ビジョン AI の推論パフォーマンスを支援
Meituan は、ビジョン AI 推論サービスのパフォーマンスをさらに加速するために、第 4 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリー、内蔵インテル® AMX アクセラレーター、およびインテル® インテグレーテッド・パフォーマンス・プリミティブ (インテル® IPP) などのソフトウェア・スイートを活用して、最適化を行います。
第 4 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーは、革新的なアーキテクチャーにより、サイクル当たりの命令数 (IPC) を増加させます。このプロセッサーは、ソケット当たり最大 60 コアおよび 8 チャネルの DDR5 メモリーのサポートにより、メモリー帯域幅と速度を改善するとともに、PCIe 5.0 当たりのメモリー帯域幅の向上を実現します (80 チャネル)。第 4 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーは、最新のパフォーマンスとセキュリティー、およびビジネス需要に応じて拡張できる機能を提供します。このプロセッサーは、内蔵アクセラレーターにより、AI、分析、クラウドおよびマイクロサービス、ネットワーキング、データベース、ストレージ、その他のワークロード全体で最適化されたパフォーマンスをユーザーに提供します。第 4 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーは、堅牢なエコシステムと組み合わせることで、ユーザーがより効率的で安全なインフラストラクチャーを構築するのに役立ちます。
第 4 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーは、AI パフォーマンスを次のレベルに引き上げ、革新的なインテル® AMX アクセラレーターを搭載しています。旧世代のインテル® Xeon® スケーラブル・プロセッサー・ファミリーで提供されていたインテル® アドバンスト・ベクトル・エクステンション 512 (インテル® AVX-512) と違い、インテル® AMX は、新しい命令セットと回路設計を採用しています。行列演算を提供することにより、AI アプリケーションのサイクル当たりの命令数が大幅に向上され、AI ワークロードのトレーニングと推論のパフォーマンスが強化されます。
図 5. インテル® AMX は、インテル® AVX-512 と比較して、大幅な行列演算の向上を実現します。3
実環境のワークロードでは、インテル® AMX は、BF16 および INT8 のデータタイプに対応できます。BF16 は、標準の IEEE-FP32 と同様のダイナミック・レンジを有しますが、FP32 よりも低精度です。ほとんどの場合、BF16 には、FP32 と同じモデル推論制度がありますが、BF16 は FP32 の半分のサイズのデータのみを処理するため、そのスループットははるかに高く、メモリーリソース要件ははるかに低くなります。インテル® AMX は、1 つの物理コア当たり 1 回のサイクルで 2048 回の INT8 動作と 1024 回の BF16 動作を実現でき、3 インテル® AVX-512 アクセラレーション・テクノロジーと比較して、AI ワークロードの効率を大幅に向上します。
図6.インテル® IPEX アーキテクチャー。
また、Meituan は、インテル® Extension for PyTorch (インテル® IPEX) を統合して、PyTorch を高速化します。インテル® IPEX は、インテルが立ち上げたオープンソースの拡張プロジェクトであり、PyTorch 拡張メカニズムに基づいて実装されています。インテル® IPEX は、追加のソフトウェア最適化を提供してハードウェア機能を完全に活用することで、ネイティブ PyTorch を通じて、インテル® プロセッサーでのディープラーニング推論とトレーニングのコンピューティング・パフォーマンスを向上させます。
図7.FP32/BF16 モデル推論パフォーマンスの比較。1
Meituan は、インテル® AMX アクセラレーション・テクノロジーにより、さまざまなビジョン AI モデルのデータタイプを FP32 から BF16 に動的に変換し、許容可能な精度損失でスループットを向上させ、推論を高速化します。Meituan は、インテル® AMX アクセラレーション・テクノロジーを使用して変換された BF16 モデルの推論パフォーマンスを比較し、ベースライン FP32 モデルで最適化後のパフォーマンスを検証します。図 7 のテストデータに示すように、モデルの推論パフォーマンスは、BF16 への変換後、3.38 ～ 4.13 倍向上できます。「Top1」セクションと「Top5」セクションの精度損失の大部分は、0.01% ～ 0.03% の範囲内で制御できます。1
特長
Meituan は、第 4 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーの採用、およびマイクロサービスの変革、オンライン / オフライン分離、動的スケーリング、最適化された起動など最適化戦略の統合により、さまざまなメリットを獲得しています。
- Vit-p32、Twins-svt-small、Twins-pcpvt-small、Swin-tiny、その他のモデルの最適化後のパフォーマンスは、3.38 ～ 4.13 倍向上しており、「Top1」セクションと「Top5」セクションの精度損失の大部分は、0.01% ～ 0.03% の範囲内で制御できます1。オンラインリソースの全体的な効率は 3 倍超向上しています。Meituan が 2022年10月に実施した社内テスト結果によるデータ。インテルはサードパーティーのデータについて管理や監査を行っていません。正確さを評価するには、ほかのソースを参照する必要があります。2
- Meituan は、パフォーマンスの向上に支えられ、既存のインフラストラクチャーの潜在能力を最大限に活用し、ビジョン AI サービスの投資要件を削減し、サービスコストを 70% 節約できます。2
- アジャイル・リソース・スケジューリングは、ビジョン AI サービスの効率的なイノベーションを支援します。
Outlook
Meituan のビジョン AI 推論最適化では、インテル® AMX アクセラレーション・エンジン搭載の第 4 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーが、AI 推論パフォーマンスを向上させ、ビジョン AI 推論サービスの総保有コスト (TCO) を削減できることを示しています。また、Meituan とインテルは、ハードウェア・イノベーションとソフトウェアの最適化を使用して、推論パフォーマンスを継続的に向上させ、ビジョン AI サービスの価値を最大限に引き出すことに尽力しています。
インテルは、インテリジェント・トランスフォーメーションとデジタル・トランスフォーメーションのトレンドが続く中で、Meituan やその他のパートナーとさらに協力して、コンピューティング、ストレージ、ネットワーク、その他の機能により、ビジネス・イノベーションを支援し、AI セクターの開発を加速して、AI テクノロジーの導入と実践を推進していきます。インテルとそのパートナーは、エンドユーザーにより正確でパーソナライズされたサービスを提供することを目指しており、同時に、AI 導入のパフォーマンス、コスト、技術的な限界を削減し、業界のインテリジェントな変革を推進しています。
Meituan について
Meituan は、テクノロジー主導のリテール企業として、「リテール + テクノロジー」に戦略的焦点を当てており、当社のミッションである「人々がより良く食べ、より良く生活できるよう支援する」ことに取り組んでいます。Meituan は、2010年3月の設立以来、供給と需要の両面で、サービスおよび商品の販売におけるデジタル・アップグレードを進めてきました。当社は、パートナーとともに、消費者に高品質のサービスを提供しています。Meituan は、2018年9月20日に、Main Board of the Stock Exchange of Hong Kong Limited に上場しました。Meituan は、常にお客様第一の企業であり、今後も新しいテクノロジーにおける研究開発を増加させていきます。Meituan は、すべてのパートナーと連携して、社会的責任を果たし、より多くの価値を社会にもたらしていきます。
