Alibaba Cloud が AI アプリケーションを加速

Analytics Zoo と bfloat16 が、第 7 世代 Alibaba Cloud ECS インスタンスでの AI アプリケーションのパフォーマンスを向上させます。

概要:

  • 第 7 世代 Alibaba Cloud の高周波 ECS インスタンスは、第 3 世代 X-Dragon アーキテクチャーと第 3 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーを使用しています。

  • 第 3 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーは、内蔵の人工知能 (AI) アクセラレーション機能である、強化されたインテル® ディープラーニング・ブースト (インテル® DL ブースト) を使用して、業界をリードする、ワークロードに最適化されたプラットフォームを実現します。強化されたインテル® DL ブーストは、業界初の bfloat16 向け x86 サポートを提供し、AI 推論とトレーニングのパフォーマンスを向上させます。

1 ページの概要をダウンロード
PDF

概要

このペーパーでは、Analytics Zoo と Brain Floating Point 16 ビット (bfloat16) を使用して、第 7 世代 Alibaba Cloud Elastic Compute Service (ECS) インスタンスで実行される人工知能 (AI) アプリケーションのパフォーマンスを向上する方法について説明します。

第 7 世代 Alibaba Cloud ECS インスタンスは、第 3 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーを搭載し、bfloat16 のサポートを提供します。

第 3 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーは、複雑なAI ワークロードを処理できます。第 3 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーは、強化されたインテル® DL ブーストを使用することで、AI トレーニング・パフォーマンスを最大 1.93 倍向上し、1 画像分類で最大 1.87 倍の AI 推論パフォーマンスを向上、2 自然言語処理 (NLP) で最大 1.7 倍の AI トレーニング・パフォーマンスが向上、3 および旧世代のプロセッサーと比較して NLP で AI 推論パフォーマンスが最大 1.9 倍向上。4 ヘルスケア、金融、小売などの業界セクターの AI トレーニング・ワークロードの多くは、これらのプロセッサーが提供する bfloat16 のサポートからメリットを得ることができます。

ホワイトペーパーを読む - Analytics Zoo と Bfloat16 により、Alibaba Cloud での AIアプリケーションを加速。

関連製品とソリューション

インテル® Xeon® スケーラブル・プロセッサー・ファミリー

インテル® Xeon® スケーラブル・プロセッサー・ファミリーにより、実用的な洞察を導き出し、ハードウェア・ベースのセキュリティーを活用して、動的なサービス提供の展開が可能になります。

詳細を見る

Analytics Zoo

AI モデルを数千のノードのあるビッグデータ・クラスターへシームレスに拡張し、分散型トレーニングや推論を実現します。

詳細を見る

インテル® ディープラーニング・ブースト

インテル® Xeon® スケーラブル・プロセッサーは、インテル® ディープラーニング・ブーストにより、組込み AI のパフォーマンスをワンランク上の次元に高めます。

詳細を見る

インテルの導入事例と最新情報

インテル製品、ソリューションの導入事例、新しいパートナーとのコラボレーションや最新のイノベーションを紹介します。

データセンターのワークロード

インテル® テクノロジーによる、高負荷のワークロードやアプリケーションに必要なスケーラビリティーを実現するソリューションを紹介します。

インテルのデータセンター向けテクノロジー

データセンターのパフォーマンスや柔軟性、スケーラビリティーを向上するインテルのテクノロジーを紹介します。

製品と性能に関する情報

1旧世代のプロセッサーと BF16 搭載インテル® DL ブーストをサポートする第 3 世代インテル® Xeon® スケーラブル・プロセッサーを比較した際、画像分類の ResNet-50 スループットで AI トレーニング・パフォーマンスを最大 1.93 倍向上。新しい構成: 1 ノード、4 x 第 3 世代インテル® Xeon® Platinum 8380H プロセッサー (試作版 28 コア、250 W)、総メモリー 384GB (24 x 16GB、3,200GHz)、800GB インテル® SSD ドライブ、ResNet-50 v1.5、ucode 0x700001b、インテル® ハイパースレッディング・ テクノロジー (インテル® HT テクノロジー) 有効、インテル® ターボ・ブースト・マックス・テクノロジー 有効、Ubuntu 20.04 LTS 実行、Linux 5.4.0-26,28,29-generic。スループット: https://github.com/Intel-tensorflow/tensorflow -b bf16/base、commit#828738642769358b388d8f615ded9c213f10c99a、Model Zoo: https://github.com/IntelAI/models -b v1.6.1、ImageNet データセット、oneDNN 1.4、BF16、BS=512、インテルが 2020年5月18日にテストを実施。ベースライン: 1 ノード、4 x インテル® Xeon® Platinum 8280 プロセッサー、総メモリー 768GB (24 x 32GB、2,933GHz)、800GB インテル® SSD、ucode 0x4002f00、インテル® HT テクノロジー有効、インテル® ターボ・ブースト・テクノロジー有効、Ubuntu 20.04 LTS 実行、Linux 5.4.0-26,28,29-generic、ResNet-50 v1.5。スループット: https://github.com/Intel-tensorflow/tensorflow -b bf16/base、commit#828738642760358b388d8f615ded0c213f10c99a、Model Zoo: https://github.com/intelai/models -b v1.6.1、ImageNet データセット、oneDNN 1.4、FP32、BS=512、インテルが 2020年5月18日にテストを実施。
2FP32 を使用した旧世代のプロセッサーと BF16 搭載インテル® DL ブーストをサポートする第 3 世代インテル® Xeon® スケーラブル・プロセッサーを比較した際、画像分類の ResNet-50 スループットで AI トレーニング・パフォーマンスを最大 1.87 倍向上。新しい構成: 1 ノード、4 x 第3 世代インテル® Xeon® Platinum 8380H プロセッサー (試作版、28 コア、250 W)、総メモリー 384GB (24 x 16GB、3,200GHz)、800GB インテル® SSD、ucode 0x700001b、インテル® HT テクノロジー有効、インテル® ターボ・ブースト・テクノロジー有効、Ubuntu 20.04 LTS 実行、Linux 5.4.0-26,28,29-generic、ResNet-50 v1.5。スループット: https://github.com/Intel-tensorflow/tensorflow -b bf16/base、commit#828738642760358b388e8r615ded0c213f10c99a、Model Zoo: https://github.com/IntelAI/models -b v1.6.1、ImageNet データセット、oneDNN 1.4、BF16、BS=56、5 インスタンス、28 コア / インスタンス、インテルが 2020年5月18日にテストを実施。ベースライン: 1 ノード、4 x インテル® Xeon® Platinum 8280 プロセッサー、総メモリー 768GB (24 x 32GB、2,933GHz)、800GB インテル® SSD、ucode 0x4002f00、インテル® HT テクノロジー有効、インテル® ターボ・ブースト・テクノロジー有効、Ubuntu 20.04 LTS 実行、Linux 5.4.0-26,28,29-generic、ResNet-50 v1.5。スループット: https://github.com/Intel-tensorflow/tensorflow -b bf16/base、commit#828738642760358b388d8f615ded0c213f10c99a、Model Zoo: https://github.com/IntelAI/models -b v1.6.1、ImageNet データセット、oneDNN 1.5、FP32、BS=56、4 インスタンス、28 コア / インスタンス、インテルが 2020年5月18日にテストを実施。
3旧世代のプロセッサーと BF16 搭載インテル® DL ブーストをサポートする第 3 世代インテル® Xeon® スケーラブル・プロセッサーを比較した際、自然言語処理の BERT スループットで最大 1.7 倍の AI トレーニング・パフォーマンスの向上。新しい構成: 1 ノード、4 x 第3 世代インテル® Xeon® Platinum 8380H プロセッサー (試作版、28 コア、250 W)、総メモリー 384GB (24 x 16GB、3,200GHz)、800GB インテル® SSD、ucode 0x700001b、インテル® HT テクノロジー有効、インテル® ターボ・ブースト・テクノロジー有効、Ubuntu 20.04 LTS 実行、Linux 5.4.0-26,28,29-generic、BERT-Large (QA)。スループット: https://github.com/Intel-tensorflow/tensorflow -b bf16/base、commit#828738642760358b388e8r615ded0c213f10c99a、Model Zoo: https://github.com/IntelAI/models -b v1.6.1、Squad 1.1 データセット、oneDNN 1.4、BF16、BS=12、インテルが 2020年5月18日にテストを実施。ベースライン: 1 ノード、4 x インテル® Xeon® Platinum 8280 プロセッサー、総メモリー 768GB (24 x 32GB、2,933GHz)、800GB インテル® SSD、ucode 0x4002f00、インテル® HT テクノロジー有効、インテル® ターボ・ブースト・テクノロジー有効、Ubuntu 20.04 LTS 実行、Linux 5.4.0-26,28,29-generic、BERT-Large (QA)。スループット: https://github.com/Intel-tensorflow/tensorflow -b bf16/base、commit#828738642760358b388d8f615ded0c213f10c99a、Model Zoo: https://github.com/IntelAI/models -b v1.6.1、Squad 1.1 データセット、oneDNN 1.5、FP32、BS=12、インテルが 2020年5月18日にテストを実施。
4旧世代の FP32 搭載プロセッサーと BF16 搭載インテル® DL ブーストをサポートする第 3 世代インテル® Xeon® スケーラブル・プロセッサーを比較した際、自然言語処理の BERT スループットで最大 1.9 倍の AI 推論パフォーマンスの向上。新しい構成: 1 ノード、4 x 第3 世代インテル® Xeon® Platinum 8380H プロセッサー (試作版、28 コア、250 W)、総メモリー 384GB (24 x 16GB、3,200GHz)、800GB インテル® SSD、ucode 0x700001b、インテル® HT テクノロジー有効、インテル® ターボ・ブースト・テクノロジー有効、Ubuntu 20.04 LTS 実行、Linux 5.4.0-26,28,29-generic、BERT-Large (QA)。スループット: https://github.com/Intel-tensorflow/tensorflow -b bf16/base、commit#828738642760358b388e8r615ded0c213f10c99a、Model Zoo: https://github.com/IntelAI/models -b v1.6.1、Squad 1.1 データセット、oneDNN 1.4、BF16、BS=32、4 インスタンス、28 コア / インスタンス、インテルが 2020年5月18日にテストを実施。ベースライン: 1 ノード、4 x インテル® Xeon® Platinum 8280 プロセッサー、総メモリー 768GB (24 x 32GB、2,933GHz)、800GB インテル® SSD、ucode 0x4002f00、インテル® HT テクノロジー有効、インテル® ターボ・ブースト・テクノロジー有効、Ubuntu 20.04 LTS 実行、Linux 5.4.0-26,28,29-generic、BERTLarge (QA)。スループット: https://github.com/Intel-tensorflow/tensorflow -b bf16/base、commit#828738642760358b388d8f615ded0c213f10c99a、Model Zoo: https://github.com/IntelAI/models -b v1.6.1、Squad 1.1 データセット、oneDNN 1.5、FP32、BS=32、4 インスタンス、28 コア / インスタンス、インテルが 2020年5月18日にテストを実施。