bfloat16 - ハードウェア数値の定義

詳細

インテル® Deep Learning Boost (インテル® DL Boost) は bfloat16 フォーマット (BF16) を使用します。このドキュメントでは、bfloat16 浮動小数点フォーマットについて説明します。BF16 には、FP16 に比べていくつかの利点があります。 FP32 の短縮バージョンと見なすことができ、最下位の 16 ビットの仮数をスキップします。非正規数をサポートする必要はありません。FP32、したがってBF16も、ディープラーニングトレーニングタスクに十分な範囲を提供します。乗算後のFP32の蓄積は、アプリケーションレベルで十分な数値動作を達成するために不可欠です。ハードウェア例外処理はパフォーマンスの最適化であるため、必要ありません。業界は、inf / NaNのチェックを中心にアルゴリズムを設計しています。