東京エレクトロン デバイス株式会社は OpenVINO™ ツールキットで画像検査装置の課題を解消

エグゼクティブ・サマリー

近年、カメラ画像を用いた AI に関する研究が進展し、装置メーカーによる AI ソリューションの開発が加速しています。しかし、AI ソリューションは AI 推論を実行するために高い演算処理能力が求められ、外部アクセラレーターで処理するのが一般的です。このアプローチには GPU カードなどの追加に伴う筐体サイズの制約やコスト増、消費電力の増加、長期的な可用性の懸念などの課題があります。これらを解決できるのがエッジでの AI 推論を高速化する OpenVINO™ ツールキットです。

OpenVINO™ ツールキットはインテルが無償提供している開発ツールで、インテルの CPU、内蔵 GPU (以下 iGPU)、NPU などに対して、推論処理の性能を最適化します。

OpenVINO™ ツールキットを使用することで、一般的なノート PC や産業用 PC でも AI 推論を高速に実行することが可能となります。

産業用画像検査装置でのユースケース

お客様の課題

ある産業機器メーカーでは、新規事業としてディープラーニングによる独自の AI モデルを用いた画像検査装置の開発を進めていました。同社から相談を受けた東京エレクトロン デバイス株式会社 (以下、TED) が開発担当者よりヒアリングをしてみると、以下の課題があることが判明しました。EC BU クラウド IoT カンパニー IA ソリューション部 セールスグループ グループリーダーの河内 卓氏は次のように語ります。

「お客様に伺ってみると、AI 推論には外付けの GPU カードを第 8 世代インテル® Core™ i7 プロセッサー搭載のデスクトップ PC に挿した状態で評価していました。お客様の要望としては、推論を実行するために当時評価していた CPU の 5 倍以上の処理能力が必要で設置場所の制限により PC の筐体サイズもコンパクトにしたい。さらに新規の産業機器となるため長期的な可用性も重要ということでした」

GPU カードを使用する場合、GPU カードのコストや組込み PC の筐体サイズ、長期供給対応への課題があります。そのため、お客様は GPU カードの扱いに頭を悩ませていました。EC BU クラウド IoT カンパニー IA ソリューション部 フィールドアプリケーションエンジニアの帆足 広樹氏は次のように語ります。

「GPU カードは供給期間が 2年程度のものが多く、最近 5年以上の長期供給製品が出始めてきたところです。産業機器の保守において 2年での GPU の入れ替えは現実的ではなく、できる限り長期的な可用性を確保することが重要になります。GPU カードのコストについても、個人向けのゲーム用 GPU でも数万円以上、産業向けの GPU カードになるとさらに割高になり、産業機器の価格に上乗せされてきます」

OpenVINO™ ツールキットの評価とベンチマークの結果

課題解決に向けて TED では OpenVINO™ ツールキットを活用することを考え、インテル® Core™ プロセッサーを搭載した産業用 PC で AI 推論を高速化することを提案し、実際にお客様独自の AI モデルを使ってどの程度のパフォーマンスが得られるかを検証・評価することにしました。開発スケジュールに合わせて最新の産業用 PC を考慮したうえで、既存環境の CPU より 3 倍程度のパフォーマンスが高いインテル® Core™ i7-12700 プロセッサー環境でのベンチマークを提案しました。

ベンチマークでは、産業機器メーカーが用意した AI モデル (mobilenetV2) に対して、既存の TensorFlow と OpenVINO™ ツールキットの 2 つの環境で推論時間を比較しました。すると、表1 のように　TensorFlow での　CPU 推論実行時のレイテンシー =47ms に対して、OpenVINO™ ツールキット (ターボブースト OFF 時) での CPU 推論実行時 =3.7ms と、10 倍以上のスピードを達成し、iGPU のみあるいは CPU＋iGPU でも同等以上の結果となりました。

表 1. TensorFlow と OpenVINO™ ツールキットの比較 (mobilenetV2)

同様に別の AI モデル (MASK-R-CNN) に対しても CPU のみ、iGPU のみ、CPU＋iGPU の 3 パターンで OpenVINO™ ツールキットのベンチマークを実施しました。すると表 2 のようにターボブースト OFF の場合、CPU のみで約 7 秒、iGPU のみで約 6 秒、CPU＋iGPU で約 6 秒という結果となりました。一般的に産業用 PC ではシステムの安定性を重視しターボブーストを OFF にすることから、ターボブースト OFF の結果を採用していますが、ターボブースト ON 時は CPU での推論処理時間が約 4 秒と高速化できることや、FP16 ではなく INT8 のモデルを使用することで更に高速化できる余地があることを報告しています。

表 2. OpenVINO™ ツールキットのベンチマーク評価結果

「以上の結果を受けて、ソフトウェア開発担当者には、OpenVINO™ ツールキットでも AI 推論の高速化が実現できること、CPU 単体だけでなく iGPU でも AI 推論の処理スピードが速いこと、一部のモデルでは外付け GPU に匹敵する速度が達成できることを説明し、これによって追加の GPU カードが不要になることを確認いただきました」 (帆足氏)

TED から提供したソリューション

実評価を経て、TED 側から考えられるモデル高速化アプローチを提案し、最終的に OpenVINO™ ツールキットと、第 12 世代インテル® Core™ i9 プロセッサーを搭載した産業用 PC が採用されました。その後も計画どおりに開発が進み、産業機器としてリリースされました。将来的な次世代 CPU への変更によるコストダウンやソフトウェアの機能拡張なども視野に開発は続いています。

今回のユースケースから分かるように OpenVINO™ ツールキットを採用する最大のメリットは、スケーラビリティーとそれによるエコシステムの活用です。

「GPU カードなど追加のハードウェア・コストなしでエッジでの AI 推論を高速化できるメリットは大きく、GPU カードを装着するスロットも不要なことから、産業用 PC 選択のバリエーションも幅広くなります。それらにより長期的な可用性の確保と性能の向上につながります」(河内氏)

製造業向けの画像検査装置でのユースケース

ファースト (TED グループ) から提供したソリューションとその結果

TED のグループ会社で、画像処理システムや画像処理ライブラリーの研究･開発･販売や、画像処理を応用したソリューションの設計･開発を手がける株式会社ファーストでは、パターンマッチングや空間フィルターなどの基本的な画像処理機能から最新技術までを包含した画像処理ライブラリーを提供しています。ファーストは今回、製造業のお客様から外観検査システムの開発依頼を受け、従来のルールベースの画像処理機能に、OpenVINO™ ツールキットを利用した AI 機能を追加した外観検査システムを提供しました。

ファーストのお客様である製造事業者は、製品の外観検査をルールベースの手法を用いて行っていました。ルールベースは、製品のサイズ、色、面積などが基準値より外れているものは不合格にするといったように、特定のルールに基づいて判定するのに適した手法です。ルールの追加や変更が容易で、導入に時間がかからずコストも抑えられるものの、複雑な形状や製品のばらつきによる個体差、色むらなど数値で判定しづらいものに対応するのは得意ではありません。そこでサイズや形状にとらわれない製品の外観検査を行うためにディープラーニングを用いた AI 検査の手法を検討しました。

「ファーストでは OpenVINO™ ツールキットを利用することで、GPU に頼ることなく CPU のみでもお客様の要求仕様が満たせるパターンがあることを確認したうえで、CPU ベースの外観検査用 PC に OpenVINO™ ツールキットを組み込んで提供しました」 (帆足氏)

ファーストが第 12 世代インテル® Core™ プロセッサーを搭載した画像処理装置に対して、推論速度を検証したベンチマークでは、図2 のように第 12 世代インテル® Core™ i5-12500E プロセッサーが、第 6 世代インテル® Core™ i7-6700E プロセッサーに対して約 186% の処理速度アップ、第 12 世代インテル® Core™ i5-1250E プロセッサーが、第 7 世代インテル® Core ™ i5-7440EQ プロセッサーに対して約 109% (CPU) と約 218% (iGPU) の処理速度アップという結果となりました。

総括と OpenVINO™ ツールキットの今後の展望

AI 推論を用いた画像系の検査装置では、まだまだ GPU カードなどの外部アクセラレーターを利用することが一般的と考えられています。しかしそれは誤解であり、実際は CPU と OpenVINO™ ツールキットの組み合わせだけで GPU と同等あるいは同等以上のパフォーマンスが得られることは、紹介した 2 つのユースケースを見ても明らかです。筐体の制約がなくなることで、自由度は大きく高まり、コスト面での課題もクリアできます。

TED では引き続き OpenVINO™ ツールキットを活用したユースケースを拡大し、画像検査装置の導入を検討するお客様に有用な情報を提供していくほか、画像検査装置以外でのユースケースも増やしながら、AI 推論の可能性を追求していきます。

「OpenVINO™ ツールキットは画像検査装置ばかりでなく、画像生成 AI を含めた生成 AI アプリや、チャットボットの開発にも有効なツールですので、応用の可能性は今後もさらに広がっていきます」(河内氏)

TED では、OpenVINO™ ツールキットを試してみたいお客様のために、インストール・ガイドや、手元の PC ですぐに試せる人物認識 AI デモの実践ガイドなどをダウンロードできる特設サイトを用意しています。

OpenVINO™ ツールキットを詳しく知りたいお客様は特設サイトをご覧ください。

東京エレクトロンデバイスの特設サイト
www.teldevice.co.jp/semiconductor/lp/intel/

このホワイトペーパーをダウンロード: 東京エレクトロン デバイス株式会社は OpenVINO™ ツールキットで画像検査装置の課題を解消