エッジAI推論のためのResNet AIアクセラレーション
人工知能は、画像分類、産業検査、監視、インテリジェントオートメーションといった用途でますます活用されている。しかし、すべての入力データを処理のために遠隔地のクラウドに送信すると、遅延が発生したり、ネットワーク帯域幅の要件が増加したり、データプライバシーに関する懸念が生じたりする可能性がある。
エッジAIは、 AI推論をデータ生成場所に近づけることで、この課題に対処します。
当社のiW-Fibre PCIeアクセラレーションは、AIワークロードをローカルで実行するための柔軟なハードウェアプラットフォームを提供し、低遅延かつ予測可能な高並列処理を実現します。
FPGA向けResNet AIアクセラレーション深層学習ワークロード
- ResNet（Residual Network）は、画像関連のAIタスクで広く用いられている畳み込みニューラルネットワークのアーキテクチャです。その主要な革新点は、残差接続の導入であり、これにより非常に深いネットワークでも効果的に学習することができます。
- 各層が完全に新しい表現を学習する必要性をなくし、残差ブロックによってネットワークは情報を保持し再利用することができる。
この構造により、ResNetはハードウェアアクセラレーションの代表的なワークロードとして有用である。なぜなら、畳み込み演算は並列実行によって恩恵を受けられる大量の計算を伴うからである。
FPGAを用いたエッジにおけるResNet AIの高速推論
FPGAアクセラレーションの主な利点は、単なる処理速度の向上だけではありません。ワークロードに合わせてハードウェアをカスタマイズできる点にあります。
- 並列処理: 複数の演算を同時に実行できるため、FPGAはニューラルネットワーク計算の高い並列性に非常に適している。
- 低遅延で予測可能なレイテンシ： 処理は、データをリモートサーバーに継続的に送信することなく、ローカルで実行できます。これは、迅速な応答が求められるアプリケーションにとって非常に有益です。
- ハードウェアの柔軟性: 固定機能のアクセラレータとは異なり、FPGAはさまざまなAIモデルや処理要件に合わせて再構成することができる。
ResNet推論のためのResNet AIアクセラレーションアーキテクチャ
以下のアーキテクチャ図は、FPGAベースのAI推論のために、G43-AFibre-400G上で深層学習モデルがどのように準備され、展開されるかを示しています。
iW-Fibre PCIベースアクセラレーションカード ResNetアーキテクチャ
このモデルは、実際のAI処理が行われるFPGA AI Suiteハードウェアに到達する前に、ソフトウェアツールを経由して処理されます。
- モデルの準備: ResNET 50 TF事前学習済みモデルは、TensorFlowなどのフレームワークを使用して開発され、OpenVINOを使用して変換されます。
- FPGA最適化： FPGA AI Suiteコンパイラは、FPGA実行用にモデルを準備および最適化し、必要な構成を生成します。
- FPGA実行： 構成は、FPGA AI Suite IP 内に展開されます。 G43-AFibre-400Gここで、モデルはFPGAの演算能力とメモリリソースを使用して処理されます。
FPGA AIアクセラレータを使用したAI推論ワークフロー
このワークフローは、FPGAアクセラレーションによるResNet推論を用いて画像を処理する方法を示しています。
ワークフローは、ユーザーが提供する画像から始まります。この画像は、FPGAに転送される前にホスト上で前処理されます。次に、FPGA AI Suite IPがResNetモデルを実行して推論を行い、結果として得られたスコアがクラス確率としてホストに送り返されます。最も確率の高いクラスが最終的なクラスとして報告されます。
Flow
- ユーザー画像 – 画像はホストアプリケーションに提供されます。
- 画像前処理 – 画像はResNetが想定する形式にリサイズされ、正規化されます。
- FPGA推論 – 準備された画像はFPGAに送信され、そこでFPGA AI Suite IPがResNetニューラルネットワークを実行します。
- クラス確率 – 推論結果は、考えられる各クラスに対する確率としてホストに返されます。
- 最終予想 – 最も確率の高いクラスが予測として選択されます。
FPGA AIアクセラレーションを利用したエッジAIアプリケーション
- 工業用欠陥検査 – カメラが生産ライン上の製品を撮影し、エッジで動作するResNet 50が欠陥をリアルタイムで局所的に識別することで、迅速な品質管理の意思決定が可能になります。
- スマート監視 – エッジカメラはResNet 50を使用してビデオフレームをローカルで分析し、物体やイベントを検出するため、ビデオをクラウドに継続的に送信する必要性を軽減します。
- 医療画像分析 ―医療画像システムは、ResNet 50ベースの分類をローカルで実行して、画像が撮影された場所の近くで分析できるため、データ転送量を削減し、より高速な分析が可能になります。
iW-Fibre PCIeアクセラレーションカード上のResNetは、低遅延、並列処理、柔軟性、効率的なエッジ推論に適しています。
PCIeアクセラレータは、エッジAIが計算集約型の推論をデータに近づける方法を示しています。実績のあるディープラーニングモデルとプログラマブルFPGAアクセラレーションを組み合わせることで、このソリューションは、
プラットフォームの評価や詳細情報については、mktg@iwave-global.comまでお問い合わせください。
