ストレージとコンピューティングは、ここ10年ほどで乖離が進んでいます。ハイパースケールデータセンター、AIトレーニングクラスタ、高性能コンピューティングシステムは、もはや単一のシャーシ内にストレージを閉じ込めることを望まず、どのコンピューティングノードからもほぼローカルレイテンシでアクセスできるNVMeドライブのプールを求めています。NVMe over Fabrics（NVMe-oF）はこれを可能にするプロトコルであり、RDMA over Converged Ethernet v2（RoCEv2）は、これを伝送するための最も広く普及しているトランスポートの1つです。iWaveのFPGAベースのRoCEv2およびNVMeホストIPコアは、ソフトウェアベースのイニシエータとターゲットでは処理能力が不足するハードウェア環境で、このスタックを実装するために特別に設計されています。
NVMe over Fabricsが必要な理由
ローカルNVMeドライブは、数十万IOPSという高速性とマイクロ秒クラスの低遅延を実現しますが、その性能は接続されているPCIeスロットの制約を受けます。NVMe -oFは、 NVMeコマンドセットとキューイングモデルをネットワークファブリック全体に拡張することで、ホストソフトウェアスタックから見ると、リモートドライブがローカルドライブとほぼ同じように見えるようにします。SSDをホストに物理的に接続する代わりに、ホストはリモートストレージサブシステムにあるNVMeネームスペースにアクセスできます。
この輸送手段として最も一般的なのは以下の2つです。
- NVMe/TCPは、標準のTCP/IP上で動作し、導入は容易ですが、TCP/IPスタックによる遅延とCPU負荷が発生します。
- NVMe/RoCEv2は、NVMeコマンドをRDMA動詞にマッピングすることで、ホストCPUを介さずにデータを転送し、レイテンシを大幅に削減します。これは、パフォーマンスを重視する多くの導入環境で採用されているトランスポート方式です。
中でも、RoCEv2を使用したNVMe over RDMAは、イーサネットの高い帯域幅とRDMAの低遅延、低CPUオーバーヘッドのデータ転送を組み合わせているため、FPGAベースのシステムにとって特に魅力的です。
NVMe over Fabrics向けFPGAオフロード
ここで、iWaveのFPGA IPコアが性能ギャップを埋めます。ネットワークとストレージスタックの処理をホストCPUソフトウェアに頼るのではなく、重要なトランスポート機能とイニシエータ機能をFPGAファブリックに直接実装できます。これにより、ハードウェアアクセラレーションによるエンドツーエンドのデータパスが構築され、CPUのオーバーヘッドを削減しながら、リモートストレージリソースへの低遅延かつ高スループットなアクセスが可能になります。
| IPコア | 目的 | 主な機能 |
|---|---|---|
| RoCEv2 IP コア | FPGAベースのRDMAネットワーク | RDMAトランスポート、QP/CQ、セグメンテーション/再構成、再送信、整合性チェック、AXI4 DMA、最大800G |
| NVMe-oFブリッジコア | ローカルからリモートへのNVMeストレージブリッジ | NVMeコマンド処理、RDMA、バッファリング、アービトレーション、マルチキューサポート、リモートNVMe/JBOF接続 |
| NVMeホストIPコア | ハードウェアNVMeイニシエータ | NVMe SQ/CQ、コマンド処理、ローカルPCIe NVMe、リモートNVMe-oF、統合ストレージインターフェース |
これらのコアを組み合わせることで、FPGAプラットフォームは、汎用CPUのネットワークおよびストレージスタックを経由することなく、NVMe-oFを実装することが可能になります。
分散ストレージのためのNVMe over Fabrics
実際の導入モデルは以下のようになります。
- 計算ノードは、 iWave NVMeホストIPコア PCIe接続されたFPGAカード上で（RoCEv2とペアリングして）リモートNVMeネームスペースをローカルブロックデバイスであるかのようにホストOSに提示します。
- ストレージノードは、NVMeドライブをNVMe-oFターゲットとして公開し、同じRoCEv2ファブリック経由でアクセス可能にする。
- PFCとECNが構成されたロスレスイーサネットファブリックは、通常リンクあたり100Gbpsの速度で、2つの機器間でRDMAトラフィックを伝送します。
- RDMAとNVMeのトランスポートロジックはホストソフトウェアではなくFPGAに実装されているため、ネットワーク/ストレージスタック処理に使われるはずだったCPUサイクルが実際のアプリケーション処理に解放されます。これは、インフラストラクチャに費やされないホストCPUサイクルがデータロードとオーケストレーションに利用できるため、GPUが密集したAIトレーニングラックにおいて大きなメリットとなります。
iWaveソリューションの主な利点
- 高スループット： RoCEv2 高速イーサネットベースのRDMA通信を可能にするため、このアーキテクチャは25GbE、50GbE、100GbE、そしてFPGAとIPの実装によっては最大800Gまで対応可能です。
- 低遅延： RDMAはデータ転送におけるソフトウェアの関与を低減するため、NVMe/RDMAはレイテンシに敏感なストレージアプリケーションに適しています。
- CPUオフロード： パケット処理とデータ転送のワークロードの大部分はFPGAハードウェアで実装できるため、CPUのオーバーヘッドを削減できる。
- 柔軟なFPGAプラットフォーム： このソリューションはFPGAベンダーに依存せず、AMDとAlteraの両方のデバイスでサポートされており、そのアーキテクチャはFPGAベースのストレージシステム、データ収集システム、HPCプラットフォーム、AI/MLアクセラレーションプラットフォーム、分散ストレージプラットフォームなどに統合できます。
- ハードウェアのカスタマイズ: このソリューションはFPGAファブリック上に実装されているため、追加機能をデータパスに直接挿入できます。これにより、データがCPUを経由することなく、インラインでデータ処理を行う機会が生まれます。
RoCEv2上のNVMe-oFは、高速データアクセスを維持しながら、ストレージリソースを個々のコンピューティングシステムから分離するというニーズに対応します。iWaveのIPコアは、RDMAトランスポート機能とストレージイニシエータ機能をFPGAファブリックに直接実装することで、ホストCPUの関与を軽減し、ネットワークからホストメモリへの効率的なハードウェアデータパスを提供します。
このアーキテクチャは、現在の高速イーサネット展開をサポートするとともに、将来のストレージファブリックやUEC/UETなどの新興技術のための柔軟な基盤を提供する。
iWaveの組み込みソリューションおよび設計サービスの詳細については、www.iwave-global.comをご覧いただくか、 mktg@iwave-global.comまでお問い合わせください。
