リモート・ダイレクト・メモリ・アクセス（RDMA）は、データセンター、通信、ストレージ、リアルタイム・データ取得など、現代の高性能システムにおける重要な技術です。CPUを介さずにシステム間でメモリ間を直接データ転送することを可能にします。このアプローチは、レイテンシを大幅に削減し、システムオーバーヘッドを低減し、ラインレートに近いパフォーマンスを実現します。
iWave社のRoCEv2（RDMA over Converged Ethernet）IPコアは、これらの利点をFPGAおよびSoCプラットフォームにも拡張し、完全かつ高速で効率的なデータ転送エンジンを提供します。決定論的なパフォーマンスと標準規格に基づく相互運用性を兼ね備えているため、拡張性の高いイーサネットベースの高性能システムに最適です。
iWave RoCEV2 IPコアの主な機能は次のとおりです。
- RoCEv2仕様およびRNIC製品に準拠
- ハードウェア操作の信頼性の高い接続（RC）サービス
- 10G、25G、40/50G、100G Ethernet MACとの簡単な統合
- RDMA SEND、RDMA RECEIVE、RDMA READ、RDMA WRITE操作をサポート
- 設定可能なキューペアのサポートと接続管理のためのQP1サポート
- 再送信ロジックをハードウェアで実装
- RoCEv2パケットをサポートし、サイドバンドインターフェースを介してARPおよびICMPパケットをサポートします。
- L2 (イーサネット) / L3 (IP) RoCE v2 パス モードと IP レイヤー (L3) IPV4 のサポート
FPGA上に実装されたRoCEv2 IPコアの性能、正確性、拡張性を検証するために、複数のバリアントが用いられます。本稿では、このIPコアの一般的に使用されるいくつかのバリアントについて説明します。各バリアントは、同じRoCEv2プロトコルスタックと100G Ethernet MACを使用しながら、ピークスループットの実証からシステムレベルのメモリ相互作用まで、異なる検証目標を対象としています。
バリアント1: データソースとしてのテストドライバー
このバリアントでは、FPGAファブリックに実装されたテストドライバモジュールがデータソースおよびシンクとして機能します。主な目的は、システムメモリ帯域幅に制限されることなく、 RoCEv2 IPコアのプロトコル処理、データ整合性、および達成可能な最大スループットを検証することです。RoCEv2 IPコアは、AXI-Sインターフェースを使用してデータソースおよびシンクと接続します。
このバリアントのデータ パスは次のもので構成されます。
- FPGAファブリックのテストドライバー
- RoCEv2 IP コア
- 100G イーサネット MAC
このIPバリアントは、データジェネレータとデータチェッカーの両方を含むテストドライバに直接接続されたAXI-Streamインターフェースをサポートします。また、ベンダー固有のイーサネットMACとAXI-Streamインターフェースを介して接続します。このIPバリアントは、以下のことを証明します。
- プロトコルの正確性とデータ整合性の検証
- FPGA 間または FPGA と NIC (例: Mellanox) 間の相互運用性テスト
- 最大のパフォーマンスを示すマーケティングとベンチマークのデモンストレーション
機能フロー
- 接続管理: 接続の確立と構成は、ARM コア上で実行される RoCEV2 ドライバーによって処理されます。
- RDMA 書き込み操作: テスト ドライバーは既知のデータ パターンを生成し、それが RoCEv2 IP コアによってパケット化され、100/200/400G MAC を介して送信され、リモート システムのメモリに直接配置されます。
- RDMA 読み取り操作: データは 100/200/400G MAC を介してリモート メモリから読み戻され、RoCEv2 IP コアによってパケット化解除され、整合性チェックが行われ、テスト ドライバー内の参照データと照合されて検証されます。
スループット特性
- AXI-Streamインターフェースはテストドライバロジックによって直接駆動され、パフォーマンス低下の主な原因であるDDRまたはDMAのボトルネックを排除します。
- テスト ドライバー ロジックは、IP が AXI ストリーム インターフェイスを介してデータを受信する準備ができるたびに増分/ランダム データを生成し、この AXI インターフェイスの幅はイーサネット速度に基づいて変更できます。
- このバリアントは、IPコア自体がスループットを制限する要因ではなく、ラインレートに近いパフォーマンスを実現できることを証明し、ピークスループットを実証しています。
バリアント2: データソースとしてのDDR
このバリアントでは、ARMコアまたはFPGAファブリックに接続されたDDRメモリがデータのソースおよびデスティネーションとして使用されます。焦点は、IPスループットそのものから、DMA動作、メモリ帯域幅の制限、他のアプリケーションとの共存など、システムレベルのパフォーマンスに移ります。RoCEV2 IPコアは、AXI4インターフェースを介してデータソースおよびシンクと接続します。
このバリアントのデータ パスは次のもので構成されます。
- DDRメモリ
- RoCEv2 IP と統合された DMA エンジン
- 100G イーサネット MAC
RoCEv2 IPには、AXI4インターフェースを介してDDRとIP間でデータを転送するための内部DMAコントローラが含まれており、また、ベンダー固有のEthernet MAC over AXI-Streamインターフェースとも接続されています。このIPのバリアントは、
- エンドツーエンドのシステム検証
- メモリ帯域幅の制約の評価
- DDRメモリを共有するマルチアプリケーションシナリオ
- 導入されたシステムにおける実際のパフォーマンスへの影響を理解する
機能フロー
- 接続管理: 接続の確立と構成は、ARM コア上で実行される RoCEV2 ドライバーによって処理されます。
- RDMA 書き込み操作: 既知のデータは、事前定義された DDR の場所に事前にロードされ、DMA エンジンによって継続的に読み取られ、RoCEv2 IP コアによってパケット化され、100/200/400G MAC を介して送信され、リモート システムのメモリに直接配置されます。
- RDMA 読み取り操作: データは 100/200/400G MAC を介してリモート メモリから読み戻され、RoCEv2 IP コアによってパケット化解除され、整合性がチェックされ、IP 制御の DMA の下で事前定義された DDR の場所に書き込まれ、最後にテスト アプリケーションによってデータの整合性が検証されます。
スループット特性
- DDR コントローラと IP の間で AXI4 インターフェイスを使用する場合、達成可能なスループットは AXI データ幅と AXI クロック周波数によって制限されます。
- このスループットのボトルネックについては、ピンポン バッファリングを実装し、FPGA 接続の DDR をデータ ソースおよびシンクとして使用することで大幅に解決できます。
- 一般に、DDR メモリをソースおよびシンクとして使用すると、IP が処理できる十分なデータを供給できず、IP と MAC が提供する帯域幅が十分に活用されないため、AXI4 インターフェイスがシステムのボトルネックになります。ただし、このスループットの制限は、RoCEv2 IP コア自体に固有のものではありません。
結論
両方のIPバリアントは互いに補完し合うように設計されており、RoCEv2 IPコアのユースケースにおけるさまざまなニーズに対応します。
- その テストドライバーバリアント IP コアが最大スループットを維持し、内部ボトルネックなしでライン レートで正しく動作できることを証明します。
- その DDRバリアント 現実的なシステム制約を強調し、メモリ帯域幅の制限とアプリケーション レベルの動作に関する洞察を提供します。
これらのアプローチを組み合わせることで、包括的な検証戦略が提供され、高性能 RDMA ベースのアプリケーションに対するプロトコルの卓越性とシステムの準備の両方が保証されます。
詳細情報やお問い合わせは、mktg@iwave-global.comまでご連絡ください。
