圧縮流

圧縮エンジンは、SmartNICデータパス内でストリーミングハードウェアアクセラレータとして動作します。パケットがパイプラインを通過する際、エンジンはペイロードデータを継続的に解析し、繰り返し出現するバイトシーケンスを検出し、圧縮表現を生成してからパケットをネットワークインターフェイスに転送します。処理はハードウェアで完全にパイプライン化されているため、ホストCPUを介さずにパケットは回線速度で流れ続けます。

圧縮パイプラインは一般的に以下の手順で実装されます。

1.ペイロード抽出– パケットパーサーはパケットからヘッダーを抽出し、ペイロードを圧縮エンジンに渡します。

2. パターン検出– 圧縮エンジンは、入力ペイロードの中から、効果的にエンコードできるパターンやバイトシーケンスの繰り返しを検索します。

3.ディクショナリ/履歴検索– 圧縮エンジンは履歴バッファ/ディクショナリ内で以前に出現したパターンを検索し、パターンの出現箇所を一致するパターンへの参照に置き換えます。

4. 圧縮エンジンのエンコード– 検出されたパターンは選択されたハードウェア圧縮アルゴリズムを使用してエンコードされ、出現しないパターンはリテラルデータとしてエンコードされます。

5.メタデータ生成–圧縮メタデータ、圧縮ペイロード長情報、および整合性データが生成され、受信側での適切な解凍が可能になります。

6. パケット再構築– パケットヘッダーが圧縮されたペイロードに再付加され、パケットが形成され、送信のためにイーサネットサブシステムに渡されます。

7. ハードウェアによる解凍– 受信側の解凍エンジンは、圧縮メタデータを利用してペイロードを解凍し、ホストアプリケーションに配信します。

圧縮関連の処理はすべてFPGAのデータパス内で実行されるため、圧縮および解凍プロセスはホストアプリケーションに対して透過的であり、データの変更や追加のCPUオーバーヘッドは一切発生しません。