Video and Vision Processing Suite Intel® FPGA IPユーザーガイド

ID 683329
日付 6/26/2023
Public
ドキュメント目次
1. Video and Vision Processing Suiteについて 2. Video and Vision Processing IPのスタートガイド 3. Video and Vision Processing IPの機能の説明 4. Video and Vision Processing IPインターフェイス 5. Video and Vision Processing IPレジスター 6. Video and Vision Processing IPのソフトウェア・プログラミング・モデル 7. Protocol Converter Intel® FPGA IP 8. 3D LUT Intel® FPGA IP 9. AXI-Stream Broadcaster Intel® FPGA IP 10. Bits per Color Sample Adapter Intel FPGA IP 11. Chroma Key Intel® FPGA IP 12. Chroma Resampler Intel® FPGA IP 13. Clipper Intel® FPGA IP 14. Clocked Video Input Intel® FPGA IP 15. Clocked Video to Full-Raster Converter Intel® FPGA IP 16. Clocked Video Output Intel® FPGA IP 17. Color Space Converter Intel® FPGA IP 18. Deinterlacer Intel® FPGA IP 19. FIR Filter Intel® FPGA IP 20. Frame Cleaner Intel® FPGA IP 21. Full-Raster to Clocked Video Converter Intel® FPGA IP 22. Full-Raster to Streaming Converter Intel® FPGA IP 23. Genlock Controller Intel® FPGA IP 24. Generic Crosspoint Intel® FPGA IP 25. Genlock Signal Router Intel® FPGA IP 26. Guard Bands Intel® FPGA IP 27. Interlacer Intel® FPGA IP 28. Mixer Intel® FPGA IP 29. Parallel Converter Intel® FPGA IPのピクセル 30. Scaler Intel® FPGA IP 31. Stream Cleaner Intel® FPGA IP 32. Switch Intel® FPGA IP 33. Tone Mapping Operator Intel® FPGA IP 34. Test Pattern Generator Intel® FPGA IP 35. Video and Vision Monitor Intel FPGA IP 36. Video Frame Buffer Intel® FPGA IP 37. Video Frame Reader Intel FPGA IP 38. Video Frame Writer Intel FPGA IP 39. Video Streaming FIFO Intel® FPGA IP 40. Video Timing Generator Intel® FPGA IP 41. Warp Intel® FPGA IP 42. デザイン・セキュリティー 43. Video and Vision Processing Suiteユーザーガイドの文書改訂履歴

12.3. Chroma Resampler IPの機能の説明

クロマ・リサンプラー・アルゴリズム

クロマ・リサンプラーは、次の4つの基本的なリサンプリング動作を実装します。

  • 水平アップサンプリング: 4:2:2 -> 4:4:4
  • 水平ダウンサンプリング: 4:4:4 -> 4:2:2
  • 垂直アップサンプリング: 4:2:0 -> 4:2:2
  • 垂直ダウンサンプリング: 4:2:2 -> 4:2:0

4:4:4と4:2:0の間の変換では、関連する水平および垂直サンプリング動作が自動的に連鎖して、正しい最終結果を取得できます。クロマ・リサンプラーは、各リサンプリング動作に対して3つの異なるアルゴリズムであるニアレストネイバー、バイリニア、フィルタリング済みをサポートします。3つのアルゴリズムは、提供される視覚的な品質のレベル、クロマの位置、実装のためのリソースが異なります。

ニアレストネイバー

ニアレストネイバー・アルゴリズムは、デバイスリソースの使用量が最も低く、品質が最も低いリサンプリング・アルゴリズムです。水平ダウンサンプリング (4:4:4 -> 4:2:2) の場合、ビデオライン内のCbおよびCrサンプルが1つおきにドロップされます。水平方向のアップサンプリング (4:2:2 -> 4:4:4) の場合、各CbおよびCrサンプルが繰り返されます。ニアレストネイバー・アルゴリズムは、4:2:2クロマサンプルに対して左サイティング (コサイティング) を使用します。偶数のインデックスが付いたYサンプルからのCbサンプルとCrサンプルの両方がダウンサンプリング中に保持されます。

図 20. ニアレストネイバー

ニアレストネイバー・アルゴリズムは、垂直リサンプリングでも同様に機能します。垂直ダウンサンプリング (4:2:2 -> 4:2:0) の場合、IPは1つおきのビデオラインからクロマデータを破棄します。アップサンプリング (4:2:0 -> 4:2:2) の場合、IPは2ラインのルマデータのクロマデータを繰り返します。ニアレストネイバー・アルゴリズムは、CbプレーンとCrプレーンの両方に対してトップ・サイティング (コサイティング) を使用します。IPは、ダウンサンプリング時にライン0、2、4などのクロマデータを保存します。IPは1、3、5行目などのデータを破棄します。

図 21. ニアレストネイバー
バイリニア

バイリニア・アルゴリズムは、視覚的な画質とデバイスのリソースコストの間の中間点を提供します。次の図と式では、IPが水平アップサンプリング (4:2:4 -> 4:4:4) およびダウンサンプリング (4:4:4 -> 4:2:2) のバイリニア・リサンプリング・クロマを計算する方法を示しています。バイリニア・アルゴリズムは、4:2:2形式のCbサンプルとCrサンプルの両方に中心クロマ位置を使用します。

図 22. バイリニア

バイリニア・アルゴリズムは、垂直アップサンプリング (4:2:0 -> 4:2:2) とダウンサンプリング (4:2:2 -> 4:2:0) で同じように機能し、クロマサンプルのみの中心位置を使用します。水平リサンプリングと同様です。

フィルター済み

フィルタリングされたアルゴリズムは、最も計算コストが高く、デバイスリソースを大量に消費するアルゴリズムですが、視覚的な品質は向上します。フィルタリングされたアルゴリズムをパラメーター化して、クロマデータの水平方向の位置を左または中央、およびクロマデータの垂直方向の上部または中央を使用することができます。

ダウンサンプリング変換 (4:2:2 -> 4:2:0および4:4:4 -> 4:2:2) の場合、フィルタリングされたアルゴリズムは8タップのLanczos2リサンプリング・フィルターを適用して、ダウンサンプリングされたデータを生成します。IPは、係数を生成するときに、Lanczos2関数にさまざまな位相シフトを適用します。それは、位置と、ピクセル・インデックスが偶数か奇数かによって異なります。上と左のクロマ位置の場合、IPは偶数と奇数のインデックス付きクロマサンプルのLanczos2係数にそれぞれ0と0.5ピクセルの位相シフトを適用します。中心クロマ位置の場合、位相シフトは-0.25ピクセルと+0.25ピクセルです。

アップサンプリング変換 (4:2:0 -> 4:2:2および4:2:2 -> 4:4:4) の場合、フィルタリングされたアルゴリズムは4タップのLanczos2リサンプリング・フィルターを適用して、アップサンプリングされたデータを生成します。上/左のクロマ位置の場合、偶数と奇数のインデックス付きクロマサンプルのLanczos2係数にそれぞれ0と0.5ピクセルの位相シフトが適用されます。中心クロマ位置の場合、位相シフトは-0.25ピクセルと+0.25ピクセルです。

アップサンプリング変換のluma adaptionをオンにすることもできます。この機能により、デバイスのリソース使用量がさらに増加しますが、デフォルトのフィルタリングされたアルゴリズムと比較すると、エッジの周りの色のにじみが軽減される可能性があります。この機能は、DSPブロックに一部のロジックを実装する唯一のクロマ・リサンプラーです。luma adaptionをオンにすると、IPは連続するルマサンプル間の差異をエッジしきい値と比較して、重要なエッジを検出します。IPがエッジを検出する領域では、Lanczos-2フィルターの位相を左または右に最大0.25ピクセルシフトできます。このシフトにより、結果として得られるクロマサンプルがより適切なエッジ側に向かってより強く重み付けされます。

ピクセルごとのカラープレーン

ほとんどのVideo and Vision Processing IPでは、ピクセルあたりのカラープレーンの数を選択できますが、クロマ・リサンプラーにはそのパラメーターがなく、値が自動的に設定されます。ピクセルあたりのカラープレーンの数は、選択したクロマ・リサンプリング変換の関数であり、入力および出力インターフェイスでサポートされているクロマ・サンプリング形式が決まります。4:4:4および4:2:0のクロマ・サンプリングではどちらも、ピクセルごとに3つのカラーペインが必要です。4:2:2には2つのカラープレーンのみが必要です。4:2:2は、各ピクセルの最上位ビットのプレーンを使用せずに、3つのカラープレーンを使用してリンクを通じて送信できます。

次のクロマ・サンプリング変換のいずれかを選択すると、入力インターフェイスはピクセルごとに3つのカラープレーンを使用します。それ以外の場合は、2つのカラープレーンを使用します。

  • 4:2:0パススルー
  • 4:2:0から4:4:4
  • 4:2:0から4:2:2
  • 4:4:4パススルー
  • 4:4:4から4:2:2
  • 4:4:4から4:2:0

次のクロマ・サンプリング変換のいずれかを選択すると、出力インターフェイスはピクセルごとに3つのカラープレーンを使用します。それ以外の場合は、2つのカラープレーンを使用します。

  • 4:2:0パススルー
  • 4:2:0から4:4:4
  • 4:4:4パススルー
  • 4:4:4から4:2:0
  • 4:2:2から4:4:4
  • 4:2:2から4:2:0