ライブイベントなどj(lu┛)画C映気鮗存修垢詒焼をXilinxが推進
2020Qの東Bオリンピック/パラリンピック(東B2020)などのj(lu┛)きなイベントやコンサートに向け音mや映気これまで以屬zになる。これをГ┐覿\術としてイメージセンサだけではなく、半導チップ、にFPGAがされることになりそうだ。Xilinxはフレームサイズの拡j(lu┛)、フレームレートの高]化にFPGAが威を発ァすると訴求している。
画CサイズはこれまでのHD(high definition)から4K、さらに8Kへと拡j(lu┛)を見せている。フレームレートは画Cサイズに引きずられ30fps、60fps、120fpsへと高]化に向かっている。高]にしなければj(lu┛)画Cをk気に表現できないからだ。色空間では色の深みを表す(sh┫)向へ、さらにるい所と暗い所を同時に最適なコントラストの映気できるHDR(高ダイナミックレンジ)などこれまでのイメージセンサや画欺萢v路よりも高い要求がなされている。そのビデオデータをホストコンピュータへ送るためのビデオ処理を可Δ砲垢詒焼がF(xi┐n)PGAとなる。これほどのj(lu┛)画C・高@細のデータを高]に見せるためにASICでビデオ処理v路を実現しようとするとその開発に2〜3Qかかってしまうが、FPGAなら専のv路をプログラムするだけで実現できる。
Xilinxは、映鬼愀犬塁x場として、放送機_x場と、業AV機_x場を[定しているが、いずれのx場にも新しいx場を創出できる\術を揃えてきた。もともとデジタルの専ロジックv路を実現するFPGAのスケールアップを図ってきたが、模が拡j(lu┛)するにつれプログラム作業がj(lu┛)変になると、プログラムを}慣れたC/C++言語で作するためのソフトウエアツールを開発、さらに専のハードウエアロジックだけではなく、ソフトウエアベースでプログラムするCPUも同じチップに載せ、システムLSI(SoC)として扱えるようにもしてきた。
さらに昨Qになると、コンピュータボードに差し込むだけでFPGAをプログラムできるアクセラレーションカード「ALVEO」を発表(参考@料1)、今Qに入り、CPU、FPGA、AIv路、DSPなどを集積し、あらゆる応にフレキシブルに官できるACAP(適型コンピュータアクセラレーション基盤)コンセプト(参考@料2)の1となる「VERSAL」を出荷した。それに伴い、これまでのFPGAのソフトウエア開発やCPUのコード開発ツールなどをまとめた総合ソフトウエア開発キット「VITIS」(参考@料3)も今Q発表した。
Xilinxが[定する放送局でのライブTVをГ┐詒焼チップでは、図1のように、コンテンツ集から画気瞭出やアクセラレーションをはじめとして集作業、グラフィックス処理、ルーティングのスイッチ機_や圧縮・P長ボードなどにXilinxがeつポートフォリオを使える。
図1 ライブTVを実現する群 出Z:Xilinx
基本的には、ビデオカメラからの映気Camera LinkやCoaXpressなどのビデオ格がなじみよいのに瓦靴董▲灰鵐團紂璽笋EthernetやPCIeのような高]シリアルインターフェイスがなじむため、その変換のフレームグラバーボードが要となるが、ここにFPGAが~となる。それもライブTVではレイテンシが可Δ文造螢璽蹐Zづけたい。このためのハードウエアが求められる。
図2 デジタルシネマを実現する群 出Z:Xilinx
しかし、デジタルシネマをГ┐詒焼では(図2)、リアルタイムは要ないが、ビデオストリームとオーディオストリームの同期をとり、集して音x効果をBし込む。送るときには圧縮も可Δ砲覆襦さらにシネマでは]晶テレビやプロジェクタだけではなく、スマートフォンでも映気鮓たいという要求があるためトランスコーディングも要となる。加えて集する場合の色調Dや、テロップに流すテキストを入れ込む作業も要となる。
スポーツやコンサートなどのイベントでは、イマーシブ(没入x的)なコンテンツが求められる(図3)。スポーツでは、きわどいプレイの見直しに360度の点からのビデオを流すことも\えてきた。このような場合にはインターネットからのIPネットワークでのサービス提供に官しなければならない。
図3 イマーシブなイベントを実現する半導群 出Z:Xilinx
応では、機械学{やディープラーニングを?q┗)することがHくなる。例えば、ビデオカメラで撮った映気魎蘿Ь擇膿颪鮓分けるとか、ジェスチャーを認識するなどの応がある。また、音m認識\術にもAIを使うことで、外国映画の音mを認識し文Cにこすことが可Δ砲覆襦また、実際の映気魄欺未垢訃豺隋⊃颪隆蕕箴}先をzに,靴燭操\などでは、zにWきたい霾のみをHビットでエンコーディングし、背景の霾は少ないビットで表現してデータ転送を軽くすることもある。また、人颪3〜4人並んでいて、Bをさせる場Cでは人颪里燗Hビットにし、それ以外の背景を少ビットに落とすことで負荷を軽くすることもAIので可Δ砲覆襦4蕕zにしたい霾だけをロックオンする、あるいはR`すべきプレイヤーだけをマークして解掬戮屬欧襪海箸發任る。
東B2020では、ビデオとそれをГ┐詒焼\術が莎劼筌謄譽咾聴vへテクノロジーの素晴らしさで驚きを与えることになろう。
参考@料
1. Xilinx、高級2.5D-LSIの貌をらかに (2018/10/12)
2. 東B五茲∨端Xilinx、アクセラレータカードや次世代VERSALT (2018/11/22)
3. Xilinx、AIを含めた統合ソフトウエアプラットフォームVITISを発表 (2019/10/02)