Real-time Streaming of Free-viewpoint Augmented Reality Synchronized with Broadcast Program

Abstract

2018年12月に新4K8K衛星放送が開始され,究極の2次 元映像メディアを目指して研究開発が進められてきた8K 放送が現実のものとなった.8K放送にも高フレームレート 化など更なる高度化の余地が残されている一方,近年の AR/VR(Augmented Reality and Virtual Reality)技術へ の高い関心にも現れているように,これまで映像技術の進 化の主軸であった2次元映像の定量的なスペック向上とは 異なる軸でのメディア技術の進化として,コンテンツ空間 の3次元への拡張と,それによる新たな視聴体験の実現が 期待されている.筆者らは,2次元メディアから3次元メ ディアへの進化のひとつの過程として,図1に示すように, テレビ放送による2次元の高精細映像に加えて,その映像 中の時間軸に同期し,ストーリー展開を共有する3次元の 自由視点ARコンテンツをスマートフォンやタブレット端 末などのモバイル端末上で視聴する新たな視聴スタイルを 提案している1)2).すでにゲームアプリやWEBサービスで 実用化されている一般的なARコンテンツは,恐竜や動物 などを現実空間に合成してその大きさを体験したり,生活 空間に家具を試し置きして雰囲気を見たりといったコンテ ンツが多い.一方,提案技術は,高精細度のテレビ映像と 自由視点ARコンテンツが時間軸とストーリー展開を共有 し,それらの提示が高精度に同期することで,単に3次元 オブジェクトを置いて見るARとは異なる新たなコンテン ツ視聴体験を実現する.さらに,将来的には生放送にも対 応可能な技術とするため,図2に示すように,自由視点AR コンテンツを構成する3次元オブジェクトの動的データを, インターネットなどの通信伝送路を介して視聴端末にリア ルタイムに伝送することが特徴である. 本稿では,まず,新4K8K衛星放送で採用されたMMT (MPEG Media Transport)の特徴とその特徴を活かした放 送・通信連携サービスについての概要を説明する.続いて, 伝送する3次元オブジェクトのデータ形式とリアルタイム 伝送技術の開発・実装について述べる.最後に,試作コン テンツを用いたシステム検証とそれを用いたサービスイ メージの具現化について紹介する. あらまし AR/VR(Augmented Reality and Virtual Reality)技術への高い関心に現れているように,従来の映像 技術の進化の主軸であった2次元映像の定量的なスペック向上とは異なる軸でのメディア技術の進化として,コンテ ンツ空間の3次元への拡張による新たな視聴体験の実現が期待されている.筆者らは,テレビ放送の高精細映像に加 え,その映像と時間軸とストーリー展開を共有する3次元の自由視点ARコンテンツをモバイル端末上で視聴する, 新たな視聴スタイルを提案し,これを実現するコンテンツ伝送技術の研究開発を進めている.提案技術は,映像と同 期させた自由視点ARコンテンツをリアルタイムに通信回線を介して伝送でき,将来的に生放送への対応も可能であ る.本稿では,放送・通信連携システムと3次元オブジェクト伝送技術の概要,試作コンテンツを用いたシステム検 証と新たな視聴体験の具現化について述べる.