Opening：開催の辞及び趣旨説明

リアルタイム自由視点映像技術のこれまでと今後の展望

近年，スポーツ観戦の新たな楽しみ方の一つとして，視聴者が見たいアングルからの映像視聴を可能とする自由視点映像が注目を集めている．自由視点映像技術は，あるシーンを複数台のカメラで撮影し，それらの情報を基にカメラのない視点（仮想視点）からの被写体の映像鑑賞を実現する技術である．従来，このような自由視点映像の制作処理には膨大な計算処理時間を要していたが，KDDI総合研究所は昨年，プロ野球公式戦を舞台とした自由視点映像のリアルタイム配信に成功した．本講演では，KDDI総合研究所のリアルタイム自由視点方式の紹介と，リアルタイム自由視点に関する実証実験の事例紹介を行いながら，自由視点映像技術の今後の展望について紹介する．

一流選手の技術はどのように研究されているか：「見る」から「観る」へ

スポーツへの社会の関心が急に高まり，それとともにいわゆる科学的手法をスポーツの分野に導入し，選手の競技力向上や様々な年代のスポーツ愛好者のスポーツ能力向上に活用しようとする試みが盛んになった．講演では，競技会に出場した選手の技術分析の本格的契機となった1991年に開催された第3回陸上競技世界選手権における日本陸上競技連盟バイオメカニクス研究班の活動を紹介し，一流選手の技術や動きがどのように研究されているかを述べることにする．加えて，多くの競技会における選手のデータから，よい動きのモデル（動きの標準値，標準動作）を作成する試み，技術を評価・診断する技術最適化ループなどについて述べる．

チームスポーツにおける選手位置情報の活用例 ～ 選手運動モデルを用いた方法を中心として ～

近年，混戦型チームスポーツにおいては幅広く選手位置情報が計測・記録されてきています．また，その活用にも注目が集まっています．本講演では，講演者の研究室で取り組んできている選手位置情報の研究例について，特に，幅広い活用が考えられる選手運動モデルを用いた研究例を中心にオムニバス的に取り上げます．また，その中で用いられている優勢領域や隣接グラフ，そして選手到達可能領域に基づく方法や，それらのサッカー，バスケットボール，7人制ラグビーに対する適用例なども紹介します．

スポーツ映像処理における現場活用の可能性

コンピュータビジョン技術がスポーツ分野の様々な分析へ活用され，各競技の選手パフォーマンスが向上している．そのため，競技上の選手位置や骨格情報を映像から取得する手法が活発に研究されている．一方，現場の撮影映像では，撮影するカメラ配置個所の制限や競技特性により，近年提案された手法の適用条件を満たすような撮影ができない問題がある．本講演では，各競技を撮影する現場の事例を取り上げ，限られた撮影条件においても選手情報を取得できる手法を紹介し，スポーツ映像処理における現場活用の可能性を探る．

Concluding：総括及びまとめ

釣竿を用いたハプティックデバイスの開発

力覚提示はバーチャル空間の物体の存在感を提示させる重要な要素である．これまでワイヤによる設置型のシステムが多数提案されているが提示可能範囲がやや小さいという課題があった．そこで我々は釣竿を用いて指先に力覚を提示するデバイスを開発している．釣竿から出ている糸を指に取り付け，糸の巻き取りを制御することで指に力覚を提示する．釣竿は軽量であるため，高速に釣竿の姿勢を制御できる．また，釣竿を支える固定台は多方向に傾くことが可能な構造にしている．さらに，釣竿のしなり自体が強い力を指先に提示できる効果がある．これらにより，指先に提示する力の向きを高速に変化させるとともに提示可能範囲を広げている．

SMAスプリングを用いた体性感覚伝送システム

本展示は形状記憶合金を用いた体性感覚伝送システムを提案する．デバイスはグローブ型であり，ユーザは内蔵された合金の縮小で指部のプログラムされた操作を体験する．形状記憶合金を利用したシステムは，静音性が高くかつより細かい制御が可能である．本研究はトレーニングなどでの利用を目的としており，VirtualRealityと組み合わせた,
ピアノやドラムなどの演奏技術，スポーツ，高度技術を要する仕事などにおける経験や技術の簡易な共有を可能にすることを目指す．

どこでもディスプレイ

身の回りの様々なものをディスプレイとして利用可能にする映像補正技術を展示します．映像世界に没入する手段として，実物体に映像を投影することで，その見た目を変化させる空間型AR技術が知られています．この技術の適用範囲を，より身近な空間や環境に拡張する技術を「どこでもディスプレイ」と呼んで研究しています．今回は，室内によくある色や模様のついた壁面，さらにはエアコンの風で揺れるカーテン等をディスプレイとしてしまう輝度・幾何補正技術と，手に持って自由に動かせるものを対象とした動的プロジェクションマッピング技術を実演します．

奥行き方向に移動する空中像を提示する光学系の小型化

空中像では，映像のみが3次元空間を動き回る表現が可能である．
しかし，奥行き移動する距離だけ，光源を移動させる必要があり，装置が大きくなる．
本研究では，奥行き移動可能な空中像光学系の小型化を目的とし，鏡を用いて虚像を生成し，光源の回転と，鏡の回転移動によって虚像を移動させる光学系を提案した．
試作したプロトタイプの光学設計と従来手法の光学設計の面積を比較した結果，約16.6% 面積が減少することが分かった．

VRデモ「西日本豪雨災害」 ～ 報道用途でのVR活用事例 ～

NHKではニュースをより実際の出来事として理解を深めてもらうことを目的としてニュース現場の360度実写（VR撮影）公開を実施している．
本展示は2018年7月に発生した西日本豪雨災害時の「広島・岡山・松山」の被災地の様子を発災直後にVR撮影したものである．
さらに，各被災地の数か月後の状況を同ポジションで撮影し，空間を分割して表示することで復興の様子も疑似体験できるコンテンツにしたものである．
また，今年9月に発生した台風19号の「長野・福島・宮城」の被災状況を高解像度（8K）3DVR撮影したコンテンツを同時展示する．

テレビ映像と同期した自由視点ARのリアルタイム伝送技術

テレビ映像と自由視点ARを高精度に同期させることで，それぞれが独立したものでなく，テレビの長所（精細感，ライブ感）とARの長所（実在感，自由視点）を掛け合わせた新たな視聴体験を実現する．普段はテレビの枠の向こう側にいる姿しか見ることのできない演者がテレビの前に等身大のARで登場することで，テレビ内とテレビ外の空間がシームレスに融合し，演者が一気に身近な存在に引き寄せられる．
3次元データをダウンロードした後のAR再生ではなく，3次元データも映像同様のストリーミング伝送をすることで時間軸での番組連動が行いやすく，将来的には生放送にも対応できるシステムとした．

ARデモ「飛び出す筋肉体操」

NHK技研では，AR技術によるバーチャル人物の存在感の高さを活用した放送メディアの未来像を検討している．
ARグラスを用いれば，あたかも目の前に出演者がいるかのような表現が可能になり，直接話しかけられているような説得力が期待できる．
今回，ユーザーがARグラス（MS HoloLens）を着用すると，フォトリアルな3DCGアニメーションによる体操のトレーナーがテレビから飛び出し，目の前で「筋肉体操」を指導してくれるコンテンツを試作した．

ダイナミックフィールド3次元動きセンシング技術

世界のヒトとモノのデジタル化により，状況を可視化・体験することで新たな学びや気付きが得られる世界の実現を目指し，広域な空間で複数のヒトの動きをデジタル化するダイナミックフィールド3次元動きセンシング技術の開発を行っている．
デジタル化・可視化の取り組みの一環として，実際のハンドボールの試合をVRで再現する実験を行った．本展示では再現レベルを確認するデモと，実験で明らかになった課題および解決に向けた取り組みについての報告を行う．

感性に働きかける触覚提示技術

VRを活用した自衛消防隊の役割理解コンテンツ

企業内防災として有効な自衛消防隊組織は，各企業からなる構成員のため訓練内容の質や方法に乖離が生じている状況にある．
大規模災害の懸念が高まる中で，非常時に活動できる自衛消防隊の育成を目的として，VRを活用した役割理解コンテンツを開発した．
VR空間を自由に移動が可能となっており，自分の判断に基づいて次の行動を選択することで教育要素を高めている．
また本コンテンツでは，体験者毎のログデータを蓄積することができ，隊員活動における判断ミスや見落とし等の傾向を分析することが可能となっている．

オープニング

5Gのリアルとフューチャー

5G ネットワークの導入が世界中で進められている中，NTT ドコモも今年9 月20 日にはラグビーワールドカップの開幕に合わせて5G プレサービスを開始しました．これまでドコモでは，多様な業界のパートナーの皆様とともに5G における新たなアプリケーション・サービスを開拓すべく幅広い応用分野において実証試験／トライアルを進めてきました．本講演では，それらの活動を含む商用サービス開始に向けた取り組み状況を5G の「リアル」としてご紹介するとともに，5G のさらなる進化と発展に向けた取り組み状況を5G の「フューチャー」としてご紹介します．

5G高信頼低遅延通信へのソフトバンクの取り組み

休憩

5Gの可能性と展望，KDDIの取組み

本講演では，5Gが実現する社会に向け，5G総合実証試験等を通じて，様々な異業種パートナーと連携した地域課題の解決と地方創生につながる取り組みについて紹介する．

5Gでのリアルタイム・メディア伝送に向けた取り組み

様々な産業分野での活用に期待が集まる第5世代移動通信システム（5G）について，いよいよ2020年春，携帯キャリアの本番サービスが開始されます．また，5G技術を個別ネットワークとして活用する「ローカル5G」の導入も，様々な事業者で実施可能になります．
放送事業者用途を含む大規模映像ネットワークの通信サービスを展開するNTTコミュニケーションズでは，5G／ローカル5Gをネットワークシステムやネットワークソリューションの一部として活用するための技術検証を行ってきています．
本講演ではその一端を紹介し，映像メディア等の伝送システムに5G／ローカル5Gを活用する際の必要な技術的要件の整理を行い，合わせて，今後の技術開発の方向性を探ります．

画像認識AIを用いた番組応用と展開

衛星回線の高効率化・双方向通信・運用自動化を実現した新SNGシステム（F・SAT）

フェンシング剣先軌跡可視化技術「ソードトレーサー」の開発

5G網を利用した自由視点映像リアルタイム配信技術

ソーシャルメディアの活用技術とその番組応用

音声認識を使用したAI による自動リアルタイム字幕“AI ポン”の開発

ライブ音楽番組におけるフレアプラスレンズを用いた映像効果～2018FNS 歌謡祭における活用～

地上デジタルテレビジョン放送高度化方式の開発

オープニング・技術規格概要紹介（座長）

PTPによる同期技術

既存の映像制作・伝送システムの同期信号は，Black Burst Signal（BB信号）を利用し，同軸ケーブルを用いたSDIでの構築が主流でしたが，4K・8K放送をはじめとするリッチな映像コンテンツが普及し始めたことにより，映像制作・伝送の分野でもIPネットワークを用いて番組制作する為の概念実証が行われています．
IPネットワークでの映像配信の標準規格としてSMPTE ST 2110が策定されています．
SMPTE ST 2110-10の中で映像/音声のタイミング技術としてSMPTE ST 2059にて規定されているPTPがあります．今回はPTPによる同期技術についてご紹介します．

IPマルチキャスト技術

放送機器のIP化が進んでおり，さまざま放送システムでIPが用いられるようになってきている．ひとくちにIPといっても，様々な技術の集合体である．本講演では，IPマルチキャスト技術に焦点を当て，IPマルチキャスト技術の仕組みや，放送システム内での用いられ方を紹介します．

映像・音声の伝送方式（SMPTE 2110）

放送局ライブ設備のIP化において，映像，音声，補助データ（以下エッセンス）の信号を伝送する規格であるSMPTE ST 2110について解説する．ST 2110は，柔軟性やネットワーク利用効率に優れた，各エッセンスを独立に扱う方式を規定しており，局内のIPによるメディア伝送の主流になりつつある．本講演では，ST 2110に至る過程を概観した後，ST 2110におけるIP関連規格の使われ方，エッセンス内の前後関係やエッセンス間のアライメントを担保するためのタイミングやストリームのシグナリング等に関する規定，今後の動きなどを解説する．

機器の管理・制御方式（NMOSの概要と最新動向）

休憩

トライアル概要紹介（座長）

スポーツ中継におけるIPリモートプロダクショントライアル ～ フジテレビの事例紹介 ～

歌番組におけるIPリモートプロダクション本番トライアル ～ テレ東音楽祭2019での事例 ～

「テレ東音楽祭2019」において，近年注目されている番組制作のIPリモートプロダクションの概念実証を行った．
IPリモートプロダクションでは伝送遅延が懸念されている．IP化に伴う遅延量の増加が，歌番組の制作環境でどういた影響を及ぼすかを検証し，今後のリモートプロダクションにおける課題の抽出を行う．
また，IPリモートプロダクションでは回線手配が1つのボトルネックとなっている．今回，商用広域イーサネットサービスであるNTT東日本のビジネスイーサワイド（以下，BEW）を利用したリモートプロダクションの実現性を検証する．

IPリモートプロダクションを用いたサッカー中継Audio Mixing

リモートプロダクションを用いた中継スタイルが注目され始めており，弊社では音声中継車の運用が重なり不足する場面が年に数度あることから，サブ更新を鑑み新たな中継方式の導入検討を始めることとした.リモートプロダクションにおけるコストメリット，必要とする技術要求及び実運用に即した方式であるのかの検証を2019年4月21日に長良川競技場にて行われたJ2リーグ中継「FC岐阜 vs 水戸ホーリーホック」にて音声中心ではあるがミキシングを行い確認したので紹介する.

休憩

Live Multi Viewing を効果的に利用した独自のリモートプロダクション方法の開発

人材も予算も限られている中，効率よくコンテンツを制作するために，独自のリモートプロダクションシステムを作りました．
限られた機材で，できる限りリッチなコンテンツを作れるように意識しています．

IPライブプロダクション相互接続検証

映像や音声データをIP （Internet Protocol） ネットワーク上で伝送するための規格であるSMP TE ST 2110 スイート［ 1］の発行を契機として番組制作システムにIPを利用する動きが世界的に強まっており，多くの放送機器ベンダーからこの規格に対応した映像・音声機器が発売されている．そこで，NHK では，多くの放送機器ベンダー，ネットワーク機器ベンダーの協力を得て，複数のベンダーによる機器を用いた番組制作システムの相互接続性の検証をこれまでに3 回行ってきた．
本稿では，検証で得た知見について報告する．

全体質疑、クロージング

12B-1［フェロー記念講演］画像符号化方式と機械学習
（予稿なし）

適応KL変換符号化方式は，変換符号化において最適な変換であるKL変換を更に，局所的に適したものに切り換えていくものでした．KL変換を平均的に見るとコサイン変換に近い形になるが，画像ブロックを8種に分類可能と仮定すれば，8種のKL変換を用いることが有効となる．当時ブロックサイズ8×8で，S/Nで0.5dBの向上を実現した．その後，大学に移り，16×16で行ったところ更に性能が向上した．現在では，自動車ナンバープレートの検出を機械学習にて行う実用化研究をおこないつつ，符号化の性能向上に機械学習を組み込む方式を検討している．

22B-1［フェロー記念講演］AI・IoT・ビッグデータ解析に基づいたマルチメディア信号処理による実社会データからの価値創出
（予稿なし．当日配付資料あり．）

本発表では，実社会データからの価値創出を実現するマルチメディア信号処理技術について紹介します．近年，成長の著しいAI・IoT・ビッグデータ解析に関する研究について紹介するとともに，それらを導入したマルチメディア信号処理技術とその実社会応用の研究事例について説明します．さらに，IoT・ビッグデータ解析を導入することで新たに実現可能となる次世代AI技術についてご紹介します．

22C-5［フェロー記念講演］撮像デバイスのこれまでとこれから
（予稿なし）

30年前，撮像デバイスの主な用途は，放送局のテレビカメラで，ほぼ全てに撮像管が使われていた．その後，固体撮像デバイス（MOS型撮像デバイス，CCD型撮像デバイス）が発表され，本研究会の前身テレビジョン学会情報入力研究会では，各社競って技術報告を行うとともに，熱い質疑応答が行われていた．撮像管の全盛期には，固体撮像デバイスが，CCD型撮像デバイスの全盛期にはCMOS撮像デバイスが実用化は困難との予測がされていたことが，今では信じられない話である．当初よりCMOS型撮像デバイスの特徴は信号処理回路が同一チップ上に形成できるメリットがあげられてきたが，高画質化が一段落したこれからは，各種高機能化が達成されていくことに期待したい．

24C-1［フェロー記念講演］フェローの称号を戴いて ～ これまでの研究とチャレンジ ～
（予稿なし）

このたびは，フェロー称号を戴きまして，身に余る光栄と，身の引き締まる思いです． NTT研究所と徳島大学で39年間と研究開発に携わってきました．幸いなことに，ほぼ10年単位で，前半:スパッタ法によるゲート酸化膜特性，中盤:DFD表示方式と，一つのテーマをやらせてもらいました．他人と同じ路線では面白くないという感覚で臨んだことが，良い方向に転んだのだと思います．チャレンジとはよく言われますが，皆が一斉に同じ方向に走り始めている時に，立ち止まって，その方向性に疑問を投げかけることが重要と考えます．色々とチャンレンジし続けてきていることや，最近の3D像と実物の相違の研究などについても述べたいと思います．