【もじ】革命！テレビ局ならではの音声認識AIの活用 ～「もじこ」「もじぱ」「もじダス」の事例より

TBSテレビでは，AI技術を活用し，放送業務の改善に役立てるシステムの開発に日々取り組んでいる．もじこラボでは，文字起こし業務や生放送字幕，テロップ作成など「もじ」にまつわる悩みを抱えている現場に寄り添い，音声認識AIを活用したソリューションを生み出してきた．音声認識AIの活用は，長年のテレビ・ラジオ業界における課題である作業時間の短縮化・効率化につながり,また関連技術分野へのさらなる開発の礎となっている.
今回は，もじこラボが開発した「もじこ」「もじぱ」「もじダス」の3つのソリューションの開発経緯や機能について説明するとともに，現在取り組んでいるテレビの枠を超えた新しい挑戦についてもご紹介する．

NHKにおけるAIによるコンテンツ制作支援技術の研究開発

放送局では，コンテンツを制作する過程で映像，音声，原稿，メタデータなど多くのデータが生み出されている．これらは，記者やディレクタなどの制作の専門家により作成されたものであり，AIにとっては，その精度を向上させるための高品質で大規模なデータとなる．NHKでは，正確な情報をさまざまな媒体でより迅速に発信するため，放送で生み出されたデータを活用したAI技術によるコンテンツ制作支援に取り組んでいる．これらの研究開発の成果は，ITU-Rの技術レポート BT.2447「Artificial Intelligence System for Program Production and Exchange」において，放送へのAI活用のユースケースとして取り上げられている．本講演では，NHK放送技術研究所で研究開発を進めているコンテンツ制作支援技術について，近年の取り組みを紹介する．

＜技術振興賞＞進歩開発賞（現場運用部門）受賞　AI制作支援システム「エイディ」の社内開発と運用

現場オペレーションの効率化や，新しい番組表現の実現を目的として，AI業務支援システム「エイディ」を社内開発した．「英語テロップの日本語自動変換」，「スポーツコーダ操作の無人化」，「コンテンツの自動監視」など，多くの番組制作シーンでの業務効率化の貢献に止まらず，視聴者にも直接届く番組表現として「CGトラッキング表現の自動化」，「自動モザイク処理」などスポーツ，報道や情報番組で活用されている．さらに「グリーンバックが配置できない環境でのCG合成」や，「物体間のCG合成」など，生放送におけるCG合成の自由度を大幅に高めたことで，これまでにない新しい番組表現も実現した．また，AI学習に必要な作業の効率化のため，架空の画像素材の生成や，ラベリングの自動化により現場担当者がAIをより気軽に活用できる仕組みも開発し導入した．

＜技術振興賞＞進歩開発賞（現場運用部門）受賞『WEBブラウザ上で動作する素材アップロードツール「クラポ」の開発』

日本テレビでは，取材先から記者や視聴者が放送局（以下本社）へ迅速に映像ファイルや静止画ファイル（以下素材）を送受信できるツール「クラポ」を開発し，2021年11月から報道・情報・スポーツ向けに運用しています．本ツールは WEB ページからクライアントソフトレスで手軽に素材をアップロードできる設計となっており，素材の提供を受ける場合は，記者が発行したアップロード URL 入りの QR コードを素材提供者が自分のスマートフォンで読み取ることで直接アップロードし，本社の編集システムが自動で素材を取り込む一気通貫の作業フローを実現しています．本講演では具体的なワークフローや運用実績などをご紹介します．

＜技術振興賞＞進歩開発賞（現場運用部門）受賞『災害情報カメラ収録システム「TOREZO」の開発 ～ 日本全国に広がる情報カメラ映像の自動送出を実現 ～』

フジテレビでは日本各地の情報カメラ映像を24時間ループ収録し，地震発生時には2分以内で地震映像の送出が可能な災害情報カメラ収録システム「TOREZO」を開発・運用している．ハイブリッドクラウド実装により被災による運用への影響を極力抑えた．全国の系列局で情報カメラ映像を共有する事で，系列局全体の災害報道能力を増強し，映像素材の局間伝送の負担軽減に貢献した．地震映像の自動切り出しにおいては，従来の地震速報データに加えてリアルタイム震度情報を活用する事で，従来と比較して高速かつ高精度を実現した．地震以外にも気象，天文現象，交通情報などのライブ中継で活躍している．本講演では「TOREZO」の概要と活用事例について発表する．

＜技術振興賞＞進歩開発賞（研究開発部門）受賞『特定空間フォーカス型360度動画再生アプリ「音の VR」の開発と実用化』

新たな体験価値の創出と社会課題の解決を目指して，XR技術の研究開発を進めている．今回，その一環として，「新音楽視聴体験 音のVR」と呼称するモバイルデバイス向けの特定空間フォーカス型360度動画再生アプリを開発した．このアプリでは，視線方向の自由度だけでなく，画角の自由度も視聴者に提供し，視聴者自らによるタッチスクリーンのジェスチャ操作などにより，再生される音と映像の合成範囲を連動させており，好みの歌手や楽器，アイドルに「近づける」という視聴体験を提供している．本発表では，提案手法と開発したアプリの概要，コンテンツの制作方法を述べるとともに，コロナ禍での活用を含むいくつかの活用事例を紹介する．

＜映像情報メディア未来賞＞受賞『インコヒーレントデジタルホログラフィーの動画像撮影に向けた複数ホログラムの一括撮影技術』

インコヒーレントディジタルホログラフィー（IDH）は太陽光やLED光など身近に存在する光を使って高精細な3次元情報を取得することができる．IDHでは位相の異なる複数のホログラムを取得する必要があるが，これらのホログラムを一括で撮影することができれば，3次元情報の動的取得が可能になる．そこで複数ホログラムの一括撮影のために，位相格子による光の回折現象を応用して4枚のホログラムを空間的に分割して形成させ，円偏光の幾何位相により各ホログラムに異なる位相を付与できる空間分割幾何位相シフト法を提案した．これにより，奥行き方向の異なる距離に配置された2つの動的な被写体を撮影することができた．

Opening

Welcome to the special session on Information Processing for Physical Education and Sport Education DX

教育におけるＩＣＴ活用の実態 ～ 算数教育を通じて ～

A lecture on education in Japan based on many years of experience in math education, including a bird’s view from an investigator’s perspective, is introduced.

CV技術のスポーツ映像処理への適用事例

The application of computer vision, pattern recognition, and machine learning techniques to sport video analysis has been attempted. This presentation introduces the research results obtained so far, such as calibration of external parameters of cameras related to educational DX, tracking of players and balls using deep learning, motion analysis of players’ movements using motion stereo vision, and creation of practice contents using MR.

スポーツにおけるメタデータ表現と情報保障技術

The lecture introduces research on sports video analysis technology, video expression technology such as trajectory display (fencing, golf, curling) using metadata obtained from the analysis, and tactile presentation for the visual impairment and accessible technologies for hearing and visually impaired persons using such metadata.

ハイパフォーマンスを引き出すスキル解析とスポーツDX

Research outcomes on sport DX, including visual support techniques and big data analysis using sensory devices for extracting sports skills from top athletes will be presented.

休憩

［フェロー記念講演］Motion Estimation ～ 動画像符号化における動き推定・動き補償とスポーツ情報処理における動作解析 ～

MPEG, a video coding standard, uses motion-compensated interframe prediction. Motion estimation is essential for motion compensation. The motion of an object is projected onto an image, and the amount of motion in the 2D image is the estimated 3D-to-2D projection. Various efforts have been made for motion compensation in the case of occlusion and non-rigid objects. Some of the motion compensation methods used in the latest coding standards were devised between 1988 and 1991. On the other hand, advances in machine learning technology have made it possible to easily obtain skeletal information from images. OpenPose, proposed in 2017, is a method that can obtain skeletal position information from an image. The transition of the skeletal position as an image is a vector as a two-dimensional motion. For sports, it is necessary to acquire 3D information, and 3D motion estimation methods have been proposed. Furthermore, if the force required for motion can be measured, acceleration can also be estimated. In video coding, an object is an object in 3D space. Therefore, motion estimation and motion compensation can also be performed in the 3D reconstructed space and projected onto a 2D image.

インクルーシブ教育と特別支援教育 ～ パラリンピックを踏まえて情報処理へ期待 ～

Information processing such as data assemble through web-based questionnaires in inclusive education, including the topic of the Paralympics, is introduced.

スカイスポーツにおける情報処理　～ 気球の技術伝承 ～

Hot air balloon is the oldest way to fly. During the flight of balloons, the pilots can only control their vertical locations and the horizontal movements of the balloons totally rely on the wind blowing at that altitude. The competition of balloons is to compete how accurately the pilots can lead the balloons to the designated “targets” which are set by several different ways. The world-championships of the hot air balloons have been held every other year since 1973. In the presentation, I would like to present how we compete in the air by riding in the balloons and how exciting it is. I will introduce how Japanese pilots competed in the world since 1975. The key factor of the ballooning competition is finding the wind of the right direction. I also would like to discuss how image information could help the competing pilots to find the right wind high above in the sky.

産業分野における人の動きの解析と技術教育 ～ 建設現場映像における作業員の連動性評価 ～

Information processing to enhance the human abilities in the traditional process of various works and social infrastructures based on human movement is presented. Also, the probability of the education of engineers based on the above technologies will be discussed.

教育分野におけるICTの利活用とその将来　～ 体育教育を通して ～

This lecture introduces the information processing required in educational situations such as past cases in school education, and information processing used in educational situations related to movement such as sport, and to discuss how to make better educational DX, including proposals for its utilization. Image processing that can be easily expressed to pupils and students are information processing that has a high affinity with physical education and sport education.

Concluding

This symposium introduced the information processing in educational situations related to movement such as sport, and to discuss how to make better education DX, including proposals for its utilization. The latest research on imaging technology was also introduced. All of us expect “Sport Education X Imaging Technology” to explore new education. The viewpoints of both education and technology enables us to new classes in the future.

12B01［フェロー記念講演］番組制作支援技術の研究開発を振り返って（予稿なし）

このたびは本学会のフェロー称号を賜り，深く感謝申し上げます．
本講演では，これまで30年ほど取り組んでまいりましたテレビ番組制作を支援するための技術研究について振り返ります．研究初期に携わった高品質なリアルタイムバーチャルスタジオ向けの映像合成技術や，後半期に携わった手話CG技術や解説放送支援など，あらゆる視聴者に情報を届けるための人にやさしい放送技術分野に関する研究開発への取り組みについてご紹介します．

企画305［フェロー記念講演］Motion Estimation ～ 動画像符号化における動き推定・動き補償とスポーツ情報処理における動作解析 ～

MPEG, a video coding standard, uses motion-compensation frame-to-frame prediction coding. Motion estimation is essential for motion compensation. The motion of an object is projected onto an image, and the amount of motion in the 2D image is the estimated 3D-to-2D projection. Various efforts have been made for motion compensation in the case of occlusion and non-rigid objects. Some of the motion compensation methods used in the latest coding standards were devised between 1988 and 1991. On the other hand, advances in machine learning technology have made it possible to easily obtain skeletal information from images. 2017’s OpenPose was a method that can obtain skeletal position information on an image. The transition of the skeletal position as an image is a vector as a two-dimensional motion. For sports, it is necessary to acquire 3D information, and 3D motion estimation methods have been proposed. In video coding, an object is an object in 3D space. Therefore, motion estimation and motion compensation can also be performed in the 3D reconstructed space and projected onto a 2D image.