金沢工大の幅広い分野の学生が多数参加しているDkartcafeプロジェクトは、先端技術を活用したマーケッティング、イベントプロモーション、特にスモールビジネスによる地方活性化、地方創生などに5年にわたって取り組んできました。本作品は、金沢市の夜の魅力向上を目的に、市民参加型のイベントとして学生主体で取組み、700人以上が参加。初めて取り入れた5Gの遅延の少なさにも触れられました。
今回のイベントを発展させ、金沢市と金沢駅で5Gを活用したコンテンツの常設を検討しています。

AichiExpoという展示場のオープンイベントとして企画された本作品は、移動するカート側面の映像と池を表す床面投影映像が連動し、動きに反応して泳ぐ鯉が表現されたインタラクティブなシステム技術です。2次元Lidarを2台使用した画像処理からカートの位置と方向の取得するなど、まわりの観客、カート乗車者、カート周辺、床面など周囲の環境とのインタラクションが実現されています。
本システムのようなディスプレイ付きカートの応用としては、広い駐車場や、ショッピングモールなどでの活用が考えられ、3DCGで作成した街の中をこのカートで走るような展示も行われました。

エクスペリエンスウォールは、高さ2.7m幅10mで高精細・高輝度のワイド8Kディスプレイ。本公演では、この制作にあたってのポイントやエピソードについて改めてご紹介いただきました。まず、ディスプレイに見せない工夫により空間と調和させること、8Kレベルに見合ったコンテンツ制作について言及。次に、8Kカメラで撮影するとデータが重たくなり過ぎて扱えないため、4Kカメラ3台でブレンディングを行うという工夫を説明しました。その他、次世代ショールームNIPPON GALLERY TABIDO MARUNOUCHIなど進行中のさまざまなプロジェクトの紹介と併せて、様々な先端技術やシステムを統合する技術について紹介しました。

存在の音色［Sounds and colors of life]は立体音響、電子音楽生演奏、シャボン玉がプログラミングでコントロールされ、幻想的で優しい世界観を演出するインスタレーション作品。人工生命のアート表現として子供でも親しめるように未確認音源生物という作品に取り組み、そこから本作品を制作し、六本木でライブを行いました。サウンドアーティストのoni氏が、照明、シャボン玉、アナログシンセ生演奏も含めコントロールし、堀氏が立体音響を操作。照明システムを設計した岡本氏は、ライブの盛り上がりに対応できる自由度のあるシステムを構築。掘氏からは、立体音響の制御にLEAPMOTIONを使って手の3次元位置から、立体音響をコントロールした技術を紹介いただきました。

3D能は、能楽師の身体動作を利用したリアルタイム3D映像を生成する技術。本作品は舞台上に全面的に映像を投影していても、能楽師の位置を把握するために、遠赤外線カメラを利用して能楽師を画像認識します。また、鏡から見える光景を投影し、鏡の動きに応じた映像効果を付加するため、鏡の中にスマホを入れて技術課題を解決しました。
当団体はリアルタイム映像演出について1995年から開発しており、3D能ついては2015年から取り組んでいます。

MelodySlotMachineは音楽演奏のコントロール体験ができる作品です。本作品に至るまでの研究として、15年に渡りGTTMという音楽理論による分析・応用に取り組んできたことを紹介。作曲の逆過程に相当した分析の応用として各種自動作曲システムを作成しました。分析器の性能に課題がありましたが、深層学習を取入れることにより飛躍的に向上し、成果として本システムを開発されました。今後は音と姿勢ベクトルを深層学習させて対応することで、分析器の性能を100%に近づけ、個性を持ったバーチャルミュージシャンの実現などを目指しています。

本作品は、ねぶた祭りの臨場感や青森の自然の豊かさを、実寸大でその場にいるように体験できる、高精細な大画面360°スクリーン及びシステムです。
6台のプロジェクタを中央に上向きに設置し、ミラーで折返したシステムは同期に2D/3Dコンテンツが混在していることもあり、4～5ヵ月掛けて微調整を繰り返しています。色々なコンテンツを4Kにアップコンバートして、4Kx6≒20K相当の高画質なコンテンツを表現。VRにおける等身大の重要性も示されました。