NeRF（Neural Radiance Fields：ナーフ）は、画像から3次元（3D）データを生成するAI技術である。

　その始まりは2020年に遡る。UCバークレーのMildenhallらは「NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis」という論文を発表した。この技術は、非常に高い忠実度で3Dシーンを再構成できるため、人工現実（VR）、拡張現実・複合現実（AR/MR）、メタバース、デジタルツインなど、さまざまなコンテンツ制作に大きな注目を集めている。ファストフード企業などは、すでにNeRFを活用してテレビCMを制作している。

　これまで、画像から3Dデータを生成する技術として、フォトグラメトリやSfM（Structure from Motion）が実用化されてきたが、NeRFは異なるアプローチを取っており、フォトグラメトリの課題を解決する可能性が期待されている。

　NeRFは、3D空間の位置（x, y, z）ごとの光と透明度（θ, φ）を（これをRadiance Field（RF）と呼ぶ）、ニューラルネットワークを使って推定する技術である。これにより、金属やガラスのような素材も含め、フォトグラメトリでは難しかった3Dモデルの生成が可能になる。

　具体的な仕組みは以下の通りである。

• 入力：複数の異なる角度から撮影された2D画像。これらの画像には、3D空間に関するヒントが含まれる。
• 5D空間推定：既知の視点に基づいて、2D画像をニューラルネットに入力し、5D（x, y, z, θ, φ）の空間を推定する。
• 新たな視点の生成：推定された3D空間の光と透明度情報を使用して、新たな視点からの画像を生成し、ボリュームレンダリングを行う。

　NeRFを活用して、3Dモデルを生成するためのツールやサービスがいくつか存在する。その中には、Luma AI、Instant NGP、NeRF Studioがある。

　Luma AIは、専用のウェブサイトに画像をアップロードするだけで、簡単に3D化を行ってくれる。しかしこの方法では、生成した3Dモデルが広く公開されてしまうため、非公開の対象には使用できない。そのため、筆者は自身のWindows PCにInstant NGPとNeRF Studioを導入し、試してみることにした。詳しい手順は、それぞれの専用サイトをご参照いただきたいが、CUDA、CMAKE、Python、Anacondaなどをインストールしながら環境を整える必要がある。

以下では、Instant NGPを使った作業フローを紹介する。

• 対象の写真を撮影

　対象となる物体を、できるだけ多くの角度から撮影する。静止画を多数撮影する方法もあるし、動画を撮影してからそれを静止画に分割する方法も考えられる。

• Instant NGPで計算

　まず、カメラのパラメータを推定する計算を行う。次に、推定したカメラのパラメータを使ってInstant NGPに入力する。Instant NGPは、これらのパラメータを基にしながら3Dモデルを生成する（図1）。

　初めは画面全体がぼんやりとしているが、しばらく待つと計算が落ち着いて、3Dモデルが完成する。マウスを使って操作してみると、確かに3D化されていることがわかる（図2）。

• ポリゴン化

　NeRFが行う処理は「2」に該当するが、生成した3Dモデルを既存のソフトウェア（BIM、3DCGなど）に取り込むためには、点群やメッシュ（ポリゴン）を作成する必要がある。
　Instant NGP上で、メッシュ化したい部分を選択して、その後に出力する。そして、次の段階で使用したいソフトウェアに入力し、次の工程に進む。もし必要があれば、BlenderやMeshLabなどのソフトウェアを使用して、メッシュの数を調整することも考えられる。

図１ Instant NGPを使用した3Dモデル化のプロセス

図2 NeRFによる3Dモデル化：順に、アートのオブジェ、オランダの木靴、水辺の住宅群、ガラスの照明器具（すべて、第14回VRサマーワークショプ会場、オランダ・フローニンゲンにて）

　Instant NGPを使用した際のNeRFに関する課題を挙げておこう。

• 動く物体を3D化することが難しい。
• 3Dモデルの生成に時間がかかることがある。
• NeRFで生成された3Dモデルとその属性情報を対応させることが難しい。

　これらの課題に対する解決策は、最新の研究によって取り組まれており、解決の糸口が見えているとされている。また、実世界の写真だけでなく、コンピュータで生成された合成画像にも対応するようになってきている。　NeRFは、今後の進化が楽しみな技術である。