UC-win/Road Ver.11の新機能であるSfMプラグインについて紹介します。SfMプラグインにより複数の写真を解析して、VR空間内に3次元座標（点群）を復元することができます。

SfMプラグインは、カメラで撮影した複数枚の写真から、空間内の物体について3次元点群モデルを生成、およびカメラ位置を推定して、UC-win/Road 上に表示するプラグインです。点群とカメラ位置は、入力された写真画像に SfM(Structure from Motion)と呼ばれる手法を適用することで取得します。
SfMプラグインは様々な用途に利用できます。たとえば、道路や線路などを進む際に連続写真を撮影することで、道路や線路の周辺一帯を点群にすることも可能です。3Dレーザースキャナなど特別な機器を用意することなく、実空間の物体を手軽にVR空間に再現できることがメリットの1つです。
・SfM(Structure from Motion)：撮影した写真を複数枚与えて解析することで、カメラの位置と向き、写真内の特徴点の3次元位置を推定する技術です。推定結果は、VR 空間上に表示することができます。

SfM プラグインは次の様な機能があります。 映像から点群を生成 デジタルカメラによる撮影写真や、ビデオ映像から抽出した画像を基に点群を生成します。 点群の表示調整 解析出力した点群がUC-win/Road上で適切に表示されるよう調整できます。実寸とのスケール調整や位置合わせ、回転が可能です。これにより、複数の点群データを合わせて表示したり、VRモデルと点群データを重ねて表示することもできます。 カメラのキャリブレーションファイル作成 デジタルカメラでチェスボード画像を撮影して入力することで、レンズの焦点距離や特性を解析し、画像内の歪みを補正するファイルを作成します。 VisualWordsファイルの作成 点群を生成する際に使用するVisualWordsファイルを生成して出力します。

■図1　解析の流れ

写真撮影
3次元点群を生成したい対象の空間をデジタルカメラで撮影します。写真は複数枚は必要で、少しずつ移動しながら撮影する必要があります。また、SfM解析にはカメラの特性がパラメータとして必要なため、写真にEXIF情報が付加されていない場合はチェスボードパターンを撮影してキャリブレーションファイルを生成する必要があります。
・Exif (Exchangeable image file format)：デジタルカメラで撮影した画像データに、撮影条件に関する情報を追加して保存できる、画像ファイル形式の規格。撮影日時や機種名、解像度、露出時間、絞り値、焦点距離、ISO感度、色空間、などのメタデータが画像と併せて記録されています。

カメラキャリブレーションファイルの生成
チェスボードパターンを撮影した写真を用いて、デジタルカメラの特性を計算したカメラキャリブレーションファイルを生成します。

Visual Wordsファイルの生成
SfM解析をするうえで、写真の類似度を高速で判断するために必要なVisual Wordsファイルを生成します。生成には、解析を行う対象の写真を用います。Visual Wordsファイルの生成には膨大な時間を必要とするため、あらかじめプラグインに付属したサンプルファイルを使用することをお勧めします。

SfM解析
写真とカメラキャリブレーションファイル、Visual Wordsファイルを取り込み、各種解析条件を与えたあと、解析を実行します。

■図2　ショールームの撮影写真

■図3　ショールーム解析結果

SfMプラグインでは、リアルタイム解析またはバッチ解析を行うことができます。リアルタイム解析は、フォルダにアップされた画像を瞬時に解析し点群を生成します。ただし、大量のメモリを消費します。
バッチ解析は、解析の前に対象の写真を設定し、設定した写真のみを解析して点群を出力する解析モードです。メモリ使用量が少なく、リアルタイム解析に比べ多数の写真を解析できますが、連続した写真のみを処理するため、不連続な写真が入力された場合は解析結果が得られません。

バッチ解析
解析する写真を選択し、解析条件を設定します。解析を開始すると、選択した各々の写真の視点位置が算出され、3次元空間上に示されます。解析が進むにつれて点群の数も増え、次第に構造物が明確になってきます。全ての画像の解析が終了しましたら空間上の点群を確認します。点群の数が少ないようであれば、解析条件で「点群量を優先」の選択を行い、再度解析を行います。
また途中で解析が終了してしまうような場合は、開始画像を変更したり、解析が停止してしまう画像を除去して、再度解析を行ないます。

特徴点検出アルゴリズム
特徴点検出に使用するアルゴリズムとして、SIFT、SURFから選択できます。

SIFT(Scale Invariant Feature Transform)
特徴点の検出と特徴量の記述を行うアルゴリズムで、スケール変化や回転などが記述されます。SURFに比べ、処理速度は遅いですが認識精度が高いとされています。

SURF(Speed Up Robust Features)
SIFTを改良し高速化したアルゴリズムで、SIFTに比べて処理速度が速いですが認識精度が低いとされています。

■図4　撮影写真

■図5　SfMプラグイン画面

■図6　SfMプラグインによる解析結果：点群、カメラの位置と向き （白色の球体と矢印表示）

写真を撮影する際、それまでに撮影した写真に含まれる物体が写り込むように撮影します。前の撮影写真に写っているものが全く入ってない場合、空間内の位置が認識できないため、点群を生成できません。（バッチ解析の場合は、直前4枚の写真に写っているものが含まれる必要があります。）

写真間の明るさをなるべく一定にします。直前に解析した写真より明るさが大きく変化していると、物体の認識が困難になるためです。例えば、屋内で写真撮影を行う場合は、カーテン等を閉めて外光を遮り、照明による明かりの中で撮影します。屋外での撮影の場合は、晴天時は日なたと日陰による明るさの変化が大きいため、曇天時の撮影が望ましいです。また、日なたの写真と日陰の写真がある場合は、それぞれ別のケースとして解析し、点群調整機能を用いて点群をVR空間上で連結します。

解析に用いる最初の2枚の写真が、その後に出力される点群数に影響を与えます。解析を行ってもうまく点群が出力されない場合は、SfMプラグインに入力する写真の順番を変えることで改善される場合があります。

解析がすぐに止まってしまう場合は、特徴点検出アルゴリズムの優先内容を「点群量を重視」に設定します。点群の精度は落ちますが、カメラ位置の検出率は上昇します。