|
|
|
赤外線深度センサ、脳波計を用いた“ジェスチャドライビング研究システム”
ジェスチャドライビングシミュレーション |
|
|
|
|
|
.gif) |
Mind&VR UC-win/Road for MindSet
 |
|
脳活動を計測するMindsetユニットとVRの連携
●背景
従来、人間とコンピュータとが相互作用する装置では、キーボード・マウス・ジョイスティック・3Dマウスなど、入力時の機能が制限されていました。現在は、ゲームなどでジェスチャーによる入力方法が可能になってきています。任天堂
WiiやPlayStation Move、Microsoft Kinect™などでは、専用の装置を使用せずにゲームと人間との相互作用が可能です。このような背景で、車あるいはロボットの操作といった高レベルのタスクを行うため、EEGベースの装置を開発しています。
●ハンドルレスコントロールの研究
NeuroSkyのMindSetは、脳の活動を計測できるハンドルレスのBluetoothヘッドセットです（EEG）。左側のヘッドホンにある3つの電極とユーザの前頭部にある1つの電極により、脳活動の特性を示すEEG信号が記録されます（図１）。EEG信号の解析を行い、信号コンポーネント、メディテーション係数やアテンション係数のような2つのパラメータを抽出できます（図2）。使用者がリラックスしているときはメディテーション係数が高くなり、特定事項に注意を向けているときアテンション係数が高くなります。
 |
 |
▲図1 MindSetユニット
（Neurosky） |
▲図2 “脳波ビジュアライザー”
（Neurosky） |
●活用事例 ： F1レース
EEGテクノロジーの活用事例として、フォーミュラ・ワン（F1）レースが挙げられます。ゲームをさらに面白くするため、2人のプレーヤが競争できるようになっています。このため、2つのMindSetユニットをリアルタイム（＠60Hz）に読み込み（図3）、メディテーション係数とアテンション係数を抽出できるインターフェースを開発しました。
 |
▲図3 2つのMindSetユニット（左右）から読み込み、
各ユニットのメディテーション係数とアテンション係数を抽出（赤と緑の階調) |
これは、米国アリゾナ州のフェニックスストリートサーキットで開催される予定であったF1レースを仮想したVRデータです（図4）。サーバとして機能したインタフェースにより、2
人のプレーヤが別々のマシンでレースを行います。
車の加速はアテンション・パラメータで制御され、使用者が集中すると車の動きが加速する仕組みになっています。最初の実験では、ブレーキをかけるより加速する方が容易であり、前もってトレーニングを行わなければ両方の制御は難しいようです。
フォーラムイエイトでは、脳波などの生体情報を活用した研究システムをご提案しています。
 |
|
 |
| ▲図4 フェニックスF1サーキット |
|
▲図5 ゲーム性もあり、展示システムとして好評 |
|
|
Page Top  |
Kinect™ドライビングシミュレータ
|
|
赤外線深度センサによるハンドレスドライビングシミュレーション
Kinect™の前でステアリングを操作するように両手を動かすことでUC-win/Roadの運転操作が行えるシステム。
Kinect™が検出したドライバーの両手の位置情報を車のステアリング、アクセル、ブレーキに変換。
●Kinect™ センサーとは
Kinect™センサー（以下、キネクト）は、Microsoft社販売の家庭用ゲーム機「Xbox360(R)」の周辺機器としても用いられ、コントローラーを用いることなく身体の動き、ジェスチャー、音声などによる操作を可能とするデバイスです。カメラやセンサーが搭載されており、キネクトの前にプレイヤーが立つと自動的にプレイヤーが認識されるようになっています。
この技術は研究開発会社、プライムセンス社が開発した距離カメラテクノロジーをベースとしており、センサーにはVGAカメラ、3Dスキャナー、4つのマイク、傾斜モーターなどの基部が含まれています。3Dスキャナは点パターンを連続的に与える赤外線レーザー（周波数は赤信号より少し低い）で構成されています。レーザーは人間の目には見えませんが（波長は約780nm）、暗視カメラで検知できます（図1a・1b）。
 |
|
 |
| ▲図1a キネクトセンサーの暗視モード画像 |
|
▲図1b 壁に投影した点パターンの拡大ビュー |
赤外線カメラによってセンサーと点との距離を予測し、周辺環境の深度図を作成します。図2はそれぞれカメラ出力（図2a）、深度図（図2b）、合成図（図2c）を示しています。
| ▼図2 カメラフィードに与えられた周辺環境の深度図 |
 |
|
 |
|
 |
| ▲図2a VGA カメラ出力 |
|
▲図2b 周辺環境の深度図 |
|
▲図2c カメラ出力と深度図 |
キネクトには以下のような機能があります。
- モーションキャプチャ（最大6人まで）とジェスチャー認識機能。ジェスチャーでインタフェースを制御可能
- 表情認識機能。ユーザを選択し過去に保存した設定を自動選択
- 声認識機能。ボイスコマンドの実行
- 回転ベース。最適トラッキングに合わせてセンサー傾斜角を調節
●Kinect™による車輌制御と運転操作イメージ
UC-win/Roadと連携させることで、手を動かすだけで、「仮想ハンドル」を握ったドライブシミュレーション体験が可能。
実際の運転と非常に近い自然な状態を保てる。
- ステアリング操作(ニュートラル状態からの右折・左折)
アクセル、ブレーキの操作はKinect™から両手までの距離を基に求めており、ニュートラル状態から前後に動かすことで操作する。両手を実際のステアリングと同じように回転させることでステアリング操作が行える。実際の車と同様に腕を回転させ右折・左折が可能。
- アクセル操作
ニュートラル状態から両手を前に突き出すことで行う。アクセル量は前に突き出す距離が長いほど大きくなる。
- ブレーキ操作
ブレーキ操作はニュートラル状態から両手を手前に引くことで行う。ブレーキ量は手前に引く距離が長いほど大きくなる。
- ハンドルの舵角の向きと量の検出
前に突き出した右手拳と左手拳の位置関係から、右折、左折の向きと、舵角をアナログ値として検出します。
検出量を緑色から赤色に変化するバーとして表示します。赤くなるほど、制御量が多いことを意味します。
 |
 |
 |
| ▲直進 |
▲右折：右に切るほど、
右方に赤いバーが伸びる |
▲左折：左に切るほど、
左方に赤いバーが伸びる |
- アクセルとブレーキの識別
右足つま先の、左右に開く角度の検出により行います。
 |
 |
| ▲アクセルポジション |
▲ブレーキポジション |
- アクセル、ブレーキの踏込量の検出
●アクセル
アクセルの踏込量をつま先の位置からアナログ値として検出します。アクセルの場合、検出結果が上向きに表示されます。
●ブレーキ
ブレーキの踏込量をつま先の位置からアナログ値として検出します。ブレーキの場合、検出結果が下向きに表示されます。
|
|
| Page Top |
|
|
| Page Top |
 |
|
>> 製品総合カタログ
>> プレミアム会員サービス
>> ファイナンシャルサポート
|
