Home Back
 

使用了红外线深度传感器、脑电仪来做“动作驾驶研究系统”

   动作驾驶模拟
UC-win/Road 产品页面
UC-win/Road产品信息

UC-win/Road Drive Simulator
UC-win/Road驾驶模拟器

UC-win/Road 体验模拟器
UC-win/Road 体验模拟器
产品详情

Mind&VR UC-win/Road for MindWave Mobile  Kinect™ 驾驶模拟器

  Mind&VR UC-win/Road for MindWave Mobile
ライン

使用脑电仪装置MindWave Mobile在UC-win/Road上进行驾驶模拟

●背景
以前,人与电脑相互作用的装置被限制在键盘、鼠标、操纵杆、3D鼠标等输入功能的装置上。现在,游戏中通过动作来进行输入的输入方法渐渐增加。任天堂的Wii以及PlayStation Move、Microsoft Kinect™等不需要使用专用的装置可以与人进行相互作用。在此背景下,为了实行操作汽车或者机器人等高等级的任务,以EEG为基础的装置正在进行开发。

●研究无手柄控制
MindWave Mobile(开发公司:NeuroSky)是搭载了脑波传感器的无线立体声头戴装置。
戴上它,会测出alpha、beta等不同频率的脑波。并且通过独自的演算法把脑电波与注意力集中程度、放松程度等心理状态进行转换。
MindWave Mobile插件与VR数据项结合,运用所取得的数据可以进行操作模拟。左图的驾驶模拟是通过注意力的集中度来控制速度,如果凝视画面中的一个点速度就会变快,注意力散漫的话速度就会变慢。
▲MindWave Mobile(Neurosky) ▲“脑电波Visualizer”(Neurosky)

●应用事例
脑电波Driving ~运用脑电波来驾驶!~ UC-win/Road MindWave Mobile插件
戴上MindWave Mobile,在连接好的状态下开始驾驶模拟的话就可以根据脑电波来行驶。
用脑电波来控制车辆的油门跟刹车。

F1赛道
列举F1赛道作为EEG技术应用事例。为增加游戏趣味性,2个玩家可以进行竞争。为此,在2个MindSet装置进行实时(@60Hz)导入(图1),开发了可抽出Meditation和Attention系数的界面。

此图是美国亚利桑那州的凤凰街道赛道中预计举行的F1竞赛的假想VR数据(図2)。在作为服务器功能的界面中2位玩家在各自的机器中参加竞赛。

车的加速度是以Attention参数来控制,使用者的注意力集中时车辆行驶速度就会加速。最初实验时加速比刹车更加容易,如不提前训练同时控制两者会较为困难。

FORUM8利用脑电波等生物信息进行研究系统提案。

▲图1 从2个MindSet装置 (左右)中导出各自的
Meditation系数跟Attention系数(红和绿色调)

 
▲图2 Phoenix F1 circuit   ▲图3 具有游戏性,作为展示用系统受到好评
Page Top Page Top

  Kinect™驾驶模拟器
ライン

通过红外线深度传感器进行UC-win/Road驾驶操作的系统

在Kinect™前面像操舵操作一样进行UC-win/Road驾驶操作的系统。
Kinect™检出的驾驶员两手的位置信息转换为车辆的操舵,油门,刹车。


●Kinect™ 感知器

Kinect™感知器是作为Microsoft公司的家庭用游戏机「Xbox360(R)」的周边机器,它是不使用手柄而是利用身体动作、手势、声音等进行操作的设备。Kinect搭载了照相机跟感知器,可以自动感知站在它面前的玩家。
此 技术是研究开发公司PrimeSense所开发的以远程摄像技术为基础,在感知器中包含了VGA照相机、3D扫描仪、4只话筒、倾斜马达等基本部件。3D 扫描仪是由连续供给点模式的红外线激光器(频率比红光稍低)所构成的。虽然激光是人眼不可见的(波长大约780nm),但可以通过也是摄像机来检测(图 1a、1b)。

▲图1a Kinect感知器的夜视模式画面
▲图1b 投影在墙壁上的点模式的扩大视图

使用红外线照相机预测出感知器与点之间的距离,制作成周边环境的深度图。图2分别是照相机输出(图2a)、深度视图(图2b)、合成图(图2c)。

▼图2 摄像头中所拍摄的周边环境深度图


▲图2a VGA照相机输出

▲图2b 周边环境的深度图
▲图2c 照相机输出与深度图

 Kinect具有以下功能
  • 动作捕捉(最多6人为止)以及手势识别功能。可以用动作控制界面。
  • 表情识别功能。选择用户后自动选择过去所保存的设置。
  • 声音识别功能。执行语音命令
  • 回转基准。根据追踪调整最适合的倾斜角度。


●通过Kinect™ー进行车辆控制和驾驶操作的示意

与UC-win/Road相连接,只需活动手就可以体验手握「假想方向盘」进行驾驶模拟,可以保持非常接近实际驾驶的自然状态。

  • 操作方向盘(在空挡状态下右转弯・左转弯)
    操作油门、刹车要求Kinect™与双手保持距离,在空挡的状态下前后移动。双手模仿方向盘转动来操作方向盘。通过手腕的旋转可以与实车一样进行左转、右转。

  • 油门操作
    在空挡状态下向前伸出双手。伸出越长油门踩踏量越大。

  • 操作刹车
    刹车的操作是将双手向身体侧收缩。收缩距离越多刹车踩踏量越多。

  • 检测出方向盘的方向以及转向量
    从出拳的左右手的位置来检测出左转、右转的方向以及角度的模拟值。检测量从绿色到红色的变化显示在变化棒上。越接近红色说明越受到控制。
    ▲前进
    ▲右转弯:越向右转弯,
    右方的条中红色就会变多。
    ▲左转弯:越向左转弯,
     左方的条中红色就会变多。

  • 识别油门跟刹车
    通过右脚脚尖的左右打开角度进行检测。
    ▲油门位置
    ▲刹车位置

  • 检测出油门与刹车踩踏量
    ●油门
    油门的踩踏量是根据脚尖的位置的模拟值来测出。油门的检测结果在显示条上显示向上。

    ●刹车
    刹车的踩踏量是根据脚尖的位置的模拟值来测出。刹车的检测结果在显示条上显示向下。
Page Top Page Top
  关联信息
关联产品
Page Top Page Top

FORUM8