クロスモーダル現象を利用したVR

クロスモーダル現象を利用したVR

クロスモーダル現象(もしくはクロスモーダル知覚・マルチモーダル現象)というものをご存知でしょうか?名前を聞くと難しい言葉のように思えますが、誰でも一度は経験がある現象ではないかと思います。
仕組みとしては赤い色を見て温かさを感じたり、風鈴の音を聞いて涼しさを感じたり…といった、ある感覚が刺激されたときに存在しない別の感覚を脳が補完してしまう錯覚現象のことです。

私自身も最近知ったのですが、かき氷のシロップも全て味は一緒なのに色や香りの変化だけで味が違うように感じるのも、このクロスモーダル現象が活用されているともいえます。勝手に補完してくれるなんて、脳ってうまいことできてますよね。かき氷の味、全部違うと思ってたので知ったときは衝撃でした。

最近ではPSVRが発売されて一般家庭にもだんだんと普及し始めていますが、VRでも同じクロスモーダル現象が起きているんだそうです。

NHKで放送されたクローズアップ現代でVRが取り上げられていました。
内容を文字で起こしてあるものがこちら

その中で、PSVRの「サマーレッスン」をベテランホストと大学生の両者に体験してもらうというものがあり、実際はそんな機能は無いのに、ホストの方は女の子の息遣いを実際に感じたと言い、一方の大学生は感じなかったとの興味深い感想がありました。
職業柄女の人と多く接するホストの方は、VRの映像と過去の経験とを結び付けて脳が勝手に「息が触れた」という感覚を錯覚させたのです。
クロスモーダル現象によって、実際にはない機能を脳が補完し、よりリアルなVR体験を可能にするということです。

過去の経験が、より豊かなVR体験を生み出す。
つまり海を実際に全く見たことない人がVRでリアリティのある海を見ても、磯の香りがするように感じることはないし、女の子にあまり身近で接したことのない人は、サマーレッスンでひかりちゃんの息が触れたように感じることはないのです。(もんのすごく想像力豊かな人は別かもしれませんが)

VRさえあれば現実での体験なんていらない?…とか言われがちですが、現実での経験の積み重ねがあってこそVRを見て「リアルだ」と感じることが可能になっているのではないでしょうか。

このクロスモーダル現象を利用した医療での例として、幻肢痛を和らげるVRが活用されています。こちらは感覚を引き起こすのではなく視覚をだますことによって痛みを軽減させています。
幻肢痛とは、四肢の切断などで無くなった手足があるような感覚に陥り、実際の感覚とのズレによって痛みを引き起こす現象です。
モーションキャプチャした健康な方の手足を反転させてHMDに写し、無い腕が動いているように見えるので痛みを軽減できるというものです。
詳しくはこちらの記事をどうぞ

また、別の例としては子どもの注射にもVRが役立っています。
外国での例ですが、子どもにVR映像を見せている間に注射を打つというものです。
登場人物が腕に宝石を取り付ける映像が流れているのと同じタイミングで、実際には同じ場所にお医者さんが注射を打ちます。
子どもたちは映像に夢中になっているおかげで注射の痛みに気が向くことがなく、注射した部分には映像に出てきた宝石と同じシールが貼ってあるため、注射されたという恐怖を感じる隙を与えません。
お医者さんは注射におびえて泣き出す子どもに手こずることなく注射することができますし、子どももストレスを感じることがないので、子どもだけでなく注射の苦手な大人にも十分役立てられそうです。

触覚や嗅覚をVRに付加する研究開発は多く行われていますが、VRを使って視覚と聴覚を支配し、脳をうまくだますことで他の感覚を呼び起したり鈍らせたりと、ゲームでも医療でも多くの活用が期待できそうです。

About author

Related Articles