『Lumines Arise』色を聞き音を観る―知覚の交差が生み出す「シナスタジア」と「クロスモーダル」【ゲームで世界を観る#121】 | Game*Spark - 国内・海外ゲーム情報サイト

ハードコアゲーマーのためのWebメディア

『Lumines Arise』色を聞き音を観る―知覚の交差が生み出す「シナスタジア」と「クロスモーダル」【ゲームで世界を観る#121】

画家は、あれこれの鍵盤をたたいて、合目的的に人間の魂を振動させる、手である。

連載・特集 特集
『Lumines Arise』色を聞き音を観る―知覚の交差が生み出す「シナスタジア」と「クロスモーダル」【ゲームで世界を観る#121】
  • 『Lumines Arise』色を聞き音を観る―知覚の交差が生み出す「シナスタジア」と「クロスモーダル」【ゲームで世界を観る#121】
  • 『Lumines Arise』色を聞き音を観る―知覚の交差が生み出す「シナスタジア」と「クロスモーダル」【ゲームで世界を観る#121】
  • 『Lumines Arise』色を聞き音を観る―知覚の交差が生み出す「シナスタジア」と「クロスモーダル」【ゲームで世界を観る#121】

Enhanceの『Lumines Arise』は光、音、振動をリンクする「シナスタジア」を体験する水口哲也作品の最新作です。同社では感覚複合体験を研究する「シナスタジアラボ」も立ち上げていて、全身の振動と光で音を体感する装置「シナスタジアX1 - 2.44」、『Rez』の体験を発展したインスタレーション「Rezonance」を発表しています。人間の知覚の可能性を探って水口氏が追求する「シナスタジア」(共感覚)とはどのようなものなのでしょうか。

まず、神経学的な狭義の共感覚は、あるひとつの知覚刺激に対し、実際に感じている知覚と共に別の感覚が連動して実態のない知覚が現れる現象です。

砂糖は味を「丸く」し、柑橘類は食べ物に「とがり」をつけくわえる。マイケルはそのほかの調味料や香辛料を使って「線の傾斜を急に」したり、「角を鋭く」したり、「表面をひっこめ」たりする。――「共感覚者の驚くべき日常」(リチャード・E・シトーウィック著、山下篤子訳)より

ある数を別の数で割ると、回りながら次第に大きな輪になって落ちていく螺旋が見える。その螺旋はたわんだり曲がったりする。割る数が違えば、螺旋の大きさも曲がり方も変わる。ぼくは頭のなかで視覚化できるために、(中略)小数点以下100位くらいまで計算できる。――「ぼくには数字が風景に見える」(ダニエル・タメット著、古屋美登里訳)より

視覚、聴覚、触覚、味覚、嗅覚の五感のほか、平衡感覚や身体認識、物の形などの統合的に感じる質感にも作用し、文字や数字など論理的情報からも質感を得るなど、何からどう引き起こされるかは千差万別。脳の損傷から後天的に獲得する人もいて、そのメカニズムは未知に包まれていて未だ解明の途上にあります。共感覚者は「派生した感覚に基づいてオリジナルの知覚の分類ができる」という特性を持っている人が多いです。「赤い色が見えたからラの音だ」「数字の羅列を聞こえるメロディで覚える」など、明確な対応性を持って知覚でき、同じ刺激からは必ず同じ共感覚が生じる再現性があります。

同じパターンでも割り振られる質感が一致することもなく、例えば音から色を感じていた同時代の2人の作曲家、アレクサンドル・スクリャービンとリムスキー=コルサコフも、音階と色の対応が大きく異なっていたことが知られています。一説には、人間は生来共感覚を持っているものの、脳の発達に従って知覚ごとの壁を作って分離していき、次第に共感覚は失われていくとも言われています。近年では23人に1人という数字も出ていて、芸術表現に反映させるアーティストは多いようです。

画家のワシリー・カンディンスキーは色と音の連動を持ち、音楽的な絵画を目指して「コンポジション」(作曲)シリーズを制作し、具体的なモチーフを持たない抽象画のジャンルを創出しました。前述のスクリャービンは「プロメテウス」において色と音をリンクした照明演出を企画し、鍵盤で色を操作する「色光ピアノ」まで専用で作っていました。この時期は複数の感覚を用いて芸術を鑑賞する、今で言うマルチモーダルの意味で「共感覚」の語が流行っていたそうで、現在だと映画館の体感演出システムがその流れを汲んでいます。ゲーム機の進化は主にグラフィックの面が注目されますが、PS5で標準搭載された立体音響やハプティックフィードバックはマルチモーダルの体験を普及する画期的な機能と言えるでしょう。

VR機器や嗅覚を分析する装置の発展によって、最近は知覚が相互に影響を及ぼし合う効果「クロスモーダル」への注目が高まっています。料理でも見た目や食感が味の感じ方を変えるように、複数の感覚を与えることでより積極的に人間の知覚や認識に刺激や変化を与える研究です。例えば、VR機器を使ったことがある人は分かると思いますが、VR内の主観視点が実際の自分の身長の高さと異なっていて、身体がむず痒いような強烈な違和感を覚えたことはありませんか?これも視覚が身体感覚に影響するクロスモーダル体験の一種です。

西洋クラシック以外の民俗楽器には可聴外超高周波の倍音が多量に含まれており、集中力やリラックスに影響するという研究があります(ハイパーソニックエフェクト)。特にインドネシアのガムランに顕著ですが、耳で聞くだけでは効果が出ず「全身で浴びる」形でないと効果が現れないそうです。熱帯雨林の環境でも同様の効果があるようで、はっきりした重低音以外の音を肌で感じる力が誰にでも備わっているのです。これも広義において共感覚的な能力といえるでしょう。

現代の生活では、視界が狭く区切られたモニター、環境音を塞ぐイヤホンなど、知覚において非常に抑制的なデバイスに囲まれています。そして食事をしながらスマホの記事を読み、同時に別の音楽を聴いている――なんて五感がばらばらの「ながら」を続けていては、脳にとってはあまり喜ばしい環境とはいえません。時々は森や海などの自然に出かけて、全ての感覚を解放して混ぜ合う時間を作るのも大事なのかもしれません。


ぼくには数字が風景に見える (講談社文庫)
¥803
(価格・在庫状況は記事公開時点のものです)
共感覚者の驚くべき日常: 形を味わう人、色を聴く人
¥2,570
(価格・在庫状況は記事公開時点のものです)
ライター:Skollfang,編集:宮崎 紘輔


ライター/好奇心と探究心 Skollfang

ゲームの世界をもっと好きになる「おいしい一粒」をお届けします。

+ 続きを読む

編集/タンクトップおじさん 宮崎 紘輔

Game*Spark、インサイドを運営するイードのゲームメディア及びアニメメディアの事業責任者でもあるただのニンゲン。 日本の新卒一括採用システムに反旗を翻すべく、一日18時間くらいゲームをしてアニメを見るというささやかな抵抗を6年続けていたが、親には勘当されそうになるし、バイト先の社長は逮捕されるしでインサイド編集部に無気力バイトとして転がり込む。 偶然も重なって2017年にゲームメディアの統括となり、ポジションが空位になっていたGame*Sparkの編集長的ポジションに就くも、ちょっとしたハプニングもあって2022年7月をもって編集長の席を譲る。 夢はイードのゲームメディア群を日本のゲーム業界で一目置かれる存在にすること、ゲームやアニメを自分達で出すこと(ウィザードリィでちょっと実現)、日本武道館でライブすること、グラストンベリーのヘッドライナーになること……など。

+ 続きを読む
【注目の記事】[PR]

編集部おすすめの記事

特集

連載・特集 アクセスランキング

アクセスランキングをもっと見る

page top