「話せない≠考えられない」ARで自閉症の人の言葉を可視化

ジェレミーは、音楽とサイクリングが好きな31歳の自閉スペクトラム症（ASD）の男性です。
光や音、触感に敏感で、動き出すのが苦手で、話せる言葉はごくわずかです。
学校では長年、読み書きはできないと見なされてきました。

そんな彼が今、AR（拡張現実）ヘッドセットを使い、空中に浮かぶバーチャルキーボード「ホロボード」で単語をつづっています。
セッションの終わりに研究者が「どうだった？」と聞くと、彼は「よかった」と入力しました。

このヘッドセットはマイクロソフトのHoloLens 2で、重さは566グラム。
装着には快適性や操作性の問題があり、さらに「ジェレミーのような人には難しい」という偏見も根強くあります。
しかし、私たち研究チーム（米バージニア大学の発達心理学者ヴィクラム・ジャスワル、加カルガリー大学の電気・ソフトウェアエンジニアのディワカル・クリシュナムルティ、同大学のコンピュータ科学者ミア・ワン）は、発話が難しい多くの参加者がこの装置を使って短い単語を入力できることを複数の研究で確認しています。

自閉スペクトラム症は、神経発達の特性が人それぞれ異なる生涯の状態です。
約3分の1の人が、発話によるコミュニケーションが困難です。
その理由ははっきりしていませんが、発話に必要な運動の難しさが関係していると考えられています。

発話できない人の多くは、理解力や思考力まで疑われることがあります。
「言葉で話せないなら、そもそも言語能力がないのではないか」と考える人も少なくありません。

しかし、私たちの研究ではその考えが誤っていることが明らかになっています。
実際、支援者なしでも、単語の区切りを正しく判断してタイピングできる人が多数います。
また、視線追跡のデータから、支援者のヒントを受けずに自分で正確に文字を選んでいることが確認されています。

つまり、話せなくても、考えたり言葉を使ったりする能力はあるのです。

これまでの代替手段は、iPadで絵をタップする方式など、限られた表現しかできませんでした。
一方、長い訓練と支援によって文字盤で文章を綴る力をつけた人もおり、大学を卒業したり著作を発表したりする人もいます。
この方法では、コミュニケーション支援パートナー（CRP）と呼ばれる支援者が、注意や情緒のサポートをしながら利用者を支えます。

しかし、この「支援者を介したコミュニケーション」には強い批判もあります。

批判の主な理由は、支援者が利用者の手の動きを意図的または無意識に誘導してしまい、実際には本人が伝えていない内容になってしまう可能性があるという点です。
そのため、「本当にその人自身の言葉なのか？」という疑問が常につきまといます。
アメリカの言語聴覚士協会をはじめ、いくつかの専門機関はこの方法の使用に対して懸念を示し、慎重な対応を求めています。

それに対して私たちは、CRPを用いた方法を全面的に否定するのではなく、その効果やリスクを正確に検証すべきだと考えています。

研究では、CRPを使わずに文字を綴ることができる人が多く存在することも示されています。
さらに、CRPを通じてタイピングスキルを学び、最終的には支援なしで自立して入力できるようになった人もいます。
つまり、支援は永続的な依存を生むのではなく、ステップアップの足がかりになる可能性もあるのです。

私たちは、AR技術によって、より自立したコミュニケーションを実現できるのではないかと考えました。
ARは視線や手の動きを追跡でき、自由に移動しながらバーチャルオブジェクトと関われるため、身体の動きに特徴がある人にも適しています。
また、現実空間が見えるARは、没入型のVRよりも安心して使える点も利点です。

プロトタイプの開発には、発話ができない当事者の協力を得ました。
彼らの意見を反映し、操作しやすいインターフェースや、好みに合わせてカスタマイズできる機能を設けています。
視覚や聴覚に配慮し、仮想の文字盤を「押す」と音や音声が返るなどの工夫も加えています。

一部の人は、ARの操作に必要なスキルに不安を感じていましたが、練習機能を搭載したことで対応できるようになりました。
また、予測変換機能は便利ではあるものの、注意をそらされると感じる人もいたため、現在はオフにしています。

さらに、ユーザーの動きに合わせてホロボードの位置を調整するため、機械学習を使った自動配置の仕組みも導入しています。
AIによる処理の負荷や視野角の制限といった技術的課題もありますが、軽量な専用ARグラスの開発や、視線入力、他ユーザーとの共有体験、環境の自動補正といった改良を進めています。

私たちは、ARが万能とは思っていません。
それでも、発話できない人たちと対話しながら開発を進めることで、彼らの声を引き出し、自立した表現の手段を提供できると信じています。

言葉が出ないというだけで、考える力や伝えたいことがないわけではありません。
その思いを形にするために、私たちは今後も技術の壁に挑んでいきます。

（出典・画像：IEEE Spectrum）

頭の中にあっても出せなかった言葉を引き出すテクノロジー。

期待しています。

話すことがいっさいできないうちの子に対して、親の私でも「頭の中には言語はあるのだろうか？」とよく考えます。

そんな疑いを払拭してください。

うちの子の言葉が聞きたいです。

自閉症の子と親の絆を揺さぶる「テレパシー」ブームの危険性

（チャーリー）

自閉症の子の学びを革新。XR×AIの対話教育プロジェクト 大人になってからのASD診断：知ることで広がる可能性と支援 自閉症の人たちが利用しやすい施設づくりのためのガイド 自閉症の人たちが快適に鑑賞できるように。美術館の取り組み