脳活動デコーダは人々の心の中の物語を明らかにできる

テキサス州オースティン — セマンティック デコーダーと呼ばれる新しい人工知能システムは、人の話を聞いているとき、または物語を語ることを静かに想像しているときの脳の活動を、連続したテキスト ストリームに変換できます。 テキサス大学オースティン校の研究者らが開発したシステムは、脳卒中による衰弱者など、意識はあるが身体的に話すことができない人々が再び明瞭にコミュニケーションできるようになる可能性がある。

Nature Neuroscience誌に掲載されたこの研究は、コンピューターサイエンスの博士課程の学生であるジェリー・タン氏と、UTオースティン校の神経科学とコンピューターサイエンスの助教授であるアレックス・ヒュース氏が主導した。 この作業は、Open AI の ChatGPT や Google の Bard を強化するものと同様のトランスフォーマー モデルに部分的に依存しています。

開発中の他の言語解読システムとは異なり、このシステムは被験者に外科的インプラントを施す必要がないため、プロセスが非侵襲的になります。 また、参加者は、所定のリストにある単語のみを使用する必要はありません。 脳活動は、デコーダの広範なトレーニング後に fMRI スキャナを使用して測定されます。この場合、個人はスキャナでポッドキャストを何時間も聞きます。 その後、参加者が自分の考えを解読されることに前向きであれば、参加者が新しい物語を聞いたり、物語を語ることを想像したりすることで、機械が脳の活動だけから対応するテキストを生成することができます。

「非侵襲的な方法としては、これまでに行われてきたこと（一般的には単一の単語や短い文で行われたもの）と比較して、これは大きな進歩である」とヒュース氏は語った。 「私たちは、複雑なアイデアを使用して、長期間にわたって連続言語を解読するモデルを取得しています。」

ニューヨーク タイムズで詳細を読む: AI の読心力は向上している

結果は逐語録ではありません。 その代わりに、研究者たちは、不完全ではあるものの、話されている内容や考えられている内容の要点を捉えるようにデザインしました。 デコーダーが参加者の脳の活動を監視するように訓練されている場合、約半分の時間で、マシンは元の単語の意図された意味に厳密に (場合によっては正確に) 一致するテキストを生成します。

たとえば、実験では、「私はまだ運転免許証を持っていない」というスピーカーの言葉を聞いている参加者が、その考えを「彼女はまだ運転の練習を始めてもいない」と解釈しました。 「叫ぶべきか、泣くべきか、逃げるべきか分かりませんでした。その代わりに、『放っておいてください！』と言いました」という言葉を聞くと、「叫び始めて泣き始めた。そして彼女はただこう言った」と解読されました。放っておいてって言ったのに」

オンラインでプレプリントとして公開された論文の初期バージョンから始めて、研究者らはテクノロジーの潜在的な悪用に関する疑問に取り組みました。 この論文では、デコーダのトレーニングに積極的に参加した協力的な参加者のみがデコードを行う方法について説明しています。 デコーダーのトレーニングを受けていない個人の結果は理解できず、デコーダーのトレーニングを受けた参加者が後で抵抗した場合（たとえば、別の考えを考えるなど）、結果は同様に使用できませんでした。

タン氏は「悪い目的に使用される可能性があるという懸念を真摯に受け止めており、その回避に努めてきた」と述べた。 「私たちは、人々がこれらの種類のテクノロジーを使いたいときだけ使用し、それが役に立つことを保証したいと考えています。」

研究者らは、参加者に物語を聞いたり考えさせたりすることに加えて、スキャナーの中にいる間、被験者に4つの短い無声ビデオを見るように依頼した。 セマンティック デコーダーは脳の活動を利用して、ビデオから特定のイベントを正確に説明することができました。

このシステムは、fMRI 装置に必要な時間に依存しているため、現時点では研究室の外で使用するのは実用的ではありません。 しかし研究者らは、この研究は機能的近赤外分光法（fNIRS）など、他のよりポータブルな脳イメージングシステムに応用できる可能性があると考えている。

「fNIRSは、さまざまな時点で脳内の血流が多かれ少なかれ存在する場所を測定します。これは、fMRIが測定している信号とまったく同じ種類の信号であることが判明しました」とヒュース氏は述べた。 「したがって、私たちのまさにそのようなアプローチはfNIRSに応用されるはずです。」ただし、fNIRSの解像度はより低いだろうと彼は指摘しました。

この研究は、ホワイトホール財団、アルフレッド P. スローン財団、およびバロウズ ウェルカム基金によって支援されました。

この研究の他の共著者は、ヒュース研究室の元研究助手であるアマンダ・レベルと、テキサス大学オースティン校のコンピューターサイエンス大学院生であるシャイリー・ジェインです。

Alexander Huth と Jerry Tang は、この研究に関連する PCT 特許出願を提出しました。

プロジェクトの詳細については、自然科学大学のプレスリリース全文をご覧ください。

メディア連絡先

テキサス大学オースティン校またはその他の認定団体への適切なクレジットがあれば、再利用できます。