Dengan kemajuan dalam bidang elektronik dan neurosains, para penyelidik telah dapat mencapai perkara-perkara yang luar biasa dengan alat implan otak, seperti memulihkan persepsi penglihatan kepada orang buta. Selain memulihkan deria fizikal, saintis juga mencari cara inovatif untuk memudahkan komunikasi bagi mereka yang kehilangan kemampuan untuk bercakap. "Decoder" yang baru menerima data daripada elektrod yang ditanamkan di dalam tengkorak, sebagai contoh, mungkin membantu pesakit lumpuh bercakap hanya menggunakan minda mereka.
Penyelidik dari University of California, San Francisco (UCSF) telah membangunkan satu kaedah dua peringkat untuk menjadikan isyarat otak menjadi ucapan yang disintesakan oleh komputer. Keputusan mereka, yang diterbitkan minggu ini dalam jurnal sains Alam, memberikan laluan yang mungkin ke arah komunikasi yang lebih cair bagi orang-orang yang telah kehilangan kemampuan untuk bercakap.
Selama bertahun-tahun, saintis telah berusaha untuk memanfaatkan input saraf untuk memberikan suara kembali kepada orang-orang yang kerosakan sarafnya menghalang mereka daripada bercakap seperti pesakit stroke atau pesakit ALS. Sehingga kini, banyak antara muka otak-komputer ini mempunyai pendekatan huruf demi huruf, di mana pesakit memindahkan mata atau otot muka untuk menguraikan pemikiran mereka. (Stephen Hawking terkenal mengarahkan synthesizer ucapannya melalui pergerakan kecil di pipinya.)
Tetapi jenis-jenis antara muka yang paling lamban menghasilkan 10 perkataan setiap minit, sebahagian kecil daripada kelajuan rata-rata berbahasa manusia sebanyak 150 perkataan seminit. Untuk komunikasi yang lebih pantas dan lebih cair, penyelidik UCSF menggunakan algoritma pembelajaran mendalam untuk menghidupkan isyarat saraf ke dalam kalimat yang diucapkan.
"Otak utuh pada pesakit ini, tetapi neuron-laluan yang membawa kepada lengan anda, atau mulut anda, atau kaki anda-dipecah. Orang-orang ini mempunyai fungsi dan kebolehan kognitif yang tinggi, tetapi mereka tidak dapat melaksanakan tugas harian seperti bergerak atau mengatakan apa-apa, "kata Gopala Anumanchipalli, pengarang bersama penyelidikan baru dan penyelidik bersekutu yang pakar dalam pembedahan neurologi di UCSF. "Kami pada dasarnya melangkau laluan yang dipecah."
Para penyelidik bermula dengan data aktiviti otak resolusi tinggi yang dikumpulkan dari lima sukarelawan selama beberapa tahun. Peserta-peserta yang semuanya mempunyai fungsi ucapan yang normal-telah menjalani proses pemantauan untuk rawatan epilepsi yang melibatkan implantasi elektrod terus ke otak mereka. Pasukan Chang menggunakan elektrod ini untuk mengesan aktiviti dalam bidang yang berkaitan dengan ucapan otak kerana pesakit membacanya ratusan ayat.
Dari sana, pasukan UCSF telah menghasilkan proses dua peringkat untuk mencipta ayat-ayat yang diucapkan. Pertama, mereka membuat dekoder untuk mentafsirkan corak aktiviti otak yang direkodkan sebagai arahan untuk memindahkan bahagian saluran vokal maya (termasuk bibir, lidah, rahang dan laring). Mereka kemudiannya membangunkan sebuah synthesizer yang menggunakan pergerakan maya untuk menghasilkan bahasa.
Penyelidikan lain telah cuba untuk menyahkodkan kata-kata dan bunyi secara langsung daripada isyarat saraf, melangkau langkah tengah perekodan penyahkodan. Walau bagaimanapun, kajian penyelidik UCSF yang diterbitkan tahun lepas menunjukkan bahawa pusat ucapan otak anda memberi tumpuan kepada cara menggerakkan saluran suara untuk menghasilkan bunyi, dan bukan bunyi yang dihasilkan.
"Pola aktiviti otak di pusat ucapan secara khusus ditujukan untuk menyelaraskan pergerakan saluran suara, dan hanya secara tidak langsung dikaitkan dengan bunyi ucapan itu sendiri, " Edward Chang, seorang profesor pembedahan neurologi di UCSF dan pengarang kertas baru, dalam satu taklimat media minggu ini. "Kami secara eksplisit cuba mengekodkan gerakan untuk menghasilkan bunyi, berbanding dengan menyahkod bunyi secara langsung."
Satu contoh implan otak pelbagai elektrod intrakranial jenis yang digunakan untuk merakam aktiviti otak. (UCSF) Dengan menggunakan kaedah ini, para penyelidik berjaya menterbalikkan kata-kata dan ayat-ayat dari aktiviti otak yang hampir menyamai rakaman audio ucapan para peserta. Apabila mereka meminta sukarelawan pada platform orang ramai dalam talian untuk cuba mengenal pasti kata-kata dan menuliskan ayat-ayat menggunakan bank perkataan, ramai daripada mereka dapat memahami ucapan simulasi, walaupun ketepatan mereka jauh dari sempurna. Daripada 101 ayat yang disintesis, kira-kira 80 peratus disalin dengan sempurna oleh sekurang-kurangnya satu pendengar menggunakan bank 25 perkataan (kadar itu turun kepada kira-kira 60 peratus apabila saiz bank perkataan meningkat dua kali ganda).
Sukar untuk mengatakan bagaimana keputusan ini dibandingkan dengan ujian percubaan yang disintesis yang lain, Marc Slutzky, ahli neurologi Northwestern yang tidak terlibat dalam kajian baru, mengatakan dalam e-mel. Slutzky baru-baru ini mengerjakan kajian serupa yang menghasilkan kata-kata yang disintesis secara langsung dari isyarat korteks serebrum, tanpa menyahkod pergerakan saluran suara, dan dia percaya kualiti ucapan yang dihasilkan adalah serupa-walaupun perbezaan dalam metrik prestasi menjadikan sukar untuk dibandingkan secara langsung.
Walau bagaimanapun, satu aspek yang menarik dalam kajian UCSF adalah bahawa penyahkod boleh merumuskan beberapa hasil kepada peserta, kata Slutzky. Cabaran utama bagi jenis penyelidikan ini ialah latihan algoritma penyahkod biasanya memerlukan peserta untuk bercakap, tetapi teknologi ini bertujuan untuk pesakit yang tidak lagi boleh bercakap. Mampu untuk meramal sebahagian daripada latihan algoritma boleh membolehkan kerja lebih lanjut dengan pesakit lumpuh.
Untuk menangani cabaran ini, para penyelidik juga menguji peranti ini dengan peserta yang diam-diam memalsukan ayat-ayat tersebut dan bukannya membicarakannya dengan kuat. Walaupun hukuman yang terhasil tidak tepat, penulis mengatakan fakta bahawa sintesis adalah mungkin walaupun tanpa ucapan bersuara mempunyai implikasi yang menarik.
"Ia benar-benar luar biasa untuk mengetahui bahawa kita masih dapat menghasilkan isyarat audio daripada tindakan yang tidak menjana audio sama sekali, " kata Josh Chartier, pengarang bersama dalam kajian dan pelajar biasiswa penyelidikan di UCSF, dalam taklimat media .
Imej pengarang kajian Gopala Anumanchipalli, PhD, memegang pelbagai contoh elektroda intrakranial jenis yang digunakan untuk merekodkan aktiviti otak dalam kajian semasa. (UCSF) Matlamat lain untuk penyelidikan masa depan adalah untuk mengejar demonstrasi masa nyata penyahkod, kata Anumanchipalli. Kajian semasa adalah sebagai bukti konsep-dekoder itu dibangunkan secara berasingan daripada proses pengumpulan data, dan pasukan tidak menguji kelajuan masa nyata menerjemahkan aktiviti otak untuk ucapan tersintesis, walaupun ini akan menjadi matlamat akhirnya sebuah peranti klinikal.
Sintesis masa nyata adalah sesuatu yang perlu diperbaiki untuk peranti sedemikian berguna pada masa akan datang, kata Jaimie Henderson, ahli bedah saraf Stanford yang tidak terlibat dalam kajian tersebut. Namun, beliau berkata kaedah dua peringkat penulis adalah pendekatan baru yang menarik, dan penggunaan teknologi pembelajaran mendalam boleh memberi gambaran baru tentang bagaimana ucapan benar-benar berfungsi.
"Bagi saya, hanya idea untuk memulakan penyiasatan asas bagaimana ucapan yang dihasilkan dalam orang sangat menarik, " kata Henderson. "[Kajian ini] mula meneroka salah satu keupayaan manusia kita pada tahap asas."
