Sepanjang beberapa dekad yang lalu, para penyelidik telah kerap membangunkan peranti yang dimaksudkan untuk menterjemahkan Bahasa Isyarat Amerika (ASL) ke bahasa Inggeris, dengan harapan untuk meredakan komunikasi antara orang-orang yang pekak dan keras pendengaran dan dunia pendengaran. Kebanyakan teknologi ini menggunakan sarung tangan untuk menangkap gerakan menandatangani, yang boleh menjadi besar dan janggal.
Sekarang, sekumpulan penyelidik di Michigan State University (MSU) telah membangunkan peranti kurang sarung tangan dengan ukuran tabung kayu yang mereka harap akan meningkatkan terjemahan ASL-Inggeris.
Teknologi, yang dikenali sebagai DeepASL, menggunakan peranti kamera untuk menangkap gerakan tangan, kemudian memberi suapan data melalui algoritma pembelajaran mendalam, yang sepadan dengan tanda-tanda ASL. Tidak seperti kebanyakan peranti terdahulu, DeepASL boleh menterjemahkan keseluruhan ayat dan bukan perkataan tunggal, dan tidak menghendaki pengguna menjeda antara tanda-tanda.
"Ini teknologi yang benar-benar tidak mengganggu, " kata Mi Zhang, profesor kejuruteraan elektrik dan komputer yang mengetuai penyelidikan.
Zhang dan pasukannya berharap DeepASL boleh membantu orang-orang yang pekak dan sukar mendengar dengan berkhidmat sebagai penterjemah masa sebenar. Ia boleh menjadi sangat berguna dalam situasi kecemasan, kata Zhang, apabila menunggu penterjemah boleh menghabiskan masa berharga. Peranti, yang boleh disepadukan dengan telefon, tablet atau komputer, juga boleh membantu mengajar ASL, kata Zhang. Oleh kerana lebih daripada 90 peratus kanak-kanak pekak dilahirkan kepada ibu bapa yang sedang mendengar, ada masyarakat besar dewasa yang perlu belajar ASL dengan cepat. DeepASL boleh berfungsi sebagai tutor digital, memberi maklum balas mengenai sama ada pelajar mendaftar dengan betul.
Zhang telah memohon paten dan berharap mempunyai peranti di pasaran dalam masa setahun. Kerana ia berdasarkan teknologi yang berpatutan-sistem tangkapan gerakan Leap Motion harganya $ 78-ia boleh lebih banyak diakses daripada usaha terdahulu.
Penyelidik Biyi Fang dan Mi Zhang menunjukkan DeepASL. (Michigan State University) Tetapi Christian Vogler, seorang profesor pengajian komunikasi di Gallaudet University, universiti untuk orang-orang yang pekak atau keras pendengaran, adalah skeptis terhadap peranti yang direka untuk menterjemahkan ASL, dan keraguannya dikongsi oleh banyak orang dalam masyarakat Orang Pekak.
Peranti secara amnya tidak benar-benar 'menterjemahkan' ASL, hanya mengenali tanda tangan dan menjadikannya perkataan Inggeris setiap tanda, kata Vogler. Ini bermakna maklumat tatabahasa utama hilang, maklumat mengenai sama ada frasa adalah soalan, penolakan, klausa relatif dan sebagainya. Sedangkan DeepASL menerjemahkan kalimat penuh, beberapa ciri-ciri tatabahasa ASL melampaui tanda tangan-ungkapan wajah sering digunakan sebagai pengubah, peningkatan alis boleh mengubah frasa menjadi satu soalan, kedudukan badan dapat menunjukkan ketika pengguna ASL mengutip orang lain.
Setakat ini, "tidak ada sistem yang jauh berguna untuk orang yang menandatangani, " kata Vogler, sambil menambahkan bahawa para penyelidik sering kelihatan "sangat sedikit bersentuhan dengan komuniti [Pekak dan keras mendengar] dan idea yang sangat sedikit tentang sebenar mereka keperluan. "
Pasukan Zhang tidak menguji peranti itu pada orang yang pekak dan sukar mendengar, tetapi kepada pelajar dalam program terjemahan bahasa isyarat. Zhang menekankan bahawa DeepASL direka untuk membolehkan hanya komunikasi asas pada ketika ini, dan ini hanya tempat permulaan. Beliau berkata pasukannya berharap untuk memperluaskan keupayaan DeepASL pada masa depan untuk menangkap ekspresi muka juga.
"Itu akan menjadi tonggak utama yang akan datang untuk kami mencapai, " katanya.
Vogler mengatakan adalah positif bahawa teknologi MSU menggunakan kaedah pembelajaran mendalam, yang telah berjaya dengan bahasa lisan. Tetapi, walaupun tidak memerlukan sarung tangan, peranti mungkin mempunyai perangkap yang sama dari sistem sebelumnya, kerana ia tidak menangkap pergerakan muka dan badan.
Vogler berpendapat penyelidik harus beralih dari idea bahawa peranti pengenalan bahasa isyarat dapat memenuhi keperluan komunikasi orang dalam.
"Kami mempunyai banyak pilihan untuk memudahkan komunikasi dalam diri, dan sehingga kami mempunyai sesuatu yang benar-benar menghormati sifat-sifat linguistik bahasa yang ditandatangani dan tingkah laku komunikasi aktual penandatangan, usaha-usaha ini akan berada di mana-mana berhampiran dengan menggantikan atau menggantikannya, " katanya. "Sebaliknya, orang perlu bekerjasama dengan ahli komuniti sebenar, dan dengan orang yang memahami kerumitan bahasa yang ditandatangani."
Vogler mengatakan ia berguna untuk teknologi pengenalan bahasa isyarat seperti MSU untuk bekerja dengan interface suara seperti Alexa. Pertumbuhan antara muka ini adalah cabaran kebolehaksesan bagi orang-orang yang pekak dan sukar mendengar, katanya, seperti internet-media yang paling visual-telah membentangkan cabaran besar bagi orang-orang yang buta sejak bertahun-tahun.
"Kami kini tidak mempunyai cara yang berkesan dan cekap untuk berinteraksi dengan antara muka suara ini jika kami tidak dapat, atau tidak mahu, menggunakan suara kami, " katanya. "Pengenalan bahasa isyarat adalah perlawanan yang sempurna untuk situasi ini, dan yang sebenarnya boleh menjadi berguna dan digunakan."
