Dengan kamera dalam setiap perisian poket dan pengiktirafan wajah yang dibina ke dalam telefon pintar dan rangkaian sosial kita, kadang-kadang mudah lupa bahawa mengambil gambar dan mengenal pasti wajah-wajah di dalamnya tidak selalu begitu mudah. Sama ada hilang, rosak atau tidak dilabelkan, proses mengenal pasti orang dalam foto lama boleh membosankan. Tetapi, sebagai Kurt Luther, pembantu profesor sains komputer di Virginia Tech, mendapati, pengalaman itu juga boleh bergerak.
Luther berada di pameran "Perang Saudara Pennsylvania" di Pusat Sejarah Senator John Heinz di Pittsburgh pada tahun 2013 ketika ia terjumpa foto pamannya yang hebat, Oliver Croxton. Dia telah menerangkan melihat foto itu, yang merupakan foto keluarga tertua yang dilihatnya, sepanjang perjalanan.
Sudah menjadi peminat sejarah dengan minat dalam Perang Saudara Amerika, ketika itu terjebak dengan Luther dan dia mula tertanya-tanya bagaimana untuk membawa pengalaman yang sama kepada beribu-ribu peminat sejarah yang lain.
"Saya mula mempelajari lebih lanjut mengenai fotografi Perang Saudara, " kata Luther, "dan tentang cara mengenali [orang] menggunakan petunjuk visual yang berbeza, seperti pakaian seragam, lencana atau maklumat studio jurugambar. Sementara itu, saya melakukan banyak penyelidikan di bidang crowdsourcing sebagai profesor sains komputer, dan fikir mungkin ada cara untuk membawa kedua-dua perkara ini bersama-sama. "
Luther terjumpa gambar pamannya yang hebat, Oliver Croxton. (Berniata Koleksi Ken Turner) Hasilnya adalah perisian percuma dalam talian yang dinamakan Photo Civil Civil War yang menggunakan pengkomputeran dan pengiktirafan wajah untuk membantu pengguna mengenal pasti subjek yang tidak diketahui dalam foto-foto era Perang Saudara. Tepat sebelum pelepasan rasmi pada 2018, teknologi itu memenangi kedua-dua hadiah tertinggi $ 25, 000 dalam Challenge Research Cloud AI Microsoft untuk penggunaan perisian pengiktirafan muka Microsoft dan Anugerah Demo Terbaik pada persidangan Penghitungan Manusia dan Crowdsourcing 2018. Minggu ini, Luther sedang membentangkan persidangan Pengguna Persatuan Jana Pengkomputeran Pintar di Los Angeles.
Direka dengan bantuan pelajar kedoktoran dan sarjana di Virginia Tech, termasuk peneraju projek Vikram Mohanty, dan dengan kerjasama jabatan sejarah Virginia Tech, Photo Sleuth menggunakan pendekatan berbilang arah untuk mencadangkan pengenalan yang paling tepat.
Langkah penting dalam proses ini adalah membina pangkalan data yang besar mengenai foto yang sudah dikenal pasti. Setakat ini, Photo Sleuth mempunyai kira-kira 17, 000 foto yang dikenal pasti, dari arkib negara seperti Institut Sejarah Ketenteraan AS dan koleksi peribadi, yang termasuk bukan sahaja tentera Perang Saudara tetapi juga orang awam dan anggota tentera yang lain di era itu.
Luther mengatakan bahawa mereka bernasib baik kerana mendapat sokongan daripada ahli sejarah perang saudara yang bersemangat dengan akses kepada foto-foto ini, kerana tanpa asas yang kukuh bagi gambar yang telah dikenal pasti hampir mustahil bagi perisian itu berguna.
"Ia tidak seperti di Field of Dreams, " kata Luther, "Jika kami telah melancarkan laman web ini tanpa imej dan hanya berharap pengguna akan menambahkan semuanya, kami akan menghadapi masalah permulaan yang sejuk di mana anda tidak mempunyai sebarang kandungan. "
Pangkalan data foto yang dikenal pasti memberikan peranan penting dalam membantu pengguna mengenal pasti foto yang mereka muat naik sendiri. Pengguna secara manual menandakan ciri-ciri visual khusus, seperti warna kot, rambut muka atau lencana pangkat ketenteraan, dan foto melalui algoritma pengiktirafan muka untuk menganalisis dan log nisbah wajah yang unik, seperti jarak antara tanda muka muka seperti hidung dan mata. Photo Sleuth membandingkan data visual foto yang tidak dikenali dengan foto yang sudah dikenal pasti dalam pangkalan data dan membentangkan pengguna dengan apa yang difikirkannya adalah perlawanan terbaik berdasarkan persamaan wajah dan maklumat yang diperoleh dari metadata lain, seperti askar yang kelihatan berada di dalam unit yang sama berdasarkan lencana seragam mereka. Walaupun perisian mengambil langkah-langkah yang disengajakan di sepanjang jalan untuk mengehadkan kemungkinan identifikasi palsu, Luther mengatakan bahawa pada penghujung hari terserah kepada pengguna untuk membuat pengenalan akhir apabila dibentangkan dengan tekaan terbaik perisian itu.
"Kami sangat prihatin terhadap mencegah identifikasi palsu, " kata Luther, "kerana apabila anda bercakap tentang internet, apabila anda memasukkan beberapa maklumat yang salah di luar sana, sangat sukar untuk menyingkirkannya atau mengubahnya."
Untuk meyakinkan bahawa perisian mereka menyediakan pengguna dengan identifikasi terbaik yang dicadangkan mungkin, Luther melakukan analisis pada bulan pertama pengenalan cadangan perisian menggunakan kaedah yang digariskan dalam lajur yang dia telah menyumbang kepada majalah Sejarah Perang saudara majalah Imej Ketenteraan . Menilai pengenalpastian dari 'pasti bukan perlawanan, ' 'mungkin bukan perlawanan, ' 'mungkin perlawanan, ' dan 'pastinya perlawanan, ' analisis mendapati bahawa 85 peratus daripada identifikasi yang dicadangkan sama ada mungkin atau pasti perlawanan. Pada persidangan minggu ini, Luther mengatakan bahawa dia merancang untuk menyerlahkan penemuan penyelidikan paling terkini pasukan mengenai Photo Sleuth, termasuk penemuan yang dibuat oleh Dave Morin, seorang pemungut imej New Hampshire Civil War, tentang potret seorang letnan kedua Union yang tidak dikenali . Photo Sleuth mencadangkan lelaki itu dalam potret itu adalah William H. Baldwin dari Jurutera New York Pertama. Morin, yang mengesahkan bahawa Baldwin adalah penduduk New Hampshire, mengatakan bahawa dia tidak akan pernah menemui jurutera Negeri Granite yang bersangkutan tanpa bantuan Photo Sleuth.
Kurt Luther adalah penolong profesor sains komputer di Virginia Tech. (Amy Loeffler) Penyelidikan ini juga menekankan kekuatan pelengkap para sejarawan manusia dan perisian itu sendiri. Walaupun usaha terbaik mereka, Luther mengatakan bahawa perisian hanya boleh pergi sejauh ini apabila mengenal pasti perlawanan yang betul dan bergantung kepada pengguna untuk membantu mengenal pasti petunjuk yang ada di tempat buta algoritma wajah.
"[Algoritma] dilatih untuk pengenalan muka umum [pada] kebanyakan imej moden, " kata Luther. "AI mempunyai masa yang sukar apabila wajah dihidupkan ke sisi [dalam profil]. Ini jenis potret yang luar biasa dengan piawaian hari ini, tetapi pada pertengahan abad ke-19 ia menjadi biasa. "
Pasukan itu juga mendapati pengguna lebih berjaya daripada algoritma sahaja mengenal pasti pembuat unik lain seperti janggut dan luka.
Patrick Lewis, seorang ahli sejarah perang saudara dan menguruskan editor sumber dan ilmiah ilmiah di Kentucky Historical Society yang belum pernah menjadi sebahagian daripada perkembangan Photo Sleuth, mengatakan bahawa Perang Saudara Photo Sleuth akan menjadi alat yang hebat untuk bukan sahaja membawa cerita-cerita terlupakan ini kepada kehidupan tetapi untuk terus membina rangkaian kolaborator sejarawan perang saudara di seluruh negara.
"Saya suka masuk dan melihat foto-foto yang ditandakan Kentucky yang baru, " kata Lewis. "[Dan tanya] siapa orang-orang yang di luar sana mengutip? Adakah pengumpul individu saya harus sedar, dan saya harus berhubung dengan mereka untuk melihat sama ada mereka mempunyai bahan lain yang mungkin minat penyelidikan? "
Walaupun dia masih belum berhubung dengan mana-mana pengumpul individu melalui Photo Sleuth, Lewis mengatakan bahawa Persatuan Sejarah Kentucky sendiri telah bekerja untuk membina rekod arkib dalam talian yang diketahui dan bahawa perisian seperti Photo Sleuth akan meningkatkan kemampuan mereka untuk meneruskan kerja itu dengan dramatik.
Melangkah ke hadapan, Luther berkata mereka mencari "menggandakan kekuatan manusia" pada perisian, termasuk menambah pilihan "Opini Kedua" yang akan membolehkan beberapa pengguna bekerjasama pada pengenalan akhir foto, serta bekerja untuk memperluas jangkauan fizikal dan pengurusan komuniti untuk mengembangkan userbase Photo Sleuth. Perisian ini juga akan melihat beberapa permukaan wajah juga, termasuk fungsi baru yang akan membolehkan pengguna memuat naik dan mengenal pasti orang dalam foto kumpulan.
"Matlamat utama kami adalah untuk mengenal pasti setiap gambar Perang Saudara yang tidak diketahui, " kata Luther, "dan dapatkan [Photo Sleuth] lebih besar dan lebih baik, kerana 25, 000 imej hanya jatuh dalam baldi."
