Tahun lepas, sekumpulan saintis komputer Jerman membuat gelombang dengan menunjukkan algoritma komputer baru yang boleh mengubah imej digital yang masih menjadi karya seni yang meniru gaya tuan-tuan seperti Vincent van Gogh, Pablo Picasso, dan Edvard Munch. Walaupun suatu prestasi yang mengagumkan, menerapkan teknik yang sama untuk menggerakkan imej tampak keterlaluan pada masa itu. Tetapi sekarang, sekumpulan penyelidik lain telah mengenal pasti, dengan cepat dan menghasilkan lukisan digital yang mulus, Carl Engelking menulis untuk Discover .
Kandungan Terkait
- Filem Animasi Mengenai Van Gogh Dibuat Secara Semula Lukisan Minyak
- Rangkaian Neural Buatan Ini Menjana Garis Pangkat Absurd
Dalam demonstrasi video, para programer memamerkan keupayaan seni algoritma mereka dengan mengubah pemandangan dari filem dan rancangan televisyen seperti Ice Age dan Miss Marple ke dalam animasi lukisan seperti dengan klik tetikus. Tetapi membangunkan algoritma itu bukanlah usaha kecil.
Untuk membuat transformasi terperinci, saintis komputer Leon Gatys dan rekan-rekannya di University of Tübingen mengembangkan algoritma pembelajaran yang mendalam yang melancarkan rangkaian neural buatan. Dengan meniru cara neuron di otak manusia membuat sambungan, sistem pembelajaran mesin ini boleh melakukan tugas yang lebih rumit daripada mana-mana komputer riba lama.
Berikut adalah cara ia berfungsi: apabila anda melihat gambar lukisan atau menonton filem di komputer riba anda, anda menyaksikan komputer anda menyahkod maklumat dalam fail dan membentangkannya dengan cara yang betul. Tetapi apabila imej-imej ini diproses melalui rangkaian saraf, komputer dapat mengambil pelbagai lapisan maklumat yang terkandung dalam fail-fail ini dan memilihnya secara berasingan.
Sebagai contoh, satu lapisan mungkin mengandungi maklumat untuk warna-warna asas dalam Starry Night van Gogh, sementara yang seterusnya menambah sedikit lebih terperinci dan tekstur, dan sebagainya, menurut Kajian Teknologi MIT . Sistem ini kemudian boleh mengubah setiap lapisan berbeza secara berasingan sebelum meletakkannya kembali bersama-sama untuk membuat imej yang baru.
"Kami boleh memanipulasi kedua-dua representasi itu secara bebas untuk menghasilkan imej yang baru dan bermakna." Gatys menulis dalam satu kajian yang diterbitkan ke server arXiv prepress.
Dengan menerapkan sistem ini pembelajaran berasaskan lapisan kepada lukisan oleh Picasso dan van Gogh, untuk menamakan beberapa, para penyelidik dapat mengembangkan algoritma yang "mengajar" komputer untuk menafsirkan semua maklumat ini dengan cara yang memisahkan kandungan melukis dari gayanya. Sebaik sahaja difahami bagaimana van Gogh menggunakan penekan dan warna berus, ia boleh menggunakan gaya seperti penapis Photoshop ke imej dan berkesan mencipta semula dalam gaya ikoninya, Matt McFarland menulis untuk Washington Post . Tetapi menerapkan teknik ini kepada video menyampaikan pelbagai masalah baru.
"Pada masa lalu, lukisan semula secara manual dalam gaya seni tertentu memerlukan artis profesional dan lama, " Manuel Ruder dan pasukannya dari Universiti Freiburg menulis dalam kajian baru mereka, yang juga diterbitkan di arXiv. "Melakukan ini untuk urutan video satu tangan adalah di luar imaginasi."
Apabila Ruder dan rakan-rakannya mula-mula cuba mengaplikasikan algoritma kepada video, komputer itu mengeluarkan gobbledygook. Akhirnya, mereka menyedari bahawa program ini merawat setiap bingkai video sebagai imej pegun yang berasingan, yang menyebabkan video itu berkilauan secara tidak sengaja. Untuk melewati masalah ini, penyelidik meletakkan kekangan pada algoritma yang menyimpan komputer daripada menyimpang terlalu banyak antara bingkai, Engelking menulis. Itu membenarkan program untuk menyelesaikan dan menggunakan gaya yang konsisten merentas keseluruhan video.
Algoritma tidak sempurna dan sering mempunyai masalah mengendalikan gerakan yang lebih besar dan lebih cepat. Walau bagaimanapun, ini masih merupakan langkah penting yang penting dalam cara komputer boleh membuat dan mengubah video. Walaupun berada di peringkat awal, algoritma masa depan mungkin dapat menggunakan kesan ini pada video yang diambil melalui aplikasi telefon pintar, atau bahkan memberikan versi realiti maya lukisan kegemaran anda, laporan MIT Technology Review .
Idea untuk mendidih gaya artis ke set titik data boleh memberi pendapat beberapa orang, ia juga membuka pintu untuk semua jenis seni baru yang tidak pernah dipercayai.
