Pakar Forensik Digital Beberkan Cara untuk Mengenali Deepfake

Liputan6.com, Jakarta - Para ilmuwan komputer di University of Buffalo telah mengembangkan sebuah alat yang dapat mengidentifikasi foto hasil teknologi deepfake secara otomatis dengan menganalisis pantulan cahaya di mata.

Alat ini terbukti 94 persen efektif dalam penelitian mereka yang yang diterima di ajang IEEE International Conference on Acoustics, Speech and Signal Processing yang akan diadakan pada Juni 2021 ini di Toronto, Kanada.

"Kornea mata hampir seperti semisphere sempurna dan sangat reflektif," kata penulis utama makalah tersebut, Siwei Lyu, PhD, Profesor Departemen Ilmu dan Teknik Komputer.

Jadi, menurut Lyu, "apa pun yang masuk ke mata dengan cahaya yang dipancarkan dari sumber tersebut akan memiliki gambar di kornea."

"Kedua mata harus memiliki pola reflektif yang sangat mirip karena mereka melihat hal yang sama. Ini adalah sesuatu yang biasanya tidak kita sadari saat kita melihat wajah," ujar Lyu, yang juga memiliki kepakaran di bidang forensik digital dan multimedia dikutip dari rilis pers, via Eurekalert, Senin (15/3/2021).

Saat ini, makalah berjudul "Exposing GAN-Generated Faces Using Inconsistent Corneal Specular Highlights" itu telah tersedia di repositori akses terbuka arXiv.

Penelitian ini juga melibatkan Shu Hu, kandidat PhD tahun ketiga di bidang ilmu komputer dan asisten peneliti di Media Forensic Lab di UB, serta Yuezun Li, PhD, mantan ilmuwan peneliti senior di UB yang saat ini menjadi dosen di Pusat Kecerdasan Buatan di Ocean University of China.

Saat kita melihat sesuatu, gambaran dari apa yang kita lihat tecermin di mata. Di dalam foto atau video asli, pantulan pada mata secara umum akan tampak dalam bentuk dan warna yang sama.

Namun, sebagian besar gambar yang dihasilkan oleh kecerdasan buatan--termasuk gambar generative adversary network (GAN)--gagal melakukan hal ini secara akurat atau konsisten. Kemungkinan, itu karena banyak foto yang telah digabungkan untuk menghasilkan gambar artifisial.

Alat yang Lyu kembangkan memanfaatkan celah ini dengan melihat deviasi kecil pada pantulan cahaya di dalam mata foto deepfake.

Untuk melakukan percobaan, tim peneliti memperoleh gambar asli dari Flickr Faces-HQ, serta gambar artifisial dari http://www.thispersondoesnotexist.com, sebuah repositori wajah artifisial hasil kecerdasan buatan yang tampak asli.

Alat ini bekerja dengan cara memetakan setiap wajah. Kemudian memeriksa mata, diikuti oleh bola mata, dan terakhir cahaya yang dipantulkan di setiap bola mata. Ia membandingkan perbedaan potensial dalam bentuk, intensitas cahaya, dan fitur lain dari cahaya yang dipantulkan.

Meski menjanjikan, alat yang Lyu kembangkan memiliki keterbatasan.

Pertama, ia memerlukan sumber cahaya yang dipantulkan. Selain itu, teknik ini hanya melihat piksel individual yang dipantulkan di dalam mata--bukan bentuk mata, bentuk di dalam mata, atau sifat dari apa yang dipantulkan di dalam mata.

Lyu telah meneliti proyek Machine Learning dan Computer Vision selama lebih dari 20 tahun. Dia pun pernah membuktikan bahwa subjek di dalam video deepfake cenderung memiliki kecepatan kedipan inkonsisten atau bahkan tidak mempunyai kedipan sama sekali.

Rekam jejak Lyu mengenai Deepfake termasuk membantu Facebook pada tahun 2020 pada ajang tantangan deteksi deepfake berskala global, membantu membuat "Deepfake-o-meter", sebuah sumber daring untuk membantu orang menguji orang awam untuk melihat apakah video yang mereka tonton sebenarnya adalah deepfake.

Lyu menekankan bahwa identifikasi deepfake semakin penting, terutama mengingat dunia hiperpartisan penuh dengan ketegangan terkait ras dan gender serta bahaya disinformasi.