Peneliti Rilis Alat Deteksi Teks Illmiah Buatan AI dengan Akurasi 99 Persen

Liputan6.com, Jakarta - Heather Desaire, seorang ahli kimia yang menggunakan machine learning di penelitian biomedis di University of Kansas, telah merilis alat baru yang mampu mendeteksi teks ilmiah yang dihasilkan oleh Generative AI seperti ChatGPT dengan akurasi 99 persen.

Makalah mengenai alat itu terbit di jurnal telaah sejawat Cell Reports Physical Science bersama dengan kode sumber yang diperlukan untuk keperluan replikasi. Desaire mengatakan alat deteksi teks buatan AI yang akurat sangat dibutuhkan untuk mempertahankan integritas ilmiah.

Dia menyoroti halusinasi yang sering dihasilkan oleh generator teks seperti ChatGPT. Pada dasarnya, halusinasi ini mengarang sesuatu yang seolah-olah terdengar masuk akal--padahal itu hal itu tidaklah benar. Dia menilai, halusinasi itu dapat mencemari literatur akademis, jika dibiarkan.

"Sejauh yang saya ketahui, tidak ada cara yang sangat mudah untuk secara otomatis menemukan halusinasi ini. Begitu Anda mulai mengisi fakta ilmiah nyata dengan omong kosong buatan AI yang terdengar sangat bisa dipercaya, publikasi tersebut akan menjadi kurang dapat dipercaya, kurang berharga," tutur Desaire dalam rilis pers sebagaimana dikutip dari Eurekalert.

Dia mengatakan keberhasilan metode deteksinya bergantung pada penyempitan ruang lingkup penulisan untuk jenis artikel ilmiah yang biasa ditemukan di jurnal telaah sejawat. Upaya itu, menurut dia, meningkatkan akurasi dibandingkan alat deteksi lainnya yang ada saat ini, seperti detektor RoBERTa, yang bertujuan untuk mendeteksi teks buatan AI dalam tulisan yang lebih umum.

"Detektor AI yang ada biasanya dirancang sebagai alat umum untuk dimanfaatkan pada segala jenis tulisan. Mereka berguna untuk tujuan yang dimaksudkan, tetapi pada jenis tulisan tertentu apa pun, mereka tidak akan seakurat alat yang dibuat untuk tujuan spesifik dan sempit," ujar Desaire.

Desaire mengatakan instruktur universitas, entitas pemberi hibah, dan penerbit semuanya memerlukan cara yang tepat untuk mendeteksi teks buatan AI yang disajikan sebagai karya dari pikiran manusia.

"Kalau kita bicara tentang plagiarisme AI, akurasi 90 persen tidaklah cukup," kata Desaire. "Anda tidak bisa seenaknya menuduh orang diam-diam menggunakan AI dan tuduhan itu bisa saja salah, dan karena itu akurasi sangat penting dalam hal ini. Namun, untuk mendapatkan akurasi, pertaruhan yang paling sering adalah generalisasi."

Semua rekan peneliti Desaire lainnya berasal dari kelompok penelitiannya: Romana Jarosova, asisten penelitian profesor kimia; David Huax, analis sistem informasi; dan mahasiswa pascasarjana Aleesa E. Chua dan Madeline Isom.

Mereka menggunakan kumpulan data yang jauh lebih kecil dan lebih banyak intervensi manusia untuk mengidentifikasi perbedaan utama yang menjadi fokus detektor mereka, yakni 64 dokumen yang ditulis manusia dan 128 dokumen buatan AI sebagai data latih dengan algorimta XGBoost.

"Ini mungkin 100.000 kali lebih kecil dari ukuran kumpulan data yang digunakan untuk melatih detektor lain," tutur Desaire.

Jumlah data latih yang sedikit itu, kata Desaire, dapat diproses dengan sangat cepat, dan semua dokumen benar-benar dapat dibaca oleh orang-orang. Dengan demikian, mereka betul-betul mencoba mencari perbedaan di antara kumpulan dokumen tersebut.

Faktor pembeda lainnya dalam pendekatan mereka adalah mengalihkan fokus dari teks yang dihasilkan AI selama pengembangan fitur utama. Sebaliknya, mereka memeriksa karakteristik khas teks yang ditulis manusia, membedakannya dari teks buatan AI. Sementara tulisan buatan AI pada akhirnya merupakan bentuk tulisan manusia yang digeneralisasikan danberasal dari berbagai sumber, sementara tulisan ilmiah memiliki karakteristik uniknya sendiri.

Desaire telah membuat kode deteksi AI timnya dapat diakses secara terbuka oleh para peneliti yang tertarik untuk pengembangan lebih lanjut. Ia berharap pencapaian ini akan mendorong individu di luar ranah ilmu komputer untuk terlibat dengan isu ini.

Dia meyakini bahwa hambatan untuk mengembangkan produk AI yang bermanfaat, seperti miliknya, tidak setinggi kelihatannya, dan bahwa individu dengan latar belakang yang beragam dapat memberikan kontribusi yang signifikan di bidang ini dengan pengetahuan dan kreativitas yang tepat.