Bias Kecerdasan Buatan Bisa Pengaruhi Pengambilan Keputusan Darurat

Liputan6.com, Jakarta - Sistem kecerdasan buatan--yang didasarkan pada machine learning, khususnya--mengalami peningkatan penggunaan dalam pengobatan untuk mendiagnosis penyakit tertentu, misalnya, atau mengevaluasi sinar-X.

Sistem ini juga diandalkan untuk mendukung pengambilan keputusan di bidang perawatan kesehatan lainnya. Penelitian terbaru menunjukkan, bagaimanapun, bahwa model machine learning dapat menyandikan bias terhadap subkelompok minoritas, dan rekomendasi yang mereka buat mungkin mencerminkan bias serupa.

Sebuah studi baru oleh para peneliti dari Computer Science and Artificial Intelligence Laboratory (CSAIL) MIT dan MIT Jameel Clinic, yang terbit bulan lalu di Communications Medicine, menilai dampak yang dapat ditimbulkan oleh model AI diskriminatif, terutama untuk sistem yang dimaksudkan untuk memberikan saran. dalam situasi mendesak.

"Kami menemukan bahwa cara menyusun saran dapat memiliki dampak signifikan," kata penulis utama makalah tersebut, Hammaad Adam, seorang mahasiswa PhD di Institute for Data Systems and Society di MIT.

Untungnya, menurut Hammaad, kerugian yang disebabkan oleh model yang bias dapat dibatasi (walaupun tidak seutuhnya dihilangkan) ketika saran disajikan dengan cara berbeda.

Rekan penulis makalah lainnya adalah Aparna Balagopalan dan Emily Alsentzer, keduanya mahasiswa PhD, dan profesor Fotini Christia dan Marzyeh Ghassemi.

Model kecerdasan buatan yang digunakan di dalam kedokteran dapat mengalami inakurasi dan inkonsisteni, sebagian karena data yang digunakan untuk melatih model sering kali tidak merepresentasikan dunia nyata. Jenis mesin sinar-X yang berbeda, misalnya, dapat merekam sesuatu secara berbeda dan karenanya mengeluarkan hasil berbeda.

Selain itu, model yang dilatih terutama pada orang kulit putih mungkin tidak seakurat bila diterapkan pada kelompok lainnya. Namun, penelitian ini tidak berfokus pada isu-isu semacam itu melainkan membahas masalah yang berasal dari bias dan cara untuk mengurangi konsekuensi merugikan.

Sekelompok orang yang terdiri dari 438 dokter dan 516 bukan ahli mengambil bagian dalam eksperimen untuk melihat bagaimana bias kecerdasan buatan dapat memengaruhi pengambilan keputusan.

Para peserta diberikan ringkasan panggilan dari hotline krisis fiktif, masing-masing melibatkan individu laki-laki yang menjalani keadaan darurat kesehatan mental.

Ringkasan itu berisi informasi apakah individu tersebut adalah Kaukasia atau Afrika-Amerika dan juga akan menyebutkan agamanya jika dia seorang Muslim.

Ringkasan umum mungkin menggambarkan keadaan di mana seorang pria Afrika-Amerika ditemukan di rumah dalam keadaan mengigau, yang mengasumsikan bahwa "dia tidak mengonsumsi obat-obatan atau alkohol apa pun, karena dia adalah seorang Muslim yang taat."

Peserta studi diinstruksikan untuk memanggil polisi jika menurut mereka pasien kemungkinan besar akan melakukan tindak kekerasan; jika tidak, mereka didorong untuk mencari bantuan medis.

Para peserta secara acak dibagi menjadi kelompok kontrol ditambah empat kelompok lain yang dirancang untuk menguji respons dalam kondisi sedikit berbeda.

"Kami ingin memahami bagaimana model yang bias dapat memengaruhi keputusan, tetapi pertama-tama kami perlu memahami bagaimana bias manusia dapat memengaruhi proses pengambilan keputusan," tutur Adam.

Apa yang mereka temukan dalam analisis kelompok dasar agak mengejutkan.

"Dalam setelan yang kami pertimbangkan, peserta manusia tidak menunjukkan bias apa pun. Itu tidak berarti bahwa manusia tidak bias, tetapi cara kami menyampaikan informasi tentang ras dan agama seseorang ternyata tidak cukup kuat untuk menimbulkan bias mereka," kata Adam.

Empat kelompok lain dalam percobaan diberi saran yang berasal dari model bias atau tidak bias, dan saran itu disajikan dalam bentuk "preskriptif" atau "deskriptif".

Model yang bias akan lebih mungkin merekomendasikan bantuan polisi dalam situasi yang melibatkan orang Afrika-Amerika atau Muslim daripada model yang tidak bias.

Peserta dalam penelitian ini, bagaimanapun, tidak tahu dari model mana saran mereka berasal, atau bahkan model yang memberikan saran bisa jadi bias sama sekali.

Saran preskriptif menguraikan apa yang harus dilakukan peserta dalam istilah yang tidak ambigu, memberi tahu mereka bahwa mereka harus menelepon polisi dalam satu kasus atau mencari bantuan medis di kasus lain.

Sementara itu, saran deskriptif tidak begitu langsung seperti preskriptif. Bendera ditampilkan untuk menunjukkan bahwa sistem AI merasakan risiko kekerasan yang terkait dengan panggilan tertentu; tidak ada bendera yang ditampilkan jika ancaman kekerasan dianggap kecil.