Bikin Kagum, ChatGPT OpenAI Nyaris Lolos Tes Kedokteran AS

Liputan6.com, Jakarta - Chatbot AI ChatGPT OpenAI kembali "ditantang" untuk melakukan sebuah tugas yang biasanya cukup menyulitkan untuk manusia. Mengerjakan tes kedokteran.

Kali ini, beberapa peneliti menguji chatbot berbasis kecerdasan buatan atau artificial intelligence (AI) itu, dalam US Medical Licensing Exam (USMLE).

Sebagai informasi, USMLE adalah tes yang digunakan untuk menilai kompetensi dan kelayakan calon dokter untuk praktik medis di Amerika Serikat (AS).

Dilansir Science Alert, dikutip Minggu (12/2/2023), ujian kedokteran tersebut biasanya membutuhkan persiapan sekitar 300 sampai 400 jam untuk menyelesaikannya, dan mencakup mulai dari konsep sains dasar sampai bioetika.

"ChatGPT mendekati ambang kelulusan untuk ketiga ujian tanpa pelatihan atau penguatan khusus," tulis para peneliti dalam makalah mereka yang diterbitkan di PLOS Digital Health.

"Selain itu, ChatGPT menunjukkan kesesuaian dan wawasan tingkat tinggi dalam penjelasannya," catat para peneliti.

Peneliti dari startup Ansible Health ini menguji ChatGPT OpenAI dengan sampel pertanyaan dari USMLE, setelah memeriksa bahwa jawaban dari tes itu tidak tersedia di Google.

Jadi, para peneliti tahu bahwa ChatGPT, akan menghasilkan respons baru berdasarkan data yang telah dilatih. Dalam pengujian, ChatGPT mendapatkan skor antara 52,4 dan 75 persen di tiga ujian. Nilai kelulusan biasanya sekitar 60 persen.

Dalam 88,9 persen responsnya, ChatGPT menghasilkan setidaknya wawasan yang signifikan, digambarkan sebagai sesuatu yang "baru, tidak mudah dipahami, dan valid secara klinis."

ChatGPT juga konsisten dalam jawabannya dan mampu memberikan alasan di balik setiap tanggapan. Itu juga mengalahkan tingkat akurasi 50,3 persen dari PubMedGPT, bot yang dilatih khusus untuk literatur medis.

Menurut para penulis studi, pencapaian nilai kelulusan untuk ujian yang terkenal sulit ini dan melakukannya tanpa penguatan dari manusia, menandai tonggak penting dalam pematangan AI untuk klinis.

Namun, informasi yang dilatih oleh ChatGPT juga belum sepenuhnya akurat.

Saat Tekno Liputan6.com mencoba bertanya kepada ChatGPT apakah dia akan bisa menggantikan dokter manusia, ia mengatakan "saat ini teknologi tersebut tidak dapat menggantikan peran dokter manusia secara penuh."

Menurutnya sang AI itu, dia masih membutuhkan perbaikan untuk memperoleh pemahaman medis yang lebih baik dan mendalam.

"Selain itu, sebagai dokter, terdapat aspek lain dalam praktek medis seperti keterampilan klinis langsung, hubungan pasien-dokter, etika, dan keputusan medis yang sulit yang tidak dapat diambil oleh mesin secara mandiri."

Jadi, ChatGPT pun mengakui bahwa meski teknologi semakin maju, peran dokter manusia tetaplah penting, serta tidak bisa digantikan sepenuhnya oleh mesin.

Namun para peneliti mencatat, alih-alih menggantikan manusia, AI bisa menjadi asisten atau pendamping yang penting untuk tenaga medis di masa depan.

"Hasil ini menunjukkan bahwa model bahasa besar mungkin memiliki potensi untuk membantu pendidikan kedokteran, dan berpotensi, pengambilan keputusan klinis," kata para peneliti.

Ini bukan studi pertama yang melihat kemampuan ChatGPT dalam melakukan tes yang biasa dilakukan oleh manusia.

Baru-baru ini, sebuah penelitian dilakukan untuk melihat seberapa jauh kemampuan ChatGPT untuk menyelesaikan pekerjaan yang terkait dengan tes pascasarjana.

Dalam studi di Wharton School University of Pennsylvania, Amerika Serikat, dilaporkan bahwa chatbot itu bisa bekerja lebih baik, daripada banyak siswa dalam ujian untuk gelar MBA.

Laporan ini ditulis oleh Christian Terwiesch, pakar manajemen inovasi di sekolah bisnis itu, dengan judul "Would Chat GPT3 Get a Wharton MBA?"

Terwiesch pun menulis, ChatGPT dapat lulus dengan nilai B sampai B- dalam ujian. Ia mengatakan, temuan ini memiliki implikasi yang penting untuk pendidikan sekolah bisnis.

"OpenAI Chat GPT3 telah menunjukkan kemampuan yang luar biasa untuk mengotomatiskan beberapa keterampilan pekerja pengetahuan berkompensasi tinggi secara umum," kata Terwiesch.

"Khususnya pekerja pengetahuan dalam pekerjaan yang dipegang oleh lulusan MBA termasuk analis, manajer, dan konsultan," imbuh Terwiesch.

Dia juga menulis, chatbot itu dapat melakukan tugas profesional seperti menulis kode perangkat lunak dan menyiapkan dokumen hukum.

Terwiesch menyimpulkan, chatbot AI itu melakukan "pekerjaan luar biasa pada manajemen operasi dasar dan pertanyaan analisis proses termasuk yang didasarkan pada studi kasus."

Dalam studi yang lain, profesor hukum dari University of Minnesota, juga meminta ChatGPT untuk menghasilkan jawaban dalam ujian pascasarjana di empat mata kuliah di kampusnya.

Hasilnya, seperti dikutip dari Engadget, AI tersebut bisa melewati keempatnya, tetapi dengan nilai rata-rata C+.

(Dio/Isk)