Kemajuan dalam Model Generatif: Era Baru untuk Pencitraan Radiologi?

Liputan6.com, Jakarta - Masa depan pembuatan (generation), augmentasi (augmentation), dan manipulasi (manipulation) gambar dalam perawatan kesehatan terlihat menjanjikan dengan munculnya model generatif seperti DALL-E 2 dari OpenAI.

Model deep learning baru untuk membuat gambar berdasarkan input teks ini telah mendapatkan popularitas sejak pertama kali diperkenalkan oleh OpenAI pada bulan April 2022. Kemampuan generatifnya sangat kuat karena model itu telah dilatih pada miliaran pasangan teks-gambar dari internet.

Namun, pertanyaannya adalah, dapatkah model generatif memberikan hasil yang akurat dan berguna dengan pengetahuan domain medis yang memadai?.

Sekelompok peneliti dari Charité Universitätsmedizin Berlin, Stanford University, Uniklinik RWTH Aachen, Technische Universität München, Harvard Medical School, serta CARIM & GROW - Maastricht University mengeksplorasi topik ini dalam sudut pandang terbaru mereka dalam makalah bertajuk "What Does DALL-E 2 Know About Radiology?". Makalah itu terbit di Journal of Medical Internet Research.

Untuk menyelidiki masalah ini, tim meneliti pengetahuan radiologi DALL-E 2 dalam membuat dan memanipulasi gambar sinar X, computed tomography scan (CT scan), magnetic resonance imaging (MRI), dan ultrasound.

Para peneliti menemukan bahwa DALL-E 2 telah mempelajari representasi gambar sinar-x yang relevan dan memiliki potensi yang menjanjikan untuk text-to-image generation. DALL-E 2 mampu menciptakan gambar sinar-x yang realistis berdasarkan petunjuk teks pendek dan merekonstruksi aspek yang hilang dalam gambar radiologi secara wajar.

Contohnya, DALL-E 2 dapat membuat radiografi seluruh tubuh dengan hanya menggunakan satu gambar lutut sebagai titik awal. Namun, kemampuan DALL-E 2 terbatas dalam menghasilkan gambar dengan kelainan patologis dan ketika diberi petunjuk gambar CT, MRI, atau ultrasound tertentu.

Terlepas dari keterbatasan ini, data sintetis yang dihasilkan oleh DALL-E 2 dapat mempercepat pengembangan alat-alat untuk radiologi dengan algoritme deep learning dan mengatasi masalah privasi yang terkait dengan berbagi data antar institusi.

Para penulis studi ini menekankan perlunya penelitian lebih lanjut untuk menyempurnakan model-model ini pada data medis dan menggabungkan terminologi medis untuk menghasilkan data dan augmentasi dalam penelitian radiologi. Mereka juga memperingatkan bahwa gambar yang dihasilkan harus melalui kontrol kualitas oleh pakar di bidangnya (domain expert) untuk mengurangi risiko informasi yang salah masuk ke dalam kumpulan data yang dihasilkan.

Meskipun DALL-E 2 tidak tersedia bagi umum untuk penyempurnaan (fine-tune), model generatif lainnya seperti Stable Diffusion dapat diadaptasi untuk menghasilkan berbagai gambar medis.

Secara umum, temuan ini memberikan pandangan yang menjanjikan untuk masa depan pembuatan gambar AI dalam radiologi. Penelitian dan pengembangan lebih lanjut di bidang ini dapat menghasilkan alat baru yang menarik bagi para ahli radiologi dan profesional medis.

Manfaat potensial dari penggunaan alat seperti DALL-E 2 dan ChatGPT dalam penelitian, pelatihan medis, dan pendidikan sangat signifikan. Oleh karena itu, JMIR Medical Education pun kini mengundang pengajuan (submission) tentang penggunaan model generatif dalam pendidikan kedokteran. Meskipun ada keterbatasan yang harus diatasi, masa depan pembuatan gambar AI dalam radiologi terlihat cerah dengan kemajuan model generatif.