Peneliti Kembangkan Solusi Computer Vision untuk Rekonstruksi Bentuk Manusia

Liputan6.com, Jakarta - Kemajuan pesat Computer Vision dan representasi objek tiga dimensi memungkinkan pengembangan alat Virtual Reality dan perluasan implementasinya.

Meskipun saat ini implementasi Virtual Reality baru terbatas pada hiburan atau pendidikan, permintaan untuk rekonstruksi gambar tiga dimensi menggunakan Virtual Reality di banyak bidang lainnya mengalami peningkatan, termasuk kedokteran.

"Saya yakin bahwa sebagian besar format komunikasi masa depan akan melibatkan Virtual Reality, baik itu kunjungan ke dokter atau menjelajahi latar film yang sedang ditonton," kata Dr Rytis Maskeliunas, kepala peneliti di Departemen Teknik Multimedia di KTU dikutip dari rilis pers via Eurekalert pada Jumat (28/1/2022).

Maskeliunas menyebut, saat ini memang sudah tersedia sistem konferensi video dengan konsep seperti holografik. Konsep ini memungkinkan para peserta konferensi video untuk berbicara satu sama lain seolah-olah mereka berinteraksi dalam kehidupan nyata.

Namun, menurut dia, solusi rekonstruksi gambar tiga dimensi yang ada saat ini memiliki kelemahan. Salah satunya adalah pengaturan rumit dari beberapa kamera dan daya komputasi yang diperlukan untuk pemrosesan. Hal ini berdampak pada proses rekonstruksi objek menjadi tidak praktis dan terlalu mahal.

Mengatasi masalah ini, tim peneliti dari KTU yang dipimpin oleh Maskeliunas mengusulkan solusi Computer Vision dengan metode berbasis Deep Learning yang dapat merekonstruksi postur manusia secara lebih baik.

Jaringan adversarial tiga tahap digunakan untuk menangani derau pada sensor kedalaman (depth sensor noise). Jaringan ini juga melakukan penyempurnaan data depth sensor untuk rekonstruksi bentuk manusia tiga dimensi secara penuh.

* Untuk mengetahui kebenaran informasi yang beredar, silakan WhatsApp ke nomor 0811 9787 670 hanya dengan ketik kata kunci yang diinginkan.

Sebagai percobaan, mereka menggunakan sekumpulan data berisi rekaman beberapa subjek yang melakukan latihan rehabilitasi fisik. Dua kamera dengan depth sensor digunakan untuk merekam subjek dari depan dan dari samping.

"Kamera hanya melihat separuh objek; jika merekam tampilan depan, tampilan dari belakang tidak terlihat; jika ada sesuatu yang menghalangi pandangan, kamera tidak dapat melihat apa yang ada di belakang. Oleh karena itu, kami menggunakan kecerdasan buatan yang merekonstruksi bagian gambar yang tidak terlihat," tutur Maskeliunas.

Selanjutnya, untuk melatih kecerdasan buatan, mereka mengadopsi pendekatan pelatihan lima tahap. Hasil kelengkapan kemampuan pencitraan divalidasi terlebih dahulu. Terungkap bahwa jaringan adversarial telah merekonstruksi hasilnya dengan sedikit kekurangan, yang sebagian besar ditemukan di dekat ujung tungkai.

Menurut Maskeliunas, citra tiga dimensi seseorang sangat penting di bidang medis, misalnya pada kondisi di mana ada kebutuhan untuk mendiagnosis berbagai trauma yang berkaitan dengan cedera tulang belakang.

"Misalnya, seorang dokter mungkin meminta pasiennya untuk melakukan tugas sederhana, seperti menyentuh hidung atau memutar bahunya. Untuk sepenuhnya melihat bagaimana orang itu membungkuk, berputar, dan bagaimana postur mereka berubah, dokter perlu melihat mereka sebagai subjek tiga dimensi untuk mengamati mereka dari semua sisi dan sudut," tutur Maskeliūnas.

Dalam percobaan, para peneliti menggunakan kamera dengan depth sensor yang tersedia secara komersial. Kamera tersebut memberikan pencitraan secara lebih komprehensif untuk melatih algoritme kecerdasan buatan dan meminimalkan potensi merekonstruksi area tertentu secara tidak tepat.

"Telemedisin, termasuk diagnostik jarak jauh menjadi semakin populer. Metode yang tidak memerlukan sumber daya yang luas atau peralatan yang rumit memiliki potensi besar untuk aplikasi masa depan," kata Maskeliunas.