MIT dan Adobe Kembangkan Teknik Machine Learning Baru Identifikasi Objek

Liputan6.com, Jakarta - Para di MIT dan Adobe Research telah berkolaborasi untuk mengembangkan teknik machine learning untuk mengatasi tantangan pemilihan material yang mirip di aplikasi robotika.

Mereka bermaksud memungkinkan robot memahami objek mana yang terdiri dari materialyang sama, memungkinkan mereka mengerahkan kekuatan yang sesuai saat memanipulasi item berbeda.

Penampilan material dapat sangat bervariasi berdasarkan bentuk objek dan kondisi pencahayaan, membuat pemilihan material menjadi tugas yang rumit untuk mesin.

Para peneliti telah mengembangkan teknik machine learning yang dapat mengidentifikasi semua piksel dalam gambar yang mewakili materi tertentu, berdasarkan piksel yang dipilih pengguna.

Apa yang membedakan teknik mereka adalah keakuratannya bahkan ketika objek memiliki berbagai bentuk dan ukuran, dan tidak tertipu oleh bayangan atau kondisi pencahayaan yang dapat mengubah tampilan material.

Model yang mereka kembangkan dapat secara efektif menangani pemandangan dalam dan luar ruangan nyata yang belum pernah ditemui sebelumnya, meskipun dilatih menggunakan data sintetik yang dihasilkan dengan memodifikasi pemandangan 3D.

Penerapan teknik ini melampaui robotika biasa. Itu juga dapat digunakan untuk pengeditan gambar, sistem komputasi yang menyimpulkan parameter material dalam gambar, dan bahkan sistem rekomendasi web berbasis material. Misalnya, dapat membantu pembeli yang mencari pakaian yang terbuat dari kain tertentu.

Pendekatan ini melibatkan pelatihan model machine learning untuk mengevaluasi kesamaan antara piksel yang dipilih pengguna dan bagian lain dari gambar.

Metode pemilihan material yang ada saat ini kesulitan untuk secara akurat mengidentifikasi semua piksel yang mewakili material yang sama.

Beberapa metode fokus pada keseluruhan objek, yang dapat terdiri dari sejumlah material, sementara yang lain menggunakan label luas untuk kumpulan bahan yang telah ditentukan sebelumnya.

Teknik para peneliti MIT dan Adobe secara dinamis mengevaluasi semua piksel dalam gambar untuk menentukan kesamaan material, bahkan memperhitungkan bentuk objek dan kondisi pencahayaan yang bervariasi.

Untuk mengatasi tantangan kekurangan set data berlabel halus untuk melatih model machine learning mereka, para peneliti membuat dataset sintetik adegan dalam ruangan mereka sendiri. Itu terdiri dari 50.000 gambar dengan lebih dari 16.000 material yang diterapkan secara acak ke objek.

Namun, ketika mereka pertama kali menguji model mereka pada gambar nyata, itu tidak bekerja dengan baik karena pergeseran distribusi antara data dunia nyata dan sintetis. Untuk mengatasinya, mereka menggunakan model visi komputer terlatih yang telah belajar dari jutaan gambar nyata, menggabungkan pengetahuan sebelumnya ke dalam model mereka.

Model peneliti mengubah fitur visual yang telah dilatih sebelumnya menjadi fitur khusus material, menjadikannya kuat untuk bentuk objek dan kondisi pencahayaan yang bervariasi. Ini menghitung skor kemiripan material untuk setiap piksel dalam gambar, memungkinkan pengguna untuk memilih piksel dan mengidentifikasi wilayah lain dengan material serupa.

Model menampilkan peta gambar dengan wilayah yang disorot berdasarkan bahan yang dipilih, dan pengguna dapat menyempurnakan hasilnya dengan menyetel ambang kesamaan.

Eksperimen menunjukkan bahwa model peneliti dapat secara akurat memprediksi wilayah gambar yang mengandung bahan yang sama, mengungguli metode lain dengan akurasi 92% dalam pencocokan area kebenaran dasar. Sebagai pekerjaan di masa depan, para peneliti bertujuan untuk meningkatkan kemampuan model untuk menangkap detail objek yang halus, yang semakin meningkatkan akurasinya.

Perkembangan teknik ini merupakan kemajuan yang signifikan dalam pemilihan material untuk robotika dan visi komputer. Dengan mengaktifkan mesin untuk mengidentifikasi bahan secara akurat, ini membuka kemungkinan untuk manipulasi objek yang lebih baik, pemahaman adegan, dan pengambilan keputusan di berbagai bidang.