Teknologi.id - Kecerdasan buatan (AI) telah menjadi bagian integral dari teknologi modern, namun temuan terbaru dari tim peneliti Apple menunjukkan bahwa tidak semua model bahasa utama (LLM) dapat dipercaya. Sebagai bagian dari penelitian yang dipimpin oleh Iman Mirzadeh, Apple menemukan kerentanan AI di mana perubahan kecil dalam urutan pertanyaan dapat secara signifikan mengurangi keakuratan jawaban karena pembuatan gambar ini. Temuan ini membuka diskusi tentang potensi kerentanan sistem AI dan dampaknya terhadap aplikasi di dunia nyata.

Penelitian dan Metode

Tim peneliti Apple menguji beberapa model bahasa terkemuka, termasuk model dari OpenAI dan Meta, untuk mengevaluasi kemampuan mereka dalam menangani tugas penalaran matematika yang mereka pelajari. Mereka menggunakan alat pengujian baru yang disebut GSM-Symbolic untuk mengevaluasi bagaimana variasi pertanyaan dapat mempengaruhi hasil. Fokus utama penelitian ini adalah bagaimana detail yang tampaknya tidak penting, seperti ukuran suatu objek, dapat mengubah respons yang dihasilkan model.

Contoh dari penelitian ini adalah pertanyaan sederhana tentang berapa banyak kiwi yang dikumpulkan seseorang. Para peneliti menemukan bahwa ketika menambahkan informasi tentang ukuran buah kiwi ke dalam pertanyaan, beberapa model bahasa utama, termasuk OpenAI dan model Llama Meta, memberikan jawaban yang salah. Hal ini menunjukkan bahwa meskipun model ini dilatih pada kumpulan data yang besar, model tersebut tidak selalu mampu menangani variasi konteks pertanyaan dengan baik.
Kelemahan ini menunjukkan bahwa model bahasa berukuran besar tidak menggunakan logika formal untuk menyelesaikan masalah. Sebaliknya, mereka tampaknya mengandalkan pengenalan pola yang kompleks, yang bisa menjadi tidak stabil ketika dihadapkan dengan perubahan kecil dalam pertanyaan. Penelitian menyatakan, "Kami tidak menemukan bukti penalaran formal dalam LLM. Perilaku mereka lebih baik dijelaskan oleh pencocokan pola yang canggih."

Perubahan sekecil apa pun dalam pertanyaan dapat menyebabkan variasi yang signifikan dalam jawaban, menunjukkan bahwa model-model ini mungkin tidak seandal yang diharapkan dalam situasi yang membutuhkan konsistensi logis. Hal ini berpotensi menciptakan risiko dalam penggunaan AI untuk aplikasi yang memerlukan pemahaman dan penalaran yang mendalam.

Dampak pada Aplikasi AI
Dari hasil penelitian, para peneliti di Apple menyimpulkan bahwa model bahasa besar perlu meningkatkan kemampuan logika mereka untuk dapat digunakan dalam aplikasi yang lebih kritis. Misalnya, di sektor kesehatan, ketidakakuratan dalam penalaran AI dapat menimbulkan konsekuensi yang serius. Tim menyarankan bahwa kombinasi jaringan saraf dengan penalaran berbasis simbol atau AI simbolis saraf dapat menjadi solusi untuk meningkatkan akurasi dan keandalan model AI.

Penalaran berbasis simbol, yang melibatkan representasi pengetahuan menggunakan simbol seperti variabel dan aturan logika, dapat membantu model AI membuat kesimpulan yang akurat dan bermakna. Hal ini merupakan langkah penting untuk memastikan bahwa kecerdasan buatan berfungsi tidak hanya sebagai alat pengenalan pola tetapi juga sebagai sistem yang dapat memahami dan memecahkan masalah dengan cara yang lebih manusiawi.