Teknologi prototipe menyusut AI untuk menghadirkan fungsionalitas seperti otak dalam satu perangkat yang kuat - ScienceDaily
Offbeat

Cara yang lebih cepat untuk memperkirakan ketidakpastian dalam pengambilan keputusan yang dibantu AI dapat menghasilkan hasil yang lebih aman. – ScienceDaily


Semakin banyak, sistem kecerdasan buatan yang dikenal sebagai jaringan saraf pembelajaran yang dalam digunakan untuk menginformasikan keputusan penting bagi kesehatan dan keselamatan manusia, seperti dalam mengemudi otonom atau diagnosis medis. Jaringan ini pandai mengenali pola dalam kumpulan data yang besar dan kompleks untuk membantu pengambilan keputusan. Tapi bagaimana kita tahu mereka benar? Alexander Amini dan rekan-rekannya di MIT dan Universitas Harvard ingin mencari tahu.

Mereka telah mengembangkan cara cepat bagi jaringan neural untuk memproses data, dan menghasilkan bukan hanya prediksi tetapi juga tingkat kepercayaan model berdasarkan kualitas data yang tersedia. Kemajuan mungkin menyelamatkan nyawa, karena pembelajaran mendalam sudah diterapkan di dunia nyata saat ini. Tingkat kepastian jaringan dapat menjadi perbedaan antara kendaraan otonom yang menentukan bahwa “semua aman untuk melewati persimpangan” dan “mungkin aman, jadi berhentilah untuk berjaga-jaga.”

Metode estimasi ketidakpastian saat ini untuk jaringan saraf cenderung mahal secara komputasi dan relatif lambat untuk keputusan sepersekian detik. Namun pendekatan Amini, yang dijuluki “regresi bukti yang mendalam”, mempercepat proses tersebut dan dapat memberikan hasil yang lebih aman. “Kami membutuhkan kemampuan untuk tidak hanya memiliki model berkinerja tinggi, tetapi juga untuk memahami ketika kami tidak dapat mempercayai model tersebut,” kata Amini, seorang mahasiswa PhD dalam kelompok Profesor Daniela Rus di MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) .

“Ide ini penting dan dapat diterapkan secara luas. Ini dapat digunakan untuk menilai produk yang mengandalkan model yang dipelajari. Dengan memperkirakan ketidakpastian model yang dipelajari, kami juga mempelajari berapa banyak kesalahan yang diharapkan dari model, dan data yang hilang dapat meningkatkan model, “kata Rus.

Amini akan mempresentasikan penelitiannya pada konferensi NeurIPS bulan depan, bersama dengan Rus, yang merupakan Profesor Teknik Elektro dan Ilmu Komputer Andrew dan Erna Viterbi, direktur CSAIL, dan wakil dekan penelitian untuk MIT Stephen A. Schwarzman College of Computing; dan mahasiswa pascasarjana Wilko Schwarting dari MIT dan Ava Soleimany dari MIT dan Harvard.

Ketidakpastian yang efisien

Setelah sejarah naik-turun, pembelajaran mendalam telah menunjukkan kinerja yang luar biasa pada berbagai tugas, dalam beberapa kasus bahkan melebihi keakuratan manusia. Dan saat ini, pembelajaran mendalam tampaknya pergi ke mana pun komputer pergi. Ini mendorong hasil mesin pencari, umpan media sosial, dan pengenalan wajah. “Kami meraih sukses besar menggunakan pembelajaran mendalam,” kata Amini. “Jaringan saraf sangat pandai mengetahui jawaban yang benar 99 persen dari waktu.” Tapi 99 persen tidak akan berhasil saat nyawa dipertaruhkan.

“Satu hal yang luput dari perhatian para peneliti adalah kemampuan model ini untuk mengetahui dan memberi tahu kami kapan mereka mungkin salah,” kata Amini. “Kami benar-benar peduli tentang 1 persen itu dari waktu, dan bagaimana kami dapat mendeteksi situasi itu dengan andal dan efisien.”

Jaringan neural bisa sangat besar, terkadang penuh dengan miliaran parameter. Jadi, ini bisa menjadi peningkatan komputasi yang berat hanya untuk mendapatkan jawaban, apalagi tingkat kepercayaan. Analisis ketidakpastian dalam jaringan saraf bukanlah hal baru. Namun pendekatan sebelumnya, yang berasal dari pembelajaran mendalam Bayesian, telah mengandalkan menjalankan, atau mengambil sampel, jaringan saraf berkali-kali untuk memahami kepercayaannya. Proses itu membutuhkan waktu dan memori, kemewahan yang mungkin tidak ada dalam lalu lintas berkecepatan tinggi.

Para peneliti menemukan cara untuk memperkirakan ketidakpastian hanya dari satu kali jaringan saraf. Mereka merancang jaringan dengan keluaran massal, menghasilkan tidak hanya keputusan tetapi juga distribusi probabilistik baru yang menangkap bukti untuk mendukung keputusan itu. Distribusi ini, disebut distribusi bukti, secara langsung menangkap keyakinan model dalam prediksinya. Ini termasuk ketidakpastian yang ada dalam data masukan yang mendasarinya, serta dalam keputusan akhir model. Perbedaan ini dapat menandakan apakah ketidakpastian dapat dikurangi dengan menyesuaikan jaringan saraf itu sendiri, atau apakah data masukan hanya berisik.

Pemeriksaan kepercayaan

Untuk menguji pendekatan mereka, para peneliti memulai dengan tugas visi komputer yang menantang. Mereka melatih jaringan saraf mereka untuk menganalisis gambar berwarna monokuler dan memperkirakan nilai kedalaman (yaitu jarak dari lensa kamera) untuk setiap piksel. Kendaraan otonom mungkin menggunakan perhitungan serupa untuk memperkirakan kedekatannya dengan pejalan kaki atau kendaraan lain, yang bukanlah tugas yang mudah.

Performa jaringan mereka setara dengan model canggih sebelumnya, tetapi juga memperoleh kemampuan untuk memperkirakan ketidakpastiannya sendiri. Seperti yang diharapkan para peneliti, jaringan memproyeksikan ketidakpastian tinggi untuk piksel di mana ia memprediksi kedalaman yang salah. “Itu sangat disesuaikan dengan kesalahan yang dibuat jaringan, yang kami yakini sebagai salah satu hal terpenting dalam menilai kualitas penaksir ketidakpastian baru,” kata Amini.

Untuk menguji kalibrasi mereka, tim juga menunjukkan bahwa jaringan memproyeksikan ketidakpastian yang lebih tinggi untuk data “di luar distribusi” – jenis gambar yang benar-benar baru yang tidak pernah ditemukan selama pelatihan. Setelah mereka melatih jaringan tentang adegan rumah dalam ruangan, mereka memberinya sekumpulan adegan mengemudi di luar ruangan. Jaringan tersebut secara konsisten memperingatkan bahwa tanggapannya terhadap adegan luar ruangan baru tidak pasti. Tes tersebut menyoroti kemampuan jaringan untuk menandai saat pengguna tidak boleh menaruh kepercayaan penuh pada keputusannya. Dalam kasus ini, “jika ini adalah aplikasi perawatan kesehatan, mungkin kami tidak mempercayai diagnosis yang diberikan model, dan malah mencari opini kedua,” kata Amini.

Jaringan bahkan tahu ketika foto telah dimanipulasi, berpotensi melindungi nilai dari serangan manipulasi data. Dalam uji coba lain, para peneliti meningkatkan tingkat kebisingan yang berlawanan dalam sekumpulan gambar yang mereka masukkan ke jaringan. Efeknya halus – hampir tidak terlihat oleh mata manusia – tetapi jaringan mengendus gambar-gambar itu, menandai keluarannya dengan tingkat ketidakpastian yang tinggi. Kemampuan untuk membunyikan alarm pada data yang dipalsukan ini dapat membantu mendeteksi dan mencegah serangan musuh, kekhawatiran yang berkembang di era deepfakes.

Regresi bukti yang mendalam adalah “pendekatan sederhana dan elegan yang memajukan bidang estimasi ketidakpastian, yang penting untuk robotika dan sistem kontrol dunia nyata lainnya,” kata Raia Hadsell, peneliti kecerdasan buatan di DeepMind yang tidak terlibat dengan pekerjaan ini. “Ini dilakukan dengan cara baru yang menghindari beberapa aspek berantakan dari pendekatan lain – misalnya pengambilan sampel atau ansambel – yang membuatnya tidak hanya elegan tetapi juga secara komputasi lebih efisien – kombinasi yang unggul.”

Regresi bukti yang mendalam dapat meningkatkan keamanan dalam pengambilan keputusan yang dibantu AI. “Kami mulai melihat lebih banyak dari ini [neural network] model menetes keluar dari lab penelitian dan ke dunia nyata, ke dalam situasi yang menyentuh manusia dengan konsekuensi yang berpotensi mengancam nyawa, “kata Amini.” Semua pengguna metode, baik itu dokter atau orang yang duduk di kursi penumpang kendaraan, perlu mewaspadai risiko atau ketidakpastian yang terkait dengan keputusan itu. “Ia membayangkan sistem tidak hanya dengan cepat menandai ketidakpastian, tetapi juga menggunakannya untuk membuat pengambilan keputusan yang lebih konservatif dalam skenario berisiko seperti kendaraan otonom yang mendekati persimpangan.

“Semua bidang yang akan memiliki pembelajaran mesin yang dapat diterapkan pada akhirnya harus memiliki kesadaran ketidakpastian yang dapat diandalkan,” katanya.

Pekerjaan ini didukung, sebagian, oleh National Science Foundation dan Toyota Research Institute melalui Toyota-CSAIL Joint Research Center.

Dipersembahkan Oleh : Lapak Judi

Baca Juga : Hongkong Prize