Model o1 baru OpenAI lebih baik dalam merencanakan sesuatu — dan hal itu membuat “bapak baptis” AI merasa gugup.
Yoshua Bengio, seorang ilmuwan komputer Kanada pemenang Penghargaan Turing dan profesor di Universitas Montreal, mengatakan kepada Business Insider dalam pernyataan melalui email bahwa o1 memiliki “kemampuan penalaran yang jauh lebih unggul daripada pendahulunya.”
“Secara umum, kemampuan untuk menipu sangat berbahaya, dan kita harus melakukan uji keamanan yang jauh lebih kuat untuk mengevaluasi risiko tersebut dan konsekuensinya dalam kasus o1,” tulis Bengio dalam pernyataan tersebut.
Bengio mendapat julukan “bapak AI” atas penelitiannya yang memenangkan penghargaan tentang pembelajaran mesin bersama Geoffrey Hinton dan Yann LeCun.
OpenAI merilis model o1 barunya — yang dirancang untuk berpikir lebih seperti manusia — awal bulan ini. Sejauh ini, model ini merahasiakan detail tentang proses “pembelajaran”-nya. Peneliti dari perusahaan AI independen Apollo Research menemukan bahwa model o1 lebih baik dalam berbohong daripada model AI sebelumnya dari OpenAI.
Bengio telah menyatakan kekhawatirannya tentang perkembangan AI yang pesat dan telah mengadvokasi langkah-langkah keamanan legislatif seperti SB 1047 California. Undang-undang baru tersebut, yang disahkan oleh badan legislatif California dan sedang menunggu tanda tangan Gubernur Gavin Newsom, akan memberlakukan serangkaian batasan keamanan pada model AI yang canggih, seperti memaksa perusahaan AI di California untuk mengizinkan pengujian oleh pihak ketiga.
Namun, Newsom telah menyatakan kekhawatirannya atas SB 1047, yang menurutnya dapat memiliki “dampak mengerikan” pada industri.
Bengio mengatakan kepada BI bahwa ada “alasan kuat untuk percaya” bahwa model AI dapat mengembangkan kemampuan licik yang lebih kuat, seperti menipu secara sengaja dan diam-diam, dan bahwa kita perlu mengambil tindakan sekarang untuk “mencegah hilangnya kendali manusia” di masa mendatang.
OpenAI mengatakan dalam sebuah pernyataan kepada Business Insider bahwa pratinjau o1 aman berdasarkan “Kerangka Kesiapsiagaan” — metode perusahaan untuk melacak dan mencegah AI menciptakan peristiwa “bencana” — dan diberi peringkat risiko sedang pada “skala kehati-hatian”.
Menurut Bengio, umat manusia perlu lebih yakin bahwa AI akan “berfungsi sebagaimana mestinya” sebelum para peneliti mencoba membuat lompatan signifikan lebih lanjut dalam kemampuan penalaran.
“Itulah yang belum diketahui para ilmuwan saat ini,” kata Bengio dalam pernyataannya. “Itulah alasan mengapa pengawasan regulasi diperlukan saat ini.”