Anthropic, startup kecerdasan buatan yang didukung oleh pemilik Google Alphabet Inc, pada hari Selasa mengungkapkan serangkaian nilai moral tertulis yang digunakannya untuk melatih dan mengamankan Claude, saingannya dari teknologi di balik ChatGPT OpenAI.
Pedoman nilai-nilai moral, yang oleh Anthropic disebut sebagai konstitusi Claude, diambil dari beberapa sumber, termasuk Deklarasi Hak Asasi Manusia Perserikatan Bangsa-Bangsa dan bahkan aturan privasi data Apple Inc.
Pertimbangan keamanan telah mengemuka ketika pejabat AS mempelajari apakah dan bagaimana mengatur AI, dengan Presiden Joe Biden mengatakan perusahaan memiliki kewajiban untuk memastikan sistem mereka aman sebelum mempublikasikannya.
Anthropic didirikan oleh mantan eksekutif dari OpenAI yang didukung Microsoft Corp untuk fokus pada pembuatan sistem AI yang aman yang tidak akan, misalnya, memberi tahu pengguna cara membuat senjata atau menggunakan bahasa yang bias rasial.
Salah satu pendiri Dario Amodei adalah salah satu dari beberapa eksekutif AI yang bertemu dengan Biden minggu lalu untuk membahas potensi bahaya AI.
Sebagian besar sistem chatbot AI mengandalkan umpan balik dari manusia nyata selama pelatihan mereka untuk memutuskan tanggapan apa yang mungkin berbahaya atau menyinggung.
Tetapi sistem tersebut mengalami kesulitan mengantisipasi segala sesuatu yang mungkin ditanyakan orang, sehingga sistem tersebut cenderung menghindari beberapa topik yang berpotensi menimbulkan perdebatan seperti politik dan ras sama sekali, membuatnya kurang berguna.
Anthropic mengambil pendekatan yang berbeda, memberikan pesaing Open AI-nya Claude seperangkat nilai moral tertulis untuk dibaca dan dipelajari saat membuat keputusan tentang cara menjawab pertanyaan.
Nilai-nilai itu termasuk “memilih tanggapan yang paling mematahkan semangat dan menentang penyiksaan, perbudakan, kekejaman, dan perlakuan tidak manusiawi atau merendahkan martabat,” kata Anthropic dalam sebuah posting blog pada hari Selasa.
Claude juga telah diberitahu untuk memilih tanggapan yang paling tidak dianggap menyinggung tradisi budaya non-barat mana pun.
Dalam sebuah wawancara, salah satu pendiri Anthropic Jack Clark mengatakan bahwa konstitusi sistem dapat dimodifikasi untuk melakukan tindakan penyeimbangan antara memberikan jawaban yang bermanfaat sementara juga tidak ofensif.
“Dalam beberapa bulan, saya memperkirakan bahwa politisi akan cukup fokus pada nilai-nilai dari sistem AI yang berbeda, dan pendekatan seperti AI konstitusional akan membantu diskusi itu karena kita hanya dapat menuliskan nilai-nilainya,” kata Clark.
Posted By : togel hongkon