Google, OpenAI, dan Anthropic Dukung Standar Baru untuk Blokir Crawler AI

Dengan standar itu, pemilik situs nantinya dapat memblokir seluruh crawler yang mengumpulkan data untuk melatih model AI generatif. Hanya melalui satu entri dalam robots.txt. Pengaturan itu tidak berlaku bagi model yang secara eksklusif menjalankan tugas non-generatif. 

Dengan demikian, standar tersebut secara khusus menyasar aktivitas pengumpulan data untuk pelatihan model generatif. Bukan seluruh bentuk penggunaan AI.

Struktur robots.txt mengikuti format baku bernama Robots Exclusion Protocol. Keempat perusahaan teknologi itu berencana memasukkan standar perayapan baru tersebut ke dalam protokol yang sudah digunakan secara luas.

BACA JUGA:OpenAI Kejar Pendanaan USD30Miliar, Bidik Valuasi USD1,4 Triliun Jelang IPO Anthropic

BACA JUGA:OpenAI Luncurkan Dots, AI Agent yang Bisa Bekerja Sendiri di Balik Layar

Mereka juga telah mengajukan draf proposal kepada Internet Engineering Task Force (IETF). Yakni organisasi nirlaba yang memelihara Robots Exclusion Protocol. 

Pengajuan tersebut menjadi bagian dari upaya mengembangkan standar yang dapat digunakan secara lebih luas. Baik oleh pengelola situs maupun penyedia teknologi AI.

Microsoft juga mengumumkan rencana menyediakan pengaturan perayapan bernama AI Grounding.  Fitur itu dirancang untuk menangani situasi ketika model AI mengakses halaman web. Guna menjawab pertanyaan pengguna. Bukan untuk mengumpulkan materi pelatihan.

Melalui pengaturan tersebut, pemilik situs dapat mencegah layanan Microsoft mengirimkan permintaan akses semacam itu. 

BACA JUGA:Anthropic Prediksi AI Bisa Dongkrak PDB AS Jadi USD44 Triliun pada 2030

BACA JUGA:Anthropic Perluas Akses Model AI Terkuat untuk Tim Keamanan Siber AS

Fitur tersebut juga akan mencakup perangkat AI pihak ketiga. Terutama yang menggunakan teknologi Microsoft untuk memproses perintah atau prompt pengguna.

Meta mendukung gagasan pembatasan crawler AI.--Meta.com

OpenAI berencana menawarkan kontrol serupa. Microsoft dan pengembang ChatGPT itu bermaksud menambahkan dukungan terhadap standar perayapan baru dalam beberapa bulan mendatang. Sementara itu, Google diperkirakan menyusul pada tahun depan.

Meta Platforms Inc. turut menyatakan dukungan terhadap gagasan di balik teknologi tersebut. Namun, perusahaan itu belum berkomitmen untuk menerapkannya.

Sumber: siliconangle.com