Dengan demikian, standar tersebut secara khusus menyasar aktivitas pengumpulan data untuk pelatihan model generatif. Bukan seluruh bentuk penggunaan AI.
Struktur robots.txt mengikuti format baku bernama Robots Exclusion Protocol. Keempat perusahaan teknologi itu berencana memasukkan standar perayapan baru tersebut ke dalam protokol yang sudah digunakan secara luas.
BACA JUGA:OpenAI Kejar Pendanaan USD30Miliar, Bidik Valuasi USD1,4 Triliun Jelang IPO Anthropic
BACA JUGA:OpenAI Luncurkan Dots, AI Agent yang Bisa Bekerja Sendiri di Balik Layar
Mereka juga telah mengajukan draf proposal kepada Internet Engineering Task Force (IETF). Yakni organisasi nirlaba yang memelihara Robots Exclusion Protocol.
Pengajuan tersebut menjadi bagian dari upaya mengembangkan standar yang dapat digunakan secara lebih luas. Baik oleh pengelola situs maupun penyedia teknologi AI.
Microsoft juga mengumumkan rencana menyediakan pengaturan perayapan bernama AI Grounding. Fitur itu dirancang untuk menangani situasi ketika model AI mengakses halaman web. Guna menjawab pertanyaan pengguna. Bukan untuk mengumpulkan materi pelatihan.
Melalui pengaturan tersebut, pemilik situs dapat mencegah layanan Microsoft mengirimkan permintaan akses semacam itu.
BACA JUGA:Anthropic Prediksi AI Bisa Dongkrak PDB AS Jadi USD44 Triliun pada 2030
BACA JUGA:Anthropic Perluas Akses Model AI Terkuat untuk Tim Keamanan Siber AS
Fitur tersebut juga akan mencakup perangkat AI pihak ketiga. Terutama yang menggunakan teknologi Microsoft untuk memproses perintah atau prompt pengguna.
Meta mendukung gagasan pembatasan crawler AI.--Meta.com
OpenAI berencana menawarkan kontrol serupa. Microsoft dan pengembang ChatGPT itu bermaksud menambahkan dukungan terhadap standar perayapan baru dalam beberapa bulan mendatang. Sementara itu, Google diperkirakan menyusul pada tahun depan.
Meta Platforms Inc. turut menyatakan dukungan terhadap gagasan di balik teknologi tersebut. Namun, perusahaan itu belum berkomitmen untuk menerapkannya.
Pengembangan standar tersebut memberikan pilihan lebih sederhana bagi pengelola situs. Mereka dapat menentukan apakah konten mereka boleh dikumpulkan bagi pelatihan AI generatif.
BACA JUGA:Anthropic Peringatkan AI Bisa Kembangkan Diri Sendiri, Risiko bagi Manusia Meningkat