HARIAN DISWAY - Google, Microsoft, Anthropic, dan OpenAI mendukung pengembangan standar baru. Standar itu bertujuan mempermudah pengelola situs web mengatur akses perayap atau crawler kecerdasan buatan (AI) terhadap konten mereka.
Teknologi tersebut dirancang untuk memungkinkan pemilik situs memblokir pengumpulan data bagi pelatihan model AI generatif. Tanpa harus memasukkan aturan terpisah untuk setiap penyedia AI.
Selama ini, banyak situs web menggunakan berkas teks bernama robots.txt. Fungsinya untuk memberikan instruksi kepada crawler mengenai konten yang boleh diakses.
Melalui berkas tersebut, penerbit dapat memblokir pengambilan data secara menyeluruh. Atau membatasi akses ke halaman tertentu.
BACA JUGA:Pengadilan London Tolak Gugatan Meta, TikTok, dan X, Ofcom Menang Mutlak Soal Data Moderasi Konten!
BACA JUGA:Meta Terbitkan Saham Baru untuk Danai AI, Anggaran Belanja Tembus USD145 Miliar
Pengelola situs juga dapat menyertakan instruksi lain. Misalnya meminta crawler agar tidak mengunjungi situs terlalu sering.
OpenAI menyiapkan kontrol akses konten situs.--9to5Mac
Awalnya, robots.txt digunakan untuk mengatur interaksi mesin pencari dengan situs web. Kini, mekanisme itu juga berperan dalam mengendalikan aktivitas pengumpul data. Khususnya yang digunakan perusahaan AI untuk memperoleh materi pelatihan.
Namun, pemilik situs yang ingin melarang pengambilan konten untuk pelatihan AI harus melakukan sejumlah penyesuaian pada robots.txt.
Mereka perlu menambahkan entri tersendiri bagi setiap penyedia AI. Apabila sebuah perusahaan menggunakan beberapa crawler untuk mengumpulkan data, setiap crawler juga membutuhkan entri masing-masing.
BACA JUGA:OpenAI Latih Model AI Canggih Tanpa Akses Internet
BACA JUGA:Evaluator Eksternal Temukan Celah dalam Sistem Pemantauan AI OpenAI
Standar baru yang didukung Google, Microsoft, Anthropic, dan OpenAI bertujuan menyederhanakan proses tersebut.
Dengan standar itu, pemilik situs nantinya dapat memblokir seluruh crawler yang mengumpulkan data untuk melatih model AI generatif. Hanya melalui satu entri dalam robots.txt. Pengaturan itu tidak berlaku bagi model yang secara eksklusif menjalankan tugas non-generatif.