Bytespider

Bytespider, TikTok'un Çinli sahibi ByteDance tarafından işletilen bir web tarayıcısıdır. İddiaya göre ChatGPT rakibi Doubao'ya güç verenler de dahil olmak üzere LLM'leri (Büyük Dil Modeli) için eğitim verilerini indirmek için kullanılıyor.

Yapay zeka veri kazıyıcılarının hangi web sitelerini tarayacaklarını ve ne sıklıkla tarayacaklarını nasıl seçtikleri genellikle belirsizdir. Eğittikleri Yapay zeka modellerinin türüne bağlı olarak, daha yüksek bilgi yoğunluğuna sahip web sitelerini daha sık ziyaret etmeyi seçebilirler. Örneğin, bir LLM (Büyük Dil Modeli) eğiten bir ajanın düzenli olarak güncellenen çok sayıda metin içeriğine sahip siteleri tercih etmesi mantıklı olacaktır.

Detaylar

Kullanıcı aracısı (user agents), operatör hakkında detaylı bilgilere ve döküman dosylarına ulaşabilirsiniz.

Operatör	ByteDance
Dokümantasyon	-

robots.txt ile Engelleme

Web sitenizin robots.txt dosyasında kullanıcı aracısı belirteci kuralları belirleyerek Bytespider botunu engelleyebilir veya erişimini sınırlayabilirsiniz.

# robots.txt
# Bu Bytespider botunu engelleyecektir

User-agent: Bytespider
Disallow: /