archive.org_bot

archive.org_bot, İnternet Arşivi tarafından işletilen bir arşivleyicidir. Şu anda yapay zeka veya AI ile ilgili olduğu bilinmemektedir. Bunun yanlış olduğunu düşünüyorsanız veya amacı hakkında daha fazla ayrıntı sağlayabilirseniz, lütfen bizimle iletişime geçin.

Arşivciler web sitelerini kabaca düzenli bir tempoda ziyaret eder, çünkü anlık görüntüler düzenli aralıklarla alındığında daha kullanışlıdır. Popüler web siteleri, gelecekte geçmiş veritabanında sorgulanma olasılıkları daha yüksek olduğu için daha sık ziyaret edilir.

Detaylar

Kullanıcı aracısı (user agents), operatör hakkında detaylı bilgilere ve döküman dosylarına ulaşabilirsiniz.

Operatör	Internet Archive
Dokümantasyon	http://archive.org/details/archive.org_bot

robots.txt ile Engelleme

Web sitenizin robots.txt dosyasında kullanıcı aracısı belirteci kuralları belirleyerek archive.org_bot botunu engelleyebilir veya erişimini sınırlayabilirsiniz.

# robots.txt
# Bu archive.org_bot botunu engelleyecektir

User-agent: archive.org_bot
Disallow: /