heritrix

heritrix, İnternet Arşivi tarafından işletilen bir arşivleyicidir. Şu anda yapay zeka veya AI ile ilgili olduğu bilinmemektedir. Bunun yanlış olduğunu düşünüyorsanız veya amacı hakkında daha fazla ayrıntı sağlayabilirseniz, lütfen bizimle iletişime geçin.

Arşivciler web sitelerini kabaca düzenli bir tempoda ziyaret eder, çünkü anlık görüntüler düzenli aralıklarla alındığında daha kullanışlıdır. Popüler web siteleri, gelecekte geçmiş veritabanında sorgulanma olasılıkları daha yüksek olduğu için daha sık ziyaret edilir.

Detaylar

Kullanıcı aracısı (user agents), operatör hakkında detaylı bilgilere ve döküman dosylarına ulaşabilirsiniz.

Operatör	Internet Archive
Dokümantasyon	-

robots.txt ile Engelleme

Web sitenizin robots.txt dosyasında kullanıcı aracısı belirteci kuralları belirleyerek heritrix botunu engelleyebilir veya erişimini sınırlayabilirsiniz.

# robots.txt
# Bu heritrix botunu engelleyecektir

User-agent: heritrix
Disallow: /