Nicecrawler

Nicecrawler, NiceCrawler tarafından işletilen bir arşivleyicidir. Şu anda yapay zeka veya AI ile ilgili olduğu bilinmemektedir. Bunun yanlış olduğunu düşünüyorsanız veya amacı hakkında daha fazla ayrıntı sağlayabilirseniz, lütfen bizimle iletişime geçin.

Arşivciler web sitelerini kabaca düzenli bir tempoda ziyaret eder, çünkü anlık görüntüler düzenli aralıklarla alındığında daha kullanışlıdır. Popüler web siteleri, gelecekte geçmiş veritabanında sorgulanma olasılıkları daha yüksek olduğu için daha sık ziyaret edilir.

Detaylar

Kullanıcı aracısı (user agents), operatör hakkında detaylı bilgilere ve döküman dosylarına ulaşabilirsiniz.

Operatör	NiceCrawler
Dokümantasyon	-

robots.txt ile Engelleme

Web sitenizin robots.txt dosyasında kullanıcı aracısı belirteci kuralları belirleyerek Nicecrawler botunu engelleyebilir veya erişimini sınırlayabilirsiniz.

# robots.txt
# Bu Nicecrawler botunu engelleyecektir

User-agent: Nicecrawler
Disallow: /