OAI-SearchBot

OAI-SearchBot, OpenAI'nin SearchGPT ürününde sonuç olarak ortaya çıkabilecek bir web sitesi dizini oluşturmak için kullanılır.

Yapay zeka arama tarayıcıları web siteleri için sabit bir ziyaret programına bağlı kalmaz. Ziyaret sıklığı birçok faktöre bağlı olarak büyük ölçüde değişir ve hatta bir kullanıcı sorgusuna yanıt olarak talep üzerine bile gerçekleşebilir.

Detaylar

Kullanıcı aracısı (user agents), operatör hakkında detaylı bilgilere ve döküman dosylarına ulaşabilirsiniz.

Operatör	OpenAI
Dokümantasyon	https://platform.openai.com/docs/bots

robots.txt ile Engelleme

Web sitenizin robots.txt dosyasında kullanıcı aracısı belirteci kuralları belirleyerek OAI-SearchBot botunu engelleyebilir veya erişimini sınırlayabilirsiniz.

# robots.txt
# Bu OAI-SearchBot botunu engelleyecektir

User-agent: OAI-SearchBot
Disallow: /