Ako sa predstavuje
Každú požiadavku posiela s touto hlavičkou User-Agent:
FlaitBot/1.0 (+https://flait.cz/bot)
Čo robí
- Načíta robots.txt, úvodnú stránku a najviac 25 ďalších stránok toho istého webu, s aspoň sekundovou pauzou medzi stránkami. Odkazy na iné weby nesleduje.
- Pozrie sa na pár súborov, ktoré weby bežne majú: sitemap.xml, llms.txt, favicon.ico a security.txt.
- Úvodnú stránku načíta ešte raz ako GPTBot a ClaudeBot, aby zistil, či ich váš server nepúšťa. Keď ich robots.txt zakazuje, tento krok vynechá.
- Neprihlasuje sa, nevypĺňa formuláre a nič na web neodosiela.
robots.txt
FlaitBot sa súborom robots.txt riadi. Celý web mu zakážete takto:
User-agent: FlaitBot Disallow: /
A keď ostatné roboty blokujete a len jeho chcete pustiť, pridajte:
User-agent: FlaitBot Allow: /
Výnimka je jediná: keď majiteľ webu na flait.cz výslovne potvrdí, že je web jeho, a požiada o kontrolu aj napriek zákazu.
Kontakt
Robí FlaitBot na vašom webe niečo, čo by nemal? Napíšte nám na info@dotsphere.cz.