Jak se představuje
Každý požadavek posílá s touto hlavičkou User-Agent:
FlaitBot/1.0 (+https://flait.cz/bot)
Co dělá
- Načte robots.txt, úvodní stránku a nejvýš 25 dalších stránek téhož webu, s nejméně sekundovou pauzou mezi stránkami. Odkazy na jiné weby nesleduje.
- Podívá se na pár souborů, které weby běžně mají: sitemap.xml, llms.txt, favicon.ico a security.txt.
- Úvodní stránku načte ještě jednou jako GPTBot a ClaudeBot, aby zjistil, jestli je váš server nepouští. Když je robots.txt zakazuje, tenhle krok vynechá.
- Nepřihlašuje se, nevyplňuje formuláře a nic na web neodesílá.
robots.txt
FlaitBot se souborem robots.txt řídí. Celý web mu zakážete takto:
User-agent: FlaitBot Disallow: /
A když ostatní roboty blokujete a jen jeho chcete pustit, přidejte:
User-agent: FlaitBot Allow: /
Výjimka je jediná: když majitel webu na flait.cz výslovně potvrdí, že je web jeho, a požádá o kontrolu i přes zákaz.
Kontakt
Dělá FlaitBot na vašem webu něco, co by neměl? Napište nám na info@dotsphere.cz.