Mit ér a robots.txt, ha a Cloudflare közben kizárja az AI-t?

Miért nem elég, ha a robots.txt rendben van?

Mert a robots.txt egy kérés, nem kapu.

A robot először a szerveredhez, a tűzfaladhoz és a tartalomkiszolgáló hálózatodhoz (CDN) érkezik. Ha ott fennakad, a robots.txt-ig el sem jut. Ilyenkor hiába engedsz be mindenkit a fájlban, a ChatGPT és a Perplexity robotja a kapuban fordul vissza.

A robots.txt beállításáról külön cikkben írtam. Ez a cikk arról a rétegről szól, amely fölötte van.

Mi változott pontosan 2026. szeptember 15-én?

A Cloudflare 2026. július 1-jén jelentette be, szeptember 15-én pedig életbe lépett az új alapbeállítás. Az AI-robotokat három csoportba sorolja:

Kikre vonatkozik az új alapbeállítás:

• az új Cloudflare-ügyfelekre,
• a meglévő fiókokban újonnan felvett oldalakra,
• azokra a meglévő, ingyenes csomagot használó ügyfelekre, akik szeptember 15-ig nem módosították a beállításaikat.

A vegyes robotokat, amelyek nem engedik szétválasztani, hogy keresésre, ügynöki munkára vagy tanításra használják a tartalmat, a Cloudflare a hirdetést megjelenítő oldalakon szintén tiltja. A beállítás bármikor módosítható, az ingyenes csomagban is.

Hogy ez miért számít: a Cloudflare saját közlése szerint a webes domainek több mint 20%-a mögötte fut.

Mit jelent ez egy magyar szolgáltató cégnek?

Ha az oldaladon nincs hirdetés, az új alapbeállítás kevésbé érint. Ha van (például bannerek vagy hirdetési hálózat), akkor az ügynök és a tanító csoportba sorolt robotok alapból kint maradnak.

Hogy egy adott robot melyik csoportba esik, azt a Cloudflare vezérlőpultjában látod. Ne találgass: nézd meg robotonként.

A kereső csoport alapból átjut, vagyis az AI-keresők indexe továbbra is eléri az oldaladat. Az ügynökök viszont egyre fontosabbak: ezek azok a robotok, amelyek egy felhasználó kérésére élőben nyitják meg az oldaladat, például amikor valaki éppen rólad kérdez.

Egy szolgáltató cégnek, amelynek az a célja, hogy az AI ismerje és ajánlja, ritkán éri meg az ügynököket kizárni.

Mit ellenőrizz a szerver szintjén?

• Cloudflare vezérlőpult: nézd meg az AI-robotokra és a bot kezelésre vonatkozó beállításokat, és azt, hogy csoportonként és robotonként mit enged át valójában.
• Szervernapló: kérd el a tárhelyszolgáltatótól, és keress rá a GPTBot, az OAI-SearchBot, a ChatGPT-User, a PerplexityBot és a ClaudeBot nevére. Ha az elmúlt harminc napban egyszer sem jártak nálad, valami blokkol.
• Biztonsági bővítmények: a WordPress tűzfal- és biztonsági bővítményei közül több ismeretlen botként kezeli az AI-robotokat. Nézd meg a beállításaikat.
• Tárhely szintű botvédelem: ha a szolgáltatód alapból bekapcsolt bot elleni védelmet használ, kérdezd meg, pontosan mit szűr.

Hány oldal tiltja ma az AI-robotokat?

Kevesebb, mint gondolnád, de nagyon egyenetlenül.

A Cloudflare 2025 júniusi vizsgálata szerint a 10 000 legnagyobb domain közül 3816-nak volt robots.txt-je, és ebből 546 (kb. 14%) tartalmazott AI-robotokra vonatkozó szabályt. A leggyakrabban tiltott robot a GPTBot volt.

Az Ahrefs 2026. szeptemberi elemzése német, osztrák és svájci oldalakon nézte meg ugyanezt. A véletlenszerűen kiválasztott 24 550 oldal közül mindössze 2,27% tiltotta a GPTBotot a robots.txt-ben. A hírportáloknál ez az arány 61%, a webshopoknál 6% volt.

A tanulság: a kiadók tudatosan zárnak, mert a tartalmuk a termékük. Egy szolgáltató cégnél a tiltás ritkán tudatos döntés. Ráadásul ezek a számok csak a robots.txt-t mérik, a tűzfal és a CDN szintű blokkolást nem. Pont azt a réteget, amelyről ez a cikk szól.

Mi a Pay Per Crawl, és érdemes-e foglalkozni vele?

A Cloudflare 2025-ben indította a Pay Per Crawl lehetőséget, amellyel díjat lehet kérni az AI-robotoktól a bejárásért. 2026 júliusában bejelentette, hogy ez Pay Per Use irányába fejlődik tovább: a kiadó akkor kap pénzt, amikor a tartalma ténylegesen értéket teremt, nem a puszta letöltésért.

Nagy tartalomgyártóknak ez bevételi kérdés. Egy szolgáltató cégnek ma inkább akadály: a robotot be akarod engedni, nem megvámolni.