Miért nem tud rólad a ChatGPT? A robots.txt, amiről nem tudsz

Mi az a robots.txt, és miért számít hirtelen?

A keresők és az AI-motorok nem úgy olvassák az internetet, ahogy te. Robotokat küldenek ki, azok végigjárják az oldalakat, és amit ott találnak, azt viszik el feldolgozásra. A robots.txt az a fájl, amiben megmondod ezeknek a robotoknak, hova mehetnek és hova nem.

Megtalálod, ha a saját domained után beírod, hogy `/robots.txt`. Például: `weboldalad.hu/robots.txt`.

Ez a fájl 1994 óta létezik, és évtizedekig csak a keresőrobotokról szólt. 2023 óta viszont új szereplők jelentek meg benne: az AI-motorok robotjai. És mivel a legtöbb webhely robots.txt-jét évek óta nem nyitotta ki senki, most sok cégnél olyan beállítás él, ami az AI-korszakban egészen mást jelent, mint amikor beírták.

Ha a robot nem jut be, akkor teljesen mindegy, milyen szép a weboldalad, milyen jó a szövegíród és mennyit fizettél a fejlesztőnek. A tartalom ott van, csak nem látja senki.

Melyik AI-robotot kell ismerned?

Ez a tíz user-agent az, ami 2026-ban számít:

Mi a különbség a GPTBot és az OAI-SearchBot között?

Ezt a kettőt keverik össze a leggyakrabban, pedig teljesen mást csinálnak.

A GPTBot a modelltanításról szól. Ha ezt kizárod, a tartalmadat nem használják fel jövőbeli modellek tanításához. Ez önmagában nem tüntet el a ChatGPT keresési válaszaiból.

Az OAI-SearchBot építi a ChatGPT keresését. Az OpenAI dokumentációja szerint ennek a kizárása az, aminek következtében az oldalad nem jelenik meg a ChatGPT keresési válaszaiban. Navigációs linkként még feltűnhet, forrásként viszont nem.

A ChatGPT-User akkor lép be, amikor egy felhasználó vagy egy ügynök konkrétan a te oldaladat kéri le élőben.

A gyakorlatban ez a különbség sokszor elméleti marad, mert a legtöbb tiltás nem finomhangolt döntés eredménye. Egyetlen kapcsoló szokta kizárni mind a hármat egyszerre.

Miért tiltják a cégek az AI-robotokat, ha nem is akarják?

Szinte soha nem szándékos. Négy tipikus forrása van.

A CDN vagy a tűzfal alapbeállítása. Több szolgáltató bevezetett egy „AI-botok tiltása" kapcsolót, és néhol ez alapból be van kapcsolva. A cég tulajdonosa erről nem kap értesítést.

A tárhelyszolgáltató sablonja. Bizonyos csomagokhoz olyan robots.txt jár, amit senki nem néz át.

Egy SEO-plugin beállítása. Több népszerű bővítmény kínál AI-crawler blokkolást, és jó szándékkal valaki bekapcsolta.

Fejlesztésről ottfelejtett sor. A `Disallow: /` fejlesztés közben teljesen normális. Élesben katasztrófa. Ha nem vették ki, évekig ott maradhat.

Mennyit számít ez a gyakorlatban?

A cloro 2026 júliusi elemzése 1058 kiemelt domain robots.txt fájlját vetette össze azzal, hogy az AI-motorok idézik-e őket. Az OpenAI robotjait tiltó oldalak hivatkozási aránya nagyságrendekkel alacsonyabb volt, mint az őket beengedőké.

Fontos hozzátenni: ez korreláció, nem bizonyított okság. Az elemzés készítői maguk is jelzik, hogy a robotokat tiltó domainek más szempontból is eltérhetnek. Az viszont beszédes, hogy az OpenAI robotjainak tiltása kifejezetten a ChatGPT-idézésekkel esik egybe, a Perplexity robotjának tiltása pedig a Perplexity-idézésekkel.

Magyarul: nem tudjuk pontosan mekkora a hatás, de a mintázat elég egyértelmű ahhoz, hogy ne kockáztasd.

Hogyan néz ki egy jó robots.txt?

Egy mindenkit beengedő, egyszerű változat így néz ki:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: *
Allow: /

Sitemap: https://weboldalad.hu/sitemap.xml

Mindenkit be kell engedni?

Nem feltétlenül, és itt egy valódi üzleti döntés van.

A modelltanító robotok (GPTBot, Google-Extended, Applebot-Extended) beengedése azt jelenti, hogy a tartalmadat felhasználhatják jövőbeli modellek tanításához. A legtöbb cégnek ez előny, mert így épül be a márkája az AI általános tudásába. Ha viszont egyedi, védeni kívánt szellemi tulajdont teszel közzé, ezt érdemes átgondolni.

A kereső és böngésző robotokat (OAI-SearchBot, PerplexityBot, ChatGPT-User, Googlebot, Bingbot) szinte mindig érdemes beengedni. Ezek adják a valós idejű idézéseket és a hivatkozott forgalmat. Aki ezeket tiltja, gyakorlatilag lemond arról, hogy az AI forrásként megnevezze.

Mi az az llms.txt, és kell-e mellé?

A robots.txt megmondja, hova mehetnek a robotok. Az llms.txt megmondja, mi a lényeg.

Ez egy Markdown formátumú fájl a domained gyökerében (`weboldalad.hu/llms.txt`), amely tömören összefoglalja, mi a céged, mit kínálsz, és hol vannak a legfontosabb oldalaid. A logika egyszerű: a nyelvi modellek figyelme korlátozott, és nehezen küzdik át magukat egy zsúfolt weboldal menüin és felugró ablakain. Az llms.txt egy tálcán kínált tartalomjegyzék.

Ma még nem kötelező, és nem használja minden rendszer. Aki most beállítja, előnyt szerez, és semmit nem kockáztat vele.

Mit ellenőrizz még a robots.txt mellett?

A noindex címkét. Ha egy oldal fejlécében ott a `<meta name="robots" content="noindex">`, azt a Google kihagyja a találatokból. Fejlesztés közben normális, élesben viszont ez a leggyakoribb önlábonlövés. A Google Search Console Indexelés jelentésében látod, mely oldalaid vannak kizárva.

A sitemapet. Legyen naprakész XML sitemap, és add be a Google Search Console-ba és a Bing Webmaster Toolsba is. Ez a robotok térképe az oldaladhoz.

A sebességet és a mobilos működést. Ha a robot bejut, de az oldal lassú vagy mobilon használhatatlan, az is ront a helyzeten. A Core Web Vitals célértékei: a legnagyobb tartalmi elem 2,5 másodpercen belül jelenjen meg, az első interakcióra 200 ezredmásodpercen belül reagáljon az oldal, és a tartalom ne ugráljon betöltés közben.

Öt perces ellenőrzőlista

1. 1Nyisd meg a `weboldalad.hu/robots.txt` címet a böngészőben.
2. 2Keress rá a `Disallow` szóra. Nézd meg, melyik robot előtt áll.
3. 3Ellenőrizd, szerepel-e tiltás a GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot vagy PerplexityBot előtt.
4. 4Nézd meg, van-e `Sitemap:` sor a fájl végén.
5. 5Nyisd meg a `weboldalad.hu/llms.txt` címet. Ha 404-et kapsz, van egy gyors nyerőd.

Ha nem érted, amit látsz, másold be a fájl tartalmát a ChatGPT-be, és kérdezd meg, mit tilt. Erre pontosan jó.