A robots.txt egy egyszerű szövegfájl a domained gyökerében, amiben megmondod a crawlereknek, mit olvashatnak és mit nem. Régen szinte kizárólag a Googlebot és néhány másik keresőrobot érdekében írtuk. Ma viszont egy sor új szereplő kopogtat: AI-asszisztensek, válaszmotorok és tréning-célú adatgyűjtők. A kérdés már nem technikai, hanem üzleti: kinek a hozzáférése hoz értéket, és kié jelent kockázatot.
Mire jó valójában a robots.txt, és mire nem?
A robots.txt egy kérés, nem egy zár. A jól nevelt botok (Google, Bing, a nagy AI-cégek hivatalos crawlerei) beolvassák és betartják, de nincs mögötte kényszerítő erő. Aki nem akarja betartani, az nem is fogja.
Tovább a témában: GPTBot vs OAI-SearchBot · Mi az OAI-SearchBot, és miért engedd be a robots.txt-ben
Ez a Robots Exclusion Protocol, amit a Google 2022-ben terjesztett hivatalos internetes szabvánnyá (RFC 9309). A logikája: minden bot beolvassa a https://domained.hu/robots.txt fájlt, megkeresi a saját User-agent nevét, és a hozzá tartozó Allow / Disallow sorok szerint jár el. Amit itt letiltasz, azt egy szabálykövető bot nem tölti le.
Fontos határvonat (ez hivatalos Google-információ): a Disallow a letöltést tiltja, nem feltétlenül az indexelést. Egy oldal a robots.txt tiltása ellenére is megjelenhet a találatok között, ha máshonnan hivatkoznak rá. Ha azt akarod, hogy egy oldal biztosan ne kerüljön be az indexbe, arra a noindex meta tag vagy a HTTP-fejléc való, nem a robots.txt. Ezt sokan összekeverik, és emiatt hozzák rossz döntést.
Melyik AI-bot mit csinál, és miért nem mindegy?
Nem minden AI-bot egyforma: van, amelyik a modell tanításához gyűjt adatot, és van, amelyik éppen most szolgál ki egy felhasználói kérdést a te oldaladból idézve. Ez a két cél teljesen más üzleti mérlegelést kíván.
A gyakorlatban érdemes három csoportba sorolni őket:
- Klasszikus keresőbotok:
Googlebot,Bingbot. Ezek a hagyományos organikus láthatóságodat építik. A Google AI Overviews és AI Mode felületei is jórészt a Googlebot által indexelt tartalomra támaszkodnak (ez hivatalos Google-információ). - Idéző (retrieval) AI-botok:
OAI-SearchBot(a ChatGPT keresési funkciója),PerplexityBot(a Perplexity), és a Google keresési infrastruktúráján keresztül a Gemini. Ezek akkor lépnek be, amikor egy felhasználó éppen kérdez, és a válaszban forrásként a te oldaladra hivatkozhatnak, kattintható linkkel. - Tréning- és nyersanyag-gyűjtő crawlerek:
GPTBot(az OpenAI modelljeinek tanításához),CCBot(a Common Crawl nyílt adathalmaza, amit sok modell felhasznál), valamint aGoogle-Extendedjelölő, amivel a Gemini-tréninget szabályozhatod anélkül, hogy a normál Googlebotot érintenéd.
Az OpenAI dokumentációja külön kiemeli (ez hivatalos információ), hogy az OAI-SearchBot és a GPTBot más célt szolgál: az előbbi a keresési megjelenítéshez, az utóbbi a modelltréninghez gyűjt. Ezért technikailag és üzletileg is külön kezelendők.
Hogyan néz ki egy konkrét robots.txt blokk?
A szabály egyszerű: minden bothoz külön User-agent blokk tartozik, és a leginkább illeszkedő blokk nyer. Nézzünk három tipikus forgatókönyvet.
1. Minden hasznos botot engedsz, semmit nem tiltasz külön (alapértelmezett, GEO-barát megközelítés):
User-agent: *Allow: /Sitemap: https://domained.hu/sitemap.xml
2. Az idéző botokat engeded, a tréning-gyűjtőket tiltod:
User-agent: OAI-SearchBotAllow: /User-agent: PerplexityBotAllow: /User-agent: GPTBotDisallow: /User-agent: CCBotDisallow: /User-agent: Google-ExtendedDisallow: /
Ebben a beállításban a ChatGPT-keresés és a Perplexity idézhet, de a nyers tréninggyűjtés nem visz el mindent. Figyelj arra, hogy a Google-Extended és a GPTBot tiltása nem érinti a normál Googlebotot, tehát a klasszikus organikus indexelésed érintetlen marad.
3. Csak egy könyvtárat védesz (pl. zárt tagi tartalom), a többit mindenkinek engeded:
User-agent: *Disallow: /tagi-terulet/Allow: /
Ellenőrzött szakmai tapasztalat: a leggyakoribb hiba a túl széles tiltás. Egy elgépelt Disallow: / a User-agent: * alatt az egész oldalt kizárja minden botból, a Googlebotot is beleértve. Éles publikálás előtt mindig teszteld egy validátorral.
Milyen üzleti következménye van a tiltásnak és az engedésnek?
Minden sor egy üzleti döntés: a tiltással kontrollt nyersz, de láthatóságot és potenciális forgalmat kockáztatsz. Érdemes a következményt mindkét irányban végiggondolni.
Ha a Googlebotot vagy Bingbotot tiltod, gyakorlatilag lekapcsolod magad a klasszikus keresésről. Ezt szinte soha nem éri meg nyilvános, ügyfélszerző oldalon.
Ha az idéző botokat (OAI-SearchBot, PerplexityBot) tiltod, azzal azt üzened, hogy a válaszmotorok ne hivatkozzanak rád. A szakmai megfontolás szerint (ez szakmai feltételezés, mert a pontos hatás mérésfüggő): ilyenkor jó eséllyel elvágod magad attól a forgalomtól és márkaemlítéstől, amit egy idézett forrás kaphat. Ha épp GEO/AEO-láthatóságot építesz, ez önsabotázs.
Ha a tréning-gyűjtőket (GPTBot, CCBot, Google-Extended) tiltod, azzal a tartalmad modellbe olvasztását próbálod korlátozni. Ennek van racionális oka: prémium, egyedi vagy fizetős tartalomnál jogos, hogy ne váljon ingyen tréning-nyersanyaggá. De vedd figyelembe: a tréning-gyűjtés tiltása nem azonos az idézés tiltásával, és a Common Crawl-ban lévő korábbi másolatokat visszamenőleg nem törli.
A gyakorlati kompromisszum, amit sok esetben javaslok (ez szakmai álláspont, nem szabály): a nyilvános, láthatóságot építő oldalakon engedd az idéző botokat, és külön mérlegeld a tréning-gyűjtőket az adott tartalom értéke szerint.
GEO/AEO-oldalon miért engedd az idéző botokat?
Mert a válaszmotor csak azt tudja idézni, amit előtte le is tölthetett. Ha a saját tudásbázisodat, szolgáltatásoldaladat vagy szakcikkeidet éppen az AI-keresésben akarod láthatóvá tenni, akkor a bot kizárása pontosan a célod ellen hat.
A logika egyszerű: az OAI-SearchBot és a PerplexityBot akkor tölti le az oldalad, amikor egy felhasználói kérdéshez forrást keres. Ha megtalálja és relevánsnak ítéli, a válaszban forrásként megjelenhetsz, gyakran kattintható hivatkozással. Ez márkaemlítést és potenciális látogatót hozhat (nem garantál sem megjelenést, sem forgalmat, mert a rangsorolás a motor döntése). Ha viszont a robots.txt-ben tiltod, akkor ez a lehetőség meg sem nyílik.
Ellenőrzött szakmai tapasztalat: hiába írsz kiváló, válaszmotor-barát, kérdés-alapú tartalmat, ha közben egy örökölt vagy sablonból másolt robots.txt csendben tiltja az idéző botot. Ezért az AI-SEO audit egyik első lépése mindig a robots.txt átnézése.
Hogyan ellenőrizd le a beállításod? (checklist)
Publikálás előtt és után is teszteld, mert egy rossz sor hetekig láthatatlanul árthat. Végigmehetsz ezen a listán:
- A fájl elérhető a
https://domained.hu/robots.txtcímen, HTTP 200-as státusszal? - Nincs véletlen
Disallow: /aUser-agent: *blokkban? - A Googlebot és Bingbot engedve van (kivéve, ha tudatosan mást akarsz)?
- Az idéző botok (OAI-SearchBot, PerplexityBot) hozzáférnek a láthatóságra szánt oldalakhoz?
- A tréning-gyűjtők (GPTBot, CCBot, Google-Extended) beállítása tudatos döntés, nem véletlen?
- A botnevek pontosan vannak írva? Egy elgépelt név érvénytelen blokk, a bot úgy viselkedik, mintha nem is szerepelne.
- A
Sitemap:sor benne van, teljes URL-lel? - Bizalmas oldalakat
noindex-szel is véded, nem csak robots.txt-vel? - A szerver logjaiban vagy az analitikában látod-e, hogy a kívánt botok valóban járnak?
A robots.txt nem statikus dokumentum. Ahogy új AI-felületek jelennek meg és új botnevek terjednek, érdemes időnként visszatérni hozzá, és a döntéseidet a mért eredmények (pl. AI-referral forgalom a GA4-ben) alapján finomítani.
Források és további olvasnivalók
- Google Search Central: Robots.txt bevezető és specifikáció
- RFC 9309: Robots Exclusion Protocol (IETF hivatalos szabvány)
- OpenAI dokumentáció: GPTBot és OAI-SearchBot leírása
- Perplexity: PerplexityBot hivatalos dokumentáció
- Common Crawl: CCBot leírás és opt-out útmutató
- Google Search Central: Google-Extended és az AI-tréning szabályozása
- Bing Webmaster dokumentáció: Bingbot és robots.txt kezelése
- A robots.txt kérés, nem tűzfal: a jól nevelt botok betartják, a rosszindulatúak nem.
- Külön kezeld a keresést kiszolgáló idéző botokat és a modell-tréninghez gyűjtő crawlereket.
- Ha GEO/AEO-láthatóságot akarsz, az idéző botok tiltása jó eséllyel forgalmat vág el.
- A Googlebot vagy Bingbot tiltása közvetlenül a klasszikus keresési láthatóságodat rombolja.
- A döntés üzleti: mérd, hogy az AI-felületekről érkezik-e érték, és ez alapján engedj vagy tilts.
Gyakori kérdések
A robots.txt tiltás megvédi a tartalmam attól, hogy AI-modell betanulja?
Csak részben. A szabálykövető botok (mint a GPTBot vagy a CCBot) betartják a tiltást, de nincs kényszerítő erő mögötte, és a korábban már összegyűjtött másolatokat visszamenőleg nem törli. Erős védelemhez a robots.txt önmagában kevés.
Ha tiltom a GPTBot-ot, eltűnök a ChatGPT keresésből is?
Nem feltétlenül. A ChatGPT keresési funkcióját az OAI-SearchBot szolgálja ki, a GPTBot a modelltréninghez gyűjt. Ha csak a GPTBot-ot tiltod, az idéző OAI-SearchBot továbbra is elérheti és hivatkozhatja az oldalad.
Elég a robots.txt, ha egy oldalt teljesen ki akarok zárni a keresőből?
Nem. A robots.txt a letöltést tiltja, de egy oldal máshonnan érkező hivatkozások miatt így is megjelenhet az indexben. Biztos kizáráshoz noindex meta taget vagy HTTP-fejlécet használj, és ehhez a botnak épp le kell tudnia tölteni az oldalt.
Mi a különbség a Google-Extended és a Googlebot között?
A Googlebot a klasszikus keresési indexelést végzi, a Google-Extended pedig egy külön jelölő az AI-tréning (pl. Gemini) szabályozására. A Google-Extended tiltása nem befolyásolja a normál keresési láthatóságodat.
Honnan tudom, hogy egy bot valóban betartja-e a robots.txt-t?
A nagy, hivatalos crawlerek (Google, Bing, OpenAI, Perplexity) betartják, és ezt a szerver logjaiban ellenőrizheted. A rosszindulatú vagy ismeretlen botok viszont figyelmen kívül hagyhatják, ellenük a robots.txt nem véd, ahhoz szerveroldali szűrés kell.
GEO/AEO szempontból mit állítsak be alapból?
Nyilvános, láthatóságot építő oldalon általában érdemes engedni a keresőbotokat és az idéző AI-botokat, és külön, tartalmi érték szerint mérlegelni a tréning-gyűjtőket. Ez segítheti az AI-felületeken való megjelenést, de nem garantálja azt.
Források és további olvasnivalók
Ezen az oldalon a hivatalosan igazolt információt elsődleges forrásokból építjük fel; a saját tapasztalatot és a szakmai becslést mindig külön jelöljük a szövegben.