Engedd vagy tiltsd az AI-crawlereket? Döntési fa vállalkozásoknak

Scheo · 2026-09-07 · Frissítve: 2026-09-18 · olvasási idő ~10 perc · Szerző: Schmidt Péter

A kérdés, hogy beengedd-e az AI-crawlereket, technikai döntésnek látszik, valójában üzleti döntés. Egy robots.txt-sor fél perc alatt megírható, a következménye viszont hónapokig elkísér: vagy kimaradsz azokból a válaszokból, ahol a vevőid egyre gyakrabban keresnek, vagy a tartalmad olyan termékekbe kerül bele, amelyekből semmit nem látsz vissza.

A gyakorlatban két véglet fordul elő. Az egyik a teljes zárás, ami rendszerint egy megijedt vezetői döntés eredménye. A másik az, hogy nem nyúlnak a fájlhoz, ami nem döntés, hanem annak elmaradása. Saját tapasztalat: mindkettő ritkán helyes, mert egy kalap alá vesz olyan botokat, amelyek gyökeresen mást csinálnak a tartalmaddal.

Mi a különbség a négy AI-bot-viselkedés között?

Négy különböző dologról beszélünk, és mind a négyre külön válasz kell. Ha ezt a négyet szétválasztod, a döntés innentől nem hitkérdés, hanem mérlegelés.

• Tanító célú gyűjtés: a tartalmadat elviszik egy modell tanításához. Neked ebből közvetlen forgalom nem származik, a márkanevedhez kapcsolódó tudás viszont bekerülhet a modellbe. Tipikus képviselő: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot.
• Válaszmotoros idézés: a bot azért olvassa az oldalt, hogy a chatfelület élő válaszában forrásként hivatkozhasson rá. Ez az a kategória, ahol tényleg kaphatsz kattintást és említést. Tipikus képviselő: OAI-SearchBot, PerplexityBot, Claude-SearchBot.
• Ügynöki böngészés: egy valós felhasználó kérésére, futásidőben tölti le az oldalt az asszisztens. Nincs indexelés, nincs tanítás, csak egy ember, aki éppen most kérdezett valamit. Tipikus képviselő: ChatGPT-User, Perplexity-User, Claude-User.
• Nyers adatkinyerés: terméklista, ár, elérhetőség, szöveg tömeges lehúzása, gyakran agresszív tempóban, nem ritkán hamis vagy hiányzó azonosítóval. Itt nincs mit mérlegelni, ez tiszta költség.

Miért nem jó válasz sem a teljes tiltás, sem a teljes engedés?

Mert a két véglet ugyanazt a hibát követi el: azonos döntést hoz olyan botokra, amelyek üzleti hatása ellentétes. A teljes tiltás azokat is kizárja, amelyek forrásmegjelölést és látogatót hoznának. A teljes engedés viszont a szervered kapacitását és az egyedi adatvagyonodat is odaadja azoknak, akik semmit nem adnak vissza.

Egy konkrét példa arra, hogy ez mennyire nem elméleti kérdés. Hivatalos információ: a Google dokumentációja szerint a Google-Extended a generatív tanítási felhasználást szabályozza, és nem befolyásolja azt, hogy az oldalad hogyan szerepel a Google Keresésben. Az AI Overviews-ban való megjelenést viszont a rendes Googlebot hozzáférése és a szokásos indexelési beállítások határozzák meg. Aki tehát az AI-válaszokból akar kimaradni, és ezért a Google-Extended-et tiltja, jó eséllyel nem azt éri el, amit szeretne.

Hogyan néz ki a döntési fa lépésről lépésre?

Három kérdésre kell válaszolnod, ebben a sorrendben. A sorrend nem esetleges: a tartalom típusa felülírja a célt, a cél felülírja a technikai kényelmet.

1. lépés: milyen típusú a tartalmad?

• Nyilvános tudásanyag (szolgáltatásleírás, blog, GYIK, útmutató, referenciák): ez arra való, hogy megtalálják. Itt a zárás jellemzően több láthatóságot visz el, mint amennyi védelmet ad. Alapállás: idézésre és ügynöki böngészésre engedve.
• Fizetős vagy regisztrációhoz kötött anyag (kurzus, letölthető sablon, ügyfélportál, tagi tartalom): ennek egyáltalán nem szabadna nyilvános URL-en elérhetőnek lennie. Ha bot nélkül is kimásolható, akkor nem a robots.txt a megoldás, hanem a jogosultságkezelés. Alapállás: hitelesítés mögé, és a robots.txt csak másodlagos jelzés.
• Terméklista, árazás, készlet: ez a legkényesebb kategória. Az idézés jó neked (ha az asszisztens a te boltodat ajánlja), a tömeges árlehúzás viszont a versenytársadat segíti. Alapállás: idézés engedve, tanítás mérlegelendő, tömeges adatkinyerés korlátozva sebességszabályozással.
• Felhasználói vagy ügyféladatot tartalmazó felület: nincs mérlegelés, teljes zárás és noindex.

2. lépés: mi a célod, láthatóság vagy tartalomvédelem?

Ezt ki kell mondani, mert a kettő nem fér meg egy mondatban. Ha az a cél, hogy a vállalkozásod megjelenjen az AI-válaszokban, akkor a keresési és ügynöki kategóriát engedni kell, különben a saját szakmai anyagod nem lesz idézhető. Ha az a cél, hogy az egyedi adatvagyonod (saját kutatás, saját adatbázis, egyedi fotóanyag) ne váljon ingyenes tanítóanyaggá, akkor a tanító kategória tiltása értelmes, és nem visz el látogatót.

A legtöbb kis- és középvállalkozásnál a valós arány ilyesmi: a tartalom 80-90 százaléka marketingcélú, tehát láthatóságot akar, és 10-20 százalék az, ami tényleg védendő. Ha a döntést a kisebbik halmaz alapján hozod meg az egész oldalra, akkor a nagyobbikat büntetted meg.

3. lépés: mennyit bír el a szervered?

Ez a lépés dönti el, hogy a szigorú beállítás technikai kényszer vagy elvi döntés. Nézd meg a webszerver naplójában, hogy egy átlagos napon hány kérés érkezik AI-botoktól, milyen ütemben, és mekkora a válaszidő ebben az időszakban. Saját tapasztalat: osztott tárhelyen futó, gyenge gyorsítótárazású WordPress-oldalaknál a probléma szinte sosem a modern, jól viselkedő keresőbotoktól jön, hanem az azonosítatlan vagy hamis fejléccel érkező tömeges lekérdezésektől. Ha a szerver már így is szűken van, akkor a helyes válasz elsőként a gyorsítótár és a sebességkorlát rendbetétele, nem a láthatóság feláldozása.

Melyik bot-kategóriát mire állítsd, és mi lesz a következménye?

Az alábbi kiindulás egy tipikus, szolgáltatást vagy terméket értékesítő magyar vállalkozásra érvényes, ahol a cél az online láthatóság. Minden sorban ott a döntés és annak a következménye is.

• Tanító célú gyűjtés (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot). Döntés: mérlegelés kérdése, egyedi adatvagyonnál tiltás. Következmény tiltásnál: a mai forgalmadból közvetlenül semmit nem veszítesz, viszont a jövőbeli modellek kisebb eséllyel ismerik a márkádat közvetlen forrás nélkül is.
• Válaszmotoros idézés (OAI-SearchBot, PerplexityBot, Claude-SearchBot). Döntés: engedés. Következmény tiltásnál: kimaradsz a forrásmegjelölésekből, a versenytársad viszont nem, és ezt nagyon nehéz utólag behozni.
• Ügynöki böngészés (ChatGPT-User, Perplexity-User, Claude-User). Döntés: engedés. Következmény tiltásnál: amikor egy valódi érdeklődő éppen rólad kérdez, az asszisztens nem éri el az oldaladat, és mást fog mondani helyetted.
• SEO- és piackutató crawlerek (link- és kulcsszóelemzők). Döntés: ízlés kérdése, terhelés alapján. Következmény tiltásnál: a versenytárselemző eszközök kevesebbet látnak rólad, de te is kevesebb saját adatot kapsz vissza.
• Azonosítatlan tömeges lehúzás. Döntés: hálózati szintű korlátozás. Következmény: a szerverterhelés csökken, ez a legtisztán megtérülő beavatkozás.

Hogyan írd meg konkrétan a robots.txt-t?

A robots.txt szintaxisa szabványos, ezt az IETF RFC 9309 rögzíti (hivatalos információ). A szabályok sorrendje nem számít, a leghosszabb egyező szabály nyer, és minden User-agent blokk külön él. Egy jellemző, differenciált kiindulás, amit utána a saját döntéseidre kell szabni:

• User-agent: GPTBot
• Disallow: /kutatas/
• Disallow: /letoltes/
• User-agent: OAI-SearchBot
• Allow: /
• User-agent: ChatGPT-User
• Allow: /
• User-agent: Google-Extended
• Disallow: /kutatas/
• User-agent: *
• Disallow: /wp-admin/
• Disallow: /kosar/
• Sitemap: https://pelda.hu/sitemap.xml

Két gyakori hiba, amit érdemes elkerülni. Az egyik, hogy valaki egyetlen User-agent: * blokkba írja a tiltásokat, és ezzel a Googlebotot is kizárja azokból a könyvtárakból. A másik, hogy a Disallow mellé nem kerül noindex ott, ahol tényleg nem szabad megjelenni: a tiltott URL a hivatkozások alapján így is bekerülhet az indexbe cím nélkül.

Mit tegyél, ha a robots.txt-t nem tartják be?

A robots.txt kérés, nem zár. A nagy szolgáltatók dokumentáltan követik, de aki eleve rosszhiszemű, az egyszerűen más azonosítóval jön. Ha a naplóból az látszik, hogy a terhelés nem a szabálykövető botoktól ered, a technikai eszköztár a következő:

1. Sebességkorlát IP-tartományra vagy azonosítóra a webszerveren vagy a CDN-nél, 429 válasszal, nem 403-mal, mert az előbbi tisztább jelzés.
2. A publikus szolgáltatók által közzétett IP-tartományok és fordított DNS-ellenőrzés használata, hogy a hamisított azonosítót el tudd különíteni a valóditól.
3. Gyorsítótárazás a fájlszint fölött, hogy a tömeges lekérés ne generáljon adatbázis-lekérdezést.
4. Ha a szolgáltatód kínálja, kapcsolónyi AI-bot-kezelés. Hivatalos információ: a Cloudflare 2025 óta alapértelmezetten korlátozza az AI-crawlereket az újonnan hozzáadott domainek egy részénél, tehát előfordulhat, hogy a te oldaladon már most is él egy szabály, amiről nem tudsz. Ezt érdemes ellenőrizni, mielőtt bármit írnál a robots.txt-be.

Mi a helyzet az llms.txt fájllal és a meta jelzésekkel?

Az llms.txt egy közösségi javaslat, amely gépi olvasásra optimalizált tartalomtérképet kínálna a nyelvi modelleknek. Szakmai feltételezés: a jelenlegi állás szerint egyik nagy szolgáltató sem jelentette be hivatalosan, hogy a rangsorolásban vagy az idézésben támaszkodna rá, tehát a létrehozása nem árt, de nem is helyettesíti a rendes strukturált adatot és a tiszta HTML-t. Ugyanez igaz a noai és noimageai meta jelzésekre: néhány platform figyeli őket, szabvánnyá viszont nem váltak.

Ami ma bizonyítottan működik: a Schema.org szerinti jelölés, az Organization, LocalBusiness, Product és FAQPage típusokkal, valamint az, hogy a válasz ténylegesen ott van a HTML-ben, nem pedig kattintás után betöltődő JavaScript mögött.

Hogyan mérd vissza a döntést?

A beállítás nem attól lesz jó, hogy felkerült a fájl, hanem attól, hogy 30 és 90 nap múlva visszanézed. Ez az ellenőrzőlista:

1. A robots.txt a Google Search Console robots.txt jelentésében hibamentesen beolvasható.
2. A szervernaplóban azonosítod, mely AI-botok járnak, milyen gyakorisággal, és melyik kapott 200, illetve blokkolt választ. Ez a legfontosabb adat, és nem kerül semmibe.
3. Az átlagos válaszidő és a szerverterhelés nem romlott a beállítás után (ha romlott, valamit rosszul szűkítettél).
4. A Search Console feltérképezési statisztikájában nem esett vissza a Googlebot aktivitása. Ha igen, túllőttél a célon.
5. Havonta lefuttatsz 10-15 tipikus vevői kérdést a nagyobb asszisztensekben, és feljegyzed, megjelensz-e forrásként. Ez nem tudományos mérés, de trendet ad.
6. A hivatkozó forgalom forrásai között figyeled az asszisztensekből érkező látogatót, és összeveted a korábbi időszakkal.
7. Negyedévente újranézed a bot-listát, mert a szolgáltatók rendszeresen vezetnek be új azonosítót, és a régi szabályod ilyenkor csendben elavul.

Egy dolgot fontos előre tisztázni: az idézettség egyik beállítástól sem garantált. A hozzáférés engedése szükséges feltétel, nem elégséges. Ha a tartalmad nem ad választ olyan kérdésre, amit tényleg feltesznek, akkor a nyitott kapu önmagában nem hoz megjelenést.

Mikor indokolt mégis a szigorú zárás?

Akkor, ha az adat maga a termék. Ha saját kutatásból, saját mérésből vagy hosszú évek alatt épített adatbázisból élsz, és a látogató nem a szövegért, hanem az adatért fizet, akkor a tanító kategória tiltása védhető üzleti döntés. Ugyanígy, ha jogilag kötött anyagot kezelsz, vagy ha a szerződéseid tiltják a harmadik feles felhasználást. Ilyenkor sem a teljes zárás a helyes lépés, hanem az, hogy a nyilvános marketingtartalom nyitva marad, a védett rész pedig hitelesítés mögé kerül, és onnan bot nélkül sem érhető el.

Források és további olvasnivalók

• Google Search Central: Google-crawlerek és felhasználó által indított lekérők áttekintése
• Google Search Central: Google-Extended és a generatív modellek vezérlése
• OpenAI dokumentáció: GPTBot, OAI-SearchBot és ChatGPT-User azonosítók
• Anthropic súgó: ClaudeBot és a crawler-hozzáférés kezelése
• Perplexity dokumentáció: PerplexityBot és Perplexity-User
• IETF RFC 9309: Robots Exclusion Protocol
• IETF AI Preferences (aipref) munkacsoport anyagai
• Cloudflare dokumentáció: AI Crawl Control és bot-kezelés
• Schema.org: Organization, LocalBusiness, Product, FAQPage típusok
• W3C: Web Content Accessibility Guidelines és strukturált tartalmi ajánlások