Márkafigyelés

Külső említések AI-bot hozzáférhetősége: számít-e a cikk, ha a kiadó blokkolja a crawlereket

Számít-e a sajtómegjelenés AI-forrásként, ha a kiadó robots.txt-je vagy fizetőfala kizárja az AI-crawlereket? Átnézési lépések és PR-rangsor.

Scheo · · olvasási idő ~10 perc · Szerző: Schmidt Péter

Összefoglalva: Ha a kiadó a keresési célú AI-botokat is tiltja, vagy kemény fizetőfalat használ, az ottani említésed AI-forrásként jó eséllyel nem hasznosul. Márkaismertségre és hagyományos keresésre viszont továbbra is érhet, ezért a PR-lehetőségeket két külön pontszámmal érdemes rangsorolni.

Ha egy kiadó robots.txt-je a keresési célú AI-botokat is kizárja, vagy a cikk kemény fizetőfal mögött van, az ottani említésed jó eséllyel nem jelenik meg forrásként a ChatGPT, a Perplexity vagy a Claude válaszaiban. A márkaismertséghez, a hagyományos Google-kereséshez és az ajánlói forgalomhoz viszont ugyanúgy hozzátehet. Ugyanazt a megjelenést ezért két külön mérlegen érdemes nézni, és a jövőbeli PR-döntéseknél mindkettőt számolni.

Külső említések AI-bot hozzáférhetősége: számít-e a cikk, ha a kiadó blokkolja a crawlereket
Külső említések AI-bot hozzáférhetősége: számít-e a cikk, ha a kiadó blokkolja a crawlereket

Számít-e az AI-láthatóságban egy olyan cikk, amelyet a kiadó elzár a crawlerek elől?

AI-forrásként alig számít, ha a kiadó a valós idejű, keresési célú botokat is tiltja. A válaszmotor ilyenkor nem tudja frissen megnyitni és idézni az oldalt, így a forráskártyák között jó eséllyel nem lesz ott. Ha csak a tanító botok vannak tiltva, a helyzet sokkal jobb, mert a keresésen alapuló idézés ettől még működhet.

Az AI-asszisztensek két úton jutnak egy oldal tartalmához. Az egyik a modell tanítóadata, ami egy korábbi időpont állapotát tükrözi, és nem ad kattintható forrást. A másik a lekérés a válasz pillanatában, amikor a rendszer keres, megnyit néhány oldalt, és ezekre hivatkozik. A forráskártyán látott link szinte mindig a második útból jön. Aki AI-láthatóságot mér, az többnyire ezt a második utat méri, ezért a robots.txt-ben is elsősorban a keresési botok sora érdekes.

Saját tapasztalat. Amikor sajtómegjelenéseket próbáltunk visszakeresni AI-válaszokban, a forrásként idézett oldalak között ritkán találtunk olyan kiadót, amely a keresési botokat is tiltotta. Gyakoribb volt, hogy egy szabadon olvasható másodlagos oldal (szakmai blog, katalógus, összefoglaló cikk) vitte tovább ugyanazt az információt, és az került a válaszba.

Melyik AI-bot mit csinál, és melyik tiltás számít igazán?

A nagy AI-szolgáltatók többsége külön botot használ a tanításhoz, a kereséshez és a felhasználó által kért lekéréshez. A tiltás hatása attól függ, melyik sort zárja le a kiadó, ezért a robots.txt átnézésekor botonként kell olvasni.

Hivatalosan igazolt. Az OpenAI dokumentációja szerint az a webhely, amely tiltja az OAI-SearchBot botot, nem jelenik meg a ChatGPT keresési válaszaiban, legfeljebb navigációs linkként. A Google Search Central szerint a Google-Extended tiltása nem befolyásolja, hogy egy oldal szerepel-e a Google-keresésben. A felhasználói kérésre induló lekéréseknél (ChatGPT-User, Perplexity-User) a szolgáltatók dokumentációja külön kezeli a robots.txt szerepét. Ezt mindig a friss leírásban ellenőrizd, mert többször változott.

Szakmai feltételezés. A csak tanító botokat (GPTBot, ClaudeBot, CCBot) tiltó kiadó cikke forrásként még megjelenhet, de a jövőbeli modellek „háttértudásába” kevésbé épül be. A keresési botokat is tiltó kiadónál mindkét út szűkül.

Hogyan nézd át a saját említéslistádat lépésről lépésre?

Gyűjtsd össze a megjelenéseidet, domainenként olvasd ki a robots.txt-t, nézd meg a fizetőfalat és a tűzfalat, majd teszteld, hogy az AI-válaszokban tényleg forrásként jelenik-e meg a cikk. Az eredményt egy táblában rögzítsd, mert erre épül a későbbi rangsor.

1. Gyűjtsd össze az összes említést

Vedd fel a sajtómegjelenéseket, a vendégcikkeket, az interjúkat, a szakmai katalógusokat, a kamarai és szövetségi tagjegyzékeket, a díjak és rendezvények oldalait. Jó kiindulás a Google Search Console hivatkozó webhelyekről szóló jelentése, és egy idézőjelek közé tett cégnévre futtatott, a saját domainedet kizáró (-site:sajatdomain.hu) keresés. Minden sorhoz a pontos URL-t írd fel, ne csak a domaint, mert ugyanazon a kiadón belül a rovatok eltérően viselkedhetnek.

2. Olvasd ki domainenként a robots.txt-t

A robots.txt mindig a domain gyökerében van, például https://pelda.hu/robots.txt. Parancssorból gyorsan kiszűrheted az AI-botokra vonatkozó sorokat.

curl -s https://pelda.hu/robots.txt | grep -iE -A3 'gptbot|oai-searchbot|chatgpt-user|claudebot|claude-searchbot|perplexitybot|google-extended|ccbot|bingbot'

Egy tipikus, vegyes beállítás így néz ki.

Itt a tanítás tiltva van, a ChatGPT-keresés engedélyezve. A szabványos értelmezés szerint (RFC 9309) egy bot a rá név szerint vonatkozó csoportot követi, és csak ennek hiányában esik a User-agent: * alá. Ha tehát a kiadó a csillagos csoportban tilt mindent, és név szerint senkit nem enged, az minden botot érint, a keresési botokat is. Ha egy bot nincs megnevezve, és a csillagos csoport engedékeny, akkor az a bot jó eséllyel hozzáfér.

3. Nézd meg a tűzfalat és a fizetőfalat

A robots.txt csak kérés, a tényleges kizárást gyakran egy CDN vagy webes tűzfal végzi. A Cloudflare 2025-ben bejelentette, hogy az új domaineknél alapból blokkolja az AI-crawlereket, így előfordulhat, hogy a robots.txt mindent enged, a bot mégis hibakódot kap. Egy durva próbát a bot nevével küldött kéréssel tehetsz.

curl -s -o /dev/null -w '%{http_code}' -A 'Mozilla/5.0 (compatible; OAI-SearchBot/1.0)' https://pelda.hu/cikk-url

Szakmai feltételezés. A 200-as válasz biztató, a 403-as vagy egy kihívás-oldal erős jel a blokkolásra. A tűzfalak a valódi botot IP-cím alapján is azonosíthatják, ezért ez a próba csak irányt mutat, végleges választ nem ad. Ugyanebben a lépésben nyisd meg a cikket kijelentkezve, privát ablakban, és nézd meg, látszik-e a teljes szöveg, vagy csak a bevezető.

4. Teszteld, megjelenik-e forrásként

Írj 5-10 olyan kérdést, amelyre a cikk tartalma jó válasz lenne, például a cégnevedre, a szolgáltatásodra és a városodra vonatkozókat. Tedd fel őket a ChatGPT keresés módjában, a Perplexityben, a Copilotban, a Claude webes keresésével és a Google-ben, ahol AI-áttekintés jelenik meg. Jegyezd fel, hogy a kiadó domainje feltűnik-e a források között. Az AI-válaszok kérdésről kérdésre és napról napra változnak, ezért egyetlen próba kevés, havonta érdemes megismételni.

5. Rögzítsd egy táblában

Egy egyszerű táblázat elég, soronként egy megjelenéssel, az alábbi oszlopokkal.

Mit jelent a fizetőfal az AI-forrásként való felhasználhatóságra?

Kemény fizetőfal mögött a botok jellemzően csak a címet és a bevezetőt látják, így a márkád említése, ha lejjebb szerepel, AI-forrásként nem hasznosul. A mért, néhány ingyenes cikket engedő fizetőfalnál és a bejelentkezés nélkül is olvasható HTML esetén a helyzet kedvezőbb lehet.

Hivatalosan igazolt. A Google a fizetős tartalomra külön strukturált adatot ír le. A kiadó az isAccessibleForFree tulajdonsággal és a hasPart blokkban megadott CSS-szelektorral jelzi, mely rész zárt, hogy a Googlebotnak megmutatott teljes szöveg ne minősüljön álcázásnak. Ez a Google-keresésre vonatkozik. Az AI-szolgáltatók botjai nem feltétlenül kapják meg ugyanazt a teljes szöveget.

Szakmai feltételezés. Ha a cikk szövegét csak JavaScript tölti be, több AI-crawler jó eséllyel nem látja, mert nem futtat szkriptet. Ezt úgy ellenőrizheted, hogy a curl paranccsal letöltött nyers HTML-ben rákeresel a cégnevedre. Ha ott nincs, a bot sem biztos, hogy látja.

Hogyan rangsorold ezek alapján a jövőbeli PR- és megjelenési lehetőségeket?

Pontozd a lehetőségeket két külön tengelyen, az AI-hozzáférhetőség és a hagyományos érték szerint, és a kettő együtt döntsön. A blokkoló kiadót így nem dobod ki automatikusan, csak tudatosan, a megfelelő célra választod.

Egy egyszerű, a gyakorlatban jól használható pontozás tengelyenként 0-tól 3-ig terjed.

  1. AI-hozzáférés. 3 pont, ha a keresési botok engedve vannak és nincs fizetőfal, 2 pont, ha csak a tanító botok tiltottak, 1 pont mért fizetőfalnál, 0 pont, ha a keresési botok is tiltva vannak, vagy kemény a fizetőfal.
  2. Látott AI-forrás. 3 pont, ha a domain a te témádban már feltűnt forrásként legalább két eszközben, 0 pont, ha egyszer sem.
  3. Olvasói kör. Mennyire olvassák azok, akik nálad vásárolnak vagy ajánlatot kérnek.
  4. Keresési érték. Indexelt-e, van-e link, és rangsorol-e a cikk a márkanevedre.
  5. Tartósság. Megmarad-e az oldal évekig, vagy archívumba, fizetőfal mögé kerül.

Az első kettő adja az AI-pontszámot, a másik három a hagyományos pontszámot. A legjobb lehetőség az, ahol mindkettő magas, például egy szabadon olvasható szakmai portál, amelyet az AI-eszközök már idéznek. Egy országos lap fizetőfalas cikke magas hagyományos és alacsony AI-pontot kap, ilyenkor a döntés azon múlik, mi a megjelenés célja. Ha az elsődleges cél az, hogy az AI-válaszokban szerepelj, a szabadon olvasható szakmai felületek kerüljenek előre.

Saját tapasztalat. Hasznos, ha minden PR-lehetőségnél előre beírod a táblába a kiadó robots.txt-állapotát, mielőtt időt és munkát teszel a cikkbe. Pár perces ellenőrzés, és sokszor eldönti, hogy érdemes-e a megjelenést AI-célként is elszámolni.

Akkor felesleges a blokkoló kiadónál megjelenni?

Nem felesleges. A blokkoló kiadó említése a márkaismertséghez, a bizalomhoz és a hagyományos kereséshez továbbra is hasznos, csak AI-forrásként nem érdemes rá számítani. Ez a mi nézőpontunk, és a döntésnél ezt a kettősséget érdemes a csapatnak is kimondani.

Egy erős lapban megjelent cikket emberek olvasnak, és egy részük utána rákeres a márkanevedre. A Googlebot a legtöbb ilyen kiadónál továbbra is hozzáfér, így a cikk a Google-találatok között ott lehet. A link, ha van, ajánlói forgalmat hozhat. A megjelenést az értékesítésben, a referenciáidnál és a saját oldaladon is felhasználhatod.

Szakmai feltételezés. A blokkoló kiadó cikke közvetve is eljuthat az AI-válaszokba, ha más, szabadon olvasható oldalak hivatkoznak rá vagy összefoglalják. Erre tervezni nem lehet, legfeljebb örülni neki.

Amit te magad tehetsz, az a saját oldalad. Készíts egy „Rólunk írták” aloldalt, ahol a megjelenésekről saját szavaiddal, röviden írsz, a forrás megnevezésével és linkjével. A teljes cikket ne másold át, mert az a kiadó szerzői joga. Az összefoglaló oldal a te domainedről szabadon olvasható, és a strukturált adatában a mentions és az about tulajdonsággal is jelölheted, kiről és miről szól.

Milyen hibákat érdemes elkerülni az átnézésnél?

A leggyakoribb hiba, hogy csak a GPTBot sorát nézik meg, és ebből vonnak le következtetést az egész AI-láthatóságra. A tanító bot tiltása a keresési idézésről keveset mond.

Mi kerüljön az ellenőrzőlistádra?

Az alábbi lista egy megjelenés teljes átnézéséhez elég, és új PR-lehetőség előtt is használható.

Források és további olvasnivalók

Amit érdemes megjegyezni
  • A forrásként idézett AI-válaszokat a keresési botok engedélye befolyásolja, a tanító botok tiltása ehhez képest kevesebbet számít.
  • A robots.txt mellett a tűzfalat, a fizetőfalat és a JavaScriptes betöltést is ellenőrizni kell, mert ezek is kizárhatják a botokat.
  • Hogy egy cikk tényleg megjelenik-e forrásként, azt csak ismételt, dátummal rögzített AI-tesztek mutatják meg.
  • A PR-lehetőségeket érdemes külön AI-pontszámmal és hagyományos pontszámmal értékelni, és a megjelenés célja szerint dönteni.
  • A blokkoló kiadó említése márkaismertséghez és Google-kereséshez hasznos marad, AI-forrásként viszont nem érdemes rá tervezni.

Gyakori kérdések

Ha a kiadó csak a GPTBot-ot tiltja, megjelenhet a cikk a ChatGPT válaszaiban?

Jó eséllyel igen. A GPTBot a tanításhoz gyűjt, az OpenAI leírása szerint a ChatGPT keresési válaszaiban való megjelenést az OAI-SearchBot engedélye befolyásolja. Ha az engedve van, a cikk idézhető maradhat.

A Google-Extended tiltása kizárja a cikket az AI-áttekintésekből?

A Google leírása szerint a Google-Extended nem befolyásolja a Google-keresésben való szereplést. Az AI-áttekintések a keresés részei, és a Googlebot hozzáférésétől függenek.

Honnan tudom, hogy egy tűzfal blokkolja-e az AI-botokat?

Küldj a bot nevével egy próbakérést curl paranccsal, és nézd meg a válaszkódot. A 403-as kód vagy egy kihívás-oldal erős jel. Mivel a tűzfalak IP-cím alapján is szűrhetnek, ez csak irányt mutat, a legbiztosabb jel az, hogy a cikk megjelenik-e forrásként az AI-válaszokban.

Átmásolhatom a fizetőfalas cikket a saját oldalamra, hogy az AI lássa?

A teljes cikket ne másold át, mert az a kiadó szerzői joga. Saját szavaiddal írt, rövid összefoglalót készíthetsz a forrás megnevezésével és linkjével, vagy kérj engedélyt a kiadótól.

Milyen gyakran érdemes átnézni az említéslistát?

A robots.txt-állapotot negyedévente, az AI-forrásteszteket havonta érdemes megismételni, mert a kiadók beállításai és az AI-válaszok is változnak. Új PR-lehetőség előtt mindig nézd meg az adott kiadót.

Források és további olvasnivalók

Ezen az oldalon a hivatalosan igazolt információt elsődleges forrásokból építjük fel; a saját tapasztalatot és a szakmai becslést mindig külön jelöljük a szövegben.

A cikk szerzője

Schmidt Péter, online marketing szakértő, a Scheo Tanácsadó Kft. alapítója. Székesfehérvárról, országosan dolgozó csapattal végzünk keresőoptimalizálást, AI-láthatóság mérést, Google és Meta hirdetéskezelést, weboldalkészítést. Amit itt leírunk, azt ügyfélmunkában is használjuk. Rólunk bővebben · Szolgáltatásaink

Kapcsolódó olvasnivaló

Helyi szolgáltatás a környékeden

Országosan dolgozunk, online és személyesen. Válaszd ki a városodat, és nézd meg, hogyan segítünk helyben:

Online marketing & AI SEO TatabányaOnline marketing & AI SEO KaposvárOnline marketing & AI SEO BékéscsabaOnline marketing & AI SEO EgerOnline marketing & AI SEO ZalaegerszegOnline marketing & AI SEO Szekszárd

Weboldalkészítés városra bontva

Ha először a honlap kell, itt városonként arról írtunk:

Weboldalkészítés SzékesfehérvárWeboldalkészítés BudapestWeboldalkészítés VeszprémWeboldalkészítés DunaújvárosWeboldalkészítés GyőrWeboldalkészítés Debrecen

Mind a 20 városunk és az összes szolgáltatás →

15 perces AI-láthatósági gyorselemzés - díjmentesen

Megnézzük három, számodra fontos keresőkérdésnél, hogy megjelenik-e a céged a ChatGPT, a Gemini és a Google AI-válaszaiban, mely versenytársakat ajánlják helyetted, és melyik három területen érdemes először javítani. A weboldaladat előzetesen átnézzük, tehát nem sablonos, automata riportot kapsz.

Adataidat kizárólag a kapcsolatfelvételhez használjuk. Kapcsolat: m@rketinges.hu
💬 Konzultáció