Claude webes keresése: milyen forrásokból dolgozik, és hogyan kerülhet be a weboldalad?

Scheo · 2026-10-15 · olvasási idő ~10 perc · Szerző: Schmidt Péter

Ha valaki a Claude-tól kérdez rá egy szolgáltatásra, a válasz két forrásból állhat össze. Az egyik a modell betanítás közben szerzett tudása, a másik az élő webes keresés, amikor a Claude a beszélgetés közben lekér oldalakat, és forrásként meg is jelöli őket. A weboldalad szempontjából a második az érdekesebb, mert ezt technikailag befolyásolni tudod. Ebben a cikkben végigmegyünk azon, mikor keres a Claude, milyen botokkal jár, mit kell engedned a robots.txt-ben és a tűzfalban, és hogyan ellenőrzöd a naplóból, hogy tényleg járt nálad.

Három jelölést használunk. Hivatalosan igazolt az, ami az Anthropic vagy a többi szolgáltató saját dokumentációjában szerepel. Saját tapasztalat az, amit szerver- és CDN-naplók rendszeres átnézésekor látunk. Szakmai feltételezés az, ami logikus következtetés, de nyilvános megerősítése nincs. A szolgáltatók dokumentációja gyakran változik, ezért élesítés előtt mindig nézd meg a friss változatot.

Mikor keres a Claude a weben?

A Claude akkor keres a weben, ha a webes keresés be van kapcsolva, és a kérdés friss vagy konkrét adatot igényel, amit a betanított tudás nem fed le megbízhatóan. A modell maga dönti el, elég-e a meglévő tudása, vagy keresnie kell.

Hivatalosan igazolt. A claude.ai felületén a webes keresés egy kapcsolható funkció, a válaszban a felhasznált oldalak hivatkozásként jelennek meg. Fejlesztőknek az Anthropic API két külön eszközt ad, a web search eszközt (keresés és találati lista) és a web fetch eszközt (egy konkrét URL tartalmának lekérése). Az API-ban domainekre is lehet szűrni engedélyezett és tiltott listával, vagyis egy Claude-ra épülő alkalmazás eleve kizárhat bizonyos oldalakat.

Saját tapasztalat. Helyi szolgáltatóra, nyitvatartásra, friss szabályozásra vagy egy konkrét cég adataira vonatkozó kérdésnél a Claude szinte mindig keres. Általános fogalmi kérdésnél (például mi az a GEO) gyakran a saját tudásából válaszol, forrás nélkül. Ha a felhasználó beilleszt egy URL-t, és megkéri, hogy foglalja össze, azt az oldalt jó eséllyel közvetlenül lekéri.

Milyen keresőindexre és milyen botokra támaszkodik a Claude?

A Claude egy külső keresőindexből kapja a találati listát, a konkrét oldalakat pedig az Anthropic saját botjai kérik le, három külön user-agenttel.

Hivatalosan igazolt. Az Anthropic súgóoldala három botot nevez meg, és mindhárom a robots.txt alapján dönti el, mit kérhet le:

• ClaudeBot nyilvános webes tartalmat gyűjt, ami a modellek betanításához kerülhet felhasználásra.
• Claude-User akkor jár nálad, amikor egy felhasználó kérdésére a Claude megnyit egy oldalt. Ha tiltod, a Claude nem tudja a kérdésre válaszolva betölteni a tartalmadat.
• Claude-SearchBot a keresési találatok minőségét javítja. A tiltása az Anthropic szerint csökkentheti, mennyire pontosan és milyen gyakran jelensz meg a keresési válaszokban.

Szakmai feltételezés, nyilvános jelekkel. Azt, hogy a találati listát melyik keresőmotor adja, az Anthropic nem írja le részletesen. A Brave Search 2025-ben megjelent az Anthropic alvállalkozói listáján, és független tesztek szerint a Claude találatai erősen átfednek a Brave találataival. Ebből gyakorlati teendő következik. Nézd meg a search.brave.com oldalon egy site: kereséssel, hogy a fontos oldalaid benne vannak-e a Brave indexében. Ha ott hiányzol, a Claude keresésében is kisebb az esélyed. Mivel a háttér változhat, ezt ne kezeld kőbe vésett ténynek.

Miben tér el ez a ChatGPT és a Perplexity működésétől?

Mindhárom szolgáltató külön botot használ az indexeléshez és a felhasználói lekéréshez. A különbség a keresési háttérben, a keresés gyakoriságában és a robots.txt kezelésében van.

• ChatGPT (hivatalosan igazolt). Az OpenAI a GPTBot nevű botot a betanításhoz, az OAI-SearchBotot a ChatGPT keresési funkciójához, a ChatGPT-User botot a felhasználó által indított lekérésekhez használja, és mindháromhoz JSON-formátumú IP-listát tesz közzé. A keresési háttérben a Bing szerepe a korábbi nyilvános közlésekből ismert, emellett saját index is épül.
• Perplexity (hivatalosan igazolt). A PerplexityBot az indexelést, a Perplexity-User a felhasználói lekéréseket végzi, ezekhez is közzétett IP-tartományok tartoznak. A Perplexity dokumentációja szerint a Perplexity-User a felhasználó által indított lekéréseknél általában nem követi a robots.txt-t. A Perplexity szinte minden kérdésnél keres, ez a termék alapműködése.
• Claude. A dokumentáció szerint mindhárom bot tiszteletben tartja a robots.txt-t, a keresés pedig eseti, csak akkor indul, ha a modell szükségesnek ítéli.

Saját tapasztalat. Egy átlagos magyar KKV-oldal naplójában a Claude-User jóval ritkábban tűnik fel, mint a Googlebot vagy a Bingbot, ezért egy-egy hiányzó találatból nem érdemes messzemenő következtetést levonni.

Mit kell engedélyezni a robots.txt-ben?

Ahhoz, hogy a Claude élő lekéréskor elérje az oldaladat, a Claude-User botot kell engedned, a keresési láthatósághoz pedig a Claude-SearchBot botot. A ClaudeBot (betanítás) ettől függetlenül, külön dönthető el.

Egy tipikus beállítás, amely a keresést és az élő lekérést engedi, a betanítást viszont nem:

• User-agent: Claude-User
• Disallow: /wp-admin/
• Allow: /
• User-agent: Claude-SearchBot
• Disallow: /wp-admin/
• Allow: /
• User-agent: ClaudeBot
• Disallow: /

Hogy a ClaudeBotot tiltod vagy engeded, üzleti döntés. A keresési láthatóságot a fenti dokumentáció szerint nem a ClaudeBot, hanem a másik két bot határozza meg. Néhány buktató, amit érdemes ellenőrizni.

• A robots.txt szabványa (RFC 9309) szerint egy bot arra a csoportra hallgat, amelyik a nevét a legpontosabban megadja. Ha van User-agent: Claude-User csoportod, a User-agent: * szabályai rá már nem vonatkoznak, ezért ott minden szükséges tiltást külön meg kell ismételned.
• A ClaudeBot tiltása nem tiltja a Claude-User botot, mert külön user-agentek. Ez fordítva is igaz.
• Ha a CSS-, JS- vagy a /wp-content/uploads/ mappát tiltod, a bot a szöveget megkapja, a képeidet viszont nem.
• A robots.txt 200-as válasszal legyen elérhető. Az RFC 9309 szerint, ha a fájl szerverhibát (5xx) ad, a bot az egész oldalt tiltottnak tekintheti.
• A változás nem azonnali, a szabvány szerint a botok legfeljebb nagyjából 24 óráig gyorsítótárazhatják a fájlt.

Mit kell beállítani a tűzfalban és a CDN-ben?

A robots.txt csak kérés, a tűzfal viszont ténylegesen elzárhatja a botot. Ha a CDN vagy a tárhely biztonsági modulja blokkolja a Claude-User botot, a robots.txt engedélye hiába van ott.

Hivatalosan igazolt. A Cloudflare 2025 közepe óta az új domainek beállításakor alapértelmezésként felajánlja az AI-crawlerek blokkolását, és külön kezelőfelületet ad az AI-botok engedélyezésére és tiltására (AI Crawl Control). Ez a robots.txt-től függetlenül működik.

Saját tapasztalat. Ha a Claude nem tudja megnyitni az oldalt, annak leggyakrabban ezek az okai. JavaScript-alapú ellenőrzés (bot-harc mód, captcha, támadás alatti mód), túl szigorú sebességkorlát, vagy a tárhely ModSecurity-, illetve a WordPress biztonsági bővítményének szabálya, amely ismeretlen user-agentre 403-at ad.

1. Cloudflare-ben nézd meg az AI Crawl Control beállítást, és engedd a Claude-User és a Claude-SearchBot botot.
2. A biztonsági eseménynaplóban (Security Events) szűrj a user-agentre, és nézd meg, ért-e már blokkolás.
3. Ha egyedi WAF-szabályt írsz, a kivétel ne csak a user-agent szövegére épüljön, mert az hamisítható. Ha a szolgáltatód ellenőrzött botként (verified bot) kezeli az Anthropic botjait, arra a kategóriára építs.
4. Nézd meg az Anthropic aktuális súgóoldalán, közzétesz-e IP-tartományt. Ha igen, a kivételt kösd hozzá.
5. A sebességkorlát ne adjon 429-et néhány egymás utáni kérésre. Egy összehasonlító kérdésnél a Claude rövid idő alatt több aloldalt is lekérhet (szakmai feltételezés).
6. WordPressnél nézd át a biztonsági bővítmény blokkolt botokat tartalmazó listáját.

Milyen oldalszerkezetből tud a Claude jól idézni?

A Claude abból tud jól idézni, ami a nyers HTML-ben, JavaScript futtatása nélkül is olvasható, és ahol a kérdésre adott válasz egy rövid, önálló bekezdésben áll a megfelelő címsor alatt.

Szakmai feltételezés. Az Anthropic nem írja le, hogy a Claude-User futtat-e JavaScriptet. Saját tapasztalat, hogy a naplókban jellemzően csak a HTML-dokumentum lekérése látszik, a stíluslapoké és szkripteké nem, ami arra utal, hogy a bot a szerver által visszaadott HTML-t dolgozza fel.

• Szerveroldali renderelés. A fő szöveg legyen benne a forráskódban. A kattintásra nyíló fül vagy a később betöltött tartalom könnyen kimarad.
• Kérdés-alapú H2, rá azonnali válasz. A címsor utáni első 2-3 mondat önmagában is értelmes legyen, név, hely és konkrét adat szerepeljen benne.
• Egyértelmű tények. Szolgáltatási terület (például „Székesfehérváron és a környező településeken”), nyitvatartás, elérhetőség, frissítési dátum. Ezeket szövegként is írd ki, ne csak képen.
• HTML-táblázat és lista az összehasonlításhoz, kép vagy PDF helyett.
• Strukturált adat. A Schema.org Organization vagy LocalBusiness jelölése a keresőindexeknek segít, a Claude idézési döntésére gyakorolt hatása viszont nem dokumentált (szakmai feltételezés).
• Gyors válaszidő. Az élő lekérésnek időkorlátja van, egy lassan betöltődő oldal könnyebben kimarad (szakmai feltételezés).
• Süti-sáv a tartalom előtt. Ha a süti-ablak a HTML-ben eltakarja vagy átirányítással helyettesíti a tartalmat, a bot csak a bannert látja.

Hogyan teszteld magyar kérdésekkel?

Egy egyszerű tesztmenethez öt-hat valós, magyar kérdés, bekapcsolt webes keresés és a pontos időpontok feljegyzése elég. Azt ellenőrzöd vele, hogy a Claude eléri-e az oldaladat, és ha igen, mit idéz belőle.

1. Nyiss új beszélgetést a claude.ai-on, és kapcsold be a webes keresést.
2. Minden kérdést külön beszélgetésben tegyél fel, és jegyezd fel percre pontosan az időt.
3. Minden válasznál másold ki a hivatkozott URL-eket egy táblázatba.
4. Néhány nap múlva ismételd meg a kört, mert a válaszok változnak.

Példakérdések, a szögletes zárójeles részt cseréld a saját adataidra:

• „Foglald össze, mit ír ez az oldal: [teljes URL]” (közvetlen lekérést kér, ez az alapteszt).
• „Milyen szolgáltatásokat kínál a [cégnév]? Nézz utána a weben, és add meg a forrást.”
• „Ki foglalkozik [szolgáltatás] témával Székesfehérváron? Sorolj fel hármat forrással.”
• „Mi a [cégnév] nyitvatartása Győrben?”
• „Hasonlítsd össze a budapesti [szolgáltatás] szolgáltatókat, és írd le, kit miért ajánlasz.”
• „A [domain] oldal szerint hogyan zajlik a [konkrét téma]?”

Saját tapasztalat. Ha az URL-es kérdésre a Claude azt írja, hogy nem tudta megnyitni az oldalt, az szinte mindig hozzáférési gond (robots.txt, tűzfal, captcha), és a többi teszt előtt ezt kell rendbe tenni.

Hogyan igazolod a naplóból, hogy a Claude megnyitotta az oldalt?

A szerver hozzáférési naplójában keresd a Claude-User user-agentet a teszt időpontja körül. Ha ott 200-as válaszkóddal szerepel a tesztelt URL, a Claude ténylegesen lekérte az oldalt.

Nginx vagy Apache esetén két egyszerű szűrés:

• grep -i "claude-user" /var/log/nginx/access.log | tail -n 20
• grep -iE "claude-user|claude-searchbot|claudebot" access.log | awk '{print $9}' | sort | uniq -c

Az első parancs a legutóbbi lekéréseket mutatja, a második a válaszkódok eloszlását. A szokásos combined naplóformátumban a kilencedik mező a státuszkód. A 200 sikeres lekérés, a 403 és a 429 blokkolásra utal, az 503 túlterhelésre vagy CDN-oldali ellenőrzésre.

Az értelmezéshez ezeket érdemes tudni:

• Időzóna. Sok szerver UTC-ben naplóz, a magyar idő ehhez képest nyáron két, télen egy órával előrébb jár.
• CDN mögött a blokkolt kérés el sem jut a szerveredig, ezért a Cloudflare saját naplójában és a biztonsági eseményeknél is nézd meg.
• Ha nincs találat, de a Claude idézett tőled, a válasz jó eséllyel a keresőindex kivonatából vagy egy korábbi lekérésből készült (szakmai feltételezés). Ez nem hiba, de ilyenkor a legfrissebb tartalmat nem feltétlenül látta.
• A user-agent hamisítható. Ha gyanúsan sok Claude-nak látszó kérést látsz, vesd össze az IP-címeket a szolgáltató közzétett adataival, ha vannak, és nézd meg a kérések mintáját is.

Saját tapasztalat. A legmegbízhatóbb igazolás az URL-es alapteszt. A kérdés elküldése után néhány másodpercen belül megjelenik a naplóban a Claude-User kérés pontosan arra az URL-re, és ezt a naplósorral és egy képernyőképpel dokumentálni is tudod.

Mit nem garantál ez a beállítás?

A helyes robots.txt és tűzfalbeállítás azt biztosítja, hogy a Claude elérhesse az oldaladat, azt viszont nem, hogy idézni is fogja. Hogy egy kérdésnél keres-e, mely találatokat nyitja meg, és melyik forrást emeli be a válaszba, a modell és a keresési háttér döntése, amire közvetlen ráhatásod nincs. A hozzáférés rendbetétele a szükséges alap, a többi a tartalom pontosságán, egyértelműségén és a külső említéseken múlik. Érdemes havonta ugyanazzal a kérdéssorral visszamérni, és a változásokat a naplóval együtt nézni.

Források és további olvasnivalók

• Anthropic Help Center, az Anthropic webes crawlereiről és azok tiltásáról szóló cikk
• Anthropic API dokumentáció, Web search tool és Web fetch tool
• OpenAI dokumentáció, Overview of OpenAI Crawlers
• Perplexity dokumentáció, Perplexity Crawlers
• IETF RFC 9309, Robots Exclusion Protocol
• Google Search Central, a robots.txt fájlokról szóló útmutató
• Cloudflare dokumentáció, AI Crawl Control és Verified Bots
• Schema.org, Organization és LocalBusiness típusok