AI-botok kezelése Cloudflare-ben: mit engedj, mit blokkolj

Scheo · 2026-08-22 · olvasási idő ~10 perc · Szerző: Schmidt Péter

A weboldalad kiszolgálásába egyre több olyan kérés érkezik, amit nem ember indított. Vannak közte keresőrobotok, vannak AI-modellek betanítására gyűjtő crawlerek, vannak válaszmotorok, amelyek egy konkrét felhasználói kérdésre nyitják meg az oldaladat, és van egy csomó azonosíthatatlan forgalom. A Cloudflare az a pont, ahol ezt tényleg szabályozni tudod, mert a kérés még a szervered előtt megáll. Pont ezért kell óvatosan bánni vele: itt nem kérsz, hanem döntesz, és a rossz döntés azonnal érezhető.

Miben más a Cloudflare bot-kezelése, mint a robots.txt?

A robots.txt egy udvarias kérés, a Cloudflare-szabály viszont a hálózat szélén elutasítja a kérést, mielőtt az elérné a szerveredet. Ez a különbség adja az eszköz erejét és a kockázatát is.

Hivatalosan igazolt: a robots.txt protokollja önkéntes követésen alapul. A szabvány leírja, hogyan jelzed, mit nem szeretnél, de a végrehajtás a bot üzemeltetőjén múlik. A nagy, névvel vállalt crawlerek jellemzően betartják, a névtelen vagy hamis azonosítójú forgalom viszont egyszerűen figyelmen kívül hagyja. A Cloudflare ezzel szemben a saját hálózatán szűr: ha egy szabály blokkolásra állítja a kérést, a látogató (jelen esetben a bot) hibakódot kap, a szervered pedig meg sem tudja róla, hogy volt kérés.

Ebből három gyakorlati következmény jön. Egy: a blokkolás a szerver terhelését is csökkenti, nem csak a tartalom felhasználását korlátozza. Kettő: a hatás azonnali, nem kell megvárni, hogy a bot legközelebb elolvassa a robots.txt-t. Három: nincs finom árnyalat. A robots.txt-ben tudsz útvonalanként engedni és tiltani, a Cloudflare-ben ugyanezt meg tudod csinálni, de ha elrontod a feltételt, akkor nem egy crawler marad ki, hanem akár a teljes keresőforgalmad.

A kettő nem alternatíva, hanem réteg. Saját tapasztalat: a jól működő felállás az, hogy a robots.txt kimondja a szándékot (ez a hivatkozási alap, ha valaha vita lesz belőle), a Cloudflare pedig kikényszeríti azt a botoknál, ahol ez fontos.

Milyen AI-bot vezérlési lehetőségek érhetők el a Cloudflare felületén?

Három egymásra épülő réteg van: a hitelesített bot-kategóriák, az AI-crawlerekre vonatkozó egykattintásos kapcsoló, és a WAF egyedi szabályai.

• Hitelesített bot-kategóriák (verified bots). A Cloudflare karbantart egy listát az általa azonosított, valódi botokról, és kategóriákba sorolja őket: keresőrobot, AI-crawler, gyorsítótár-ellenőrző, monitorozó eszköz, hirdetési robot és így tovább. Az azonosítás nem pusztán a user agent szövegén múlik, hanem az IP-tartományon és a fordított DNS-ellenőrzésen is. Ez azért lényeges, mert a user agent bármikor hamisítható, az IP-hovatartozás sokkal nehezebben.
• AI-crawler kapcsoló. A Cloudflare biztosít egy készre csomagolt beállítást, amely egy mozdulattal blokkolja az általa AI-crawlerként ismert botokat. Ez a legkényelmesebb, egyben a legdurvább eszköz: mindent érint, ami a kategóriába esik, és nem tudsz benne botonként válogatni.
• AI-crawler áttekintő és botonkénti vezérlés. A dashboardon elérhető egy külön felület, amely megmutatja, mely AI-botok mennyi kérést indítottak az oldaladra egy adott időszakban, és botonként engedheted vagy tilthatod őket. Saját tapasztalat: ez a leghasznosabb képernyő az egészben, mert itt látod először számokban azt, amiről addig csak tippjeid voltak.
• WAF egyedi szabályok. Itt írod meg saját kézzel a feltételt: bot-kategória, user agent, URL-útvonal, ország, IP-tartomány szerint, és megválasztod a műveletet (blokkolás, kihívás, kihagyás, naplózás). Ez a legrugalmasabb réteg, és ha komolyan gondolod a bot-kezelést, előbb-utóbb ide fogsz eljutni.

Szakmai feltételezés: a bot-kategóriák és a beépített kapcsolók elnevezése a következő időszakban is változni fog, mert a terület gyorsan mozog. Az elv (kategória, kapcsoló, egyedi szabály) viszont jó eséllyel marad, ezért a menüpont nevénél fontosabb, hogy melyik réteget használod.

Hol találod meg a beállítást lépésről lépésre?

A dashboardon a domainedet választva a biztonsági menüben találod a bot- és WAF-beállításokat, és érdemes ebben a sorrendben végigmenni rajtuk.

1. Lépj be a Cloudflare fiókodba, és a listából kattints arra a domainre, amelyiket szabályozni akarod. Ez a leggyakoribb hibaforrás több domain esetén: a szabály nem oda kerül, ahová szántad.
2. Nyisd meg a biztonsági (Security) menüpontot, és keresd meg a botokkal foglalkozó almenüt. Itt látod a jelenlegi bot-beállításaidat és azt, milyen szintű bot-kezelés érhető el a csomagodban.
3. Nézd meg az AI-crawlereket bemutató nézetet, mielőtt bármit kikapcsolnál. Írd fel, melyik bot hány kérést küldött az elmúlt hét vagy harminc napban. Ez lesz a viszonyítási alapod.
4. Ha az egykattintásos AI-blokkolást használnád, először olvasd el, pontosan mely botokra terjed ki. Ha a listában olyan is szerepel, amelyet meg akarsz tartani, ne ezt válaszd, hanem menj tovább az egyedi szabályhoz.
5. Egyedi szabályhoz nyisd meg a WAF alatti szabály-listát, és hozz létre új szabályt. Adj neki beszédes nevet dátummal, például 2026-08 AI crawler teszt blog, hogy három hónap múlva is tudd, mi ez.
6. Állítsd be a feltételt és a műveletet, majd mentsd el. A szabályok sorrendje számít: a listában feljebb lévő szabály hamarabb fut le, és egy engedő (skip) szabály felül tudja írni az alatta lévő tiltást.

Hogyan írsz saját WAF-szabályt egy konkrét AI-botra?

A biztonságos minta az, hogy szűk hatókörrel kezded, kategóriára vagy egyetlen botra szűrsz, és a műveletet előbb naplózásra vagy kihívásra állítod.

A kifejezés-szerkesztőben a hitelesített bot mezőkkel dolgozol. A logika nagyjából így néz ki, a mezőnevek pontos alakját a saját felületeden ellenőrizd, mert csomagfüggő: (cf.verified_bot_category eq "AI Crawler"). Ha ezt kiegészíted egy útvonal-feltétellel, máris sokkal barátságosabb szabályt kapsz: (cf.verified_bot_category eq "AI Crawler" and starts_with(http.request.uri.path, "/premium/")). Így a nyilvános tartalmaid továbbra is elérhetők maradnak a válaszmotorok számára, csak a valóban védeni kívánt rész zárul le.

Ha egyetlen konkrét botot céloznál, a user agentre is szűrhetsz: (http.user_agent contains "GPTBot"). Ezt viszont csak kiegészítésnek használd, mert a user agent hamisítható, és a hamisítót pont ez a szabály nem fogja meg.

Hivatalosan igazolt, és sokan elrontják: az OpenAI több, eltérő szerepű botot üzemeltet. Van, amelyik a modell betanításához gyűjt, van, amelyik a keresési indexet építi, és van, amelyik akkor nyitja meg az oldaladat, amikor egy felhasználó éppen rákérdez valamire. Ugyanez igaz a többi nagy szereplőre is. Ha mindet egyben blokkolod, azzal nem csak a betanítást zárod ki, hanem a válaszokban való megjelenést is. Hasonlóan fontos, hogy a Google esetében az AI-célú felhasználás vezérlése robots.txt-ben értelmezett jelzőn keresztül működik, nem külön, saját azonosítóval érkező crawlerrel. Aki ezt a Cloudflare-ben próbálja user agent alapján tiltani, az vagy nem ér el semmit, vagy a rendes Googlebotot is kiveszi.

Honnan tudod meg, hogy a szabály tényleg érvényesült?

A dashboard biztonsági jelentésében szabály szerint szűrve látod, hány kérés akadt fenn rajta, és ezt érdemes összevetni a szervered saját naplójával.

• Biztonsági események. A Security alatti eseménynézetben szűrj a szabályod nevére vagy azonosítójára. Ha nulla találat van huszonnégy óra után, a szabály vagy nem illeszkedik, vagy egy fölötte lévő szabály előbb lefut.
• Bot-forgalmi bontás. Nézd meg, hogyan alakult az adott bot kéréseinek száma a szabály élesítése előtti és utáni azonos hosszúságú időszakban. Ne napokat hasonlíts hetekhez.
• Kézi próba. Parancssorból egyszerűen ellenőrizheted, mit kap a bot: curl -A "GPTBot" -I https://sajatdomain.hu/. A visszakapott állapotkód elárulja, blokkolva van-e. Ez nem helyettesíti a naplót, mert az IP-alapú hitelesítést így nem tudod utánozni, de a durva hibákat azonnal kiszűri.
• Keresőoldali visszaellenőrzés. A Google Search Console feltérképezési statisztikáiban látod, ha a Googlebot hirtelen hibákat kap. Ez a leggyorsabb korai jelzés arra, hogy túllőttél a célon.
• Forgalmi oldal. Az analitikádban külön figyeld az AI-felületekről érkező hivatkozó forgalmat. Ha ez esik, a blokkolás a láthatóságodat is érintette.

Mi az a három hiba, amit a legtöbben elkövetnek?

A keresőbotok véletlen kizárása, a JavaScript-kihívás teljes oldalra kapcsolása és a szabály tesztelés nélküli élesítése adja a bajok többségét.

1. A keresőbotok véletlen kizárása. A leggyakoribb eset, hogy valaki egy tág feltételt ír (például minden botra vagy minden nem böngésző user agentre), és ezzel a Googlebot vagy a Bingbot is fennakad. Ennek a következménye nem néhány kimaradó AI-idézet, hanem az organikus forgalom. Ráadásul a Bing indexe több AI-felületet is kiszolgál, tehát a Bingbot tiltásával egyszerre veszítesz klasszikus és válaszmotoros láthatóságot. Saját tapasztalat: ezt a hibát általában nem azonnal veszik észre, hanem egy-két héttel később, amikor a rangsorolás már megmozdult, és a helyreállítás akkor is időbe telik, ha a szabályt egy perc alatt kiveszed.

2. JavaScript-kihívás a teljes oldalra. Csábító megoldás, mert az automatizált forgalom nagy részét tényleg leválasztja. Csakhogy a keresőrobotok és a válaszmotorok crawlerei jellemzően nem úgy dolgozzák fel az interaktív kihívásokat, mint egy böngésző, és a kihívás minden látogatónak plusz köröket jelent, ami a mért betöltési élményen is meglátszik. Ha kihívást használsz, akkor célzottan tedd: bejelentkezési oldalra, űrlapra, kosárra, kereső végpontra, nem a teljes tartalomra.

3. Élesítés tesztelés nélkül. A WAF-szabály nem javaslat, hanem azonnali hatályú döntés az egész forgalomra. Ha kihagyod a próbakört, akkor a szabály hibáját éles forgalmon fizeted ki. A jó gyakorlat: előbb naplózó vagy megfigyelő művelet, majd szűk útvonalra korlátozott blokkolás, és csak ezután a teljes kör.

Mit csinálj, ha hirtelen esik a forgalom?

A visszaállítás sorrendje: állítsd meg a legutóbbi változtatást, azonosítsd az érintett botot, és csak utána kezdj újra építkezni. Írd le ezt a menetet előre, mert esés közben senki nem gondolkodik tisztán.

1. Nézd meg, mit változtattál és mikor. A WAF-szabályoknál látszik a létrehozás és módosítás ideje. Vesd össze a forgalmi esés kezdetével. Ha nincs átfedés, valószínűleg nem a bot-szabály az ok, és rossz irányba indulnál el.
2. Kapcsold ki, ne töröld. A szabályt tedd inaktívvá. Így megmarad a feltétel, és később elemezni tudod, hol volt túl tág. A törlés elviszi a bizonyítékot.
3. Ellenőrizd a hatást percek alatt. Futtasd le a curl próbát a gyanús user agenttel, és nézd meg, hogy már nem blokkoló választ kapsz-e.
4. Szűkítsd a kört. Ha több szabályt is élesítettél egyszerre, egyesével kapcsold vissza őket, és minden lépés után várj annyit, hogy a jelentésben látszódjon a hatás.
5. Kérj újrafeltérképezést. A Search Console-ban ellenőrizd, megszűntek-e a feltérképezési hibák, és a fontos oldalakra indíts ellenőrzést. Az index visszarendeződése nem azonnali, és a helyreállás mértéke nem jósolható meg előre.
6. Dokumentáld. Egy sor is elég: mikor, mit, miért kapcsoltál vissza. A következő próbálkozásnál ez ér a legtöbbet.

Szakmai feltételezés: a legtöbb hirtelen esés mögött nem a szándékos AI-tiltás áll, hanem egy mellékhatás, amire senki nem gondolt: egy tág feltétel, egy rossz sorrendbe került szabály, vagy egy örökölt beállítás, amit valaki hónapokkal korábban kapcsolt be.

Melyik AI-botot érdemes engedni és melyiket tiltani?

Az én álláspontom: bot-kezelést csak méréssel szabad csinálni, találomra soha. A döntés nem elvi kérdés, hanem üzleti. Három szempontot érdemes külön kezelni.

• Hozza-e a látogatót? A felhasználói kérdésre induló crawlerek és a válaszmotorok keresőbotjai közvetlenül vezethetnek forgalomhoz és megkeresésekhez. Ezeket a legtöbb szolgáltató honlapján érdemes megtartani.
• Terheli-e a szervert? Ha egy bot naponta több tízezer kérést küld, és semmilyen mérhető hasznot nem hoz, ott a korlátozás vagy a sebességkorlát ésszerű lépés.
• Van-e védendő tartalmi értéked? Fizetős anyag, saját adatbázis, egyedi kutatás esetén más a mérleg, mint egy általános szolgáltatásbemutató oldalnál.

Ezekre a kérdésekre csak akkor tudsz válaszolni, ha előtte legalább két hétig gyűjtötted az adatot. A bot-tiltás nem javít a láthatóságodon, és önmagában nem véd meg semmitől, csak a döntéseidet teszi kikényszeríthetővé. Az eredmény attól függ, jól választottad-e meg, mit zársz ki.

Ellenőrzőlista élesítés előtt: van legalább kéthetes bot-forgalmi adatod, a szabály neve tartalmaz dátumot, a hatóköre szűkebb a teljes oldalnál, a művelet előbb naplózó vagy kihívás, a keresőrobotokra van kifejezett kivétel, és leírtad, ki és hogyan kapcsolja vissza, ha esik a forgalom. Ha ebből bármelyik hiányzik, még ne nyomd meg a mentés gombot.

Források és további olvasnivalók

• Cloudflare Developers dokumentáció: WAF custom rules, Bot Management, verified bots
• Cloudflare Learning Center: bot-forgalom és crawler alapfogalmak
• Cloudflare Radar: hálózati és AI-crawler forgalmi adatok
• Google Search Central: Google crawlers and user-triggered fetchers, Robots.txt dokumentáció
• Google Search Console súgó: Crawl stats jelentés
• OpenAI dokumentáció: bots and crawlers oldal
• Microsoft Bing Webmaster súgó: Bingbot és feltérképezés
• RFC 9309: Robots Exclusion Protocol
• W3C és Schema.org: strukturált adat és webes szabványok referenciái