Egyre több cégvezető kérdezi, hogy a különféle AI-botokat be kell-e engedni a weboldalára, vagy inkább le kellene tiltani mindet. Az egyik leggyakrabban félreértett szereplő az OAI-SearchBot. Sokan összekeverik a betanításhoz használt robottal, és óvatosságból kizárják, pedig ezzel épp a ChatGPT keresési megjelenésüket lövik lábon. Nézzük végig, mi ez pontosan, mire jó, és hogyan kezeld a robots.txt-ben.
Mi az OAI-SearchBot?
Az OAI-SearchBot az OpenAI keresési robotja: azokat az oldalakat járja be és rendszerezi, amelyeket a ChatGPT beépített keresése forrásként megjeleníthet a válaszaiban. Ez az OpenAI hivatalos dokumentációjában szereplő user-agent, amely a webet indexeli a keresési funkció számára.
Fontos elhatárolás. Az OpenAI több különböző botot üzemeltet, és ezek NEM ugyanazt csinálják (ez hivatalos információ az OpenAI crawler-dokumentációjából):
- OAI-SearchBot: a keresési megjelenéshez gyűjt és rendszerez. Amikor a ChatGPT rákeres valamire és hivatkozik egy forrásra, jó eséllyel ez a bot járt korábban az oldalon.
- GPTBot: a modellek betanításához (tréning) gyűjthet adatot. Ez a tanuláshoz kapcsolódik, nem a keresési találati listához.
- ChatGPT-User: akkor lép működésbe, amikor egy felhasználó kérésére a ChatGPT élőben megnyit egy konkrét oldalt (például mert a beszélgetésben rákattint vagy megkéri, hogy nézzen meg egy linket).
Ez a három külön user-agent külön döntést enged. Nem kell mindent egyben tiltanod vagy engedned. A gyakorlatban ez azt jelenti, hogy akár be is engedheted a keresési botot, miközben a tréninghez használt botról másképp döntesz.
Hogyan viszonyul az OAI-SearchBot a ChatGPT keresési megjelenéshez?
Az OAI-SearchBot bejárása az egyik előfeltétele annak, hogy az oldalad egyáltalán forrásként felbukkanhasson a ChatGPT keresési válaszaiban. Ha a bot nem fér hozzá a tartalmadhoz, akkor a keresési rendszernek nincs mit rendszereznie róla.
Amikor egy felhasználó olyat kérdez a ChatGPT-től, amihez friss vagy konkrét webes információ kell, a rendszer keresést indít, majd a talált oldalak közül idéz és hivatkozik. Ehhez előbb ismernie kell azokat az oldalakat, és itt jön képbe a keresési crawler. Leegyszerűsítve: nincs bejárás, nincs esély a megjelenésre.
Szakmai feltételezés (nem hivatalos ígéret), hogy a puszta beengedés önmagában nem elég a megjelenéshez. A crawler hozzáférése szükséges, de nem elégséges feltétel. A tartalom minősége, a tématiszta felépítés, a jól strukturált, önmagában is idézhető válaszok és az entitás-egyértelműség mind számítanak. A robots.txt beállítása tehát a belépőjegy, nem a garancia.
Miért öngól tiltani az OAI-SearchBotot egy GEO/AEO oldalon?
Ha kifejezetten arra optimalizálsz, hogy AI-válaszmotorokban megjelenj (GEO/AEO), akkor a keresési crawler tiltása közvetlenül a saját céloddal megy szembe. Olyan, mintha SEO-t csinálnál, de közben a Googlebotot kizárnád a robots.txt-ben.
A GEO (Generative Engine Optimization) és az AEO (Answer Engine Optimization) lényege, hogy a tartalmad ott legyen, ahol az emberek egyre gyakrabban tájékozódnak: az AI-asszisztensek válaszaiban. A ChatGPT keresési funkciója ennek az egyik legnagyobb felülete. Ha az OAI-SearchBotot letiltod, akkor:
- kizárod magad abból a forráskészletből, amiből a ChatGPT a keresési válaszait építi;
- a versenytársaid, akik beengedik a botot, előnybe kerülhetnek, mert az ő tartalmuk elérhető marad;
- elveszíted azt a márkaemlítési és hivatkozási lehetőséget, ami hosszú távon a bizalmat és a felismerhetőséget építi.
Saját tapasztalat alapján a tiltás legtöbbször nem tudatos döntés, hanem félreértés következménye. Valaki egy blogcikkben azt olvassa, hogy "tiltsd az AI-botokat, mert ellopják a tartalmadat", és egyetlen mozdulattal az összes OpenAI user-agentet kizárja. Közben a keresési bot és a tréningbot két külön dolog, és a kettőt érdemes külön kezelni. Ha a tartalom-védelem a cél, akkor a tréninghez használt botról dönthetsz szigorúbban, miközben a keresési láthatóságodat megtartod.
Hogyan engedd be helyesen a robots.txt-ben?
A legegyszerűbb, ha a robots.txt-ben nem tiltod az OAI-SearchBotot, vagy explicit Allow szabállyal jelzed, hogy a teljes nyilvános oldal bejárható. A robots.txt user-agent nevekre bontva ad utasításokat, így botonként külön szabályozhatsz.
Egy tiszta, GEO-barát alap így nézhet ki, ahol beengeded a keresési botot, de a tréningbotról külön döntesz:
User-agent: OAI-SearchBotAllow: /
User-agent: ChatGPT-UserAllow: /
User-agent: GPTBotDisallow: /
Ebben a példában a keresési megjelenéshez és a felhasználó által indított oldalmegnyitáshoz szükséges botok szabadon dolgozhatnak, a tréninghez használt GPTBot viszont ki van zárva. Ha a tréninggel sincs bajod, akkor a GPTBot-blokkot egyszerűen hagyd ki, vagy állítsd Allow: / értékre.
Néhány gyakorlati megjegyzés (részben hivatalos, részben tapasztalati):
- A robots.txt mindig a domain gyökerében, a
https://oldalad.hu/robots.txtcímen legyen elérhető, különben a botok nem találják. - A user-agent nevek pontosak legyenek. Elgépelt vagy kitalált botnevekre senki nem figyel, a szabály némán hatástalan marad.
- Ha van egy globális
User-agent: *blokkod, ami sok mindent tilt, ellenőrizd, hogy az nem árnyékolja-e be a szándékodat. A botok általában a nevükre szabott, legkonkrétabb blokkot követik. - A robots.txt egy udvariassági megállapodás, nem tűzfal. A jól viselkedő botok betartják, de technikai hozzáférés-védelemre nem alkalmas.
Adatvédelmi szempontból biztonságos beengedni?
A keresési crawler beengedése a nyilvánosan elérhető oldalaidat érinti, nem a belső rendszereidet vagy az ügyféladataidat, ezért önmagában nem jelent személyes adat átadást. A bot azt látja, amit bármelyik látogató a böngészőjében.
Ettől függetlenül van néhány dolog, amit érdemes tudatosan végiggondolni:
- Csak a publikus tartalom számít. A jelszóval védett, bejelentkezéshez kötött vagy nem indexelendő oldalakat egyébként is zárd ki a crawlerektől, a keresési botra való tekintet nélkül. Ami nem publikus, azt ne tedd elérhetővé robotnak és böngészőnek sem.
- Ne tegyél ki személyes adatot oda, ahová nem való. Ha egy nyilvános oldalon véletlenül érzékeny információ szerepel, az nem a botok hibája: az bárki számára látható. A megoldás az adat eltávolítása, nem a crawler tiltása.
- A robots.txt nem GDPR-eszköz. A személyes adatok kezelésének jogalapját, az adatkezelési tájékoztatót és az érintetti jogokat külön, a jogszabályok szerint kell rendezni. A botok beengedése vagy tiltása ezt nem váltja ki és nem is sérti önmagában.
- Üzleti mérlegelés is van benne. Ha valamiért nem szeretnéd, hogy a tartalmad megjelenjen AI-válaszokban (például egyedi, védeni kívánt tudásanyag), az legitim döntés lehet. De ez láthatósági, nem klasszikus adatvédelmi kérdés, és tudd, mit adsz fel vele.
A lényeg: az OAI-SearchBot beengedése alapesetben ugyanolyan kockázatú, mint bármelyik keresőmotor botját beengedni. A nyilvános oldalaidat rendszerezi, hogy azok forrásként megjelenhessenek.
Ellenőrzőlista: mit nézz meg most?
Mielőtt bármit módosítasz, érdemes végigmenni egy rövid listán, hogy ne véletlenül zárd ki magad a láthatóságból.
- Nyisd meg a
https://oldalad.hu/robots.txtfájlt, és nézd meg, van-e benne bármi, ami az OAI-SearchBotot vagy a*user-agentet tiltja. - Ha a keresési láthatóság a cél, engedd be az OAI-SearchBotot és a ChatGPT-Usert (Allow, vagy egyszerűen ne tiltsd).
- Döntsd el külön, mi legyen a GPTBottal (tréning), és ezt tudatosan állítsd be.
- Ellenőrizd, hogy a valóban privát, bejelentkezéshez kötött részek megfelelően védettek és kizártak-e minden botnál.
- Győződj meg róla, hogy a fontos oldalaid nem esnek véletlenül egy általános Disallow alá.
- A módosítás után ellenőrizd, hogy a robots.txt szintaktikailag helyes és elérhető a domain gyökeréből.
Ez a néhány lépés jó eséllyel megelőzi a leggyakoribb hibát: azt, hogy valaki jóhiszemű óvatosságból pont a saját AI-láthatóságát kapcsolja ki.
Források és további olvasnivalók
- OpenAI: Overview of OpenAI crawlers (bots and user agents) dokumentáció
- OpenAI: ChatGPT search és a keresési megjelenéssel kapcsolatos súgó
- Google Search Central: robots.txt specifikáció és bevezető
- W3C és a Robots Exclusion Protocol (RFC 9309) leírása
- Schema.org: strukturált adat dokumentáció
- Az OAI-SearchBot a ChatGPT beépített keresésének (search) crawlere, nem a modell betanításához gyűjt adatot.
- Ha GEO/AEO a cél, a robots.txt-ben Allow-val (vagy tiltás hiányával) érdemes beengedni ezt a botot.
- A GPTBot ettől külön user-agent: azt a betanításhoz használják, és külön dönthetsz a sorsáról.
- A crawler beengedése nem jelent személyes adat átadást: a nyilvános oldaladat indexeli, nem a belső rendszereidet.
- A robots.txt tiltása nem jogi vagy adatvédelmi eszköz, hanem láthatósági döntés: mérlegeld, mit veszítesz vele.
Gyakori kérdések
Az OAI-SearchBot ugyanaz, mint a GPTBot?
Nem. Az OAI-SearchBot a ChatGPT keresési megjelenéséhez járja be az oldalakat, a GPTBot pedig a modellek betanításához gyűjthet adatot. Két külön user-agent, külön szabályozhatod őket a robots.txt-ben.
Ha beengedem az OAI-SearchBotot, biztos megjelenek a ChatGPT válaszaiban?
Nem garantált. A bejárás szükséges előfeltétel a megjelenéshez, de nem elégséges. A tartalom minősége, a strukturáltság és az idézhető, tömör válaszok is számítanak. A beengedés a belépőjegy, nem a garancia.
Veszélyes adatvédelmi szempontból beengedni ezt a botot?
Alapesetben nem, mert csak a nyilvánosan elérhető oldalaidat rendszerezi, ugyanazt, amit bármelyik látogató lát. A privát, bejelentkezéshez kötött részeket egyébként is védeni és kizárni kell, botfüggetlenül. A robots.txt nem GDPR-eszköz.
Hova kell tennem a robots.txt-t, hogy működjön?
A domain gyökerébe, a https://oldalad.hu/robots.txt címre. Ha máshol van, a botok nem találják meg, és a szabályaid hatástalanok maradnak.
Le tudom tiltani a tréningbotot úgy, hogy a keresési láthatóságom megmaradjon?
Igen. Ez a botonkénti szabályozás előnye. Beengedheted az OAI-SearchBotot Allow szabállyal, miközben a GPTBotra Disallow-t állítasz. Így a keresési megjelenés lehetősége megmarad, a tréninghasználatot pedig korlátozod.
A robots.txt tiltása technikailag megakadályozza a hozzáférést?
Nem. A robots.txt egy önkéntes megállapodás, amit a jól viselkedő botok betartanak, de nem tűzfal és nem hozzáférés-védelem. Ami valóban védendő, azt hitelesítéssel és szerveroldali korlátozással kell megvédeni.
Források és további olvasnivalók
Ezen az oldalon a hivatalosan igazolt információt elsődleges forrásokból építjük fel; a saját tapasztalatot és a szakmai becslést mindig külön jelöljük a szövegben.