- A GPTBot betanításhoz gyűjt adatot, az OAI-SearchBot a ChatGPT keresési válaszaiban jeleníti meg és hivatkozza az oldaladat.
- A két robot külön user-agentet használ, ezért a robots.txt-ben külön szabállyal kezeld őket.
- Az OAI-SearchBot tiltása a láthatóságodat csökkentheti; a GPTBot tiltása ezt nem befolyásolja.
- A GPTBot engedélyezése tudatos üzleti és adatkezelési döntés, nincs rá egyetlen jó válasz.
- A robots.txt önkéntes megfelelés: ha szigorúbb védelem kell, szerver- vagy tűzfalszintű szűrésre is szükség lehet.
Röviden: a GPTBot és az OAI-SearchBot két különböző OpenAI-robot, két különböző céllal. Az egyik a modellek betanításához gyűjt szöveget, a másik ahhoz kell, hogy a ChatGPT keresési válaszaiban megjelenj és hivatkozzanak rád. Ha összekevered a kettőt, könnyen letilthatod magad épp arról a felületről, ahol látszani szeretnél.
Mi a különbség a GPTBot és az OAI-SearchBot között?
A GPTBot az OpenAI tanító-robotja, az OAI-SearchBot pedig a keresési robot: az előbbi a modellek betanításához gyűjt nyilvános szöveget, az utóbbi a ChatGPT keresési funkciójában jeleníti meg és hivatkozza az oldaladat. Két külön user-agent, két külön feladat.
Ez hivatalos információ az OpenAI crawler-dokumentációjából. A gyakorlatban három ügynökkel találkozol a naplókban, és érdemes mindhárom szerepét külön kezelni:
- GPTBot: a betanításhoz gyűjtött adat robotja. A user-agent sztringjében a
GPTBot/1.xazonosító szerepel. Ha ezt tiltod, azzal a jövőbeli tanító-gyűjtésből zárod ki magad. - OAI-SearchBot: a ChatGPT keresési megjelenéshez tartozó robot, a
OAI-SearchBot/1.0azonosítóval. Ez felel azért, hogy a tartalmad forrásként felbukkanhasson a keresési válaszokban. - ChatGPT-User: nem tömeges begyűjtő, hanem akkor lép működésbe, amikor egy felhasználó élőben megnyittat vagy elemeztet egy konkrét URL-t a ChatGPT-vel. Ez felhasználó által indított, eseti kérés.
A lényeg, hogy a betanítás és a keresési megjelenés nem ugyanaz. A tanító-robot letiltása nem szünteti meg a keresési láthatóságot, és fordítva: a keresési robot engedélyezése önmagában nem jelenti azt, hogy a tartalmad bekerül a betanításba.
Miért ne keverd össze a kettőt?
Azért, mert a leggyakoribb hiba pont a felcserélés: valaki „ki akarja védeni az AI-t”, ezért egy sablonból mindent tilt, ami OpenAI-hoz köthető, és így véletlenül az OAI-SearchBotot is kizárja. Ezzel épp a keresési megjelenésről zárja ki magát, miközben az üzleti célja a láthatóság lenne.
Ez saját tapasztalat auditokból: sok robots.txt-ben egyetlen tömbben szerepel az összes AI-hivatkozású user-agent, differenciálás nélkül. A tiltás szándéka jó (nem akarom, hogy a szövegemen tanuljon egy modell), a végeredmény viszont nem az, amit a döntéshozó gondolt. A helyes megközelítés, hogy előbb eldöntöd, mit szeretnél elérni, és csak utána írsz szabályt az adott robotra.
Melyik botot érdemes engedni?
Az OAI-SearchBotot a legtöbb nyilvános, ügyfélszerző szándékú oldalnak érdemes engedni, mert ez a ChatGPT-beli láthatóság csatornája. A GPTBot engedélyezése ezzel szemben tudatos üzleti és adatkezelési döntés, amelyre nincs egyetlen univerzálisan jó válasz.
A döntéshez segít, ha végigmész néhány tipikus helyzeten. Ez szakmai álláspont, nem szabály, a saját üzleti és jogi kockázati étvágyadhoz kell igazítani:
Döntési tábla
- Nyilvános szolgáltatás- vagy tudásoldal, ahol a cél a megtalálhatóság: OAI-SearchBot engedélyezve. GPTBot: engedélyezhető, ha nem zavar, hogy a szövegeden tanulhat egy modell, és cserébe hozzájárulsz a láthatósághoz.
- Erős márka, egyedi, sokat érő tartalom (pl. saját módszertan, mélyelemzések): OAI-SearchBot engedélyezve. GPTBot: megfontolandó tiltás, ha nem szeretnéd, hogy a szellemi terméked betanításhoz kerüljön, de a keresési megjelenést megtartod.
- Érzékeny vagy személyes adatot tartalmazó, mégis publikus felület: mindkettőt szűkebben kezeld, és a valóban érzékeny szekciókat robots-szinten felül is zárd ki. Itt a jogi és adatkezelési szempont erősebb, mint a láthatóság.
- Zárt, belépéshez kötött vagy tranzakciós felület (fiók, kosár, admin): egyik robotnak sincs ott keresnivalója, tiltsd mindkettőt, függetlenül az AI-kérdéstől.
Fontos, hogy az OAI-SearchBot engedélyezése nem garantál megjelenést a ChatGPT-ben. Csak lehetővé teszi, hogy egyáltalán forrásként számításba jöhess; a tényleges idézés sok más tényezőn is múlik.
Hogyan állítod be a robots.txt-t helyesen?
A robots.txt-ben minden robotnak külön blokkot adsz, a saját user-agent nevével, és ott engedsz vagy tiltasz. A leggyakoribb, kiegyensúlyozott beállítás: az OAI-SearchBotot engeded, a GPTBotot pedig üzleti döntés szerint kezeled.
Ha azt szeretnéd, hogy megjelenhess a ChatGPT keresésében, de ne tanuljanak a szövegeden, a szabály így néz ki:
User-agent: OAI-SearchBotAllow: /
User-agent: GPTBotDisallow: /
Ha mindkettőt engeded (láthatóság és betanítás is rendben van neked):
User-agent: GPTBotAllow: /
User-agent: OAI-SearchBotAllow: /
Ha van olyan könyvtár, ahová egyik robot se lásson be (például egy zárt szekció), a tiltást célzottan add meg:
User-agent: GPTBotDisallow: /fiok/Disallow: /admin/
Néhány gyakorlati szabály, hogy ne legyen belőle hiba:
- A user-agent nevét pontosan írd (
OAI-SearchBot, nem „OpenAI-SearchBot” vagy „SearchBot”). Az elgépelt név nem érvényesül. - Az egyes robotoknak külön blokkot adj. Ne egy sorba írd őket vesszővel, mert az nem szabványos.
- A robots.txt a domain gyökerében legyen elérhető (
https://oldalad.hu/robots.txt), és tényleg 200-as státusszal töltődjön be. - A
User-agent: *általános szabály nem írja felül a nevesített blokkot: ha van külön OAI-SearchBot blokk, a robot azt követi.
Mit mérlegelj adatkezelési és üzleti szempontból?
A GPTBot kérdése nem technikai, hanem üzleti és adatkezelési döntés: mit ér neked, ha a tartalmad hozzájárulhat egy modell betanításához, és mit kockáztatsz vele. A mérleg két serpenyőjét érdemes tudatosan feltölteni.
A GPTBot engedélyezése mellett szól, hogy a jövőbeli modellek jobban ismerhetik a márkádat, a fogalmaidat és a szakterületedet, ami közvetve segítheti, hogy témádban relevánsként bukkanj fel. A tiltás mellett szól, ha egyedi, sokat érő szellemi terméket teszel közzé, amelyet nem szeretnél betanításhoz átadni, vagy ha jogi, ügyféladatkezelési okból óvatosnak kell lenned.
Két dolgot érdemes tisztán látni. Az egyik: a robots.txt-beli tiltás hivatalos információ szerint a jövőbeli begyűjtésre vonatkozik, nem törli visszamenőleg azt, ami korábban már bekerült egy modellbe. A másik: a robots.txt önkéntes megfelelésre épül. A jól működő robotok betartják, de ha technikailag is garantálni akarod a kizárást, szerver- vagy tűzfalszinten, user-agent vagy közzétett IP-tartomány alapján is szűrhetsz. Ez már szakmai feltételezés a te kockázati étvágyadról: a legtöbb kis- és középvállalkozásnál a robots.txt elegendő, egy erősen érzékeny tartalomnál viszont indokolt lehet a keményebb réteg is.
Hogyan ellenőrzöd, hogy tényleg jó lett a beállítás?
A beállítást ne hidd el, hanem nézd meg: töltsd le a saját robots.txt-edet, ellenőrizd a naplókban a robotok user-agentjét, és teszteld, hogy a kívánt szabály tényleg érvényesül-e. Egy elgépelt sor csendben elronthatja a döntésedet.
Rövid ellenőrzőlista, amit végig tudsz csinálni pár perc alatt:
- Nyisd meg böngészőben a
https://oldalad.hu/robots.txtcímet, és nézd meg, hogy tényleg ott van-e a friss tartalom, külön blokkal a GPTBotra és az OAI-SearchBotra. - A szerver hozzáférési naplójában (access log) keress rá a robotokra. A GPTBot sora tartalmazza a
GPTBot, a keresési robot azOAI-SearchBotazonosítót. Így látod, ki járt nálad és milyen gyakran. - Parancssorból lekérdezheted, hogyan válaszol az oldalad egy adott robotnak:
curl -A "OAI-SearchBot/1.0" -I https://oldalad.hu/. A státuszkódból és a fejlécekből látod, hogy nem tiltod-e ki véletlenül szerveroldalon. - Ha van AI-referral mérésed, kövesd, jön-e forgalom a ChatGPT irányából. Ez közvetett, de hasznos visszajelzés a láthatóságról.
Ha valamit módosítasz, a robotoknak időre van szükségük, hogy újra beolvassák a robots.txt-et, tehát a hatás nem azonnali. Türelmesen, néhány napos ablakban érdemes visszamérni.
Források és további olvasnivalók
- OpenAI: Bots and crawlers (GPTBot, OAI-SearchBot, ChatGPT-User dokumentáció)
- OpenAI: GPTBot súgó és robots.txt útmutató
- Google Search Central: Robots.txt bevezető és specifikáció
- Robots Exclusion Protocol (RFC 9309)
- Schema.org: strukturált adat dokumentáció
- W3C: webes szabványok és hozzáférhetőségi ajánlások
Gyakori kérdések
Ha tiltom a GPTBotot, eltűnök a ChatGPT-ből?
Nem szükségszerűen. A GPTBot a betanításhoz gyűjt adatot, a ChatGPT keresési megjelenéséért az OAI-SearchBot felel. Ha a GPTBotot tiltod, de az OAI-SearchBotot engeded, a keresési láthatóságod megmaradhat.
A robots.txt tiltás visszamenőleg törli, amit egy modell már megtanult?
Nem. Hivatalos információ szerint a robots.txt-beli tiltás a jövőbeli begyűjtésre vonatkozik. Ami korábban már bekerült egy modell tanításába, azt a tiltás utólag nem távolítja el.
Elég a robots.txt, vagy kell más védelem is?
A legtöbb esetben a robots.txt elegendő, mert a jól működő robotok betartják. Ez azonban önkéntes megfelelés: ha technikailag is garantálni akarod a kizárást, szerver- vagy tűzfalszinten, user-agent vagy közzétett IP-tartomány alapján is szűrhetsz.
Az OAI-SearchBot engedélyezése garantálja, hogy megjelenek a ChatGPT-ben?
Nem garantál megjelenést. Csak lehetővé teszi, hogy a tartalmad egyáltalán forrásként számításba jöhessen. A tényleges idézés sok más tényezőn is múlik, ezért a láthatóság nem ígérhető biztosra.
A GPTBot tiltása árt a Google-találataimnak?
Nem. A GPTBot az OpenAI robotja, a Google saját, külön robottal (Googlebot) dolgozik. A GPTBot tiltása nem befolyásolja a Google-indexelést és a Google keresési helyezéseidet.
Honnan tudom, melyik OpenAI-robot járt nálam?
A szerver hozzáférési naplójából. A user-agent sztring azonosítja: a betanító robot a GPTBot, a keresési robot az OAI-SearchBot, a felhasználó által indított élő lekérés pedig a ChatGPT-User nevet viseli.
Források és további olvasnivalók
Ezen az oldalon a hivatalosan igazolt információt elsődleges forrásokból építjük fel; a saját tapasztalatot és a szakmai becslést mindig külön jelöljük a szövegben.