- Az AI-válasz csak tünet, a valódi hiba a hitelesítés nélkül elérhető URL, ezért a lezárás az első lépés.
- Site-keresés, szervernapló és AI-tesztkérdések együtt mutatják meg, honnan és melyik robot vitte el a tartalmat.
- A robots.txt tiltás nem távolít el semmit az indexből, a végleges megoldás a 404/410, a jelszó vagy a noindex.
- A Search Console Eltávolítások eszköze kb. hat hónapra rejti el az URL-t, a Bing eltávolító eszközét se hagyd ki.
- Ami egy betanított modell tanítóadatába került, azt utólag nem lehet kitöröltetni, ezért a kiszivárgott jelszót, kulcsot azonnal cseréld le.
Szól egy ügyfél vagy egy kolléga, hogy a ChatGPT, a Perplexity vagy a Google AI-áttekintése olyan részleteket idéz a cégedről, amelyeket csak belső anyagban írtatok le. Lehet ez egy árajánlat-sablon kedvezménysávja, egy belső folyamatleírás vagy egy félkész fejlesztői oldal szövege. Ilyenkor két kérdés számít igazán. Honnan került ki a tartalom, és melyik része hozható még vissza?

A cikkben három jelölést használunk. Hivatalosan igazolt, ha a szolgáltató dokumentációja kimondja. Saját tapasztalat, ha weboldalak üzemeltetése közben rendszeresen ezt látjuk. Szakmai feltételezés, ha logikus következtetés, de nincs rá hivatalos megerősítés.
Mi számít kiszivárgott belső dokumentumnak az AI-válasz szempontjából?
Kiszivárgott dokumentum minden olyan fájl vagy oldal, amelyet nem nyilvánosnak szántatok, mégis hitelesítés nélkül elérhető egy URL-en, és egy keresőrobot vagy AI-crawler már letöltötte. Az AI-válasz csak a tünet, a valódi hiba a nyitva hagyott URL.
Két úton juthat el ilyen tartalom egy válaszba, és a kettő kezelése teljesen eltér.
- Valós idejű keresés (retrieval). A ChatGPT keresése, a Perplexity, a Microsoft Copilot és a Google AI-áttekintések a válasz pillanatában keresőindexből vagy friss letöltésből dolgoznak. Ha a forrás eltűnik az indexből, a válaszból is jó eséllyel kikopik.
- Tanítóadat. Ha a tartalom egy modell tanítóadatába került, a modell súlyaiban nyoma maradhat. Ezt utólag nem tudod kitöröltetni, erről lent külön szakasz szól.
Saját tapasztalat. A leggyakoribb forrás a WordPress wp-content/uploads mappájába feltöltött PDF, amelyre egyszer valaki egy e-mailben vagy egy régi aloldalon hivatkozott. A második az elfelejtett staging aldomain (például teszt. vagy dev. előtaggal), a harmadik a bekapcsolva hagyott könyvtárlistázás.
Hogyan deríted fel, honnan került ki a tartalom?
A felderítés három forrásból áll össze. Keresőoperátorokkal megnézed, mi van indexelve, a szervernaplóból kiolvasod, ki töltötte le a fájlt, AI-tesztkérdésekkel pedig azt, melyik szolgáltató mit idéz és milyen forrásra hivatkozik. Ha már tudod, melyik URL a hibás, előbb zárd le, és csak utána nyomozz.
Site-keresés a Google-ben és a Bingben
Futtasd le mindkét keresőben az alábbi lekérdezéseket a saját domainedre cserélve.
site:pelda.hu filetype:pdfminden indexelt PDF-et listáz.site:pelda.hu inurl:uploadsa feltöltési mappa indexelt elemeit mutatja.site:pelda.hu -inurl:wwwaz aldomaineket hozza elő, köztük a staging oldalakat.site:pelda.hu "belső használatra", illetve ugyanez a"bizalmas"vagy"árajánlat"szóval a dokumentumokra jellemző kifejezéseket keresi.
Egészítsd ki ezt a Search Console Oldalak jelentésével, ahonnan az indexelt URL-ek listája exportálható. A Bing Webmaster Tools hasonló listát ad, és ez azért számít, mert több AI-asszisztens is támaszkodik a Bing indexére. A pontos arányokat nem részletezik, ezért ez szakmai feltételezés.
Naplóelemzés
A szerver hozzáférési naplója (access log) megmutatja, mikor és milyen robot kérte le a fájlt. Egy egyszerű keresés a fájlnévre és a fontosabb robotnevekre sokat elárul.
grep "ajanlat-sablon.pdf" /var/log/nginx/access.log* | grep -Ei "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|CCBot"
A találatokból az első lekérés dátumát, a hivatkozót (referer) és a robot típusát olvasd ki. Hivatalosan igazolt, hogy az OpenAI külön robotot használ a modelltanításhoz (GPTBot), a keresési indexhez (OAI-SearchBot) és a felhasználó által kért letöltéshez (ChatGPT-User), az Anthropic és a Perplexity pedig hasonló felosztást dokumentál. Ha GPTBot vagy CCBot (a Common Crawl robotja) is járt a fájlon, számolj azzal, hogy tanítóadatba is bekerülhetett.
A user-agent hamisítható, ezért a Googlebotot fordított DNS-lekérdezéssel, az OpenAI robotjait a közzétett IP-tartományokkal ellenőrizd.
AI-tesztkérdések
Kérdezd meg a fontosabb szolgáltatókat (ChatGPT kereséssel és anélkül, Perplexity, Gemini, Copilot, Claude) ugyanazzal a kérdéssorral, és mentsd el a válaszokat dátummal, képernyőképpel.
- „Milyen kedvezményeket ad a [cégnév] nagyobb megrendelésekre?”
- „Mit tartalmaz a [cégnév] árajánlat-sablonja?”
- „Idézd szó szerint, mit ír a [cégnév] a [belső folyamat neve] kapcsán, és add meg a forrást.”
Ha a válasz forrásként a te URL-edet linkeli, retrieval-ügyről van szó, ami jó eséllyel orvosolható. Ha keresés nélkül, forrásmegjelölés nélkül is visszajön a tartalom, az tanítóadatra utalhat. Ez szakmai feltételezés, mert a modellek forrás nélkül is kitalálhatnak hihető részleteket, ezért a szó szerinti egyezést figyeld.
Mit kell azonnal tenned a hozzáférés lezárásához?
Az első óra feladata, hogy a fájl ne legyen többé letölthető hitelesítés nélkül. Az eltávolítási kérelmek csak ezután érnek bármit.
- Mentsd el a bizonyítékot. A fájlt, az URL-t, a naplórészletet és az AI-válaszok képernyőképeit tedd egy belső mappába, mielőtt bármit törölsz.
- Zárd le az URL-t. Töröld a fájlt, vagy tedd jelszó mögé. Ha a tartalomra nincs szükség, a 404 vagy 410 válaszkód a legtisztább megoldás. A staging oldalt HTTP Basic hitelesítéssel vagy IP-korlátozással zárd le.
- Kapcsold ki a könyvtárlistázást, különben a mappa többi fájlja is egyben látszik.
- Keresd meg a hivatkozásokat. Nézd át a belső linkeket, a sitemap.xml-t, a régi hírleveleket és a PDF-ekbe ágyazott linkeket.
- Cseréld le, ami érzékeny. Ha a dokumentumban belépési adat, API-kulcs vagy belső rendszer címe szerepelt, azonnal érvénytelenítsd.
- Gondold végig az adatvédelmi oldalt. Ha a fájlban személyes adat volt, az a GDPR szerinti adatvédelmi incidens lehet. A GDPR 33. cikke szerint ilyenkor 72 órán belül értesíteni kell a felügyeleti hatóságot (Magyarországon a NAIH-ot), kivéve, ha az incidens valószínűleg nem jár kockázattal az érintettekre. Ez hivatalosan igazolt szabály, a döntésbe vond be az adatvédelmi tisztviselőt vagy jogászt.
Hivatalosan igazolt az is, hogy a robots.txt tiltás nem távolít el semmit az indexből. Ha a már indexelt URL-t robots.txt-ben tiltod, a Googlebot nem látja a noindex utasítást, és az URL leírás nélkül a találatok között maradhat. Lezárásra ezért ne a robots.txt-t használd.
Hogyan kérheted az eltávolítást a Google-ben és a Bingben?
A Google Search Console Eltávolítások eszköze nagyjából hat hónapra elrejti az URL-t a találatok közül. A végleges eltűnéshez az kell, hogy az oldal 404 vagy 410 kódot adjon, jelszó mögött legyen, vagy noindex utasítást kapjon.
- Google Search Console, Eltávolítások. Ideiglenes eltávolítás kérhető egy URL-re vagy egy URL-előtagra, például a teljes
/belso/mappára. Hivatalosan igazolt, hogy ez kb. hat hónapig érvényes, és ennyi idő alatt a Google-nek látnia kell a végleges megoldást. Mivel az AI-áttekintések a Google keresőindexére épülnek, az onnan eltűnő URL jó eséllyel forrásként sem jelenik meg többé. - Elavult tartalom eltávolítása. Ha a dokumentumot egy másik oldal is közzétette, ott már nem elérhető, de a Google még mutatja, ezzel a nyilvános eszközzel kérheted a frissítést.
- Bing Webmaster Tools. A saját oldaladon az URL-ek blokkolása funkcióval, idegen oldal esetén a Bing nyilvános tartalomeltávolító eszközével kérhetsz eltávolítást.
- Webarchívumok. Az Internet Archive Wayback Machine-je is őrizhet másolatot. Az archívum fogad kizárási kérelmeket a tartalom tulajdonosától.
Saját tapasztalat. Az ideiglenes eltávolítás jellemzően gyorsan, akár egy napon belül érvényesül, a végleges kiesés az indexből viszont az újrafeltérképezés ütemétől függően napokig vagy hetekig is eltarthat.
Mit tehetsz közvetlenül az AI-szolgáltatóknál?
A keresésre épülő AI-válaszokat a forrás lezárása és a keresőindexből való eltávolítás kezeli a leghatékonyabban. A szolgáltatóknál közvetlenül főként személyes adatra vonatkozó kérelmet tudsz beadni, céges dokumentum törlésére általános felület jellemzően nincs.
- OpenAI. Az adatvédelmi kérelmek portálján személyes adatra vonatkozó kérelmet adhatsz be. A robotok jövőbeli viselkedését a robots.txt-ben szabályozhatod a GPTBot és az OAI-SearchBot tokenekkel.
- Google (Gemini, AI-áttekintések). A Google-Extended token a Gemini-modellek tanítására és egyes Gemini-funkciókra vonatkozik, a Google Keresőre és az AI-áttekintésekre nem. Az AI-áttekintésekből a keresőoldali eszközök (noindex, nosnippet, Eltávolítások) visznek ki. Ez hivatalosan igazolt.
- Anthropic, Perplexity, Microsoft. Mindegyik dokumentálja a robotjait és azt, hogyan követik a robots.txt-t, személyes adatra pedig adatvédelmi csatornán fogadnak kérelmet.
Saját tapasztalat. A kérelemben sokat számít a pontos URL, az első letöltés dátuma a naplóból és a kifogásolt válasz képernyőképe. Az általános „töröljétek, amit rólunk tudtok” típusú kérés ritkán vezet eredményre.
Mi az, ami a modelltudásból utólag nem vonható vissza?
Ha egy dokumentum egy már betanított modell tanítóadatába került, azt a modell súlyaiból utólag nem lehet célzottan kitörölni. Amit befolyásolni tudsz, az a jövőbeli adatgyűjtés és a keresésre épülő válaszok.
- Hivatalosan igazolt. A robots.txt tiltás és a Google-Extended csak a jövőbeli gyűjtésre vonatkozik, a már összegyűjtött adatra nem.
- Szakmai feltételezés. Egy egyszer látott, kis forgalmú PDF tartalmát a modell ritkán tudja szó szerint visszaadni, de egyedi számokat, neveket, jellegzetes kifejezéseket felidézhet. A kockázat nő, ha más oldalak is átvették.
- Szakmai feltételezés. A szolgáltatók alkalmazhatnak kimeneti szűrést személyes adatra, ez viszont nem azonos a törléssel, és üzleti adatra nem számíthatsz vele.
- Ami a Common Crawl nyilvános archívumába bekerült, azt harmadik felek is letölthették, ezt a láncot nem tudod visszakövetni.
Ebből egyszerű gyakorlati következtetés adódik. Ha a dokumentumban jelszó, kulcs vagy belső rendszercím volt, kezeld úgy, mint ami végleg kint van, és cseréld le. Ha üzleti adat (kedvezménysáv, árazási logika, beszállítói feltétel) került ki, gondold át, érdemes-e magán a gyakorlaton változtatni, mert az információt visszaszerezni nem tudod.
Milyen megelőző beállítások kellenek, hogy ez ne ismétlődjön meg?
A valóban bizalmas anyagot hitelesítéssel kell védeni, nem elrejtéssel. A noindex és az X-Robots-Tag a nyilvánosan elérhető, de keresőbe nem való oldalakra jó, a belső dokumentum jelszó vagy jogosultság mögé való.
Jelszó és mappajogok
Staging és fejlesztői környezetre HTTP Basic hitelesítést vagy IP-korlátozást tegyél, ne csak a WordPress „keresőmotorok tiltása” jelölőnégyzetét pipáld be. Apache alatt a .htaccess fájlban a könyvtárlistázás kikapcsolása egyetlen sor.
Options -Indexes
A belső dokumentumokat ne a weboldal médiatárába töltsd fel, hanem jogosultságkezelt tárhelyre (céges felhő, intranet). Ott a megosztás legyen név szerinti, ne „bárki, akinél a link van” típusú.
noindex és X-Robots-Tag
HTML-oldalon elég a <meta name="robots" content="noindex"> címke. PDF-nél és más nem HTML fájlnál nincs hova tenni meta címkét, ott a HTTP-fejlécben küldött X-Robots-Tag a megoldás, ezt a Google dokumentációja hivatalosan is így írja le. Apache alatt ez így néz ki.
<FilesMatch "\.(pdf|docx?|xlsx?)$"> Header set X-Robots-Tag "noindex, nofollow" </FilesMatch>
Nginx alatt a megfelelő location blokkba kerül.
location ~* \.(pdf|docx?|xlsx?)$ { add_header X-Robots-Tag "noindex, nofollow"; }
A beállítást a curl -I https://pelda.hu/fajl.pdf paranccsal ellenőrizd, a válaszfejlécek között meg kell jelennie az X-Robots-Tag sornak. A noindex csak akkor hat, ha a robot letöltheti a fájlt, ezért ugyanarra az útvonalra ne tegyél robots.txt tiltást.
robots.txt az AI-robotokra
Ha üzleti döntésként nem szeretnéd, hogy a tartalmaidat AI-tanításra gyűjtsék, a robots.txt-ben külön tilthatod a tanító robotokat, a keresési robotokat pedig engedheted, hogy az AI-keresésekben továbbra is megjelenhess. A User-agent: GPTBot sor alá írt Disallow: / a GPTBotot zárja ki, a User-agent: Google-Extended és Disallow: / páros a Gemini-tanítást.
Saját tapasztalat. A robots.txt nyilvános fájl, bárki elolvashatja. Ha titkos mappaneveket sorolsz fel benne, éppen azt hirdeted meg, amit rejtenél. Belső útvonalat ezért jelszóval védj, ne robots.txt-sorral.
Folyamatos figyelés
Havonta futtasd le a fenti site-kereséseket, és állíts be naplóriasztást arra az esetre, ha egy robot belső mappa útvonalát kéri le. A Search Console-ban figyeld az indexelt oldalak számának hirtelen növekedését.
Milyen ellenőrzőlistával érdemes végigmenni egy ilyen eseten?
Az alábbi lista sorrendben követi a teendőket, és egy incidens végén pipálható végig.
- Bizonyíték mentve (fájl, URL, naplórészlet, AI-képernyőképek dátummal).
- Az URL 404, 410 vagy 401 kódot ad, a könyvtárlistázás ki van kapcsolva.
- Belső linkek, sitemap, régi hírlevelek átnézve, a hivatkozások törölve.
- Érintett jelszavak, API-kulcsok lecserélve.
- Adatvédelmi értékelés elkészült, szükség esetén a NAIH-bejelentés is megtörtént.
- Google Eltávolítások és Bing-eltávolítás beadva.
- Személyes adat esetén kérelem beadva az érintett AI-szolgáltatóknál.
- Az AI-tesztkérdések két-négy hét múlva újrafuttatva és összevetve az első körrel.
- X-Robots-Tag, jelszó és mappajogok beállítva,
curl -Iparanccsal ellenőrizve.
A fenti lépések jó eséllyel kiveszik a dokumentumot a keresésre épülő AI-válaszokból, a már betanított modellek tudására viszont nincs ráhatásod. Ezért a megelőzés többet ér bármelyik utólagos kérelemnél.
Források és további olvasnivalók
- Google Search Central: Tartalom eltávolítása a Google keresési eredményeiből (Eltávolítások eszköz)
- Google Search Central: Robots meta címke, data-nosnippet és X-Robots-Tag specifikáció
- Google Search Central: Bevezetés a robots.txt fájlokba, valamint a Google robotjainak listája (Google-Extended)
- Google Search Central: A Googlebot ellenőrzése
- Bing Webmaster Tools súgó: URL-ek blokkolása és tartalomeltávolítás
- OpenAI dokumentáció: Overview of OpenAI Crawlers; OpenAI Privacy Portal
- Anthropic súgóközpont: az Anthropic robotjai és a robots.txt
- Perplexity dokumentáció: Perplexity Crawlers
- IETF RFC 9309: Robots Exclusion Protocol
- Az Európai Parlament és a Tanács (EU) 2016/679 rendelete (GDPR), 33. cikk; Nemzeti Adatvédelmi és Információszabadság Hatóság (NAIH) tájékoztatói
Gyakori kérdések
Ha törlöm a PDF-et, eltűnik az AI-válaszokból is?
A keresésre épülő válaszokból (ChatGPT keresés, Perplexity, Google AI-áttekintések) jó eséllyel igen, miután a keresőindexből is kiesett. A már betanított modellek tudásából viszont nem tűnik el, arra a törlésnek nincs hatása.
Elég, ha robots.txt-ben letiltom a fájl útvonalát?
Nem. A Google hivatalos dokumentációja szerint a robots.txt nem távolít el semmit az indexből, sőt megakadályozza, hogy a robot lássa a noindex utasítást. Lezárásra jelszót, 404/410 kódot vagy X-Robots-Tag fejlécet használj.
Mennyi ideig érvényes a Search Console ideiglenes eltávolítása?
Nagyjából hat hónapig. Ezalatt a Google-nek látnia kell a végleges megoldást, vagyis hogy az URL 404 vagy 410 kódot ad, jelszó mögött van, vagy noindex utasítást kap.
Kérhetem az OpenAI-tól, hogy töröljön egy céges dokumentumot a modellből?
Céges dokumentum törlésére általános felület jellemzően nincs. Személyes adatra vonatkozó kérelmet az OpenAI adatvédelmi portálján adhatsz be, a betanított modell súlyaiból azonban célzott törlésre nem számíthatsz.
Hogyan tilthatom le PDF-ek indexelését, ha nem tudok bele meta címkét tenni?
Az X-Robots-Tag HTTP-fejléccel. Apache alatt FilesMatch blokkban, Nginx alatt location blokkban állítható be, és a curl -I paranccsal ellenőrizheted, hogy a fejléc valóban megjelenik.
Kell-e a NAIH-ot értesíteni, ha kiszivárgott egy belső dokumentum?
Ha személyes adatot tartalmazott, az a GDPR szerinti adatvédelmi incidens lehet, ilyenkor főszabályként 72 órán belül értesíteni kell a NAIH-ot, kivéve ha az incidens valószínűleg nem jár kockázattal. A döntéshez kérd ki adatvédelmi szakember véleményét.
Források és további olvasnivalók
Ezen az oldalon a hivatalosan igazolt információt elsődleges forrásokból építjük fel; a saját tapasztalatot és a szakmai becslést mindig külön jelöljük a szövegben.