A Common Crawl egy nonprofit szervezet által fenntartott, bárki számára ingyenesen letölthető webarchívum, amely 2008 óta gyűjti a nyilvános weboldalak tartalmát. Ha a weboldalad szerepel benne, jó eséllyel azokba az adatkészletekbe is bekerült, amelyekből a nagy nyelvi modellek tanulnak. Pár perc alatt ellenőrizheted, mely oldalaid és mely időpontokból vannak bent, és ezt érdemes is megtenned, mielőtt a robots.txt fájlban engednéd vagy tiltanád a gyűjtő robotot.

Mi az a Common Crawl, és mi kerül bele?
A Common Crawl egy 2007-ben alapított amerikai nonprofit szervezet, amely rendszeresen végigjárja a nyilvános webet, és a letöltött oldalakat nyílt adatként közzéteszi. Az archívum petabájtos nagyságrendű, és az Amazon nyílt adatprogramján (Registry of Open Data on AWS) keresztül bárki letöltheti.
Hivatalosan igazolt. A szervezet évente többször ad ki új gyűjtést (crawlt), és egy-egy gyűjtés több milliárd oldalt tartalmaz. A gyűjtéseket CC-MAIN-ÉV-HÉT formájú azonosítóval jelölik, például CC-MAIN-2024-33. Az adatok három fő formátumban érhetők el. A WARC fájlok a nyers HTTP-választ tárolják, a WAT fájlok a metaadatokat és a linkeket, a WET fájlok pedig a kinyert sima szöveget.
A gyűjtést a CCBot nevű robot végzi. A CCBot betartja a robots.txt szabályait, így a weboldal tulajdonosa közvetlenül befolyásolhatja, hogy a jövőbeli gyűjtésekbe bekerüljön-e az oldala.
Egy részletet sok cégtulajdonos nem ismer. A Common Crawl mintavételez, és egy-egy gyűjtés messze nem tartalmazza egy weboldal összes aloldalát. Egy kisebb céges oldalnál előfordulhat, hogy egy adott időszakban csak a főoldal és néhány aloldal került be, egy másikban pedig egészen más oldalak.
Miért tanul ebből az archívumból sok nyelvi modell?
Azért, mert ez a legnagyobb szabadon hozzáférhető, rendszeresen frissülő webes szöveggyűjtemény. Aki nagy nyelvi modellt tanít, annak hatalmas mennyiségű és változatos szövegre van szüksége, és a Common Crawl ezt saját robotflotta nélkül is elérhetővé teszi.
Hivatalosan igazolt. Az OpenAI GPT-3-ról szóló tudományos cikke (Language Models are Few-Shot Learners, 2020) leírja, hogy a tanítóadat legnagyobb súlyú része egy szűrt Common Crawl-változatból származott. A Google kutatói által a T5 modellhez készített C4 adatkészlet szintén Common Crawl-alapú, ahogy a Hugging Face FineWeb adatkészlete és az EleutherAI The Pile gyűjteményének egyik része is.
A modellek a nyers archívumot ritkán kapják meg változatlanul. A fejlesztők nyelv, minőség és ismétlődés szerint szűrik a tartalmat, és kiveszik a nem kívánt részeket, így a te oldalad szövege akkor is kieshet, ha a Common Crawlban szerepel. Az sem nyilvános, hogy a mai zárt modellek pontosan mely gyűjtéseket és milyen arányban használták.
Szakmai feltételezés. A magyar nyelvű web aránya a teljes archívumban kicsi, ezért egy jól megírt, egyedi magyar szakmai szöveg a magyar nyelvű tanítóanyagon belül arányaiban nagyobb nyomot hagyhat, mint egy hasonló angol szöveg a saját nyelvén. Ezt egyik fejlesztő sem erősítette meg, és a modellek belső súlyozása nem nyilvános.
Miben különbözik a CCBot a keresőként működő AI-crawlerektől?
A CCBot archivál, a keresőként működő AI-crawlerek pedig élő válaszhoz gyűjtenek. A CCBot által letöltött tartalom hónapokkal később, egy tanítóadat-készlet részeként juthat el egy modellhez, míg egy válaszmotor robotja azért keresi fel az oldalad, hogy egy friss kérdésre forrásként hivatkozhasson rád.
- CCBot (Common Crawl). Nyílt archívumot épít, amelyből több szereplő is tanítóadatot készít. Közvetlen forrás-hivatkozást és látogatót nem hoz.
- GPTBot (OpenAI). Az OpenAI dokumentációja szerint a modellek tanításához gyűjt, a tiltása a jövőbeli OpenAI-tanításra hat.
- OAI-SearchBot (OpenAI). A ChatGPT keresési funkciójához indexel, ettől függhet, hogy forrásként megjelensz-e a válaszokban.
- ChatGPT-User (OpenAI). Akkor kéri le az oldalt, amikor egy felhasználó kérdése miatt a ChatGPT közvetlenül megnyitja.
- PerplexityBot (Perplexity). A Perplexity keresőjének indexéhez gyűjt.
- Google-Extended (Google). Külön robot nincs mögötte, ez egy robots.txt-token. A Google leírása szerint ezzel szabályozhatod, hogy a Googlebot által gyűjtött tartalom felhasználható-e a Gemini modellek tanításához és a válaszok megalapozásához. A Google Keresőben való megjelenésedre nincs hatással.
A gyakorlati következmény egyszerű. Ha a CCBotot tiltod, attól még megjelenhetsz egy AI-kereső válaszában, mert azt más robotok szabályozzák. Fordítva is igaz, a keresőrobotok engedése után sem biztos, hogy a Common Crawlba is bekerülsz.
Hogyan ellenőrizd lépésről lépésre, hogy bent van-e a weboldalad?
A Common Crawl nyilvános index-lekérdező felületén gyűjtésenként megnézheted, hogy a domainedről mely URL-ek, mikor és milyen állapotkóddal kerültek be. Programozói tudás nem kell hozzá, egy böngésző elég.
- Nyisd meg az index-felületet. Írd be a böngészőbe az
index.commoncrawl.orgcímet. A nyitóoldalon táblázatban látod az elérhető gyűjtéseket, mindegyik mellett egy lekérdező mezővel. - Válassz egy gyűjtést. Kezdd a legutóbbival, majd nézz meg egy-két évvel korábbit is, mert a bekerülés időszakonként változik.
- Add meg a domainedet helyettesítő karakterrel. A mezőbe a
pelda.hu/*alakot írd, így a domain összes abban a gyűjtésben tárolt URL-jét visszakapod. Ha az aldomaineket is látni szeretnéd, próbáld a*.pelda.hualakot. - Futtasd a keresést. Minden visszakapott sor egy archivált letöltést jelent. Ha üres a válasz, abban a gyűjtésben a domainedről nincs oldal.
- Ismételd meg több gyűjtésre. Egy egyszerű táblázatban jegyezd fel, melyik gyűjtésben hány URL szerepelt, és melyek a fontos oldalaid közül. Így látod a trendet és a hiányokat.
Ha közvetlenül a lekérdező API-t használnád
A felület mögött egy CDX-szerver fut, amelyet URL-paraméterekkel is lekérdezhetsz. Ez akkor hasznos, ha több gyűjtést néznél végig gyorsan, vagy táblázatba mentenéd az eredményt. Egy példa-lekérdezés JSON-kimenettel így néz ki.
https://index.commoncrawl.org/CC-MAIN-2024-33-index?url=pelda.hu/*&output=json&limit=50
A legfontosabb paraméterek a következők.
urla keresett cím, a végén a/*jellel a teljes útvonal alatt keres.matchType=domainaz aldomaineket is bevonja a keresésbe.output=jsonsoronként egy JSON-objektumot ad vissza.limitkorlátozza a visszakapott sorok számát.filter=status:200csak a sikeresen letöltött oldalakat mutatja.showNumPages=truemegmondja, hány oldalnyi találat van, ami nagyobb webhelyeknél segít.
Az összes gyűjtés listáját gépileg a https://index.commoncrawl.org/collinfo.json címen éred el, ebből egy rövid szkripttel végig tudsz menni minden időszakon. Erre a nyílt forráskódú cdx_toolkit Python-csomag is használható. Kíméletesen kérdezz, mert a szerver terhelés esetén lassít vagy hibát ad vissza, ezért sok lekérdezésnél tarts szünetet közöttük.
Mit látsz a saját szervernaplódban?
Az archívum a múltat mutatja, a szervernapló a jelent. Ha hozzáférsz a tárhely naplóihoz, a grep -i "ccbot" access.log paranccsal megnézheted, mikor és mely oldalakat kérte le a CCBot az utóbbi időben. A user-agent nevet bárki hamisíthatja, ezért egy gyanús, nagy forgalmú „CCBot” mögött a kérő IP-cím eredetét is érdemes ellenőrizni.
Mit árulnak el a találatok, és hogyan értelmezd őket?
Egy találati sorból azt érdemes kiolvasni, hogy mikor, mit és milyen állapotban archivált a CCBot. A JSON-sor lényeges mezői ezek.
timestampa letöltés ideje ÉÉÉÉHHNNÓÓPPMM formában, UTC szerint. A20240812093015például 2024. augusztus 12-ét jelenti.urla pontos archivált cím, paraméterekkel együtt.statusa HTTP-állapotkód. A 200 sikeres letöltést jelent, a 301 és a 302 átirányítást, a 404 nem létező oldalt.mimea tartalom típusa, példáultext/htmlvagyapplication/pdf.languagesa felismert nyelv kódja, magyar oldalnál jó esetbenhun.filename,offsetéslengthmegmutatja, melyik WARC-fájlban és annak melyik részén van a nyers tartalom.
Saját tapasztalat. Kis- és középvállalkozói oldalak lekérdezésénél gyakran meglepő, mi van bent. Sokszor régi, azóta törölt aloldalak, elavult szolgáltatásleírások, letölthető PDF-ek, néha fejlesztés közben nyilvánosan hagyott tesztoldalak is felbukkannak. Közben a legfontosabb, frissen írt szakmai tartalom egyetlen gyűjtésben sem szerepel, mert még nem járt arra a robot.
A WARC-fájl neve, az offset és a length adat alapján a pontos letöltött tartalmat is megnézheted, ha a data.commoncrawl.org címről byte-tartomány szerinti kéréssel lekéred. Ez már fejlesztői feladat, viszont így pontosan azt a szöveget látod, amely egy tanítóadat-készletbe kerülhetett.
Mikor érdemes engedni a CCBotot, és mikor tiltani?
Akkor érdemes engedni, ha azt szeretnéd, hogy a márkád, a szolgáltatásaid és a szakmai tudásod a jövőbeli nyelvi modellek alapismereteibe is bekerüljön. Akkor érdemes tiltani, ha a tartalmad maga a termék, vagy jogi, üzleti ok miatt nem szeretnéd, hogy szabadon újrahasznosítható adatkészletben szerepeljen.
Mi szól az engedés mellett?
- A modell akkor is ismerhet téged és a szakterületedet, ha a válaszhoz nem keres élőben a weben.
- Egy kis nyelvi piacon, kevés magyar forrás mellett a saját szakmai szövegeid jó eséllyel láthatóbb nyomot hagynak (szakmai feltételezés).
- Szolgáltató cégnél, helyi vállalkozásnál vagy tanácsadónál a tartalom célja eleve a láthatóság.
Mi szól a tiltás mellett?
- Fizetős tartalmat, saját kutatási adatot vagy oktatóanyagot árulsz, és ennek értéke a kizárólagosságban van.
- Szerződés, partneri megállapodás vagy adatvédelmi szempont miatt bizonyos tartalom nem kerülhet nyílt adatkészletbe.
- Gyenge tárhelyen minden extra robotforgalom számít, bár a CCBot általában mérsékelt tempóban gyűjt.
Szakmai feltételezés. A legtöbb magyar KKV-nál a CCBot engedése a kedvezőbb alapbeállítás, mert a láthatóság többet ér annál, amit a tiltás megvédene. Ez ökölszabály, a konkrét döntés az üzleti modelleden múlik.
Létezik köztes megoldás is. A robots.txt-ben útvonalanként szabályozhatsz, így a nyilvános szolgáltatásoldalakat engedheted, a fizetős vagy belső részeket pedig tilthatod.
Hogyan tiltod vagy korlátozod a CCBotot a robots.txt-ben?
A CCBot a CCBot user-agent névre figyel, ezért egy külön szabálycsoporttal kezelheted. A teljes tiltás két sorból áll.
User-agent: CCBotDisallow: /
Részleges tiltásnál csak a védendő útvonalakat zárod ki, például a tananyagokat és a letölthető dokumentumokat.
User-agent: CCBotDisallow: /tananyag/Disallow: /letoltesek/
Hivatalosan igazolt. A Common Crawl leírása szerint a CCBot betartja a robots.txt szabályait, és a Crawl-delay utasítást is figyelembe veszi, ha a gyakoriságot szeretnéd lassítani.
Két gyakori hibát érdemes elkerülni. Az egyik, hogy a noindex meta címkét a robots.txt helyett használod, pedig az a keresőtalálatokra vonatkozik, a CCBot kizárására pedig a robots.txt a dokumentált eszköz. A másik, hogy egy WordPress-bővítmény vagy biztonsági modul felülírja a kézzel írt fájlt. Módosítás után nyisd meg böngészőben a pelda.hu/robots.txt címet, és nézd meg, hogy a szabály tényleg ott van.
Mi történik a már archivált tartalommal egy tiltás után?
A tiltás csak a jövőbeli gyűjtésekre hat. A korábbi gyűjtésekben már szereplő oldalaid a nyilvános archívumban maradnak, és azokban az adatkészletekben és modellekben is, amelyek már elkészültek belőlük.
Hivatalosan igazolt. A robots.txt az IETF RFC 9309 szabványa szerint a robotoknak szóló hozzáférési utasítás, amely a letöltés pillanatában érvényes, visszamenőleges hatása nincs. A Common Crawl gyűjtései rögzített, verziózott adatkészletek, amelyeket a megjelenésük után bárki letölthetett és továbbfeldolgozhatott.
Szakmai feltételezés. Ha a Common Crawl egy külön kérésre el is távolítana valamit a saját tárából, a belőle korábban készült másolatokra (C4, FineWeb és a fejlesztők zárt adatkészletei) ennek nincs hatása. Egy már betanított modellből egy konkrét oldal tudását utólag kivenni a jelenlegi gyakorlat szerint nem reális elvárás.
Ebből következik a saját nézőpontunk. A tiltás a jövőbeli modellekre hathat, a meglévő tudásra nem, ezért döntés előtt érdemes megnézni, mi van már bent. Ha a régi gyűjtésekben elavult szolgáltatás, régi cím vagy téves leírás szerepel, a tiltás ezt nem javítja ki.
Szakmai feltételezés. Egy tiltás után az utolsó archivált állapot marad a legfrissebb, ami a te oldaladról a nyílt webes adatokban elérhető, vagyis a régi kép rögzülhet. Ha a CCBot engedélyezve marad, a következő gyűjtésekbe a frissített, pontos tartalom kerül, és az újabb tanítóadatokban jó eséllyel ez jelenik meg a régi mellett. Hogy egy adott modell melyik változatot „hiszi el”, azt senki nem tudja garantálni.
Milyen ellenőrzőlistával döntsd el, mit teszel?
- Kérdezd le a domainedre az utolsó három-négy gyűjtést és legalább egy két évvel korábbit.
- Írd össze, mely URL-ek szerepelnek, és melyik tartalom elavult vagy téves.
- Nézd meg az élő robots.txt-t, és azt, hogy a CCBot most engedélyezett-e.
- Döntsd el, van-e olyan tartalmad, amelynek az értéke a kizárólagosságban van.
- Ha nincs, hagyd engedélyezve a CCBotot, frissítsd az elavult oldalakat, a megszűnteket pedig irányítsd át a pontos tartalomra.
- Ha van, csak azt az útvonalat tiltsd, és ellenőrizd böngészőben az élő fájlt.
- A keresőként működő AI-robotokról (OAI-SearchBot, PerplexityBot) külön dönts, mert azok a forrás-hivatkozásokra hatnak.
- Fél év múlva ismételd meg a lekérdezést, és nézd meg, bekerültek-e a frissített oldalak.
Források és további olvasnivalók
- Common Crawl hivatalos weboldala, GYIK és a CCBot leírása
- Common Crawl Index Server (index.commoncrawl.org) dokumentációja
- Registry of Open Data on AWS, Common Crawl adatlap
- IETF RFC 9309, Robots Exclusion Protocol
- OpenAI dokumentáció az OpenAI robotjairól (GPTBot, OAI-SearchBot, ChatGPT-User)
- Google Search Central, a Google robotjai és a Google-Extended token
- Brown és mtsai. (2020), Language Models are Few-Shot Learners
- Raffel és mtsai. (2020), Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (C4)
- Hugging Face, FineWeb adatkészlet dokumentációja
- A Common Crawl nyilvános webarchívum, amelyre több ismert tanítóadat-készlet épül (például a C4 és a FineWeb).
- A CCBot archivál a későbbi felhasználáshoz, az AI-keresők robotjai (OAI-SearchBot, PerplexityBot) élő válaszokhoz gyűjtenek, ezért külön kell róluk dönteni.
- Az index.commoncrawl.org felületén a pelda.hu/* lekérdezéssel gyűjtésenként látod a bekerült URL-eket, időpontokat és állapotkódokat.
- A robots.txt-tiltás csak a jövőbeli gyűjtésekre hat, a régi archívumokból és a belőlük készült modellekből nem veszi ki a tartalmat.
- A legtöbb szolgáltató cégnél az engedés és az elavult oldalak frissítése a kedvezőbb út, a tiltás inkább a kizárólagos értékű tartalomnál indokolt.
Gyakori kérdések
Honnan tudom, hogy a weboldalam benne van-e a Common Crawlban?
Nyisd meg az index.commoncrawl.org oldalt, válassz egy gyűjtést, és a lekérdező mezőbe írd be a pelda.hu/* alakot a saját domaineddel. Minden visszakapott sor egy archivált oldalt jelent időbélyeggel és állapotkóddal. Több gyűjtést is nézz meg, mert a bekerülés időszakonként változik.
Ha letiltom a CCBotot, eltűnik a tartalmam az AI-modellekből?
Nem tűnik el. A tiltás csak a jövőbeli gyűjtésekre hat, a korábbi archívumok és a belőlük már elkészült adatkészletek, modellek változatlanok maradnak.
A CCBot tiltása rontja a Google-helyezésemet?
A CCBot a Common Crawl robotja, a Google Kereső nem tőle kapja az adatait, ezért a tiltásnak a Google-helyezésre közvetlen hatása nincs. A Google a saját robotjaival dolgozik.
Mi a különbség a CCBot és a GPTBot között?
A CCBot egy nyílt archívumot épít, amelyből több fejlesztő is készít tanítóadatot. A GPTBot az OpenAI saját robotja, amely az OpenAI modelljeinek tanításához gyűjt. Mindkettőt külön user-agent névvel szabályozhatod a robots.txt-ben.
Részlegesen is tilthatom a CCBotot?
Igen. A robots.txt-ben a User-agent: CCBot csoportba csak a védendő útvonalakat írod Disallow sorral, például a fizetős tananyagot, a többi oldal pedig továbbra is gyűjthető marad.
Források és további olvasnivalók
Ezen az oldalon a hivatalosan igazolt információt elsődleges forrásokból építjük fel; a saját tapasztalatot és a szakmai becslést mindig külön jelöljük a szövegben.