Crawler

Common Crawl archívum: benne van-e a weboldalad, és mit jelent ez az AI-modelleknek

Common Crawl és CCBot: így ellenőrzöd az index-felületen, bent van-e a weboldalad, és mikor érdemes engedni vagy tiltani az AI-modellek miatt.

Scheo · · olvasási idő ~10 perc · Szerző: Schmidt Péter

A lényeg dióhéjban: A Common Crawl nyílt webarchívumából sok nyelvi modell tanul, és az index.commoncrawl.org felületen pár perc alatt megnézheted, mely oldalaid és mikor kerültek be. A CCBot tiltása csak a jövőbeli gyűjtésekre hat, a már archivált tartalomra nem, ezért döntés előtt érdemes megnézni, mi van már bent.

A Common Crawl egy nonprofit szervezet által fenntartott, bárki számára ingyenesen letölthető webarchívum, amely 2008 óta gyűjti a nyilvános weboldalak tartalmát. Ha a weboldalad szerepel benne, jó eséllyel azokba az adatkészletekbe is bekerült, amelyekből a nagy nyelvi modellek tanulnak. Pár perc alatt ellenőrizheted, mely oldalaid és mely időpontokból vannak bent, és ezt érdemes is megtenned, mielőtt a robots.txt fájlban engednéd vagy tiltanád a gyűjtő robotot.

Common Crawl archívum: benne van-e a weboldalad, és mit jelent ez az AI-modelleknek
Common Crawl archívum: benne van-e a weboldalad, és mit jelent ez az AI-modelleknek

Mi az a Common Crawl, és mi kerül bele?

A Common Crawl egy 2007-ben alapított amerikai nonprofit szervezet, amely rendszeresen végigjárja a nyilvános webet, és a letöltött oldalakat nyílt adatként közzéteszi. Az archívum petabájtos nagyságrendű, és az Amazon nyílt adatprogramján (Registry of Open Data on AWS) keresztül bárki letöltheti.

Hivatalosan igazolt. A szervezet évente többször ad ki új gyűjtést (crawlt), és egy-egy gyűjtés több milliárd oldalt tartalmaz. A gyűjtéseket CC-MAIN-ÉV-HÉT formájú azonosítóval jelölik, például CC-MAIN-2024-33. Az adatok három fő formátumban érhetők el. A WARC fájlok a nyers HTTP-választ tárolják, a WAT fájlok a metaadatokat és a linkeket, a WET fájlok pedig a kinyert sima szöveget.

A gyűjtést a CCBot nevű robot végzi. A CCBot betartja a robots.txt szabályait, így a weboldal tulajdonosa közvetlenül befolyásolhatja, hogy a jövőbeli gyűjtésekbe bekerüljön-e az oldala.

Egy részletet sok cégtulajdonos nem ismer. A Common Crawl mintavételez, és egy-egy gyűjtés messze nem tartalmazza egy weboldal összes aloldalát. Egy kisebb céges oldalnál előfordulhat, hogy egy adott időszakban csak a főoldal és néhány aloldal került be, egy másikban pedig egészen más oldalak.

Miért tanul ebből az archívumból sok nyelvi modell?

Azért, mert ez a legnagyobb szabadon hozzáférhető, rendszeresen frissülő webes szöveggyűjtemény. Aki nagy nyelvi modellt tanít, annak hatalmas mennyiségű és változatos szövegre van szüksége, és a Common Crawl ezt saját robotflotta nélkül is elérhetővé teszi.

Hivatalosan igazolt. Az OpenAI GPT-3-ról szóló tudományos cikke (Language Models are Few-Shot Learners, 2020) leírja, hogy a tanítóadat legnagyobb súlyú része egy szűrt Common Crawl-változatból származott. A Google kutatói által a T5 modellhez készített C4 adatkészlet szintén Common Crawl-alapú, ahogy a Hugging Face FineWeb adatkészlete és az EleutherAI The Pile gyűjteményének egyik része is.

A modellek a nyers archívumot ritkán kapják meg változatlanul. A fejlesztők nyelv, minőség és ismétlődés szerint szűrik a tartalmat, és kiveszik a nem kívánt részeket, így a te oldalad szövege akkor is kieshet, ha a Common Crawlban szerepel. Az sem nyilvános, hogy a mai zárt modellek pontosan mely gyűjtéseket és milyen arányban használták.

Szakmai feltételezés. A magyar nyelvű web aránya a teljes archívumban kicsi, ezért egy jól megírt, egyedi magyar szakmai szöveg a magyar nyelvű tanítóanyagon belül arányaiban nagyobb nyomot hagyhat, mint egy hasonló angol szöveg a saját nyelvén. Ezt egyik fejlesztő sem erősítette meg, és a modellek belső súlyozása nem nyilvános.

Miben különbözik a CCBot a keresőként működő AI-crawlerektől?

A CCBot archivál, a keresőként működő AI-crawlerek pedig élő válaszhoz gyűjtenek. A CCBot által letöltött tartalom hónapokkal később, egy tanítóadat-készlet részeként juthat el egy modellhez, míg egy válaszmotor robotja azért keresi fel az oldalad, hogy egy friss kérdésre forrásként hivatkozhasson rád.

A gyakorlati következmény egyszerű. Ha a CCBotot tiltod, attól még megjelenhetsz egy AI-kereső válaszában, mert azt más robotok szabályozzák. Fordítva is igaz, a keresőrobotok engedése után sem biztos, hogy a Common Crawlba is bekerülsz.

Hogyan ellenőrizd lépésről lépésre, hogy bent van-e a weboldalad?

A Common Crawl nyilvános index-lekérdező felületén gyűjtésenként megnézheted, hogy a domainedről mely URL-ek, mikor és milyen állapotkóddal kerültek be. Programozói tudás nem kell hozzá, egy böngésző elég.

  1. Nyisd meg az index-felületet. Írd be a böngészőbe az index.commoncrawl.org címet. A nyitóoldalon táblázatban látod az elérhető gyűjtéseket, mindegyik mellett egy lekérdező mezővel.
  2. Válassz egy gyűjtést. Kezdd a legutóbbival, majd nézz meg egy-két évvel korábbit is, mert a bekerülés időszakonként változik.
  3. Add meg a domainedet helyettesítő karakterrel. A mezőbe a pelda.hu/* alakot írd, így a domain összes abban a gyűjtésben tárolt URL-jét visszakapod. Ha az aldomaineket is látni szeretnéd, próbáld a *.pelda.hu alakot.
  4. Futtasd a keresést. Minden visszakapott sor egy archivált letöltést jelent. Ha üres a válasz, abban a gyűjtésben a domainedről nincs oldal.
  5. Ismételd meg több gyűjtésre. Egy egyszerű táblázatban jegyezd fel, melyik gyűjtésben hány URL szerepelt, és melyek a fontos oldalaid közül. Így látod a trendet és a hiányokat.

Ha közvetlenül a lekérdező API-t használnád

A felület mögött egy CDX-szerver fut, amelyet URL-paraméterekkel is lekérdezhetsz. Ez akkor hasznos, ha több gyűjtést néznél végig gyorsan, vagy táblázatba mentenéd az eredményt. Egy példa-lekérdezés JSON-kimenettel így néz ki.

https://index.commoncrawl.org/CC-MAIN-2024-33-index?url=pelda.hu/*&output=json&limit=50

A legfontosabb paraméterek a következők.

Az összes gyűjtés listáját gépileg a https://index.commoncrawl.org/collinfo.json címen éred el, ebből egy rövid szkripttel végig tudsz menni minden időszakon. Erre a nyílt forráskódú cdx_toolkit Python-csomag is használható. Kíméletesen kérdezz, mert a szerver terhelés esetén lassít vagy hibát ad vissza, ezért sok lekérdezésnél tarts szünetet közöttük.

Mit látsz a saját szervernaplódban?

Az archívum a múltat mutatja, a szervernapló a jelent. Ha hozzáférsz a tárhely naplóihoz, a grep -i "ccbot" access.log paranccsal megnézheted, mikor és mely oldalakat kérte le a CCBot az utóbbi időben. A user-agent nevet bárki hamisíthatja, ezért egy gyanús, nagy forgalmú „CCBot” mögött a kérő IP-cím eredetét is érdemes ellenőrizni.

Mit árulnak el a találatok, és hogyan értelmezd őket?

Egy találati sorból azt érdemes kiolvasni, hogy mikor, mit és milyen állapotban archivált a CCBot. A JSON-sor lényeges mezői ezek.

Saját tapasztalat. Kis- és középvállalkozói oldalak lekérdezésénél gyakran meglepő, mi van bent. Sokszor régi, azóta törölt aloldalak, elavult szolgáltatásleírások, letölthető PDF-ek, néha fejlesztés közben nyilvánosan hagyott tesztoldalak is felbukkannak. Közben a legfontosabb, frissen írt szakmai tartalom egyetlen gyűjtésben sem szerepel, mert még nem járt arra a robot.

A WARC-fájl neve, az offset és a length adat alapján a pontos letöltött tartalmat is megnézheted, ha a data.commoncrawl.org címről byte-tartomány szerinti kéréssel lekéred. Ez már fejlesztői feladat, viszont így pontosan azt a szöveget látod, amely egy tanítóadat-készletbe kerülhetett.

Mikor érdemes engedni a CCBotot, és mikor tiltani?

Akkor érdemes engedni, ha azt szeretnéd, hogy a márkád, a szolgáltatásaid és a szakmai tudásod a jövőbeli nyelvi modellek alapismereteibe is bekerüljön. Akkor érdemes tiltani, ha a tartalmad maga a termék, vagy jogi, üzleti ok miatt nem szeretnéd, hogy szabadon újrahasznosítható adatkészletben szerepeljen.

Mi szól az engedés mellett?

Mi szól a tiltás mellett?

Szakmai feltételezés. A legtöbb magyar KKV-nál a CCBot engedése a kedvezőbb alapbeállítás, mert a láthatóság többet ér annál, amit a tiltás megvédene. Ez ökölszabály, a konkrét döntés az üzleti modelleden múlik.

Létezik köztes megoldás is. A robots.txt-ben útvonalanként szabályozhatsz, így a nyilvános szolgáltatásoldalakat engedheted, a fizetős vagy belső részeket pedig tilthatod.

Hogyan tiltod vagy korlátozod a CCBotot a robots.txt-ben?

A CCBot a CCBot user-agent névre figyel, ezért egy külön szabálycsoporttal kezelheted. A teljes tiltás két sorból áll.

Részleges tiltásnál csak a védendő útvonalakat zárod ki, például a tananyagokat és a letölthető dokumentumokat.

Hivatalosan igazolt. A Common Crawl leírása szerint a CCBot betartja a robots.txt szabályait, és a Crawl-delay utasítást is figyelembe veszi, ha a gyakoriságot szeretnéd lassítani.

Két gyakori hibát érdemes elkerülni. Az egyik, hogy a noindex meta címkét a robots.txt helyett használod, pedig az a keresőtalálatokra vonatkozik, a CCBot kizárására pedig a robots.txt a dokumentált eszköz. A másik, hogy egy WordPress-bővítmény vagy biztonsági modul felülírja a kézzel írt fájlt. Módosítás után nyisd meg böngészőben a pelda.hu/robots.txt címet, és nézd meg, hogy a szabály tényleg ott van.

Mi történik a már archivált tartalommal egy tiltás után?

A tiltás csak a jövőbeli gyűjtésekre hat. A korábbi gyűjtésekben már szereplő oldalaid a nyilvános archívumban maradnak, és azokban az adatkészletekben és modellekben is, amelyek már elkészültek belőlük.

Hivatalosan igazolt. A robots.txt az IETF RFC 9309 szabványa szerint a robotoknak szóló hozzáférési utasítás, amely a letöltés pillanatában érvényes, visszamenőleges hatása nincs. A Common Crawl gyűjtései rögzített, verziózott adatkészletek, amelyeket a megjelenésük után bárki letölthetett és továbbfeldolgozhatott.

Szakmai feltételezés. Ha a Common Crawl egy külön kérésre el is távolítana valamit a saját tárából, a belőle korábban készült másolatokra (C4, FineWeb és a fejlesztők zárt adatkészletei) ennek nincs hatása. Egy már betanított modellből egy konkrét oldal tudását utólag kivenni a jelenlegi gyakorlat szerint nem reális elvárás.

Ebből következik a saját nézőpontunk. A tiltás a jövőbeli modellekre hathat, a meglévő tudásra nem, ezért döntés előtt érdemes megnézni, mi van már bent. Ha a régi gyűjtésekben elavult szolgáltatás, régi cím vagy téves leírás szerepel, a tiltás ezt nem javítja ki.

Szakmai feltételezés. Egy tiltás után az utolsó archivált állapot marad a legfrissebb, ami a te oldaladról a nyílt webes adatokban elérhető, vagyis a régi kép rögzülhet. Ha a CCBot engedélyezve marad, a következő gyűjtésekbe a frissített, pontos tartalom kerül, és az újabb tanítóadatokban jó eséllyel ez jelenik meg a régi mellett. Hogy egy adott modell melyik változatot „hiszi el”, azt senki nem tudja garantálni.

Milyen ellenőrzőlistával döntsd el, mit teszel?

  1. Kérdezd le a domainedre az utolsó három-négy gyűjtést és legalább egy két évvel korábbit.
  2. Írd össze, mely URL-ek szerepelnek, és melyik tartalom elavult vagy téves.
  3. Nézd meg az élő robots.txt-t, és azt, hogy a CCBot most engedélyezett-e.
  4. Döntsd el, van-e olyan tartalmad, amelynek az értéke a kizárólagosságban van.
  5. Ha nincs, hagyd engedélyezve a CCBotot, frissítsd az elavult oldalakat, a megszűnteket pedig irányítsd át a pontos tartalomra.
  6. Ha van, csak azt az útvonalat tiltsd, és ellenőrizd böngészőben az élő fájlt.
  7. A keresőként működő AI-robotokról (OAI-SearchBot, PerplexityBot) külön dönts, mert azok a forrás-hivatkozásokra hatnak.
  8. Fél év múlva ismételd meg a lekérdezést, és nézd meg, bekerültek-e a frissített oldalak.

Források és további olvasnivalók

A legfontosabbak
  • A Common Crawl nyilvános webarchívum, amelyre több ismert tanítóadat-készlet épül (például a C4 és a FineWeb).
  • A CCBot archivál a későbbi felhasználáshoz, az AI-keresők robotjai (OAI-SearchBot, PerplexityBot) élő válaszokhoz gyűjtenek, ezért külön kell róluk dönteni.
  • Az index.commoncrawl.org felületén a pelda.hu/* lekérdezéssel gyűjtésenként látod a bekerült URL-eket, időpontokat és állapotkódokat.
  • A robots.txt-tiltás csak a jövőbeli gyűjtésekre hat, a régi archívumokból és a belőlük készült modellekből nem veszi ki a tartalmat.
  • A legtöbb szolgáltató cégnél az engedés és az elavult oldalak frissítése a kedvezőbb út, a tiltás inkább a kizárólagos értékű tartalomnál indokolt.

Gyakori kérdések

Honnan tudom, hogy a weboldalam benne van-e a Common Crawlban?

Nyisd meg az index.commoncrawl.org oldalt, válassz egy gyűjtést, és a lekérdező mezőbe írd be a pelda.hu/* alakot a saját domaineddel. Minden visszakapott sor egy archivált oldalt jelent időbélyeggel és állapotkóddal. Több gyűjtést is nézz meg, mert a bekerülés időszakonként változik.

Ha letiltom a CCBotot, eltűnik a tartalmam az AI-modellekből?

Nem tűnik el. A tiltás csak a jövőbeli gyűjtésekre hat, a korábbi archívumok és a belőlük már elkészült adatkészletek, modellek változatlanok maradnak.

A CCBot tiltása rontja a Google-helyezésemet?

A CCBot a Common Crawl robotja, a Google Kereső nem tőle kapja az adatait, ezért a tiltásnak a Google-helyezésre közvetlen hatása nincs. A Google a saját robotjaival dolgozik.

Mi a különbség a CCBot és a GPTBot között?

A CCBot egy nyílt archívumot épít, amelyből több fejlesztő is készít tanítóadatot. A GPTBot az OpenAI saját robotja, amely az OpenAI modelljeinek tanításához gyűjt. Mindkettőt külön user-agent névvel szabályozhatod a robots.txt-ben.

Részlegesen is tilthatom a CCBotot?

Igen. A robots.txt-ben a User-agent: CCBot csoportba csak a védendő útvonalakat írod Disallow sorral, például a fizetős tananyagot, a többi oldal pedig továbbra is gyűjthető marad.

Források és további olvasnivalók

Ezen az oldalon a hivatalosan igazolt információt elsődleges forrásokból építjük fel; a saját tapasztalatot és a szakmai becslést mindig külön jelöljük a szövegben.

A cikk szerzője

Schmidt Péter, online marketing szakértő, a Scheo Tanácsadó Kft. alapítója. Székesfehérvárról, országosan dolgozó csapattal végzünk keresőoptimalizálást, AI-láthatóság mérést, Google és Meta hirdetéskezelést, weboldalkészítést. Amit itt leírunk, azt ügyfélmunkában is használjuk. Rólunk bővebben · Szolgáltatásaink

Kapcsolódó olvasnivaló

Helyi szolgáltatás a környékeden

Országosan dolgozunk, online és személyesen. Válaszd ki a városodat, és nézd meg, hogyan segítünk helyben:

Online marketing & AI SEO KaposvárOnline marketing & AI SEO BékéscsabaOnline marketing & AI SEO EgerOnline marketing & AI SEO ZalaegerszegOnline marketing & AI SEO SzekszárdOnline marketing & AI SEO Salgótarján

Weboldalkészítés városra bontva

Ha először a honlap kell, itt városonként arról írtunk:

Weboldalkészítés BudapestWeboldalkészítés VeszprémWeboldalkészítés DunaújvárosWeboldalkészítés GyőrWeboldalkészítés DebrecenWeboldalkészítés Szeged

Mind a 20 városunk és az összes szolgáltatás →

15 perces AI-láthatósági gyorselemzés - díjmentesen

Megnézzük három, számodra fontos keresőkérdésnél, hogy megjelenik-e a céged a ChatGPT, a Gemini és a Google AI-válaszaiban, mely versenytársakat ajánlják helyetted, és melyik három területen érdemes először javítani. A weboldaladat előzetesen átnézzük, tehát nem sablonos, automata riportot kapsz.

Adataidat kizárólag a kapcsolatfelvételhez használjuk. Kapcsolat: m@rketinges.hu
💬 Konzultáció