Miért más az AI válasza minden alkalommal, és hogyan mérj mégis

Scheo · 2026-08-24 · Frissítve: 2026-09-11 · olvasási idő ~10 perc · Szerző: Schmidt Péter

Egy vállalkozó megmutat egy képernyőképet: a ChatGPT őt ajánlotta elsőként a saját szakmájában. Két nappal később ugyanazt kérdezi, és a cége meg sem jelenik a válaszban. Egyik kép sem hamis, mégis mindkettő félrevezet, ha egyetlen mérésként kezeled. Az AI-válasz a természeténél fogva ingadozik, és pont emiatt kell módszertan ahhoz, hogy egyáltalán legyen mit összehasonlítani hónapról hónapra.

Miért ad más választ ugyanarra a kérdésre kétszer egymás után?

Rövid válasz: mert a nyelvi modell nem egy rögzített találati listát olvas fel, hanem minden lekérdezésnél újragenerálja a szöveget, és közben más forrásokat is behúzhat a keresőrétegéből.

A generálás valószínűségi mintavétellel dolgozik. A modell szóról szóra (pontosabban tokenről tokenre) dönt arról, mi következzen, és a lehetséges folytatások közül nem mindig ugyanazt választja. Hivatalosan igazolt: az OpenAI és az Anthropic fejlesztői dokumentációja is leírja a mintavételt szabályozó paramétereket (temperature, top_p), és jelzi, hogy a determinisztikusra hangolt futás sem ad minden esetben bitre azonos kimenetet. A publikus csevegőfelületeken ráadásul ezek a paraméterek nincsenek a te kezedben.

Ehhez jön a keresőréteg. Amikor az asszisztens webet is használ, előbb saját maga fogalmaz meg egy vagy több keresési lekérdezést, majd a visszakapott oldalakból építi a választ. Ha a keresés akár egyetlen új találatot hoz, a válasz szerkezete is elmozdulhat. Saját tapasztalat: magyar nyelvű, helyi szolgáltatásra irányuló kérdéseknél ez a legnagyobb ingadozás-forrás, mert kevés az erős magyar forrás, így egy-egy cikk be- vagy kiesése aránytalanul sokat számít.

Egy tipikus lefutás így néz ki a gyakorlatban. Ugyanarra a kérdésre az első futásban a modell egy szakmai blogcikkből és két katalógusoldalból dolgozik, és négy céget sorol fel. A második futásban a saját keresése kicsit másképp fogalmaz, ezért bejön egy friss összehasonlító lista, amiben csak három cég szerepel, és a felsorolás is ehhez igazodik. A modell mindkétszer korrektül dolgozott, csak nem ugyanabból. Ezért nincs értelme azt kérdezni, hogy „bent vagyok-e”. Azt érdemes kérdezni, hogy tíz futásból hányban vagyok bent.

Mi mozgatja konkrétan, hogy megjelenik-e a céged a válaszban?

Rövid válasz: hat tényező, amelyek közül csak az egyikre van közvetlen ráhatásod.

• Eltérő megfogalmazás. A „ki a legjobb könyvelő Székesfehérváron” és a „kit ajánlanál könyvelőnek Fehérváron” nem ugyanaz a kérdés. Más keresési lekérdezés indul belőle, más forrásokkal.
• Más forráskészlet. A friss indexelés, egy új összehasonlító cikk vagy egy katalógusoldal frissülése átrendezheti, mire támaszkodik a modell.
• Személyre szabás. A bejelentkezett fiók memóriája, korábbi beszélgetései és beállításai befolyásolják a választ. Ha te sokat beszélgettél a saját cégedről, a saját fiókod torzított tükröt tart eléd.
• Előzmények a szálon belül. Ugyanabban a beszélgetésben a korábbi üzenetek kontextusként működnek. A harmadik kérdésre adott válasz már nem független az elsőtől.
• Régió és nyelv. A hely szerinti jel (IP, fiókbeállítás) érdemben befolyásolja a helyi ajánlásokat, és a magyar, illetve angol nyelvű kérdés is más forráshalmazt hoz.
• A modellek frissülése. A szolgáltatók verziót váltanak, súlyokat cserélnek, keresőréteget hangolnak. Ez a te oldaladról nem befolyásolható, de az idősorodban látszani fog.

Szakmai feltételezés: a felsoroltak közül a személyre szabás és a keresőréteg okozza az ingadozás nagyobbik részét, a puszta mintavételi véletlen a kisebbet. Ezt kívülről nehéz szétszálazni, mert a szolgáltatók nem publikálják a belső súlyozást. Ennek a mérésre nézve van egy nagyon praktikus következménye: a hat tényezőből ötöt te magad ki tudsz iktatni azzal, hogy fegyelmezetten, mindig ugyanúgy mérsz. A hatodik (a modellfrissítés) marad, azt viszont fel tudod jegyezni, és utólag rá tudod illeszteni az adataidra.

Milyen mérési fegyelem kell ahhoz, hogy értelmes adat szülessen?

Rövid válasz: rögzített kérdéslista, azonos időpont, bejelentkezés nélküli állapot, tiszta szálak, több ismétlés, és az eredmény arányként kezelése.

1. Fix kérdéslista. Írd le a kérdéseket szó szerint, és hónapról hónapra betűre ugyanúgy tedd fel őket. Ha átfogalmazol, az idősorod megszakad, és nem tudod, a változás a szövegtől vagy a piactól jött.
2. Azonos időpont. Rögzítsd, hogy minden hónap adott napján, adott órasávban mérsz. A friss hírek és a szezonális tartalmak érdemben elmozdítják a forrásokat.
3. Bejelentkezés nélküli, memória nélküli állapot. Privát ablak, kijelentkezett vagy ideiglenes csevegés. Ha a felület megköveteli a belépést, hozz létre egy külön, semleges mérőfiókot, amiben soha nem beszélgetsz a saját cégedről.
4. Minden kérdés új szálban. Egy szál, egy kérdés. Ne fűzz utána kiegészítő kérdést, mert azzal a következő mérésed kontextusát rontod el.
5. Több ismétlés. Kérdésenként legalább három, komolyabb mérésnél öt futás. Egyetlen futás nem mérés, hanem anekdota.
6. Arány, nem találat. Az eredmény nem az, hogy „megjelentünk”, hanem az, hogy tizenöt futásból hányban jelentünk meg. Ez az említési arány, és ez az egyetlen szám, amit érdemes hónapról hónapra összehasonlítani.

A gyakorlati menet egy mérési napon: nyiss privát ablakot, ellenőrizd, hogy tényleg kijelentkezett állapotban vagy, másold be az első kérdést szó szerint a listáról, várd meg a teljes választ, mentsd el (szöveges másolat jobb, mint képernyőkép, mert kereshető), zárd be a szálat, és csak utána indítsd a következőt. Egy kérdés három ismétlése három külön szál, nem egy szálban háromszor feltett kérdés. Ez a legtöbbször elrontott pont, pedig pont ez teszi tönkre az adatot.

Hány kérdéssel érdemes indulni, és hogyan állítsd össze a listát?

Rövid válasz: tizenöt-huszonöt kérdéssel, kérdésenként három ismétléssel, ami havi 45-75 futást jelent, és ez egy kisvállalkozásnál kézzel is végigvihető.

A listát öt típusból állítsd össze, hogy ne csak a saját márkanevedet mérd:

• Kategória-kérdés: „Melyik cég foglalkozik ipari padlóburkolással Magyarországon?”
• Helyi kérdés: „Kit ajánlanál kutyakozmetikusnak Debrecenben?” A helynevet ragozd helyesen (Budapesten, Székesfehérváron, Nyíregyházán), mert a rosszul ragozott kérdés más keresést indít.
• Probléma-kérdés: „Mit tegyek, ha beázik a lapostető?” Itt derül ki, hogy a szakmai tartalmaid forrásként megjelennek-e.
• Összehasonlító kérdés: „Mi a különbség a hőszivattyú és a kondenzációs kazán között?”
• Márkanév-ellenőrző kérdés: „Mit tudsz a [cégnév] nevű cégről?” Ez nem láthatósági mutató, hanem pontossági: azt nézed, jól idézi-e a modell a szolgáltatásaidat, a településedet, a nyitvatartásodat.

Az arányokra is figyelj a listán belül. Húsz kérdésnél nagyjából hat kategória-, hat helyi, négy probléma-, kettő összehasonlító és kettő márkanév-ellenőrző kérdés ad kiegyensúlyozott képet. Ha az összes kérdésed a márkanevedre irányul, gyakorlatilag semmit nem mérsz: a modell szinte mindig mond valamit arról, akit név szerint kérdezel.

Saját tapasztalat: tizenöt kérdés alatt a havi adat túl zajos ahhoz, hogy döntést alapozz rá. Harminc fölött viszont kézi méréssel általában elfárad a folyamat, és pár hónap után abbamarad. A rendszeresen elvégzett húsz kérdés többet ér, mint az egyszer lefuttatott száz.

Hogy néz ki egy havi mérési jegyzőkönyv?

Rövid válasz: egy soronként egy futást rögzítő táblázat, amiből az összesítő arányok automatikusan kiszámolhatók.

A nyers napló legyen ennyire lapos szerkezetű, akár egy egyszerű táblázatkezelőben:

datum;ido;platform;modell_verzio;kerdes_id;ismetles;emlitve;pozicio;idezett_forras;versenytarsak;megjegyzes

Egy kitöltött sor például így néz ki:

2026-08-12;09:14;ChatGPT web;GPT-5 (webkereses be);K07;2;igen;3;sajatoldal.hu/szolgaltatas;Alfa Kft, Beta Bt;a nyitvatartas hibasan szerepelt

A pozicio mezőbe azt írd, hányadikként említ a felsorolásban. Ha a válasz folyó szöveg, akkor a bekezdés sorszáma is elég. Az idezett_forras mező a legértékesebb: ebből derül ki, melyik aloldalad működik forrásként, és melyik versenytárs-tartalom szorít ki.

Ebből a naplóból havonta három összesítő szám képződik:

• Említési arány: ahány futásban megjelentél, osztva az összes futással.
• Idézési arány: ahány futásban a saját domained forrásként is megjelent.
• Pontossági hibaszám: hány futásban mondott rólad tényszerűen rosszat a modell.

A nyers válaszszövegeket is tedd el, hónap és kérdés szerinti mappákba, egyszerű szövegfájlként. Erre akkor lesz szükséged, amikor fél év múlva azt látod, hogy csökkent az arány, és vissza akarod nézni, mit írt a modell akkor, amikor még jó volt az eredmény. A képernyőkép erre alkalmatlan, mert nem kereshető benne a szöveg.

A jegyzőkönyv fejlécébe mindig írd fel a mérés körülményeit is: melyik platform, be volt-e kapcsolva a webkeresés, milyen nyelven kérdeztél, milyen régióból mértél. Hivatalosan igazolt: a szolgáltatók változáskezelési oldalai (release notes, model deprecations) nyilvánosak, tehát a modellverzió-váltás dátuma utólag visszakereshető, és rá tudod illeszteni az idősorodra.

Hogyan mérj több platformon anélkül, hogy összekevernéd az adatokat?

Rövid válasz: ugyanaz a kérdéslista mindenhol, de platformonként külön idősor, és soha nem átlagolod össze őket egyetlen számmá.

A ChatGPT, a Gemini, a Perplexity és a Copilot más forráskészletből, más keresőrétegből és más szabályok szerint dolgozik. Ha ezeket egyetlen „AI-láthatóság” mutatóba olvasztod, elveszted azt az információt, ami miatt egyáltalán mérsz: hogy melyik felületen szorulsz ki, és melyiken erősödsz. Kezdésnek egy vagy két platform bőven elég, azt viszont vidd végig fegyelmezetten. A napló platform oszlopa ezért kötelező mező, nem opció.

Néhány gyakorlati szabály a több platformos méréshez:

• Ugyanazokat a kérdéseket tedd fel mindenhol, szó szerint, hogy a felületek összehasonlíthatók legyenek.
• Ne ugyanazon a napon mérj két platformot ötletszerűen: rögzítsd a sorrendet, és tartsd is.
• Ahol a felület mutatja a hivatkozott forrásokat, ott a linklistát is mentsd el, nem csak a szöveget.
• Az arányokat platformonként külön számold, és külön grafikonon nézd.

Mekkora eltérés számít zajnak, és mekkora valódi elmozdulásnak?

Rövid válasz: három ismétlésnél egyetlen futás különbsége már 33 százalékpont, ezért kis mintán csak a nagy és két hónapon át tartó elmozdulás mond bármit.

Konkrét ökölszabályok, amelyeket a napi munkában használható küszöbnek tartok (saját tapasztalat, nem hivatalos mérce):

• Húsz kérdés, három ismétlés (60 futás) esetén a teljes portfólióra vetített említési arány 10 százalékpont alatti mozgása zaj.
• Egyetlen kérdés szintjén három ismétlésnél csak a 0-ból 3-ba vagy 3-ból 0-ba fordulás értelmezhető, minden más ingadozás.
• Öt ismétlésnél kérdésenként a két futásnyi (40 százalékpont) elmozdulás az a szint, ahol érdemes odanézni.
• Valódi elmozdulásnak azt tekintem, ami két egymást követő hónapban ugyanabba az irányba mutat, és több kérdésnél is jelentkezik, nem csak egynél.

Külön kategória a modellverzió-váltás. Ha a szolgáltató a mérés hónapjában frissített, a hónapok közti különbség egy része technológiai, nem a te tartalmadból fakad. Ilyenkor jegyezd fel a naplóba, és a következő hónapot tekintsd az új alapvonalnak.

Miért nem bizonyít semmit egyetlen képernyőkép?

Rövid válasz: mert egy futás a lehetséges válaszok eloszlásából vett egyetlen minta, és a minta önmagában nem jellemzi az eloszlást.

Ez a saját szakmai álláspontom, és elég határozottan képviselem: ismételt mérés nélkül minden AI-láthatósági állítás vélemény. Ez mindkét irányban igaz. Az a képernyőkép, amin a szolgáltató megmutatja, hogy „a ChatGPT téged ajánl”, pontosan annyit ér, mint az, amin a versenytárs mutatja, hogy „téged meg sem említ”. Mindkettő egyetlen minta, ráadásul jellemzően bejelentkezett fiókból, ismeretlen memória-állapottal.

Ellenőrzőlista, mielőtt bárkitől (tőlem is) elfogadsz egy AI-láthatósági állítást:

• Hány kérdésen és hány ismétlésen alapul a szám?
• Bejelentkezés nélküli állapotban készült a mérés?
• Minden kérdés külön szálban futott?
• Fel van jegyezve a platform és a modellverzió?
• Van előző havi összehasonlítási alap, vagy ez az első mérés?
• Arányt látsz vagy egyetlen találatot?

Ha ezekre nincs válasz, akkor nem adatot kaptál, hanem illusztrációt.

Melyek a leggyakoribb hibák a saját mérésedben?

Rövid válasz: szinte mindig ugyanaz a hat, és mindegyik abból fakad, hogy a mérés kényelmesebb lett, mint amilyen pontos.

• Bejelentkezve mérsz. A saját fiókod ismer téged. Ez a leggyakoribb és a legdrágább hiba, mert szisztematikusan felfelé torzít.
• Egy szálban futtatod a kérdéseket. A második kérdéstől kezdve már nem független adatot kapsz.
• Minden hónapban kicsit átfogalmazod a kérdést. Ezzel az idősorod értelmét veszti.
• Csak a márkanevedre kérdezel rá. Ez pontosságot mér, nem láthatóságot.
• Nem jegyzed fel a modellverziót. Így a frissítés okozta ugrást a saját munkádnak tulajdonítod (vagy fordítva).
• Egyetlen jó futásnál abbahagyod. A mérés akkor ér valamit, ha a rossz eredményt is ugyanúgy felírod, mint a jót.

Mit tegyél, ha az arány tényleg lecsökken?

Rövid válasz: először a forrásoldalt vizsgáld, ne a saját szövegedet írd át pánikszerűen.

Menj végig ezen a sorrenden. Először nézd meg a naplód idezett_forras oszlopát: ugyanazok az oldalak jönnek elő, mint korábban, vagy új szereplő lépett be? Ha új versenytárs-tartalom vagy katalógus jelent meg, akkor tartalmi hiány van, nem technikai. Másodszor ellenőrizd, hogy a saját oldalad elérhető-e a válaszmotorok számára: a robots-szabályok, a kiszolgáló válaszideje és a kliensoldali megjelenítés mind befolyásolhatja, mit lát a botok egy része. Harmadszor nézd meg a strukturált adataidat (Schema.org szerinti Organization, LocalBusiness, FAQPage jelölések), mert ezek segíthetik a tényszerű adataid pontos átvételét. Negyedszer vizsgáld a tényszerű konzisztenciát: ha a nyitvatartásod három helyen háromféleképpen szerepel, a modellnek nincs mihez igazodnia.

Ez a munka javíthatja az esélyeidet, de nem tekinthető biztos kimenetelűnek. Az AI-válaszok összeállítása nem a te kezedben van, tehát reálisan az a cél, hogy a rólad szóló, ellenőrizhető információ jó eséllyel legyen elérhető és egyértelmű, amikor a modell forrást keres. A helyezés jellegű ígéretekkel szemben legyél gyanakvó, mert az AI-válaszban nincs olyan stabil, nyilvános rangsor, amit bárki ki tudna alkudni.

Források és további olvasnivalók

• Google Search Central: dokumentáció a keresésről és a strukturált adatokról
• Google Search Central Blog: bejelentések az AI-alapú keresési felületekről
• OpenAI Platform Documentation: mintavételi paraméterek és determinizmus
• OpenAI Help Center: memória és személyre szabás a ChatGPT-ben
• Anthropic Documentation: modellverziók és változáskezelés
• Schema.org: Organization, LocalBusiness, FAQPage típusok
• W3C: webes akadálymentesítési és szemantikus jelölési ajánlások
• Bing Webmaster Guidelines: indexelési és tartalmi irányelvek