A/B teszt kis forgalmú oldalon: mikor van értelme, és mi helyette a jó módszer

Scheo · 2026-09-06 · Frissítve: 2026-09-17 · olvasási idő ~10 perc · Szerző: Schmidt Péter

Kis oldalon a konverzió-optimalizálás egyik leggyakoribb zsákutcája az, hogy valaki elindít egy A/B tesztet, három hétig nézi, aztán meghozza a döntést egy olyan adatból, ami statisztikailag nem különbözik a véletlentől. A teszt lefutott, a felület szép volt, a százalékok mozogtak, csak éppen a tanulság nem volt valódi. Ez nem az eszközök hibája, hanem a mintaméreté.

Ebben a cikkben végigmegyünk azon, hogy pontosan hol bukik el a klasszikus A/B teszt havi néhány száz látogatónál, hogyan tudod fejben kiszámolni a szükséges mintát, és milyen módszerek adnak helyette olyan tudást, amire tényleg lehet döntést alapozni. Ahol releváns, jelölöm, mi hivatalosan igazolt, mi saját tapasztalat, és mi szakmai feltételezés.

Miért nem működik a klasszikus A/B teszt havi néhány száz látogatónál?

Rövid válasz: mert a konverziószám olyan alacsony, hogy a két variáns közti különbség kisebb, mint a mérés természetes ingadozása. A statisztikai teszt nem tudja szétválasztani a jelet a zajtól, ezért bármit is mutat, az inkább szerencse kérdése.

Nézzük konkrétan. Tegyük fel, hogy havi 500 látogatód van egy szolgáltatás-oldalon, és ebből 2 százalék küld ajánlatkérést. Az havi 10 megkeresés. Ha felezed a forgalmat két variáns között, variánsonként havi 5 konverziót kapsz. Egy hónap után az A variánsnál 4, a B-nél 6 konverzió áll: ez papíron 50 százalékos javulás, valójában két ember, akiknek a döntése bármi mástól is függhetett (időjárás, hétköznap, egy ajánlás, egy megnyitott hírlevél).

Hivatalosan igazolt: a statisztikai erő (power) fogalma pontosan ezt írja le. A kísérlettervezés bevett gyakorlata 95 százalékos konfidenciaszint és 80 százalékos erő mellett számol, vagyis a teszt akkor tekinthető jól méretezettnek, ha a valóban létező hatást az esetek 80 százalékában észreveszi. Alulméretezett tesztnél két baj történik egyszerre: a valódi különbséget nagy eséllyel nem veszed észre, és amit mégis szignifikánsnak látsz, azt a hatásmérete túlbecsüli. Ezt a jelenséget a kísérletezéssel foglalkozó szakirodalom „winner's curse” néven ismeri.

Saját tapasztalat: a kis oldalak tesztjeinél a leggyakoribb hiba nem a rossz variáns, hanem a korai leállítás. Ha naponta nézed az eredményt, és akkor állítod le, amikor először látsz szignifikanciát, akkor gyakorlatilag addig húzod a mérést, amíg a zaj kedvez neked.

Mekkora minta kell egy 20 százalékos különbség kimutatásához?

Rövid válasz: nagyságrendileg 400 konverzió variánsonként, tehát összesen körülbelül 800 konverzió. Figyelj a mértékegységre: nem 800 látogató, hanem 800 konverzió.

A szokásos képlet arányok összehasonlítására, 95 százalékos konfidencia és 80 százalékos erő mellett:

n (variánsonként) = 16 × p × (1 - p) / d²

Itt p a jelenlegi konverziós arány, d pedig az abszolút különbség, amit ki akarsz mutatni. A 16-os szorzó a konfidencia és az erő szokásos beállításából jön. Ha a különbséget relatívan adod meg (például 20 százalékos javulás), a képlet egyszerűsödik, és kis konverziós arányoknál a szükséges konverziószám már nem is függ a konverziós aránytól:

szükséges konverzió variánsonként ≈ 16 / (relatív különbség)²

Ez a gyakorlatban ezt jelenti:

• 50 százalékos relatív javulás kimutatásához: kb. 64 konverzió variánsonként
• 30 százalékos javuláshoz: kb. 178 konverzió variánsonként
• 20 százalékos javuláshoz: kb. 400 konverzió variánsonként
• 10 százalékos javuláshoz: kb. 1600 konverzió variánsonként

Ha látogatóban akarod látni, oszd el a számot a konverziós arányoddal. Két százalékos konverziónál a 20 százalékos különbséghez variánsonként kb. 20 000 látogató kell, összesen 40 000. Öt százalékos konverziónál variánsonként kb. 8 000, összesen 16 000. Néhány soros ellenőrzés:

def minta(p, mde): n = 16 * p * (1 - p) / (p * mde) ** 2 return round(n) minta(0.02, 0.20) # 19600 latogato varianskent minta(0.05, 0.20) # 7600 latogato varianskent

Ez a képlet közelítés, de a nagyságrendet jól adja vissza, és pont a nagyságrend a lényeg. Amikor a különbség 400 és 40 000 között van, nem a harmadik tizedesjegyen múlik a döntés.

Meddig futna a teszt a te forgalmadnál?

Rövid válasz: oszd el a szükséges összes látogatót a havi forgalmaddal, és ha 3 hónapnál többet kapsz, akkor a klasszikus A/B teszt nálad nem eszköz, hanem időhúzás.

• Havi 500 látogató, 2 százalék konverzió, 20 százalékos cél: kb. 80 hónap, vagyis több mint hat és fél év.
• Havi 2 000 látogató, 3 százalék konverzió: kb. 13 hónap.
• Havi 10 000 látogató, 3 százalék konverzió: kb. 3 hónap, ez már a határon van.
• Havi 30 000 látogató, 3 százalék konverzió: kb. 4 hét, itt már valóban működik a módszer.

Szakmai feltételezés: a három hónapos felső korlát nem statisztikai szabály, hanem gyakorlati. Ennél hosszabb futás alatt annyi minden változik (szezon, hirdetési költés, forgalmi mix, a piac ára), hogy a két variáns már nem ugyanabban a világban versenyez. Az összehasonlíthatóság romlása jó eséllyel többet ront, mint amennyit a nagyobb minta javít.

Ugyanígy van egy alsó korlát is: legalább két teljes hetet érdemes futtatni bármilyen mérést, hogy minden hétköznap és hétvége bekerüljön, még akkor is, ha a minta hamarabb összejönne.

Hogyan mérj előtte-utána, ha az A/B teszt nem játszik?

Rövid válasz: két azonos hosszú, elég hosszú időszakot hasonlíts össze, kontroll-metrikával, és egyszerre csak egy dolgot változtass.

1. Rögzítsd a kiindulást. Nézd meg az elmúlt 8-12 hét konverziószámát, konverziós arányát, és azt is, honnan jött a forgalom. Ha a mix változik (például elindul egy kampány), a konverziós arány önmagában is elmozdul.
2. Válaszd ki az időszakhosszt előre. Legalább 4 hét, kis oldalon inkább 8-12 hét, és az „utána” pontosan ugyanolyan hosszú legyen, mint az „előtte”.
3. Kerüld a torzító időszakokat. Ne essen az összehasonlítás egyik fele ünnepre, nyári uborkaszezonra, iskolakezdésre vagy egy nagy akcióra, ha a másik felében ilyen nincs.
4. Tegyél be kontroll-metrikát. Olyan mérőszám kell, amit a változtatás nem érinthet: például egy másik aloldal konverziója, az összes munkamenet száma, vagy a márkanevű keresések aránya. Ha a kontroll ugyanúgy mozdul, mint a mért oldal, akkor a piac változott, nem a te oldalad.
5. Vezess változásnaplót. Dátum, mit módosítottál, melyik URL-en, miért. Analitikában is jelöld meg a napot annotációval. Kis oldalon ez a napló ér többet, mint bármilyen dashboard.
6. Értékelj számban, ne csak arányban. A „2,1 százalékról 2,6 százalékra nőtt” kis mintán félrevezető. Írd le a nyers konverziószámot is: „14 helyett 19 ajánlatkérés”. Így látod, mennyi emberről beszélünk valójában.

Saját tapasztalat: a legtöbb vitát az oldja meg, ha az előtte-utána mérés mellé odateszed a nyers megkeresésszámot a postaládából vagy a telefonlistából. Ha az analitika szerint nőtt a konverzió, de nem érkezett több e-mail, akkor nem a weboldal javult, hanem a mérés változott.

Mikor jobb a szekvenciális bevezetés?

Rövid válasz: akkor, ha több változtatás áll sorban, és külön-külön mindegyikről tudni szeretnéd, hogy segített-e.

A szekvenciális bevezetés lényege, hogy nem egyszerre tolod ki az öt módosítást, hanem egyesével, 3-4 hetes lépcsőkben. Először az űrlap rövidítése, aztán a főoldal ajánlati blokkja, aztán a mobil menü. Minden lépcső előtt és után ugyanazokat a mérőszámokat nézed, és minden lépcsőt beírsz a naplóba.

Ez a módszer nem ad statisztikai bizonyítékot, és ezt fontos kimondani: a hatás és az időbeli egybeesés nem ugyanaz. Amit ad, az egy fegyelmezett, visszakövethető nyomvonal. Ha egy év múlva a konverziószám a duplája, meg tudod nézni, melyik lépcső után indult el a növekedés, és a többi ügyfélnél is azzal kezded.

Van egy fordított haszna is: ha valami elromlik (például egy űrlap-módosítás után nem érkezik értesítés), a naplóból napra pontosan megtalálod, mikor és mitől. Kis oldalon a néma hiba a legdrágább hiba, mert hetekig észrevétlen marad az alacsony konverziószám mögött.

Mit mutat meg a hőtérkép, a felvétel és az öt felhasználós teszt?

Rövid válasz: azt, hogy miért nem konvertál a látogató. Ehhez nem kell nagy minta, mert nem arányt mérsz, hanem akadályt keresel.

Hivatalosan igazolt: a Nielsen Norman Group régóta publikált álláspontja szerint öt felhasználóval végzett moderált használhatósági teszt a talált problémák nagy részét felszínre hozza, és a további tesztelők egyre kevesebb újat mutatnak. Ez nem statisztikai reprezentativitás, hanem hibafeltárás, és a kettő nem ugyanaz a feladat.

Így néz ki egy egyszerű, olcsó kör:

• Öt ember, fejenként 20-25 perc. Lehetnek ismerősök, akik nem ismerik az oldalt, de a célcsoportba illenek.
• Három feladat. Például: „keresd meg, mennyibe kerülhet nagyjából ez a szolgáltatás”, „kérj ajánlatot”, „nézd meg, mikor van nyitva”. Ne mondd meg, hol van, ne segíts.
• Hangos gondolkodás. Kérd meg, hogy mondja ki, amit keres és amit gondol. A csend és a görgetés fel-le a leggyakoribb elakadás-jel.
• Csak jegyzetelj. Ne magyarázd meg, miért van úgy az oldal. A magyarázat a te fejedben működik, a látogatóéban nem.

Emellé érdemes tenni három olcsó adatforrást: hőtérképet és görgetési térképet (hol áll meg a szem, meddig jut le az ember), néhány tucat képernyőfelvételt (hol kattint hiába, hol tölt sokat), és az űrlap mezőnkénti lemorzsolódását. Ha az oldalon van belső kereső, a keresett kifejezések listája szinte ingyen megmondja, mit nem találnak meg a menüben. A negyedik forrás pedig az ügyfélszolgálat: az a három kérdés, ami minden telefonban elhangzik, hiányzik az oldalról.

Melyik módszert válaszd a forgalmad és a konverziószámod alapján?

Rövid válasz: a havi konverziószám dönt, nem a látogatószám. Íme egy döntési támpont, sávokra bontva.

• Havi 0-500 látogató, 0-10 konverzió: A/B teszt kizárva. Módszer: nyilvánvaló hibák javítása, öt felhasználós teszt, hőtérkép, negyedéves előtte-utána mérés. Döntési alap: kvalitatív megfigyelés és szakmai ítélet.
• Havi 500-2 000 látogató, 10-40 konverzió: szekvenciális bevezetés 3-4 hetes lépcsőkben, plusz 12 hét vs 12 hét összehasonlítás kontroll-metrikával. A/B továbbra sem éri meg.
• Havi 2 000-10 000 látogató, 40-200 konverzió: A/B teszt csak nagy változtatásra, ahol reális az 50 százalék körüli különbség (teljes landing újraírás, ajánlati struktúra csere). Mikro-elemekre marad az előtte-utána.
• Havi 10 000-50 000 látogató, 200-800 konverzió: a klasszikus A/B teszt működik közepes és nagy változtatásra (20-30 százalékos cél), 2-6 hetes futásidővel, előre rögzített mintamérettel.
• Havi 50 000 látogató felett, 800+ konverzió: A/B teszt akár 10 százalékos célkülönbségre, folyamatos tesztkultúrával, több párhuzamos kísérlettel.

Ha a te oldalad a felső két sávba esik, akkor is érvényes marad az alsó sávok minden eszköze. A hőtérkép és a felhasználói teszt adja az ötletet, az A/B teszt csak eldönti.

Miért hoz többet a nyilvánvaló hibák javítása, mint a gombszín tesztelése?

Ez a cikk saját nézőpontja: kis oldalon a legnagyobb konverzió-nyereség szinte mindig ott van, ahol nem kell tesztelni, mert a hiba enélkül is látszik.

Ha egy szolgáltató oldalán a telefonszám nem kattintható mobilon, akkor nem kell kísérlet ahhoz, hogy kijavítsd. Ha az ajánlatkérő űrlap kilenc kötelező mezőt kér, miközben a megkereséshez három elég lenne, ott nem A/B teszt kell, hanem döntés. Ha az oldal mobilon négy másodperc alatt sem mutat semmit, akkor a látogatók egy része soha nem jut el addig, ahol a gomb színe egyáltalán számítana.

A tipikus, tesztelés nélkül is javítható hibák:

• lassú mobil betöltés, elcsúszó elrendezés, teljes képernyőt takaró cookie-sáv vagy felugró ablak
• hiányzó vagy nehezen megtalálható kapcsolat: nem kattintható telefonszám, elrejtett e-mail, hiányzó cím
• túl hosszú űrlap, homályos adatkezelési szöveg, működésképtelen visszaigazolás
• semmilyen árinformáció vagy árlogika, miközben ez a látogató első kérdése
• hiányzó bizalmi elemek: kik vagytok, mióta, hol, referenciák, valódi fotók
• elavult nyitvatartás vagy szolgáltatáslista, működésképtelen linkek, 404-es aloldalak
• gyenge kontraszt, apró betű, billentyűzettel járhatatlan navigáció

Saját tapasztalat: ezeknek a javítása általában néhány óra munka, és a hatásuk kis oldalon jellemzően nagyobb, mint bármelyik mikro-teszt eredménye. Ez nem garantál emelkedést, de az arány jó: kevés befektetett idő, kevés kockázat, azonnal látható eredmény a megkeresések számában.

Milyen ellenőrzőlistával indulj neki?

Mielőtt bármilyen mérésbe kezdenél, fusd át ezt a hét pontot:

1. Működik a konverziómérés? Az esemény tényleg csak sikeres beküldéskor tüzel, és a telefonos megkeresés is látszik valahol?
2. Egyezik a mért konverziószám a valósággal (postaláda, telefonlista, CRM)? Ha nem, előbb ezt javítsd.
3. Mennyi volt a havi konverziószám az utolsó három hónapban? Ez adja meg, melyik sávba tartozol.
4. Mekkora a tervezett változtatás: mikro (szöveg, szín, elhelyezés) vagy makró (struktúra, ajánlat, űrlap)?
5. Van szezonalitás az üzletedben? Ha igen, csak azonos szezonú időszakokat hasonlíts össze.
6. Vezetsz változásnaplót, és be tudod jelölni a módosítás dátumát az analitikában?
7. Ha kijönne egy eredmény, tudnál rá cselekedni? Ha a válasz nem, ne indítsd el a mérést.

A cél nem az, hogy tudományos igényű kísérletet futtass egy tíz megkeresést hozó oldalon, hanem hogy ne hozz rossz döntést látszatadat alapján. A kis forgalom nem akadálya a fejlődésnek, csak más eszközöket kér: megfigyelést, fegyelmezett naplózást, hosszabb időtávot, és azt a szakmai bátorságot, hogy a nyilvánvalót teszt nélkül is kijavítod.

Források és további olvasnivalók

• Google Search Central dokumentáció (A/B tesztelés és keresőoptimalizálás viszonya)
• Google Analytics súgó (GA4 konverziós események, összehasonlítási időszakok, annotációk)
• Nielsen Norman Group: használhatósági tesztelés kis mintával
• Ron Kohavi, Diane Tang, Ya Xu: Trustworthy Online Controlled Experiments
• Evan Miller: Sample Size Calculator és How Not To Run An A/B Test
• web.dev: Core Web Vitals dokumentáció
• W3C: Web Content Accessibility Guidelines (WCAG)
• Schema.org: strukturált adat típusok dokumentációja