- A szignifikancia nem azt mondja meg, hogy 95 százalék eséllyel igazad van, hanem azt, hogy a véletlen milyen ritkán adna ekkora eltérést.
- A napi kukkolás és a korai leállítás önmagában a vállalt fölé emeli a hamis nyertesek arányát.
- A minimálisan érdemi különbséget és a mintaméretet a teszt indítása előtt kell kimondani, nem utólag.
- Teljes heteket futtass, mert a hétvégi és a hétközi látogató nem ugyanaz a közönség.
- Mintaarány-eltérés vagy technikai különbség esetén az eredményt ne értelmezd, hanem a mérést javítsd.
A tesztelő felület zöld pipája nem döntés, hanem egy statisztikai állítás egy adott pillanatban. A kettő közti különbség sok pénzt visz el: az élesített változat viselkedése hónapokra beépül a bevételi tervbe, miközben az eredeti mérés egyszerűen nem bírta el ezt a súlyt. Nézzük végig, mit mond és mit nem mond egy A/B teszt eredménye, és milyen feltételek mellett érdemes egy nyertest élesíteni.
Mit jelent pontosan az, hogy egy A/B teszt eredménye szignifikáns?
Azt jelenti, hogy ha a két változat között valójában nulla a különbség, akkor ekkora vagy nagyobb eltérést csak ritkán, jellemzően száz futásból ötször mérnél pusztán a véletlen miatt. Nem azt jelenti, hogy 95 százalék az esélye annak, hogy a B változat a jobb.
Tovább a témában: A/B teszt kis forgalmú oldalon · Mobilbarát teszt
(Hivatalosan igazolt) A p-érték egy feltételes valószínűség: azt méri, mennyire szélsőséges a megfigyelt adat akkor, ha a nullhipotézis (nincs különbség) igaz. A statisztikai szakirodalom és a nagy kísérletezési platformok dokumentációja is így definiálja. Az irány megfordítása, tehát az, hogy a hipotézis valószínűségét olvasnád ki belőle, egészen más statisztikai keretet igényelne.
Gyakorlati fordítás: a p-érték helyett nézd a konfidencia-intervallumot. Ha a felület azt írja, hogy a felemelés 18 százalék, de az intervallum -2 és +41 százalék között húzódik, akkor az adat egyszerre fér össze egy kisebb romlással és egy komoly javulással. Ez nem nyertes, hanem egy kérdés, amire még nincs elég adat.
(Szakmai feltételezés) A legtöbb kis és közepes cégnél a döntést nem a statisztika hozza meg, hanem a türelem korlátja. A teszt addig fut, amíg valaki rá nem néz és meg nem elégszik a látottal.
Miért veszélyes a teszt korai leállítása?
Mert ha minden nap ránézel, és akkor állítod le, amikor a szám először szignifikáns, a tényleges tévedési arányod jóval a vállalt 5 százalék fölé kerül. A napi kukkolás önmagában megnöveli a hamis nyertesek arányát.
Az ok egyszerű. Egy futó teszt mért különbsége napról napra ingadozik. Ha huszonegy alkalommal is jogod van leállítani, akkor huszonegy esélyed van arra, hogy a véletlen éppen egy szép számot mutasson. (Hivatalosan igazolt) A jelenséget a kísérletezési szakirodalom peeking, illetve sequential testing néven tárgyalja, és a nagyobb platformok pontosan ezért építettek be korrekciót: alpha spending függvényt vagy Bayes-alapú kiértékelést, ami elviseli a folyamatos ránézést.
Amit tehetsz, ha nincs ilyen eszközöd:
- Előre írd le, mikor nézel rá az eredményre, és tartsd magad hozzá.
- A futás közbeni ránézést kezeld működés-ellenőrzésnek, ne döntésnek: azt nézed, mennek-e az események, nem azt, ki vezet.
- Ha muszáj korán beavatkozni, csak leállításról dönts (a teszt hibás, a változat tör valamit), soha ne nyertes-hirdetésről.
Mi az a minimálisan érdemi különbség, és miért kell előre kimondani?
A minimálisan érdemi különbség (MDE) az a legkisebb javulás, amiért üzletileg egyáltalán megérné átállni. Ezt a számot a teszt indítása előtt kell kimondani, mert ez határozza meg, mekkora mintára van szükséged.
Az MDE nem statisztikai, hanem üzleti döntés. Ha a B változat élesítése két fejlesztői napba kerül és megbontja a sablonrendszert, akkor egy 3 százalékos relatív javulás nem éri meg, tehát nem is kell kimutatnod. Ha viszont a változtatás egy szövegcsere, akkor egy kisebb javulás is elég lehet, csak éppen sokkal nagyobb mintát kér.
Nagyságrendi példa 2 százalékos alap konverzióval, 80 százalékos statisztikai erővel és 95 százalékos konfidenciaszinttel: egy 20 százalékos relatív javulás (2 százalékról 2,4-re) kimutatásához ágonként durván 20 ezer látogató kell, egy 10 százalékos javuláshoz (2-ről 2,2-re) viszont már nagyjából 78 ezer. A szükséges minta a különbség négyzetével fordítottan arányos, ezért csúszik el ennyire. Ha a webáruházad havi 12 ezer látogatót kap, a 10 százalékos hatás kimutatása több mint egy évig tartana. Ilyenkor nem tesztet érdemes indítani, hanem nagyobb változtatást csinálni.
Miért kell teljes heteket futtatni?
Mert a látogatóid viselkedése hetes ciklusban mozog, és egy csonka hét szisztematikusan az egyik napcsoport felé húzza az eredményt. Teljes hetekben futtatva ez a torzítás kiesik.
Egy hétfőn indított és pénteken leállított teszt kizárólag hétköznapi közönséget mért. (Saját tapasztalat) Szolgáltató és vendéglátó ügyfeleknél a hétvégi és a hétközi látogató nem ugyanaz az ember: más eszközről jön, más a szándéka, más a konverziós aránya. Egy ajánlatkérő űrlap átalakítása simán nyerhet hétköznap és veszíthet szombaton.
- Minimum két teljes hét, a gyakorlatban inkább három vagy négy.
- A hét ugyanazon napján indíts és állíts le.
- Kerüld a torzító időszakokat: ünnep, Black Friday, nyári leállás, iskolakezdés.
- Ha a vásárlási ciklusod hosszabb egy hétnél, a futásidőnek a ciklust is le kell fednie, különben a konverziót a rossz változatnak tulajdonítod.
Hogyan tűnhet el három hét alatt egy 40 százalékos nyertes?
Úgy, hogy sosem volt ott. A korai, nagy különbség szinte mindig kis mintán születik, és a minta növekedésével visszahúzódik a valós értékhez.
Egy tipikus lefutás, amit sokan felismernek majd. Egy termékoldalon a B változat a CTA gomb szövegét és helyét cseréli. A harmadik nap végén az A ágon 1200 látogatóból 30 kosárba tétel, a B ágon 1180 látogatóból 42. Ez 2,5 és 3,56 százalék, tehát több mint 40 százalék relatív javulás, és a felület 94 százalékos konfidenciát mutat. A csapat örül, valaki már fogalmazza is a bejelentést.
A huszonegyedik napon az A ágon 9100 látogatóból 231, a B ágon 9050-ből 238 kosárba tétel: 2,54 és 2,63 százalék. A felemelés 3,5 százalék, a konfidencia-intervallum nagyjából -9 és +18 százalék között van. A különbség nem eltűnt, hanem soha nem is létezett akkorában, amekkorának az első három nap mutatta.
Két külön dolog játszott ide. Az egyik a kis minta ingadozása: 30 és 42 konverzió között tizenkét darab az eltérés, amit néhány véletlen vásárlás megfordíthat. A másik, hogy az első napokban egy remarketing hirdetéscsoport aránytalanul sok visszatérő látogatót vitt az egyik ágba. (Saját tapasztalat) Ez utóbbi a leggyakoribb rejtett ok, amikor a teszt és a hirdetéskezelés két különböző emberhez tartozik, és senki nem szól a másiknak.
Milyen ellenőrzőlistán menjen át az eredmény, mielőtt elhiszed?
Kilenc pont, és mindegyiknek teljesülnie kell. Egyetlen bukott pont is elég ahhoz, hogy az eredményt ne élesítsd, hanem újrafuttasd.
- Elég konverzió mindkét ágon. Nem látogató, hanem konverzió. Gyakorlati alsó küszöb ágonként néhány száz; kétszámjegyű konverziószámból ne hozz döntést.
- Teljes hetek. A futás egész heteket fed le, azonos napon indult és zárult.
- Előre rögzített MDE és mintaméret. A teszt a tervezett méretig futott, nem addig, amíg szép lett a szám.
- Nem volt közben kampányváltás. Se új hirdetéscsoport, se költségkeret-emelés, se hírlevél-kiküldés, se árváltozás, se sajtómegjelenés.
- Nincs technikai eltérés. A két változat betöltési ideje, hibaaránya és megjelenése eszközönként egyezik, nincs villanás (flicker).
- Nincs mintaarány-eltérés. 50/50 osztásnál a két ág forgalma tényleg fele-fele.
- Szegmensenként ugyanaz az irány. Mobil és asztali, új és visszatérő, organikus és fizetett: a hatás iránya mindenhol azonos. Ha az egyik szegmensben ellentétes, az összesített eredmény kevert.
- Van magyarázatod arra, miért működik. Ha nincs, az még nem kizáró ok, de gyanús: az érthetetlen nyertesek mögött gyakran mérési hiba áll.
- A hatás túléli az élesítés utáni hetet. Bevezetés után is figyeld a mutatót: az újdonság-hatás jellemzően két-három hét alatt lecseng.
Hogyan zárod ki, hogy technikai eltérés termelte a nyertest?
Két méréssel: a mintaarány ellenőrzésével és a két változat betöltési adatainak összevetésével. Mindkettő pár perc, és a hamis eredmények jelentős részét kiszűri.
A mintaarány-eltérés (sample ratio mismatch) akkor áll fenn, ha 50/50 osztásnál a két ág forgalma érdemben eltér. Ez majdnem mindig hibát jelez: a szkript az egyik változatnál később fut le, a bot-szűrés máshogy viselkedik, vagy a gyorsítótár szól bele. Ha ezt látod, az eredményt egyáltalán ne értelmezd.
from scipy.stats import chisquare
# a ket ag latogatoszama
a, b = 24150, 23310
varhato = [(a + b) / 2] * 2
p = chisquare([a, b], f_exp=varhato).pvalue
print(p) # ha p < 0.001, elobb a merest javitsd
A második lépés a betöltés. Nézd meg a két változat Largest Contentful Paint és Cumulative Layout Shift értékét külön. (Saját tapasztalat) A kliensoldali tesztelők gyakran azzal nyernek vagy veszítenek, hogy az egyik változat egy rövid villanás után rajzolódik újra. Ilyenkor nem a szöveget vagy a gombot tesztelted, hanem a késleltetést.
Miért gondolom, hogy a bejelentett CRO-sikerek nagy része zaj?
Mert a nyilvánosságra kerülő eredmények kiválasztódnak. A látványos szám bekerül az esettanulmányba, a semmit nem mutató teszt nem.
(Saját tapasztalat) A „37 százalékos konverziónövekedés egy gombszínnel” típusú állítások mögött jellemzően három dolog egyike áll: túl kicsi minta, korán leállított futás, vagy olyan szegmens utólagos kiválasztása, ahol éppen szép a szám. Egyik sem csalás, mind a három nagyon emberi.
(Szakmai feltételezés) Ha egy csapat sok tesztet futtat, és minden bejelentett nyertese kétszámjegyű javulást hoz, akkor jó eséllyel nem kivételesen tehetséges, hanem rosszul zárja le a futásokat. Az érett kísérletezési programokban a tesztek nagy része semleges eredménnyel végződik, és ez nem kudarc, hanem a módszer normál működése.
Ez nem azt jelenti, hogy ne tesztelj. Azt jelenti, hogy a teszt értéke nem a nyertesekben van, hanem abban, hogy megakadályozza a rossz ötletek élesítését. Egy jól futtatott teszt, ami azt mondja, hogy nincs különbség, megspórolt neked egy felesleges átépítést. Ez önmagában megéri, még ha nem is lehet belőle bejelentést írni.
Mit kezdj azzal, ha a teszt nem hoz döntést?
Ne futtasd tovább addig, amíg szignifikáns nem lesz. Zárd le, jegyezd fel, és lépj tovább egy nagyobb változtatásra.
A tervezett mintaméret elérése után a további futtatás pontosan az a kukkolás, ami hamis nyerteseket gyárt. A döntetlen eredmény hasznos információ: azt mondja, hogy a vizsgált változtatás hatása kisebb, mint az általad érdemesnek tartott küszöb. Ilyenkor a következő teszt ne ugyanannak a gombnak egy másik árnyalata legyen, hanem az ajánlat, a bizalmi elemek, az űrlap hossza vagy az oldal szerkezete. (Szakmai feltételezés) Kis és közepes forgalmú magyar oldalakon a mérhető hatás jó eséllyel a nagyobb, tartalmi beavatkozásoktól jön, nem az apró vizuális finomhangolástól, mert utóbbi hatása elvész a rendelkezésre álló mintában. Ez nem garantál javulást, de a rendelkezésre álló forgalmat értelmesebb kérdésekre költi.
Források és további olvasnivalók
- Google Search Central: Website testing and Google Search (útmutató az A/B és többváltozós tesztek helyes technikai kivitelezéséhez)
- Google Analytics Súgó: a Google Optimize és az Optimize 360 hivatalos megszüntetése, 2023. szeptember 30.
- Microsoft Experimentation Platform (ExP) publikációi az online kontrollált kísérletekről
- Kohavi, Tang, Xu: Trustworthy Online Controlled Experiments (Cambridge University Press)
- Evan Miller: How Not to Run an A/B Test
- Optimizely és VWO hivatalos dokumentációja a szekvenciális, illetve Bayes-alapú kiértékelésről
- W3C: Paint Timing és Layout Instability specifikációk (a betöltési eltérések méréséhez)
Gyakori kérdések
Hány konverzió kell ágonként ahhoz, hogy elhihessem az eredményt?
Nincs egyetlen jó szám, mert a szükséges minta a kimutatni kívánt különbség nagyságától függ. Gyakorlati alsó küszöbként ágonként néhány száz konverzióval érdemes számolni; kétszámjegyű konverziószámból hozott döntés jó eséllyel a véletlent élesíti. A pontos számot a teszt előtt, a minimálisan érdemi különbségből kiindulva számold ki.
Meddig kell futtatni egy A/B tesztet?
Addig, amíg a tervezett mintaméret össze nem jön, és közben teljes heteket fed le. A gyakorlatban ez legalább két, jellemzően három vagy négy teljes hét. A hét ugyanazon napján indíts és zárj, hogy a hétvégi és a hétközi közönség aránya mindkét ágon azonos legyen.
Ránézhetek naponta a futó tesztre?
Ránézni szabad, dönteni nem. A napi ellenőrzés arra való, hogy lásd, mennek-e az események és nem tört-e el valami. Ha viszont a látottak alapján leállítod a tesztet, amint szignifikáns lesz, a tévedési arányod jóval a vállalt szint fölé kerül. Beavatkozni csak akkor érdemes, ha a teszt technikailag hibás.
Mit jelent a mintaarány-eltérés, és mit tegyek vele?
Azt jelenti, hogy 50/50-es osztásnál a két ág forgalma érdemben nem egyezik. Ez szinte mindig mérési vagy technikai hibát jelez: eltérő szkriptfutás, bot-szűrés vagy gyorsítótár. Ilyenkor az eredményt ne értelmezd, hanem javítsd a mérést, és futtasd újra a tesztet.
Élesíthetem a nyertest, ha csak az egyik szegmensben jött ki a javulás?
Óvatosan. Ha mobilon nyer, asztalon viszont veszít, akkor az összesített eredmény kevert, és a teljes forgalomra kiterjesztett bevezetés akár ronthat is. Ilyenkor vagy szegmensre szűkítve vezeted be a változatot, vagy külön tesztet futtatsz az érintett szegmensen, elegendő konverzióval.
Mi a teendő, ha a teszt nem mutat különbséget?
Zárd le, és tekintsd információnak: a vizsgált változtatás hatása kisebb, mint amennyiért megérné átállni. Ne futtasd tovább addig, amíg szignifikáns nem lesz. A következő kísérlet inkább nagyobb, tartalmi beavatkozásra irányuljon, mert kisebb forgalom mellett annak van esélye kimutatható hatásra.
Források és további olvasnivalók
Ezen az oldalon a hivatalosan igazolt információt elsődleges forrásokból építjük fel; a saját tapasztalatot és a szakmai becslést mindig külön jelöljük a szövegben.