Statistische significantie betekent dat een testuitkomst voldoet aan een vooraf gekozen regel om de nulhypothese te verwerpen, gegeven de aannames van de toets. Daarbij is de foutkans van belang: NIST beschrijft het significantieniveau als de kans om een ware nulhypothese ten onrechte te verwerpen.[1] Een significant resultaat is dus geen bewijs dat de kans op een verkeerde zakelijke beslissing verdwenen is.
Voor een webshop moet je naast de toets ook naar de grootte en onzekerheid van het effect kijken. Een klein verschil kan bij veel waarnemingen statistisch aantoonbaar zijn maar na implementatiekosten nauwelijks waarde hebben. Omgekeerd bewijst een niet-significante uitkomst niet dat varianten gelijkwaardig zijn. Bepaal vooraf welke verbetering praktisch relevant is en behandel herhaald tussentijds toetsen of het achteraf kiezen van een gunstige meetwaarde niet als een neutrale analyse.
Inhoud bijgewerkt:
Bronnen
Samengesteld met AI-ondersteuning op basis van openbare bronnen. Algemene uitleg, geen persoonlijk juridisch of fiscaal advies. Een begrip is niet automatisch een functie van Zoloo.