Calcolatore dei test A/B per la significatività statistica

La significatività statistica è importante quando si eseguono i test A/B perché garantisce che i risultati siano affidabili e non frutto del caso. 

Convalida rapidamente i risultati delle tue indagini utilizzando il calcolatore per test A/B di SurveyMonkey qui sopra.

Il test A/B, o split test, permette di confrontare le prestazioni di due versioni di un prodotto o di un messaggio pubblicitario per individuare la variante maggiormente apprezzata dal pubblico di riferimento.

Ricercatori, esperti di esperienza dei clienti e professionisti del marketing utilizzano i test A/B per verificare la validità di piccole modifiche, come un nuovo pulsante di un sito o il design di una homepage. Il test fornisce un feedback diretto e dati utili a orientare le decisioni sulla variante da scegliere. 

Nei test A/B, la significatività statistica misura il grado di probabilità che la differenza registrata tra la versione di controllo e quella di test sia reale e non dovuta a un errore o al caso.

Ad esempio, se si esegue un test con un livello di significatività del 95%, si può essere sicuri al 95% che le differenze registrate siano autentiche.

La significatività statistica viene utilizzata per determinare se versioni diverse del prodotto influenzano le percentuali di conversione di un business. Nelle indagini, viene impiegata per garantire l'affidabilità dei risultati. 

Ad esempio, se in un sondaggio si chiede alle persone se preferiscono il concept pubblicitario A o B, prima di decidere quale utilizzare, ci si deve assicurare che la differenza tra i risultati sia statisticamente significativa.

Per prima cosa, è necessario formulare un'ipotesi. In ogni test, esiste un'ipotesi nulla, che afferma che non vi è alcuna relazione tra i due elementi che si stanno confrontando, e un'ipotesi alternativa.

L'ipotesi alternativa sostiene l'esistenza di una relazione causale e rappresenta l'affermazione che si sta cercando di formulare. 

Ad esempio, se si sta facendo un test A/B sulle percentuali di conversione, le ipotesi possono essere:

Dopo aver formulato le ipotesi nulla e alternativa, gli esperti di statistica eseguono dei test per verificare quale sia valida.

Un punteggio z rappresenta il livello di confidenza e valuta la validità dell'ipotesi nulla. Può indicare che non esiste, di fatto, alcuna relazione tra gli elementi confrontati. Un valore p indica quanto è convincente la prova a supporto dell'ipotesi alternativa.

A questo punto, si dovrà decidere se il test sarà unilaterale o bilaterale (a volte chiamato a una o a due code). Un test unilaterale presuppone che l'ipotesi alternativa avrà un effetto solo in direzione positiva, mentre un test bilaterale prende in considerazione anche che possa avere un effetto negativo sui risultati.

Ad esempio, se si sta conducendo un test A/B sulle percentuali di conversione, il test potrebbe essere:

A questo punto, si raccoglieranno i risultati del test A/B, ovvero le metriche rilevanti per la versione di controllo (A) e per quella di test (B). 

Nel nostro esempio, i risultati potrebbero essere: 

Quindi, si procederà al calcolo del punteggio z, che misura lo scarto tra i risultati osservati e l'ipotesi nulla, per determinare se la differenza tra A e B è statisticamente significativa. 

Infine, si calcolerà il valore p, che indica la probabilità che la differenza osservata sia dovuta al caso. Un valore di p basso suggerisce una minore validità dell'ipotesi nulla. 

Nel nostro esempio:

Per determinare la significatività statistica, occorre innanzitutto impostare un livello di significatività (alfa). Questo valore è comunemente fissato a 0,05 (5%), e rappresenta il livello di rischio accettabile di rifiutare erroneamente l'ipotesi nulla.

Dopodiché, si confronterà il valore p con il livello alfa. Se il valore p è inferiore al livello alfa, è possibile rifiutare l'ipotesi nulla e concludere che la differenza è statisticamente significativa. 

Nel nostro esempio, il valore p è inferiore al livello alfa, il che significa che la differenza del 14% è statisticamente significativa.

Ora è il momento di interpretare i risultati. Se si ottengono risultati significativi, vuol dire che la differenza osservata difficilmente sarà dovuta al caso, dimostrando la validità dell'ipotesi alternativa. Risultati non significativi sono invece indice della mancanza di prove sufficienti per respingere l'ipotesi nulla, ovvero che la differenza osservata sia dovuta a variazioni casuali.

Per una procedura efficiente e accurata, si consiglia di utilizzare degli strumenti di calcolo come:

In sintesi, la significatività statistica convalida i risultati dei test A/B. L'uso della significatività statistica è importante per prendere decisioni informate sulla base dei test A/B.

Prova a usare il calcolatore in alto nella pagina per determinare automaticamente la significatività dei risultati delle tue indagini.