Calcolatore Test A/B

I tuoi risultati sono statisticamente significativi?

Calcola la tua significatività statistica

Visitatori

Conversioni

Tasso di conversione

A

1,00%

B

1,14%

IpotesiUn test a due code prende in considerazione la possibilità che la variante potrebbe avere un impatto negativo sui risultati.

ConfidenzaIl grado di sicurezza in merito al fatto che i risultati ottenuti non sono dovuti al caso.

Risultato significativo.

Il tasso di conversione della variante B (1,14%) è superiore del 14% rispetto a quello della variante A (1%). Si può affermare con una confidenza del 95% che la variante B avrà prestazioni migliori rispetto alla variante A.

Potenza

86,69%

Valore p

0,0157

Che cos'è la significatività statistica?

Nel contesto degli esperimenti dei test A/B, la significatività statistica misura con quanta probabilità la differenza tra la versione di controllo e la versione di prova dell'esperimento sia dovuta ad errori o al caso.

Ad esempio, se si esegue un test con un livello di significatività del 95%, si può essere sicuri al 95% che le differenze siano reali.

Le aziende tipicamente usano la significatività statistica per osservare l'impatto degli esperimenti sui tassi di conversione aziendale. Nelle indagini viene in genere utilizzata come strumento per garantire l'affidabilità dei risultati. Ad esempio, se si chiede alle persone se preferiscono il concetto pubblicitario A o il concetto pubblicitario B in un'indagine, è importante essere sicuri che la differenza nei risultati ottenuti sia statisticamente significativa prima di decidere quale utilizzare.

Ai calcoli pensiamo noi. Ottieni automaticamente la significatività statistica con un piano Advantage. Vedi i prezzi.

Come calcolare la significatività statistica

Il primo passaggio consiste nel formulare un'ipotesi. Per ogni esperimento esiste un'ipotesi nulla, che nega l'esistenza di relazione tra i due elementi posti a confronto, e un'ipotesi alternativa. L'ipotesi alternativa cerca tipicamente di dimostrare l'esistenza di tale relazione e rappresenta l'affermazione che si sta cercando di sostenere. Nel caso del test A/B del tasso di conversione, l'ipotesi può comportare l'aggiunta di un pulsante, di un'immagine o di elementi copiati in una pagina per vedere se influisce sui tassi di conversione. Quando si utilizzano le indagini per il test concettuale, come nell'esempio precedente, l'ipotesi potrebbe comportare il test di diverse varianti di annunci per individuare quelle considerate più interessanti dagli intervistati.

Dopo aver formulato ipotesi nulle e alternative, gli statisti a volte fanno dei test per assicurarsi che le loro ipotesi siano valide. Un punteggio z valuta la validità dell'ipotesi nulla. Può indicare se non esiste, di fatto, alcuna relazione tra gli elementi confrontati. Un valore p indica se la prova a supporto della propria ipotesi alternativa è ineccepibile.

Quando si eseguono test di significatività statistica, è utile decidere se il test sarà unilaterale o bilaterale (chiamato anche a una o a due code). Un test unilaterale presuppone che l'ipotesi alternativa avrà un effetto direzionale, mentre un test bilaterale spiega anche se l'ipotesi potrebbe avere un effetto negativo sui risultati. Generalmente, un test bilaterale è la scelta più conservatrice.

Anche gli statisti professionisti utilizzano un software di modellazione statistica per calcolare la significatività e i test che la supportano, quindi non approfondiremo troppo la questione. Tuttavia, se esegui un Test A/B, puoi utilizzare il calcolatore nella parte superiore della pagina per calcolare la significatività statistica dei risultati. Se stai cercando di calcolare la significatività dei risultati della tua indagine, SurveyMonkey può farlo per te automaticamente.

Ti stai chiedendo perché non ottieni risultati significativi?

Prova a inviare un'indagine ai tuoi clienti per scoprire cosa stanno cercando.