Calcolatore Test A/B

Nel contesto degli esperimenti dei test A/B, la significatività statistica misura con quanta probabilità la differenza tra la versione di controllo e la versione di prova dell'esperimento sia dovuta ad errori o al caso.

Ad esempio, se si esegue un test con un livello di significatività del 95%, si può essere sicuri al 95% che le differenze siano reali.

Le aziende tipicamente usano la significatività statistica per osservare l'impatto degli esperimenti sui tassi di conversione aziendale. Nelle indagini viene in genere utilizzata come strumento per garantire l'affidabilità dei risultati. Ad esempio, se si chiede alle persone se preferiscono il concetto pubblicitario A o il concetto pubblicitario B in un'indagine, è importante essere sicuri che la differenza nei risultati ottenuti sia statisticamente significativa prima di decidere quale utilizzare.

Il primo passaggio consiste nel formulare un'ipotesi. Per ogni esperimento esiste un'ipotesi nulla, che nega l'esistenza di relazione tra i due elementi posti a confronto, e un'ipotesi alternativa. L'ipotesi alternativa cerca tipicamente di dimostrare l'esistenza di tale relazione e rappresenta l'affermazione che si sta cercando di sostenere. Nel caso del test A/B del tasso di conversione, l'ipotesi può comportare l'aggiunta di un pulsante, di un'immagine o di elementi copiati in una pagina per vedere se influisce sui tassi di conversione. Quando si utilizzano le indagini per il test concettuale, come nell'esempio precedente, l'ipotesi potrebbe comportare il test di diverse varianti di annunci per individuare quelle considerate più interessanti dagli intervistati.

Dopo aver formulato ipotesi nulle e alternative, gli statisti a volte fanno dei test per assicurarsi che le loro ipotesi siano valide. Un punteggio z valuta la validità dell'ipotesi nulla. Può indicare se non esiste, di fatto, alcuna relazione tra gli elementi confrontati. Un valore p indica se la prova a supporto della propria ipotesi alternativa è ineccepibile.

Quando si eseguono test di significatività statistica, è utile decidere se il test sarà unilaterale o bilaterale (a volte chiamato a una o a due code). Un test unilaterale presuppone che l'ipotesi alternativa avrà un effetto direzionale, mentre un test bilaterale spiega anche se l'ipotesi potrebbe avere un effetto negativo sui risultati. Generalmente, un test bilaterale è la scelta più conservatrice.

Anche gli statisti professionisti utilizzano un software di modellazione statistica per calcolare la significatività e i test che la supportano, quindi non approfondiremo troppo la questione. Tuttavia, se esegui un Test A/B, puoi utilizzare il calcolatore nella parte superiore della pagina per calcolare la significatività statistica dei risultati. Se stai cercando di calcolare la significatività dei risultati della tua indagine, SurveyMonkey può farlo per te automaticamente.