Questo articolo si concentra su:
- Decidere quanto "sensibile" dovrebbe essere un esperimento
- Stimare quanto tempo ci vorrà per un esperimento
- Dare priorità agli esperimenti
Decidere quanto "sensibile" deve essere un esperimento
Una volta che si decide su un'ipotesi, si progetta un esperimento. Quante varianti da testare? Si basano sulla vostra esperienza per generare dati sufficienti a determinare la scelta migliore. L'effetto minimo rilevabile (MDE) rappresenta il miglioramento minimo relativo rispetto alla variante originale.
L'effetto minimo rilevabile (MDE o è anche noto come Minimum Detectable Lift) è un numero che stima il più piccolo miglioramento che si è disposti a rilevare oltre il controllo. Esso determina quanto è "sensibile" un esperimento, e in altre parole è un ascensore previsto, oltre il controllo, che può essere misurato con un certo grado di certezza.
MDE è il più piccolo cambiamento possibile che varrebbe la pena di investire il tempo e il denaro per progettare il test e realizzare il cambiamento in modo permanente sul sito. È importante sapere: un MDE più basso significa aumentare il traffico per garantire che un ascensore più piccolo sia veramente valido.
Utilizzare MDE per stimare la durata di un esperimento dato quanto segue:
- Tasso di conversione di base
- Significato statistico
- Ripartizione del traffico
Ottenere i dati per valutare la vostra ipotesi, è necessario eseguire un esperimento basato su un semplice calcolo basato su MDE, visitatori e precisione.
Di solito i parametri da considerare come standard sono i seguenti:
- Significanza statistica: 95%
- MDE minimo: 20%
Utilizzando questi parametri, aggiungendo il numero di visitatori su ogni variante, si può fare un benchmarking del tempo di esecuzione di un esperimento e dell'impatto sull'azienda.
Stimare quanto tempo ci vorrà per un esperimento
Il tempo per gli esperimenti è un fattore cruciale e può essere calcolato con la seguente formula oppure si può utilizzare uno dei seguenti link:
Dare priorità agli esperimenti
Dare priorità agli esperimenti in base al ROI previsto, è una best practice che vi aiuterà a generare rapidamente e facilmente un impatto importante in termini di ricavi e di tempo.
È possibile organizzare un semplice foglio di calcolo di Google Spreadsheet, aggiungendo nella colonna verticale le caratteristiche relative alla prioritizzazione degli esperimenti: per ogni esperimento si dovrebbe considerare di scrivere i "principali fattori KPI", al fine di valutare e ordinare le idee attraverso un unico numero di punteggio. Ad esempio, si può considerare di determinare il numero di settimane per eseguirlo, il tempo per l'implementazione e il potenziale impatto aziendale per calcolare l'ordinamento.
Diverse strutture possono aiutarvi a dare priorità agli esperimenti, come P.I.E. (Potenziale, Importanza e Facilità) che vi aiuterà a trovare quali test dovreste fare per primi, calcolando il punteggio medio.