Angående dette med A/B testing med korte intervaller, om det er dugende eller ikke for å avsløre mindre lydlige forskjeller, som bl annet
@pedal har vært inne på.
La oss si at du har en påstand eller hypotese om at en Dac (eller forsterker) til $20000 og en til $200 fra samme produsent vil låte like bra via en kontrollgruppe av mennesker med «gyldne ører». Altså ingen klare preferanser i den ene eller andre retningen En gitt produsent, f eks dCS får i oppgave å lage den beste Dac’en dem kan for $20000. Men dem får også beskjed om å lage 10stk dac’er som legger seg pent i prissjiktet mellom 20000 og 200, basert på det beste de kan.
Ei kontrollgruppe på 100 personer lytter først til Dac’en til 200000, så den til $18000, med et 0-resultat, altså ingen klar preferanse hverken i den ene eller annen retningen. Så forkastes den til 20000. Deretter den til 18000 mot den til 16000. Samme 0-resultat. Deretter forkastes den til 18000. Sånn driver man på hele veien nedover til man samnenligner den til $400 mot den til $200. Samme 0-resultet, 50/50, ingen klar preferanse..
Men så ber man samme kontrollgruppe lytte til toppmodellen Dac’en (eller forsterkeren) til 20000 mot den til 200, med samme A/B intervaller som tidligere. Da får du plutselig et signifikant annet resultat, la oss si 80/20 i favør den dyreste varianten. Gjentatte nye forsøk gir det samme resultatet, ca 80/20 i preferanse mot den dyre Dac’en.
Når du da nødvendigvis må konkludere med at folk hører forskjell på den dyre og den billige Dac’en, må du da samtidig konkludere med at korte A/B skift ikke egnet for å avdekke mindre lydlige forskjeller på produkter?
Logisk sett ville kvalitetsforskjellen (lyden i dette tilfellet) mellom den dyreste Dac’en og den billigste Dac’en være spredt utover alle Dac’ene i ulike prissjikt, litt her og litt der. La oss i hvertfall ha det som en forutsetning. Men når den store signifikante forskjellen ble oppdelt i 10 mindre steg, da klarte faktisk ikke kontrollgruppen å identifisere. Men forskjellene var like fullt tilstede!!!
Det måtte et større lydlig step til, for at A/B fungerte.