Test av ABX- test?

tkr · 11.03.2014

Planlegger fortsatt en test av ABX- testen. Har tenkt å invitere Bergen Lydlaug til en testkveld i løpet av førsommeren.

Jeg lurer i første rekke på hvor følsom den egentlig er. Hvor små endringer i frekvensgang kan normale hifinerder høre, hvor følsomme er ørene våre i forskjellige frekvensavsnitt, hvor går nedre grensen for helt normale folk: 0.5 dB, 1 dB? Over 1/4 oktav, 1/2 oktav?

Nå er stuen i tkr Towers lytterom, og noe akustisk behandling av rommet blir det faen ikke snakk om, iflg. sjefen.

Men hvis alle sitter på samme plass i løpet av testen, burde jo det være greit nok. Og de aller fleste burde vel klare å konsentrere seg i 30 minutter omtrent.

Men er det noen her inne som vet hvor lange musikksnuttene være? Jeg mener å ha lest at de bare skal være rundt 15-20 sekunder. Og hvor lang tid kan man tillate seg mellom snuttene, 5 sek, 10 sek?

Sliter litt med å finne noen holdbar oppskrift på dette her. Er det noen som har konkret info? Har prøvd å spørre på Gearslutz, men får ikke noe svar der.

mvh tkr

Hi-Fi akustikk · 11.03.2014

Nivåfølsomhet avhenger av båndbredden på avviket, og ikke minst hvor i frekvens det er. Worst case så kan 0.25-0.5dB være utslagsgivende.

15-20 sekunder er fin lengde om målet er å avdekke OM det er forskjell. Ikke så egnet om man ønsker å beskrive forskjellen. Pausen bør være så kort som mulig.

KJ · 11.03.2014

^ Hodetelefoner bidrar som regel til mer kontrollerte testbetingelser. Kontrollerte testbetingelser bidrar til mer robuste resultater.

Viktigere enn lengden på snuttene er om musikken/programmaterialet er egnet til å «belyse» ulike endringer i reproduksjonen. Det kan være nytteløst å teste hørbarheten av f.eks. en lavpassfiltrering ved 20 kHz dersom programmaterialet ikke inneholder informasjon over 10 KHz.

En enkel måte å teste hørbarheten av ulike endringer er å manipulere (EQ og andre betoninger) musikken i f.eks. Audacity.

mvh
KJ

tkr · 11.03.2014

Hi-Fi akustikk skrev:
Nivåfølsomhet avhenger av båndbredden på avviket, og ikke minst hvor i frekvens det er. Worst case så kan 0.25-0.5dB være utslagsgivende.

15-20 sekunder er fin lengde om målet er å avdekke OM det er forskjell. Ikke så egnet om man ønsker å beskrive forskjellen. Pausen bør være så kort som mulig.

Takker.

M.a.o., hvis en legger seg på avvik på f.eks. +- 0.5 dB og en båndbredde på 1/4 oktav så skulle dette være hørbart for de fleste iallfall i 500- 2500 Hz- området?

mvh

tkr · 11.03.2014

KJ skrev:
^ Hodetelefoner bidrar som regel mer kontrollerte testbetingelser. Kontrollerte testbetingelser bidrar til mer robuste resultater.

Viktigere enn lengen på snuttene er om musikken/programmaterialet er egnet til å «belyse» ulike endringer i reproduksjonen. Det kan være nytteløst å teste hørbarheten av f.eks. en lavpassfiltrering ved 20 kHz dersom programmaterialet ikke inneholder informasjon over 10 KHz.

En enkel måte å teste hørbarheten av ulike endringer er å manipulere (EQ og andre betoninger) musikken i f.eks. Audacity.

mvh
KJ

Jeg kan legge inn eq-presets i preen min slik at jeg bare forandrer f.eks. 0.5 dB over en viss frekvensbredde. Alle andre parametre beholdes uforandret, ikke mist volumsettinger.

mvh

Hi-Fi akustikk · 11.03.2014

tkr skrev:
Hi-Fi akustikk skrev:

Nivåfølsomhet avhenger av båndbredden på avviket, og ikke minst hvor i frekvens det er. Worst case så kan 0.25-0.5dB være utslagsgivende.

15-20 sekunder er fin lengde om målet er å avdekke OM det er forskjell. Ikke så egnet om man ønsker å beskrive forskjellen. Pausen bør være så kort som mulig.

Klikk for å utvide...

Takker.

M.a.o., hvis en legger seg på avvik på f.eks. +- 0.5 dB og en båndbredde på 1/4 oktav så skulle dette være hørbart for de fleste iallfall i 500- 2500 Hz- området?

mvh

Når jeg sier stor båndbredde mener jeg STOOOOOR båndbredde. 0.5dB med 1/4 oktav er ekstremt smalt. Når det er snakk om så små forskjeller må båndbredden på avviket fort være ett par oktaver. Avhenger av kildemateriell, frekvensområde og nivå.

Må innrømme jeg tror dette blir alt for ommfattende å drive med på hobbybasis. Skal du i tillegg fjerne alt av Biaseffekter (da tenker jeg også på uforutsett bias) er dette ett ganske stort prosjekt.

Hodetelefoner er en fin metode å bruke.

tkr · 11.03.2014

Hi-Fi akustikk skrev:
tkr skrev:

Hi-Fi akustikk skrev:

Nivåfølsomhet avhenger av båndbredden på avviket, og ikke minst hvor i frekvens det er. Worst case så kan 0.25-0.5dB være utslagsgivende.

15-20 sekunder er fin lengde om målet er å avdekke OM det er forskjell. Ikke så egnet om man ønsker å beskrive forskjellen. Pausen bør være så kort som mulig.

Klikk for å utvide...

Takker.

M.a.o., hvis en legger seg på avvik på f.eks. +- 0.5 dB og en båndbredde på 1/4 oktav så skulle dette være hørbart for de fleste iallfall i 500- 2500 Hz- området?

mvh

Klikk for å utvide...

Når jeg sier stor båndbredde mener jeg STOOOOOR båndbredde. 0.5dB med 1/4 oktav er ekstremt smalt. Når det er snakk om så små forskjeller må båndbredden på avviket fort være ett par oktaver. Avhenger av kildemateriell, frekvensområde og nivå.

Må innrømme jeg tror dette blir alt for ommfattende å drive med på hobbybasis. Skal du i tillegg fjerne alt av Biaseffekter (da tenker jeg også på uforutsett bias) er dette ett ganske stort prosjekt.

Hodetelefoner er en fin metode å bruke.

Vel....
Hadde i grunn tenkt å ta det som et lite Laugsprosjekt. Invitere inn Bergen Lydlaug, sende ut (eller laste opp) noen snutter med forskjellig eq, plante alle i sofa/sweetspot, og se om vi klarer å høre forskjell når vi vet at forskjellene skal være der.

En hører jo så mye om folk som ikke hører forskjell på hverken det ene eller andre, og dette tolkes jo i hytt og pine som det ikke er noen forskjell....Nå tenkte jeg å snu litt på flisa. Lage presets med påviselige forskjeller i frekvensgang og se om folk greier å høre dette i en vanlig lyttesetting.

mvh

Hi-Fi akustikk · 11.03.2014

Men dersom du vet at det er forskjell så har du allerede introdusert en Bias som gjør forsøket verdiløst.

Du må variere mellom at det er forskjell og ikke, og det må være dobbelt blindt for å ha noen mening. Selv med det beste intensjoner så kan du få "clever Hans" effekter. Clever Hans kan du lese om på Wikipedia. Veldig interessant.

tkr · 11.03.2014

Jeg er forvirret. Iht. det jeg vet, består en ABX- test i at man blir kjent med snuttene A og B, og siden får man høre dem, uten å vite hvilken av dem man hører. Det skal man så finne ut, og gjerne notere ned.

Jeg er rimelig trygg på at du blander kortene her. Jeg har ingen planer om å gjennomføre en dobbel blindtest.

http://en.wikipedia.org/wiki/ABX_test

mvh

KJ · 11.03.2014

tkr skrev:
...

Jeg kan legge inn eq-presets i preen min slik at jeg bare forandrer f.eks. 0.5 dB over en viss frekvensbredde. Alle andre parametre beholdes uforandret, ikke mist volumsettinger.

mvh

Ok. Hvilken Pre? Har du evt sjekket om EQ en som sådan gir noen lydlig konsekvens? Dvs EQ innkoblet men uten noen frekvensendring?

Med Audacity tenkte jeg mest på å lage en spilleliste eller CD med et utvalg «ABX»-spor. A «original» B manipulert X enten A eller B. Det kan dog være nødvendig å ta også «original» lyden via en full prosessorloop i Audacity, men med alle effekter skrudd til null for å unngå at evt utilsiktede lydlige effekter av loopen påvirker resultatet. En slik CD kan evt nytes i ro og mak i kjente omgivelser. Den er imidlertid åpen for juks, så resultatene må evt tolkes med forbehold om deltakernes ærlighet. En annen og muligens krevende måte kan være å slå manipuleringen av/på på ulike steder på et lydspor og be testere om å identifisere når manipuleringen er av eller på. Lytteren får ikke mulighet for direkte sammenlikning av den samme snutten så det kan hende at en slik metode ikke har veldig god følsomhet.

mvh
KJ

Hi-Fi akustikk · 11.03.2014

Så det du har tenkt er å teste validiteten til ABX prinsippet med en ABX test? Det gir ikke noen mening. Det blir jo bare en helt vanlig ABX test. Dette blir en test av om panelet kan høre en gitt forskjell.

Tror det du må gjøre er å gjøre en dobbelt blind XXX test, der du opplyser om at to av alternativene er identiske. Klarer man så å få en statistisk signifikans så kan det gi støtte ene eller andre veien. Dette blir heller ikke noen god metode egentlig, siden alt avhenger av at forskjellene er hørbare i utgangspunktet, og det er jo den egentlige problemstililngen.

Det eneste vi kan gjøre er å stole, eller ikke stole, på at vi hører det samme blindt som seende. De tester jeg har sett tyder på vi er ekstremt påvirkelige av det vi ser.

Planlegger fortsatt en test av ABX- testen. Har tenkt å invitere Bergen Lydlaug til en testkveld i løpet av førsommeren.

Jeg lurer i første rekke på hvor følsom den egentlig er. Hvor små endringer i frekvensgang kan normale hifinerder høre, hvor følsomme er ørene våre i forskjellige frekvensavsnitt, hvor går nedre grensen for helt normale folk: 0.5 dB, 1 dB? Over 1/4 oktav, 1/2 oktav?

Du legger opp til to forskjellige tester i en. Den første er å teste hvor god ABX testen er. Det andre er å se hvor små avvik vi kan høre i ulike frekvensbånd. Det er ikke lurt å teste to så fundamentale ting i samme test.

tkr · 11.03.2014

KJ skrev:
tkr skrev:

...

Jeg kan legge inn eq-presets i preen min slik at jeg bare forandrer f.eks. 0.5 dB over en viss frekvensbredde. Alle andre parametre beholdes uforandret, ikke mist volumsettinger.

mvh

Klikk for å utvide...

Ok. Hvilken Pre? Har du evt sjekket om EQ en som sådan gir noen lydlig konsekvens? Dvs EQ innkoblet men uten noen frekvensendring?

Med Audacity tenkte jeg mest på å lage en spilleliste eller CD med et utvalg «ABX»-spor. A «original» B manipulert X enten A eller B. Det kan dog være nødvendig å ta også «original» lyden via en full prosessorloop i Audacity, men med alle effekter skrudd til null for å unngå at evt utilsiktede lydlige effekter av loopen påvirker resultatet. En slik CD kan evt nytes i ro og mak i kjente omgivelser. Den er imidlertid åpen for juks, så resultatene må evt tolkes med forbehold om deltakernes ærlighet. En annen og muligens krevende måte kan være å slå manipuleringen av/på på ulike steder på et lydspor og be testere om å identifisere når manipuleringen er av eller på. Lytteren får ikke mulighet for direkte sammenlikning av den samme snutten så det kan hende at en slik metode ikke har veldig god følsomhet.

mvh
KJ

Preen er en Metric Halo ULN 8. Slik ser vinylflowchartet ut, altså mitt nåværende vinylpreset. Poenget med det hele er å spille samme lille musikksnutt, altså de samme 20 sekundene av samme sang, med forskjellig eq- settinger.
Det sparer mye arbeid å gjøre det slik.

mvh

tkr · 11.03.2014

Hi-Fi akustikk skrev:
Så det du har tenkt er å teste validiteten til ABX prinsippet med en ABX test? Det gir ikke noen mening. Det blir jo bare en helt vanlig ABX test. Dette blir en test av om panelet kan høre en gitt forskjell.

Helt korrekt. Det er akkurat det jeg ønsker å finne ut. Hvor stor forskjell i frekvensgang må det være før folk får det med seg?

Det eneste vi kan gjøre er å stole, eller ikke stole, på at vi hører det samme blindt som seende. De tester jeg har sett tyder på vi er ekstremt påvirkelige av det vi ser.

Jeg heller til den oppfatningen at man utmerket godt kan styre testen fra f.eks. en iPad, slik at ingen andre en den som styrer testen kan se hvilken av de to eq- settingene som kjører.

Du legger opp til to forskjellige tester i en. Den første er å teste hvor god ABX testen er. Det andre er å se hvor små avvik vi kan høre i ulike frekvensbånd. Det er ikke lurt å teste to så fundamentale ting i samme test.

Det er derfor jeg spør og graver her, for å finne ut hvor grensen for det normalt hørbare går. Jeg er ikke nødvendigvis enig med det du skriver, forresten. Jeg synes at det er høyst relevant å vite hvor grensen for utsagnskraft går, og IMO henger disse tingene sammen.
Hvor stor må lydforskjellene være før en ABX- test fanger det opp? Eller sagt på en annen måte: Hvor store kan de være uten at en ABX- test fanger det opp?

mvh

KJ · 11.03.2014

Det finnes ABX-apper for bla iOS, Android, Foobar og annet, se evt også PC ABX Home Page

Vær oppmerksom på at lyttetester med et samlet lyttepanel har tildels betydelige metodiske utfordringer, da lytterne ikke lengre er uavhengige av hverandre, og «gruppedynamikken» kan bli en dominerende faktor.

Jeg tipper at lyttesituasjonen (ABX eller hva det blir) kan være uvant for de fleste så det kan bli viktig å senke ambisjoner og skuldre et par-tre hakk. Se på det mer som en introduksjon/forsmak, enn som det «endelige» svaret.

mvh
KJ

tkr · 11.03.2014

KJ skrev:
Det finnes ABX-apper for bla iOS, Android, Foobar ag annet, se evt også PC ABX Home Page

Vær oppmerksom på at lyttetester med et samlet lyttepanel har tildels betydelige metodiske utfordringer, da lytterne ikke lengre er uavhengige av hverandre, og «gruppedynamikken» kan bli en dominerende faktor.

Jeg tipper at lyttesituasjonen (ABX eller hva det blir) kan være uvant for de fleste så det kan bli viktig å senke ambisjoner og skuldre et par-tre hakk. Se på det mer som en introduksjon/forsmak, enn som det «endelige» svaret.

mvh
KJ

Takk for linker, jeg skal se om det er noe brukandes der!

Ellers kan du ta det helt med ro. Lydlauget har vært med på tester før, og dette er en ting jeg tenkte vi kunne bruke en time på før folk blir for fulle og høylydte.

Og det gjøres på gøy. Det skal ikke presenteres på neste AES- konferanse.

mvh

TrompetN · 11.03.2014

Morsomt prosjekt tkr.

Lengden på musikksnuttene kan være valgfritt. Forskning viser at 20 sekunders klipp uten opphold mellom er følsomt og effektivt.

Vær obs på at EQ forskjeller er ganske konkrete og relativt enkle å spotte mange runder.

Typiske hififorskjeller kan være mer abstrakte og derfor vanskeligere å detektere mange runder etter hverandre. Hadde nesten vært morsommere om dere for eksempel hadde testet formatforskjeller. Hvor mange runder hører dere forskjeller på CD og SACD for eksempel? Eller hvor lav mp3 bitrate må til for å høre forskjell.

Dr Dong · 11.03.2014

Endres det «samlede» lydnivå når du går inn og endrer EQ?

tkr · 12.03.2014

AtleT skrev:
Morsomt prosjekt tkr.

Lengden på musikksnuttene kan være valgfritt. Forskning viser at 20 sekunders klipp uten opphold mellom er følsomt og effektivt.

Vær obs på at EQ forskjeller er ganske konkrete og relativt enkle å spotte mange runder.

Typiske hififorskjeller kan være mer abstrakte og derfor vanskeligere å detektere mange runder etter hverandre. Hadde nesten vært morsommere om dere for eksempel hadde testet formatforskjeller. Hvor mange runder hører dere forskjeller på CD og SACD for eksempel? Eller hvor lav mp3 bitrate må til for å høre forskjell.

Det har vi prøvd ut alt.
Jeg har fått klar beskjed om å ikke spille 16/44.1 mer. Et samlet panel foretrakk oppsampling til 24/96. Alle hørte forskjell, som i: "Hva i helvete gjorde du nå? Still det tilbake!"

mvh

tkr · 12.03.2014

Dr Dong skrev:
Endres det «samlede» lydnivå når du går inn og endrer EQ?

I teorien, ja.
Men f.eks. 1 dB høyere over 1 oktav blir vel forsvinnende lite. Det skulle ikke være hørbart.

mvh

TrompetN · 13.03.2014

tkr skrev:
AtleT skrev:

Morsomt prosjekt tkr.

Lengden på musikksnuttene kan være valgfritt. Forskning viser at 20 sekunders klipp uten opphold mellom er følsomt og effektivt.

Vær obs på at EQ forskjeller er ganske konkrete og relativt enkle å spotte mange runder.

Typiske hififorskjeller kan være mer abstrakte og derfor vanskeligere å detektere mange runder etter hverandre. Hadde nesten vært morsommere om dere for eksempel hadde testet formatforskjeller. Hvor mange runder hører dere forskjeller på CD og SACD for eksempel? Eller hvor lav mp3 bitrate må til for å høre forskjell.

Klikk for å utvide...

Det har vi prøvd ut alt.
Jeg har fått klar beskjed om å ikke spille 16/44.1 mer. Et samlet panel foretrakk oppsampling til 24/96. Alle hørte forskjell, som i: "Hva i helvete gjorde du nå? Still det tilbake!"

mvh

Var dette ABX?
Hvis ikke er det jo ypperlig testspor siden alle hører forskjell i utgangspunktet. Da kan det være interessant å se om man får et tellende resultat på en åpenbar forskjell.

tkr · 13.03.2014

AtleT skrev:
tkr skrev:

AtleT skrev:

Morsomt prosjekt tkr.

Lengden på musikksnuttene kan være valgfritt. Forskning viser at 20 sekunders klipp uten opphold mellom er følsomt og effektivt.

Vær obs på at EQ forskjeller er ganske konkrete og relativt enkle å spotte mange runder.

Typiske hififorskjeller kan være mer abstrakte og derfor vanskeligere å detektere mange runder etter hverandre. Hadde nesten vært morsommere om dere for eksempel hadde testet formatforskjeller. Hvor mange runder hører dere forskjeller på CD og SACD for eksempel? Eller hvor lav mp3 bitrate må til for å høre forskjell.

Klikk for å utvide...

Det har vi prøvd ut alt.
Jeg har fått klar beskjed om å ikke spille 16/44.1 mer. Et samlet panel foretrakk oppsampling til 24/96. Alle hørte forskjell, som i: "Hva i helvete gjorde du nå? Still det tilbake!"

mvh

Klikk for å utvide...

Var dette ABX?
Hvis ikke er det jo ypperlig testspor siden alle hører forskjell i utgangspunktet. Da kan det være interessant å se om man får et tellende resultat på en åpenbar forskjell.

Nei, dette var ikke abx. Det var helt spontant!

mvh

Nyttbrukernavn555 · 13.03.2014

tkr skrev:
AtleT skrev:

tkr skrev:

AtleT skrev:

Morsomt prosjekt tkr.

Lengden på musikksnuttene kan være valgfritt. Forskning viser at 20 sekunders klipp uten opphold mellom er følsomt og effektivt.

Vær obs på at EQ forskjeller er ganske konkrete og relativt enkle å spotte mange runder.

Typiske hififorskjeller kan være mer abstrakte og derfor vanskeligere å detektere mange runder etter hverandre. Hadde nesten vært morsommere om dere for eksempel hadde testet formatforskjeller. Hvor mange runder hører dere forskjeller på CD og SACD for eksempel? Eller hvor lav mp3 bitrate må til for å høre forskjell.

Klikk for å utvide...

Det har vi prøvd ut alt.
Jeg har fått klar beskjed om å ikke spille 16/44.1 mer. Et samlet panel foretrakk oppsampling til 24/96. Alle hørte forskjell, som i: "Hva i helvete gjorde du nå? Still det tilbake!"

mvh

Klikk for å utvide...

Var dette ABX?
Hvis ikke er det jo ypperlig testspor siden alle hører forskjell i utgangspunktet. Da kan det være interessant å se om man får et tellende resultat på en åpenbar forskjell.

Klikk for å utvide...

Nei, dette var ikke abx. Det var helt spontant!

mvh

Det forklarer saken.

TrompetN · 13.03.2014

tkr skrev:
AtleT skrev:

tkr skrev:

AtleT skrev:

Morsomt prosjekt tkr.

Lengden på musikksnuttene kan være valgfritt. Forskning viser at 20 sekunders klipp uten opphold mellom er følsomt og effektivt.

Vær obs på at EQ forskjeller er ganske konkrete og relativt enkle å spotte mange runder.

Typiske hififorskjeller kan være mer abstrakte og derfor vanskeligere å detektere mange runder etter hverandre. Hadde nesten vært morsommere om dere for eksempel hadde testet formatforskjeller. Hvor mange runder hører dere forskjeller på CD og SACD for eksempel? Eller hvor lav mp3 bitrate må til for å høre forskjell.

Klikk for å utvide...

Det har vi prøvd ut alt.
Jeg har fått klar beskjed om å ikke spille 16/44.1 mer. Et samlet panel foretrakk oppsampling til 24/96. Alle hørte forskjell, som i: "Hva i helvete gjorde du nå? Still det tilbake!"

mvh

Klikk for å utvide...

Var dette ABX?
Hvis ikke er det jo ypperlig testspor siden alle hører forskjell i utgangspunktet. Da kan det være interessant å se om man får et tellende resultat på en åpenbar forskjell.

Klikk for å utvide...

Nei, dette var ikke abx. Det var helt spontant!

mvh

Perfekt!

_RoDa_ · 14.03.2014

Mye moro i spontanitet. Har selv fått til sånt ved å snu stikket på forsterkeren eller koble fra elektrisk til optisk signaloverføring. Tror det kan være andre faktorer inne i bildet, kanskje litt annet lydnivå eller at det er andre saker som endres ved å bytte fra 16/44 til 24/96? Vel, det er ikke sjølvaste saken i denne - spennende - tråden din.

Syns det er litt spesielt at du ønsker å teste ut grensene for det hørbare i en abx med karer som ikke har trent på abx?
Litt som om pub-johan skal teste hva som er mulig i blindtesting av fine franske viner, eller om en av karene på Tufte IL - istedet for Olaf Tufte - skal sjekke hvor fort man kan ro i en singlesculler?
Jeg tror abx, eller blindtester generelt, innen audio som alt annet, krever trening for å mestre. Samtidig som jeg tror den gjengse audiofile ikke nødvendigvis er trent selv om vi har hørt både det ene og det andre av forskjeller. Jeg tror at det tar tid å kjenne igjen hvordan en senking av nivået mellom 2kHz og 8kHz med 1dB høres ut, og kunne overføre det fra det musikkstykket du har trent på til et annet.

Dersom dere i abx-en deres ikke hører forskjell på f.eks 192kbpsMP3 og 24/96 lossless, så betyr ikke det annet enn at dere i abx-en deres ikke hører forskjell på 192kbpsMp3 og 24/96 lossless. Ikke at forskjellen ikke er der, og i alle fall ikke at abx-metoden ikke er brukbar for å avsløre disse forskjellene.
Blindtestingen og det som dere gjør er knallbra, men det er ikke en test av abx.
For å gjøre en test av metoden så må du finne frem noen forskjeller som du kan avsløre på annen måte enn abx, selvsagt ikke seende, og som ikke lar seg avsløre med abx-metoden. F.eks sette opp to presets hjemme og instruere kona i å velge en av dem før du kommer hjem fra jobben hver dag. Hvis du så kan fortelle 15 ganger på rad hvilken preset som er valgt så tør jeg påstå at du med grei sikkerhet har vist at det er hørbart. Deretter kan du teste det samme på deg selv med abx-metoden. Feiler du da så kan du begynne å gå i dybden på om du må trene på abx, om du må velge andre lengder før du switcher etc... Piss kjedelig å holde på med, sannsynligvis.

poff så mange ord, sikkert sukkerrush ... sorry

Dr Dong · 14.03.2014

Hvordan er prosedyren for å teste om ABX-test er grei eller ei?

nb · 14.03.2014

Dr Dong skrev:
Hvordan er prosedyren for å teste om ABX-test er grei eller ei?

Du tar først en HiFi-pille og så forkaster du resultatet om det ikke var som du hadde bestemt deg for på forhånd. Dersom du mot formodning scorer bra så desauverer du metoden og driter glatt i andre forklaringsvariabler som f.eks. at du egentlig har testet ditt spesifikke utstyr med sære karakteristika fremfor hva du trodde var testobjektet. Eller noe annet i den retning.

Dette ikke for å disse initiativet i tråden - som er prisverdig, men det er på generelt grunnlag litt rart å trekke store konklusjoner når metodikken er mangelfull eller beheftet med ganske åpenbare feil. God metodikk er slitsomt, og følgelig forståelig nok ikke noe Ola Amatør driver med i det daglige for spas og generell hygge. Det presiseres at Ola Amatør ikke er ment som noe annet enn folk som driver med eksperimenter på egen hånd uten intensjon om å publisere noe e.l.

tkr · 14.03.2014

RoDa skrev:
Mye moro i spontanitet. Har selv fått til sånt ved å snu stikket på forsterkeren eller koble fra elektrisk til optisk signaloverføring. Tror det kan være andre faktorer inne i bildet, kanskje litt annet lydnivå eller at det er andre saker som endres ved å bytte fra 16/44 til 24/96? Vel, det er ikke sjølvaste saken i denne - spennende - tråden din.

Syns det er litt spesielt at du ønsker å teste ut grensene for det hørbare i en abx med karer som ikke har trent på abx?
Litt som om pub-johan skal teste hva som er mulig i blindtesting av fine franske viner, eller om en av karene på Tufte IL - istedet for Olaf Tufte - skal sjekke hvor fort man kan ro i en singlesculler?
Jeg tror abx, eller blindtester generelt, innen audio som alt annet, krever trening for å mestre. Samtidig som jeg tror den gjengse audiofile ikke nødvendigvis er trent selv om vi har hørt både det ene og det andre av forskjeller. Jeg tror at det tar tid å kjenne igjen hvordan en senking av nivået mellom 2kHz og 8kHz med 1dB høres ut, og kunne overføre det fra det musikkstykket du har trent på til et annet.

Dersom dere i abx-en deres ikke hører forskjell på f.eks 192kbpsMP3 og 24/96 lossless, så betyr ikke det annet enn at dere i abx-en deres ikke hører forskjell på 192kbpsMp3 og 24/96 lossless. Ikke at forskjellen ikke er der, og i alle fall ikke at abx-metoden ikke er brukbar for å avsløre disse forskjellene.
Blindtestingen og det som dere gjør er knallbra, men det er ikke en test av abx.
For å gjøre en test av metoden så må du finne frem noen forskjeller som du kan avsløre på annen måte enn abx, selvsagt ikke seende, og som ikke lar seg avsløre med abx-metoden. F.eks sette opp to presets hjemme og instruere kona i å velge en av dem før du kommer hjem fra jobben hver dag. Hvis du så kan fortelle 15 ganger på rad hvilken preset som er valgt så tør jeg påstå at du med grei sikkerhet har vist at det er hørbart. Deretter kan du teste det samme på deg selv med abx-metoden. Feiler du da så kan du begynne å gå i dybden på om du må trene på abx, om du må velge andre lengder før du switcher etc... Piss kjedelig å holde på med, sannsynligvis.

poff så mange ord, sikkert sukkerrush ... sorry

- Hva med å lese tråden, særdeles mine innlegg?

mvh

tkr · 15.03.2014

Dr Dong skrev:
Hvordan er prosedyren for å teste om ABX-test er grei eller ei?

Man tager to filer hvor det er lagt inn forskjeller i frekvensgang og ser om folk greier å høre forskjeller på dem.

Først får alle deltakere anledning til å høre på filene hjemme, deretter blir filene avspilt 10 x i rekkefølge som bestemmes av terningkast (f.eks. partall= A , oddetall= B), og så ser vi om folk greier å få det rett.

Deretter går forsamlingen over til å spille musikk, drikke øl og prate.

mvh

tkr · 15.03.2014

nb skrev:
Dr Dong skrev:

Hvordan er prosedyren for å teste om ABX-test er grei eller ei?

Klikk for å utvide...

Du tar først en HiFi-pille og så forkaster du resultatet om det ikke var som du hadde bestemt deg for på forhånd. Dersom du mot formodning scorer bra så desauverer du metoden og driter glatt i andre forklaringsvariabler som f.eks. at du egentlig har testet ditt spesifikke utstyr med sære karakteristika fremfor hva du trodde var testobjektet. Eller noe annet i den retning.

Dette ikke for å disse initiativet i tråden - som er prisverdig, men det er på generelt grunnlag litt rart å trekke store konklusjoner når metodikken er mangelfull eller beheftet med ganske åpenbare feil. God metodikk er slitsomt, og følgelig forståelig nok ikke noe Ola Amatør driver med i det daglige for spas og generell hygge. Det presiseres at Ola Amatør ikke er ment som noe annet enn folk som driver med eksperimenter på egen hånd uten intensjon om å publisere noe e.l.

Tullprat.

-Hvilke konklusjoner har jeg lovet å trekke?

mvh

nb · 15.03.2014

^ I (and Dong) rest our case. Det er som sådan ingen test av ABX som protokoll. At en forskjell vitterlig er der, og at lytterpanelet ikke klarer å detektere den er ikke det samme som at testprotokollen ikke funker, det sier kun at panelet ikke klarte å detektere forskjellen. Det er ganske enkelt å slenge inn høyst reelle forskjeller som nesten garantert ingen vil klare å høre, det er ikke det samme som at metodikken ikke funker.

Metodikk er vanskelig, og det er som sagt neppe noe å etterstrebe når man skal hygge seg. Men man bør samtidig være forsikitig med konklusjonene som dras. Man kunne nesten garantert spillt det samme som spot A, spor B og spor X og det ville blitt rapportert forskjeller (også et dårlig eksperiment pga forventning om en eller annen forskjell forsåvidt) men det illustrerer i det minste poenget. En klasse D forsterke pakket inn i et fint kabinett med glødende 300B-rør på toppen som ikke en gang var i signalveien ville garantert skape et annet inntrykk enn en ren klasse D osv osv osv. Det er ganske enkelt å lure folk og enklest av alt er kanskje å lure seg selv.

nb · 15.03.2014

tkr skrev:
Tullprat.

-Hvilke konklusjoner har jeg lovet å trekke?

mvh

Ingen. Ergo formuleringen "på generelt grunnlag".

Innvendingen til Dong var (muligens) at dersom man skal teste en protokoll på denne måten så man man nesten på forhånd postulere at testpanelet er pålitelig, og dersom dette pålitelige panelet feiler i å detektere en høyst reell forskjell så er det noe galt med protokollen. Det er vanskelig å test to variable og ukjente størrelser samtidig.

tkr · 15.03.2014

nb skrev:
^ I (and Dong) rest our case. Det er som sådan ingen test av ABX som protokoll. At en forskjell vitterlig er der, og at lytterpanelet ikke klarer å detektere den er ikke det samme som at testprotokollen ikke funker, det sier kun at panelet ikke klarte å detektere forskjellen. Det er ganske enkelt å slenge inn høyst reelle forskjeller som nesten garantert ingen vil klare å høre, det er ikke det samme som at metodikken ikke funker.

Jeg bestrider ikke at metodikken ikke funker. Men jeg er interessert i å finne grensene for metodikken.

Metodikk er vanskelig, og det er som sagt neppe noe å etterstrebe når man skal hygge seg. Men man bør samtidig være forsikitig med konklusjonene som dras. Man kunne nesten garantert spillt det samme som spot A, spor B og spor X og det ville blitt rapportert forskjeller (også et dårlig eksperiment pga forventning om en eller annen forskjell forsåvidt) men det illustrerer i det minste poenget. En klasse D forsterke pakket inn i et fint kabinett med glødende 300B-rør på toppen som ikke en gang var i signalveien ville garantert skape et annet inntrykk enn en ren klasse D osv osv osv. Det er ganske enkelt å lure folk og enklest av alt er kanskje å lure seg selv.

Jeg forstår ikke dette helt. En test som denne blir tatt i fullt alvor: Audiophiles can't tell the difference between Monster Cable and coat hangers

Hvorfor skal man ikke teste ut hvor god utsagnskraft en ABX test har? Fordi man evt ikke ville like svaret?

mvh

nb · 15.03.2014

Som sagt: jeg synest ditt initiativ er prisverdig, men det er neppe mulig å trekke allverdens konklusjon fra det. Med normal saklighet kunne noen jo bare innvende at anlegget var for dårlig og lytteterne udugelige, det er jo den vanligste innvendingen mot folk som skjønner opp og ned på grunnleggende logikk og elteori.

tkr · 15.03.2014

nb skrev:
Som sagt: jeg synest ditt initiativ er prisverdig, men det er neppe mulig å trekke allverdens konklusjon fra det. Med normal saklighet kunne noen jo bare innvende at anlegget var for dårlig og lytteterne udugelige, det er jo den vanligste innvendingen mot folk som skjønner opp og ned på grunnleggende logikk og elteori.

Vel, that begs the question: Hva med anlegget og lytterne på den testen jeg linket til?

MVH

nb · 15.03.2014

tkr skrev:
nb skrev:

Som sagt: jeg synest ditt initiativ er prisverdig, men det er neppe mulig å trekke allverdens konklusjon fra det. Med normal saklighet kunne noen jo bare innvende at anlegget var for dårlig og lytteterne udugelige, det er jo den vanligste innvendingen mot folk som skjønner opp og ned på grunnleggende logikk og elteori.

Klikk for å utvide...

Vel, that begs the question: Hva med anlegget og lytterne på den testen jeg linket til?

MVH

Stod ikke så mye der men uavhengig av anlegg er det festlig om noen selverklærte gullører ikke klarer å høre forskjell på en kabel og en køeshenger uansett hvor jalla anlegget måtte være. Utover det er verdien liten. Omtrent like liten som når noen tester noe de vet koster et lite fjell sv penger og legger ut om hvor bra det er, og deretter later som at vissheten om at dette er dyre saker er irrelevant for bedømmelsen.

tkr · 15.03.2014

nb skrev:
tkr skrev:

nb skrev:

Som sagt: jeg synest ditt initiativ er prisverdig, men det er neppe mulig å trekke allverdens konklusjon fra det. Med normal saklighet kunne noen jo bare innvende at anlegget var for dårlig og lytteterne udugelige, det er jo den vanligste innvendingen mot folk som skjønner opp og ned på grunnleggende logikk og elteori.

Klikk for å utvide...

Vel, that begs the question: Hva med anlegget og lytterne på den testen jeg linket til?

MVH

Klikk for å utvide...

Omtrent like liten som når noen tester noe de vet koster et lite fjell sv penger og legger ut om hvor bra det er, og deretter later som at vissheten om at dette er dyre saker er irrelevant for bedømmelsen.

-Og hvilken relevans har det til min planlagte test?

mvh

nb · 15.03.2014

Ingen jeg kan se, men du ba jo om en kommenatar til linken din

_RoDa_ · 15.03.2014

tkr skrev:
RoDa skrev:

Mye moro i spontanitet. Har selv fått til sånt ved å snu stikket på forsterkeren eller koble fra elektrisk til optisk signaloverføring. Tror det kan være andre faktorer inne i bildet, kanskje litt annet lydnivå eller at det er andre saker som endres ved å bytte fra 16/44 til 24/96? Vel, det er ikke sjølvaste saken i denne - spennende - tråden din.

Syns det er litt spesielt at du ønsker å teste ut grensene for det hørbare i en abx med karer som ikke har trent på abx?
Litt som om pub-johan skal teste hva som er mulig i blindtesting av fine franske viner, eller om en av karene på Tufte IL - istedet for Olaf Tufte - skal sjekke hvor fort man kan ro i en singlesculler?
Jeg tror abx, eller blindtester generelt, innen audio som alt annet, krever trening for å mestre. Samtidig som jeg tror den gjengse audiofile ikke nødvendigvis er trent selv om vi har hørt både det ene og det andre av forskjeller. Jeg tror at det tar tid å kjenne igjen hvordan en senking av nivået mellom 2kHz og 8kHz med 1dB høres ut, og kunne overføre det fra det musikkstykket du har trent på til et annet.

Dersom dere i abx-en deres ikke hører forskjell på f.eks 192kbpsMP3 og 24/96 lossless, så betyr ikke det annet enn at dere i abx-en deres ikke hører forskjell på 192kbpsMp3 og 24/96 lossless. Ikke at forskjellen ikke er der, og i alle fall ikke at abx-metoden ikke er brukbar for å avsløre disse forskjellene.
Blindtestingen og det som dere gjør er knallbra, men det er ikke en test av abx.
For å gjøre en test av metoden så må du finne frem noen forskjeller som du kan avsløre på annen måte enn abx, selvsagt ikke seende, og som ikke lar seg avsløre med abx-metoden. F.eks sette opp to presets hjemme og instruere kona i å velge en av dem før du kommer hjem fra jobben hver dag. Hvis du så kan fortelle 15 ganger på rad hvilken preset som er valgt så tør jeg påstå at du med grei sikkerhet har vist at det er hørbart. Deretter kan du teste det samme på deg selv med abx-metoden. Feiler du da så kan du begynne å gå i dybden på om du må trene på abx, om du må velge andre lengder før du switcher etc... Piss kjedelig å holde på med, sannsynligvis.

poff så mange ord, sikkert sukkerrush ... sorry

Klikk for å utvide...

- Hva med å lese tråden, særdeles mine innlegg?

mvh

Det har jeg gjort, og ser ikke at det skal endre på noe?
Dersom du lager lydfiler med disse endringene, og legger de på f.eks dropbox sånn at lauget kan hente dem, og både orso og ivarlo rapporterer tilbake at "jepp, 0,5dB økning av nivået mellom 1500 og 2250 Hz er tydelig hørbart, hva er så konklusjonen dersom de ikke klarer å finne det tydelig hørbare i ditt anlegg med en abx-test?
- Du har dårligere anlegg enn dem
- Testsituasjonen var stressende
- Abx-test er ikke fintfølende nok
- Metoden som ivarlo og orso benyttet hjemme er ikke repeterbar og kan ikke brukes som indikasjon på at forskjellen er hørbar
etc

Jeg ser den spontane forskjellen nevt tidligere som at lauget foretrekker måten anlegget ditt spiller når det oppsampler til 24/96, kontra når det spiller 16/44. Ikke som en indikasjon på at oppsamling til 24/96 på generelt grunnlag er bedre.

Så nei, dere kommer ikke til å teste følsomheten til abx, dere kommer til å sjekke ut om lauget kan indikere forskjellene. For oss utenfor lauget er det kun et annet utfall enn nullresultat som er interessant. Ikke like spennende som abx-en til Trompetnerd for mange år siden da jeg håpet på at endelig skulle det bevises at det var mulig å høre forskjell på kabler.

vredensgnag · 15.03.2014

tkr skrev:
AtleT skrev:

Morsomt prosjekt tkr.

Lengden på musikksnuttene kan være valgfritt. Forskning viser at 20 sekunders klipp uten opphold mellom er følsomt og effektivt.

Vær obs på at EQ forskjeller er ganske konkrete og relativt enkle å spotte mange runder.

Typiske hififorskjeller kan være mer abstrakte og derfor vanskeligere å detektere mange runder etter hverandre. Hadde nesten vært morsommere om dere for eksempel hadde testet formatforskjeller. Hvor mange runder hører dere forskjeller på CD og SACD for eksempel? Eller hvor lav mp3 bitrate må til for å høre forskjell.

Klikk for å utvide...

Det har vi prøvd ut alt.
Jeg har fått klar beskjed om å ikke spille 16/44.1 mer. Et samlet panel foretrakk oppsampling til 24/96. Alle hørte forskjell, som i: "Hva i helvete gjorde du nå? Still det tilbake!"

mvh

Men vær klar over at mange avspillere med oppsamplingsfunksjon også legger til en hjelpende hånd i form av økt SPL når det oppsamples. Noe man lett kan konstatere ved å måle lydtrykket med og uten, og så eventuelt kalibrere for det ved test.

tkr · 15.03.2014

RoDa skrev:
Dersom du lager lydfiler med disse endringene, og legger de på f.eks dropbox sånn at lauget kan hente dem, og både orso og ivarlo rapporterer tilbake at "jepp, 0,5dB økning av nivået mellom 1500 og 2250 Hz er tydelig hørbart, hva er så konklusjonen dersom de ikke klarer å finne det tydelig hørbare i ditt anlegg med en abx-test?
- Du har dårligere anlegg enn dem
- Testsituasjonen var stressende
- Abx-test er ikke fintfølende nok
- Metoden som ivarlo og orso benyttet hjemme er ikke repeterbar og kan ikke brukes som indikasjon på at forskjellen er hørbar

Orker ikke å skrive så mye før frokost, derfor kort:

1) Hvis Orso og Ivarlo ikke klarte å repetere resultatene sine i en ABX- test ville jeg mene at de pr. def. ikke kunne høre forskjellen likevel.
2) Jeg kjenner godt argumentet du kommer med, at det er lytterne man sjekker ut, ikke testen. Var det ikke John Atkinson som hadde en lang artikkel med den konklusjonen? Vel, fullt muliug, det.....Men i så fall må jo det også gjelde alle andre ABX- tester noensinne utført. I så fall- hva slags utsagtnskraft har en ABX- test da?

mvh

Test av ABX- test?

Æresmedlem

Hi-Fi freak

Æresmedlem

Æresmedlem

Æresmedlem

Hi-Fi freak

Æresmedlem

Hi-Fi freak

Æresmedlem

Æresmedlem

Hi-Fi freak

Æresmedlem

Æresmedlem

Æresmedlem

Æresmedlem

Hi-Fi freak

Æresmedlem

Æresmedlem

Æresmedlem

Hi-Fi freak

Æresmedlem

Nyttbrukernavn555

Gjest

Hi-Fi freak

Ikke så veldig hifi-freak lengre

Æresmedlem

nb

Gjest

Æresmedlem

Æresmedlem

Æresmedlem

nb

Gjest

nb

Gjest

Æresmedlem

nb

Gjest

Æresmedlem

nb

Gjest

Æresmedlem

nb

Gjest

Ikke så veldig hifi-freak lengre

vredensgnag

Gjest

Æresmedlem