Subjektiv observasjon vs. forsøk etter anerkjente vitenskapelige prinsipper
johnnygrandis skrev:
CDWMcInSpots skrev:
Nei det ene utelukker ikke det andre. All respekt for de som har mulighet og dokumentere slik flere gjør, det er en fornøyelse å lese. Samtidlig bør det være rom for de subjektive vurderingene uten at de skal sables ned som verdiløse der andre kan nærmest "garantere" for hvor feil de er.
Det er jeg helt enig i.
Ofte er man kanskje heller ikke så veldig uenige. Det bare ser slik ut p.g.a. noen ordvalg og andres senere lesning av dem.
Det kan dog være greit å huske på og erkjenne at et korrekt gjennomført forsøk etter anerkjente vitenskapelige prinsipper som er relevante for det aktuelle forsøk og problem (man må selvsagt benytte korrekt verktøy til oppgaven) har større tyngde enn rene subjektive observasjoner, uansett hvor erfaren, flink og oppegående observatøren er. Dette gjør ikke subjektive observasjoner meningsløse slik enkelte hevder, men det kan som jeg skrev være bra å ha flere for å veie opp for usikkerheten. Hvis man f.eks. har tilgang til 20 garantert uavhengige subjektive observasjoner, der alle eller de fleste peker i samme retning, er dette selvsagt neppe verdiløst. Problemet her er selvsagt "garantert uavhengige".
Man må også huske på at de fleste av oss har hifi som hobby, og gjerne heller ikke har et yrkesfag som er nært knyttet til hifi, elektronikk, akustikk eller musikk. De fleste vil hverken disponere relevant måleutstyr av god kvalitet eller ha forutsetning for å bruke det. Forsøk etter anerkjente vitenskapelige prinsipper er dessuten ofte tidkrevende. De er også slitsomme for deltagerne hvis man benytter menneskelige observatører, typisk i lyttetester. Kabeltesten på AVforum.no fra en tid tilbake viste dette.
Forsøk etter anerkjente vitenskapelige prinsipper medfører også behov for, kunnskap om og ferdigheter i analyse og (for)tolkning av forsøksresultater. Det er langt fra tilstrekkelig å gjennomføre målinger som gir en masse tall. Måleresultatene må analyseres, (for)tolkes og settes i sammenheng med anerkjent kunnskap og det praktiske formål. Man skal i tillegg være i stand til å evaluere målemetoder og resultater slik
MacedonianHero gjorde for InnerFidelity. Vitenskapsfolk skal alltid være kritiske til seg selv, sine metoder og sine resultater. Dette er en forutsetning for å oppnå gode resultater.
Enkelte fremstiller det som om det er aldri så enkelt å gjennomføre gode objektive forsøk. Det er det sjelden. Følgende er vel nærmest et heldig unntak:
CDWMcInSpots skrev:
[...]
Noe av det som er enklest å gjennomføre er ovennevnte ABX-test med foobar2000 og
ABX Comparator for f.eks. å sammenligne høyoppløst vs. standardoppløst og standardoppløst vs. tapskomprimert med ulike bitrater. Dette kan man gjennomføre helt alene. Det er dessverre ellers ofte vanskelig med ABX-tester.
Vi skal allikevel ha det i mente og prøve, i hvert fall et stykke på vei. Det er f.eks. nyttig å spørre seg selv om man akkurat nå er objektiv, eller om det kanskje er en fare for at man er (litt) forutinntatt. Bare det å være obs på dette hjelper (ref. selvkritiske vitenskapsfolk). Man har som regel hverken ressurser, tid eller endog lyst (fordi det ofte er tidkrevende, slitsomt og gjerne kjedelig) til å gjennomføre et forsøk etter anerkjente vitenskapelige prinsipper, men man kan gjerne annamme noe av det. Det er f.eks. gjerne bedre med en ikke-blind AB-test á 1-2 timer enn "jeg hørte A for to måneder siden i et annet lokale og har nå hørt på B hos meg selv. B er bedre enn A." ardillas forsøk beskrevet i
svar #3407 er et godt og ganske ambisiøst eksempel på dette.
En
dobbelblind ABX-test eller en
kasus-kontrollstudie er gjerne bedre, men som ovennevnt ofte ikke realistisk innenfor våre rammer.
Det beste må ikke bli det godes fiende. Noen har (mer enn) en tendens til å kaste ut barnet med badevannet. Deres idealer er så høye at gode hjelpemidler og verktøy forkastes. Det er dumt.