Diverse Anmeldelse av Amir (Audio Science Review)

Diskusjonstråd Se tråd i gallerivisning

  • Handsoer

    Hi-Fi freak
    Ble medlem
    14.03.2007
    Innlegg
    4.063
    Antall liker
    2.043
    Sted
    Sortland
    Hva i all verden har AudioScienceReview med vitenskap å gjøre?
    Jeg forstår at denne tråden har til hensikt å diskreditere ASR,
    men jeg forstår ikke helt hvordan man kan kalle Amir's innfallsvinkel vitenskaplig.
    Måling av høyttalere er interessante for de som er interessert i slikt.

    Javel, så syns han den ene låter bedre enn den andre.
    Hva så? Det gjør vi vel alle?

    Korrelerer det alltid med den som måler best?
    Vær så snill..... - skal det være et poeng nå??
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    6.407
    Antall liker
    4.073
    Torget vurderinger
    0
    Egentlig ikke greit å dedikere en hel tråd til "dissing" av andre...
    Vi har jo en egen tråd om tweaking hvor mye energi brukes på å kritisere? Hvor det til tider går hardt ut over visse navn.

    ASR er den raskest voksende og største nettsiden for lyd. Det sparkes ikke nedover. Da er vel på sin plass med et kritisk lys på nettsiden som er så apologetisk i spørsmål om MQA, DRM (digital rights management) og definisjonen av «science».
     
    • Liker
    Reaksjoner: KMR

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    6.407
    Antall liker
    4.073
    Torget vurderinger
    0
    ASR DISSER KRITIKERE (AV MQA)
    I åpningstråden gjorde jeg en analyse av overlapp mellom objektive og subjektive skår på ASR, slik skårene er beregnet av Amir og oppsummert av ASR-medlemmet MZKM. Få har villet diskutere den kvantitative analysen og en del av kritikken mot analysen min har gått på at den har vært «dissing» av ASR.

    Derfor er det kanskje av interesse at en av de siste trådene på ASR er en ren latterliggjøring av GoldenOne:


    GoldenOne er mest kjent for at han la ut en kritisk Youtube-video om MQA. Etter at videoen ble publisert, endret MQA markedsføringen fra at MQA er «hi-res» til «bedre enn hi-res». Enkelte mener at GoldenOne har oppnåd mer enn de fleste med å kle av MQA. ASR og Amir er imidlertid kjent for å være positive til Bob Stuart, mannen bak MQA, og lite villige til å bruke analytiske verktøy for diskutere MQA.

    I tråden som disser GoldenOne, deltar Amir i dissingen. Amir omtaler GoldenOne som en som «tror» og «drømmer» (dette er fy-ord i vitenskapelig sammenheng) og er sarkastisk fordi GoldenOne går til anskaffelse av måleapparat fra Audio Precision.
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    6.407
    Antall liker
    4.073
    Torget vurderinger
    0
    ASR ER FAKE SCIENCE

    Revolusjonen spiser sine egne barn, sies det. Toole & Co var tidligere uangripelige på ASR, men dette har endret seg. På ASR har Amir "spist" Toole & Co på denne måten:

    «Their [Toole, Olive, Harman] work is not pure research and is driven by company interest. This caused them to shift gears to headphones, and now surround sounds/virtualization».
    Kilde: https://www.audiosciencereview.com/...oole’s-and-dr-olive’s-work.26855/#post-921412

    Vi er vant til at forskning går videre ved at man falsifiserer påstander, men i dette tilfellet er jeg usikker på hva som ligger bak karaktermordet på den forskningen vi forbinder med Toole og Olive.

    Så hva kommer i stedet, når man har "spist" sine egne barn?

    Mens Toole & Co brukte blindtester som oppdagelsesmetode i sine analyser, har ASR omdefinert "blindtester". Husk at Amir og ASR tidligere har omtalt blindtester som selve gullstandarden i forskning.

    Toole & Co lot forsøkspersonene lytte til ulike høyttalere blindt. Det vil si at forsøkspersonene i Tooles forskning ikke visste hvilke høyttalere de lyttet til når de ga karakterer til de ulike høyttalerne. Dermed kom forsøkspersonenes sanne preferanser frem, og man kunne deretter sammenlikne disse preferansene med objektive målinger av høyttalerne. ASR drar dette konseptet videre på - et for meg - overraskende vis. ASR lar medlemmene på nettstedet gi karakter til høyttalere de aldri har lyttet til. Skikkelig "blindtest", altså. De blinde ASR-medlemmene har imidlertid ASRs objektive målinger og Amirs subjektive lytteinntrykk å støtte seg til, som i dette tidligere nevnte tilfellet.

    Basert på objektive Klippel-målinger skårer høyttaleren i testen jeg lenket til ovenfor 3,9 basert på Harmans preferansealgoritme som bruker målinger til å spå folks vurdering av en høyttaler. Skåren 3,9 er nær gjennomsnittet på 4,1 på tvers av mer enn 100 objektive målinger på ASR. Til tross for at høyttaleren skårer helt gjennomsnittlig, har 95 prosent av brukerne på ASR gitt den "blindtestede" høyttaleren de aldri har hørt en karakter som ligger under snittet. Hvordan kan dette ha seg? Kan det ha noe å gjøre med at Amir ga høyttaleren tommel ned etter å ha lyttet til den? Amir konkluderte slik etter å ha lyttet til høyttaleren som målte helt gjennomsnittlig:

    "As it is, I can't recommend the Polk Reserve R350".

    Hva er poenget mitt? Vel, poenget mitt er at ASR er en bløff. Det påstås at det bedrives "forskning" (science review), men i det ene øyeblikket opphøyes én mann og én bok til autoritet og overdommer (Toole) , før man i neste øyeblikk "spiser" opp denne autoriteten - helt uten å ha fulgt de spillereglene man har i forskning hvor man først forkaster etter å ha falsifisert en hypotese. Deretter omdefinerer man "blindtest" til å være "blindtest av høyttalere man aldri har hørt, men hvor man har sett objektive målinger bli etterfulgt av én manns subjektive vurderinger".

    En del sier de ikke leser Amirs subjektive vurderinger, og bare ser på de objektive målingene. Da er de i mindretall. Merk at høyttaleren som skåret helt middels på objektive kriterier, fikk under middels skår i ASRs "blindtest" blant 95 prosent av medlemmene. Antar vi at "blindtesten" er representativ for ASR-medlemmene, betyr det at det store flertallet av ASR-medlemmene følger Amirs subjektive vurdering og ikke de objektive Klippel-målingene. Denne praksisen kan tenkes å slå uheldig ut for høyttalerprodusenter fordi skikkelig forskning og seriøse anmeldelser blir erstattet av en mobb på internett som bruker "science" for å slakte høyttalere som er helt ok.

    Fake news. Fake science. Same shit. New wrapping.
     
    Sist redigert:

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    6.407
    Antall liker
    4.073
    Torget vurderinger
    0
    Hvis det er noen trøst ville ikke ASR bli vurdert som vitenskap av vitenskapsfolk…
    Det er ikke poenget. Vitenskapsfolk kjøper nesten ikke HIFI (de er få). Problemet er når mange lytter til «vitenskapen» og denne vitenskapen er en bløff.

    Det er et tegn i tiden at vi river ned skikkelige eksperter og erstatter dem med noe annet. Fake news er et reelt problem.
     
    2

    2xJ

    Gjest
    Husker vel en fanboy av Genelec som visstnok var selve vitenskapen innen lyd gjengiving....
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    6.407
    Antall liker
    4.073
    Torget vurderinger
    0
    Husker vel en fanboy av Genelec som visstnok var selve vitenskapen innen lyd gjengiving....
    Hva mener du?

    Selv om jeg påpeker at ASR er fake science, betyr ikke det at jeg er mot vitenskap, forskning og analyser. Jeg kritiserer ASR, ikke vitenskap.
     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.466
    Antall liker
    39.561
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Revolusjonen spiser sine egne barn, sies det. Toole & Co var tidligere uangripelige på ASR, men dette har endret seg. På ASR har Amir "spist" Toole & Co på denne måten:

    «Their [Toole, Olive, Harman] work is not pure research and is driven by company interest. This caused them to shift gears to headphones, and now surround sounds/virtualization».
    Kilde: https://www.audiosciencereview.com/...oole’s-and-dr-olive’s-work.26855/#post-921412
    Vet ikke om du følger Sean Olive’s blogg, men det er nokså tydelig at fokus ble endret fra høyttalere til hodetelefoner og surround. Bloggen er ikke oppdatert siden 2018. Se her:
    Siste AES papers fra Sean Olive var i 2019, også om hodetelefoner.
    Nå finner du ham mest på LinkedIn:

    Det er et par ting her som ser litt annerledes ut enn Toole’s papers fra Canada. Er det et «karaktermord» om jeg påpeker det, og sier at jeg synes Toole’s bok og artikler er mer interessante og bedre bruk av tid enn Olive‘s nyere poster på LinkedIn?
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    6.407
    Antall liker
    4.073
    Torget vurderinger
    0
    Vet ikke om du følger Sean Olive’s blogg, men det er nokså tydelig at fokus ble endret fra høyttalere til hodetelefoner og surround. Bloggen er ikke oppdatert siden 2018. Se her:
    Siste AES papers fra Sean Olive var i 2019, også om hodetelefoner.
    Nå finner du ham mest på LinkedIn:

    Det er et par ting her som ser litt annerledes ut enn Toole’s papers fra Canada. Er det et «karaktermord» om jeg påpeker det, og sier at jeg synes Toole’s bok og artikler er mer interessante og bedre bruk av tid enn Olive‘s nyere poster på LinkedIn?
    Det spørsmålet Amir svarte på (rett fra trådtittelen), var dette:

    «Why no follow up studies to Dr. Toole’s and Dr. Olive’s work?»

    Også jeg har uttrykt meg skeptisk til Toole, noe jeg ble kastet ut av ASR for. At Amir nå avskriver forskningen i én kort setning med beskrivelser som «not pure» og «driven by company interest», er oppsiktsvekkende.
     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.466
    Antall liker
    39.561
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Det spørsmålet Amir svarte på (rett fra trådtittelen), var dette:

    «Why no follow up studies to Dr. Toole’s and Dr. Olive’s work?»
    Nå har jeg ikke lest tråden du refererer til, men Toole er pensjonist, og Olive ser ut til å ha tatt en litt annen rolle de siste 4-5 årene. Hvorfor det, tror du?
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    6.407
    Antall liker
    4.073
    Torget vurderinger
    0
    Nå har jeg ikke lest tråden du refererer til, men Toole er pensjonist, og Olive ser ut til å ha tatt en litt annen rolle de siste 4-5 årene. Hvorfor det, tror du?
    Det lange svaret ga jeg i denne på ASR:


    Forskningen til Toole er befengt med espistemologiske problemer som man innser etter hvert. Toole fremstiller det som om forskningen hans predikerer godt hvordan du og jeg vurderer en høyttaler, men denne typen preferanseforskning er ikke egnet til å gjøre prediksjoner blant folk. Det er dette Amir nå våkner opp til og som jeg forsøkte å forklare for to år siden.

    Så jeg er ikke overrasket over at ingen (?) følger opp Toole. Men i motsetning til Amir som nøyer seg med én setning for å sette punktum mht. Toole, synes jeg Toole fortjener en større diskusjon for å forstå hva som gikk galt i dette forskningsprogrammet.
     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.466
    Antall liker
    39.561
    Sted
    Vingulmǫrk
    Torget vurderinger
    2

    Forskningen til Toole er befengt med espistemologiske problemer som man innser etter hvert.
    Jeg tror du ville blitt tatt mer seriøst om du stavet begreper som «sins of omission» og «epistemologi» riktig i ellers nokså høytidelige innlegg…

    Hva mener du er epistemologisk (erkjennelsesteoretisk) feil i Toole’s forskning, forresten? I bunn og grunn gjør han en multivariat regresjon mellom subjektive scores for opplevd lydkvalitet og objektivt målbare parametre, og observerer at det meste av variasjonen i scores kan forklares med en liten håndfull parametre. Det er stort sett det.
     
    Sist redigert:

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    6.407
    Antall liker
    4.073
    Torget vurderinger
    0
    Jeg tror du ville blitt tatt mer seriøst om du stavet begreper som «sins of omission» og «epistemologi» riktig…

    Hva mener du er epistemologisk (erkjennelsesmessig) feil i Toole’s forskning, forresten?
    Sins of emission var vel VW?😂

    Epistemologi pleier jeg å skrive riktig. Erkjennelsesteori er kanskje enklere å skrive, men har ikke samme schwung.

    Greit nok. Nå er vi altså der at det er skrivefeilene jeg skal tas på. Beklager eventuelle skrivefeil.
     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.466
    Antall liker
    39.561
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Det var mest ment som et velment råd, siden jeg legger merke til at det påvirker hvordan jeg selv leser innleggene dine. De fremstår ikke fullt så vektige som du kanskje ønsker.

    Hopp gjerne over det rådet om du vil, men kan du gi en konsis forklaring på hvor du mener Tooles forskning gikk seg erkjennelsesteoretisk vill? Det er liksom ikke så mye som kan gå galt i en multivariat regresjon. Du kan også gjerne forklare hvorfor noe som for meg ser ut til å være en faktaobservasjon fra Amirs side om Harmans forskningsfokus liksom skal være et «karaktermord».
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    6.407
    Antall liker
    4.073
    Torget vurderinger
    0
    Hvorfor ikke? Jeg leste posten din men fant ikke et resonnement der.
    Jeg tar opp poenget at man lesser på med harde formler og matematikk uten at den typen forskningsprogrammer gir høyere treffsikkerhet i prediksjonene.

    Eksempel: I Tooles-Olives forskning ble det et sted vist til en forklaringsgrad R^2 på 99 prosent. Da burde man skjønne at «forskningen» er talltull og egnet til å forlede mht. treffsikkerheten i prediksjonene.
     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.466
    Antall liker
    39.561
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Eksempel: I Tooles-Olives forskning ble det et sted vist til en forklaringsgrad R^2 på 99 prosent. Da burde man skjønne at «forskningen» er talltull og egnet til å forlede mht. treffsikkerheten i prediksjonene.
    Hvorfor det? Jeg har ikke kontrollregnet regresjonsmodellen deres, men forutsetter at de regnet riktig der. At R2 = 0.99 sier bare at modellen fanger opp det aller meste av variasjonen i dette datasettet. Jeg ville kanskje mistenkt «overfitting», altså en modell som var litt for godt tilpasset datasettet (f eks et n’te-ordens polynom gjennom n+1 punkter), men jeg ser ikke noe slikt i artiklene.
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    6.407
    Antall liker
    4.073
    Torget vurderinger
    0
    Det var mest ment som et velment råd, siden jeg legger merke til at det påvirker hvordan jeg selv leser innleggene dine. De fremstår ikke fullt så vektige som du kanskje ønsker.

    Hopp gjerne over det rådet om du vil, men kan du gi en konsis forklaring på hvor du mener Tooles forskning gikk seg erkjennelsesteoretisk vill? Det er liksom ikke så mye som kan gå galt i en multivariat regresjon.
    Jeg er redd for at Tooles forskning er av typen vi kjenner fra IQ-målinger, som nedenfor:

    452E4CED-B6E6-49BA-9EF9-6D1E971BD21A.jpeg

    Det er stort overlapp i IQ mellom universitetsprofessorer og vaktmestre. Så hva skal man bruke denne typen målinger til? Å predikere lykke? Formue? Hva om ting endrer seg slik at man i fremtiden verdsettes mer for å kunne lappe rør enn abstrakt algebra?

    Det finnes mange eksempler på at statistikk har blitt misbrukt, og forskere innenfor mange fagområder diskuterer dette problemet:


    Overlapp mellom preferanser knyttet til høyttalere minner kanskje litt om slike IQ-målinger? I praksis ser vi at overlappet et så stort at man ikke kan gjøre gode prediksjoner. I min bok er det ikke av så høy verdi å vite at 501 av 1000 personer foretrekker A fremfor B. Jeg kan bruke statistikk for å dokumentere at de fleste fortrekker A fremfor B - og at dette funnet er signifikant - men det gir liten praktisk betydning i mange situasjoner. Når Tooles målinger i tillegg utfordres av måleproblemer (hva med rommet, forsøkspersonenes posisjon, hvorfor bare mono og ikke stereo, holder resultatene seg over tid eller bare når man måler etter en kort lytt), så kan det tenkes at det i realiteten er så stort overlapp at målingene blir (enda) mindre relevante.

    Å kvantifisere preferanser byr på kanskje større problemer enn å kvantifisere intelligens. Preferanser er gjerne noe man studerer innenfor marketing, men en marketingprofessor ville ikke finne på å kalle preferansemålinger - spørreundersøkelser - for rocket science. Så hele konseptet med å kvantifisere preferanser er problematisk.

    For meg ser det enklere ut å jobbe ut fra en bærende idé. Innenfor lyd kan den bærende idéen være nøytralitet. Da slipper man å gå omveien via preferanser, som fort leder en inn i sirkulære kortslutninger. Man kan måle nøytralitet og dermed dokumentere fremgang. Å dokumentere tilsvarende fremgang i preferanser er utfordrende.

    Når det er sagt, er Tooles bidrag interessant og verdt å ha i bakhodet. Men å opphøye Toole til Boken med stor B, er uklokt. Toole bør diskuteres og kritiseres slik som er vanlig innenfor et fag. Å sette en stopper for diskusjon, er et svakhetstegn.
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    6.407
    Antall liker
    4.073
    Torget vurderinger
    0
    Hvorfor det? Jeg har ikke kontrollregnet regresjonsmodellen deres, men forutsetter at de regnet riktig der. At R2 = 0.99 sier bare at modellen fanger opp det aller meste av variasjonen i dette datasettet. Jeg ville kanskje mistenkt «overfitting», altså en modell som var litt for godt tilpasset datasettet (f eks et n’te-ordens polynom gjennom n+1 punkter), men jeg ser ikke noe slikt i artiklene.
    Problemet her er at du ikke forstår at det er tull å operere med R2 på 99% i saker som har med målinger av menneskers følelser å gjøre. Mennesker er ikke maskiner og målefeilen i forsøkene er mye større enn 1%.
     

    OMF

    Æresmedlem
    Ble medlem
    26.02.2002
    Innlegg
    16.168
    Antall liker
    9.278
    Sted
    Bergen
    Torget vurderinger
    14
    Overlapp mellom preferanser knyttet til høyttalere minner kanskje litt om slike IQ-målinger? I praksis ser vi at overlappet et så stort at man ikke kan gjøre gode prediksjoner.
    Nå er det vel ingen som har påstått at man kan gjøre prediksjoner på individnivå basert på IQ test.
    Få ting i psykologien er bedre dokumentert/forstått enn IQ og hva det innebærer - så det er jo ganske treffende for dette selvhøytidelige pompøse kverulant korstoget ditt at du trekker frem det!
     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.466
    Antall liker
    39.561
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Jeg er redd for at Tooles forskning er av typen vi kjenner fra IQ-målinger, som nedenfor:

    Det er stort overlapp i IQ mellom universitetsprofessorer og vaktmestre. Så hva skal man bruke denne typen målinger til? Å predikere lykke? Formue? Hva om ting endrer seg slik at man i fremtiden verdsettes mer for å kunne lappe rør enn abstrakt algebra?
    Det man kan bruke de målingene til er f eks å si at det ser ut til å være en korrelasjon mellom den størrelsen man har valgt å kalle IQ og vedkommendes grad av akademisk og profesjonell suksess, gjennom f eks å sammenligne medianene eller gjennomsnittene. Ja, gruppene overlapper, men det gjør også vekt- og høydefordelingene mellom kvinner og menn, og det er likevel mulig å si at menn har en tendens til å være høyere og tyngre enn kvinner.

    Jeg ser fortsatt ikke problemet du mener å se med Tooles forskning. Selvfølgelig er ikke det fasitsvaret på life, the universe & everything, men det er et solid stykke arbeid som faktabelegger mye som intuitivt virker å være riktig.
     

    Harry Stoteles

    Hi-Fi freak
    Ble medlem
    18.05.2020
    Innlegg
    2.813
    Antall liker
    2.993
    Sted
    Oslo
    Torget vurderinger
    0
    Det du egentlig bør kritisere her er begrepsvaliditeten.

    I seg sjøl er det ikke noe problem å kvantifisere verken intelligens eller estetikk, annet enn at det er helt fullstendig håpløst å vite at man faktisk måler det man vil måle. For hva er det man egentlig måler når man tror man måler hvilken høyttaler som låter best? Som du sier kan rommet ha noe å si, tid på dagen, lufttrykk, -fuktighet og -temperatur, tid på året, forsterkning, opptakskvalitet og så videre. Alt dette kan også kvantifiseres og innlemmes i modellen, men det er ekstremt komplisert fordi man er nødt til å ta validitetsvurderinger for hver enkelt kvantifisering og modellering av disse variablene.

    Det er først når du har god begrepsvaliditet at du kan diskutere prediksjonskraft, og god begrepsvaliditet krever relativt oversiktlige kausale mekanismer – og sånne finner du sjeldent innenfor psykologien eller estetikken.

    Når det er sagt er det forskningsmessig uproblematisk å gjennomføre en kvantifisering som de nevnte. Det gjøres hele tida, i alle fall når det kommer til intelligens. Det som gjør det til forskning er at man er klar på hvordan man operasjonaliserer begrepene sånn at de kan ha et minimum av antatt validitet.
     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.466
    Antall liker
    39.561
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Problemet her er at du ikke forstår at det er tull å operere med R2 på 99% i saker som har med målinger av menneskers følelser å gjøre. Mennesker er ikke maskiner og målefeilen i forsøkene er mye større enn 1%.
    Det må du jo gjerne mene, men R2 er en matematisk konstruksjon som sier noe om graden av korrelasjon mellom to tallsett. Tydeligvis har man en regresjonsmodell som fanger opp det meste av variasjonen i dette datasettet. Hva tallene egentlig representerer har ikke noe med R2-verdien å gjøre. Hvor mener du de regner feil, gitt det datasettet de hadde?
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    6.407
    Antall liker
    4.073
    Torget vurderinger
    0
    Nå er det vel ingen som har påstått at man kan gjøre prediksjoner på individnivå basert på IQ test.
    Få ting i psykologien er bedre dokumentert/forstått enn IQ og hva det innebærer - så det er jo ganske treffende for dette selvhøytidelige pompøse kverulant korstoget ditt at du trekker frem det!
    Likheten mellom IQ og Toole er at begge metoder er befengt med mye støy og lite signal mht. det man har til hensikt å predikere.
     

    OMF

    Æresmedlem
    Ble medlem
    26.02.2002
    Innlegg
    16.168
    Antall liker
    9.278
    Sted
    Bergen
    Torget vurderinger
    14
    Likheten mellom IQ og Toole er at begge metoder er befengt med mye støy og lite signal mht. det man har til hensikt å predikere.
    Måling av IQ er veldig presist og har svært lite støy.
    Men man bør kanskje skjønne hva IQ er og ikke minst skjønne hva det kan predikere før du angriper begrepet.
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    6.407
    Antall liker
    4.073
    Torget vurderinger
    0
    Det må du jo gjerne mene, men R2 er en matematisk konstruksjon som sier noe om graden av korrelasjon mellom to tallsett. Tydeligvis har man en regresjonsmodell som fanger opp det meste av variasjonen i dette datasettet. Hva tallene egentlig representerer har ikke noe med R2-verdien å gjøre. Hvor mener du de regner feil, gitt det datasettet de hadde?
    Les lenken min ovenfor til den amerikanske statistikkorganisasjonen. Poenget er at p-verdiene er beregnet helt korrekt, men de gir likevel feil bilde av sammenhenger. Så man må bruke huet, slik statistikkorganisasjonen oppfordrer til.

    Å komme drassende med en R2 på 99% innenfor noe som har med følelser å gjøre i en kunstig forsøkssetting er for meg et stort varselsignal. Jeg forbauses over at mange akademikere ikke ser det slik, men sluker p-verdier og R2 rått.
     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.466
    Antall liker
    39.561
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Likheten mellom IQ og Toole er at begge metoder er befengt med mye støy og lite signal mht. det man har til hensikt å predikere.
    Ja, men det er jo det man har statistikk til, å trekke ut signal fra støy. Store datasett hjelper også. Jeg ser fortsatt ikke at det blir erkjennelsesteoretisk helt feil å gjøre en regresjon og si at visse objektive egenskaper er sterkt korrelert med subjektiv preferanse. For disse testobjektene, med dette testpanelet, under disse forholdene, osv osv, men det bør jo være nokså opplagt.
     

    Harry Stoteles

    Hi-Fi freak
    Ble medlem
    18.05.2020
    Innlegg
    2.813
    Antall liker
    2.993
    Sted
    Oslo
    Torget vurderinger
    0
    For disse testobjektene, med dette testpanelet, under disse forholdene, osv osv, men det bør jo være nokså opplagt.
    For oss som kan lese sånt er det jo det, men statistikk har en enorm tiltrekningskraft for veldig mange. For dem er det ikke sant "før man har tall på det", og i de tilfellene kan statistikken – uavhengig av hvor lite støy det er i den – være støy fordi det fremstår som en konklusjon. Da er det ikke like åpenbart at det også er en midlertidig og situert konklusjon.

    Klønete formulert, men du skjønner.
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    6.407
    Antall liker
    4.073
    Torget vurderinger
    0
    Måling av IQ er veldig presist og har svært lite støy.
    Men man bør kanskje skjønne hva IQ er og ikke minst skjønne hva det kan predikere før du angriper begrepet.
    IQ-tester måler ens evne til å skåre på IQ-tester. Men selv der varierer det med 20 prosent eller så fra test til test for samme person.

    Det store spørsmålet er hva IQ-testen måler i det praktiske liv. Visdom? Erfaring? Evne til å se andreordenseffekter?

    IQ-målinger er derfor ganske treffsikre (80%) hvis man definerer intelligens veldig snevert.

    Men nok om IQ-målinger. Poenget mitt er at man kan misforstå en hel del hvis man ikke skjønner helt hva man måler, hva signal-støy-forholdet er og om målingene vil fungere til å predikere i praksis.
     

    svart-hvitt

    Hi-Fi freak
    Ble medlem
    21.01.2015
    Innlegg
    6.407
    Antall liker
    4.073
    Torget vurderinger
    0
    Ja, men det er jo det man har statistikk til, å trekke ut signal fra støy. Store datasett hjelper også. Jeg ser fortsatt ikke at det blir erkjennelsesteoretisk helt feil å gjøre en regresjon og si at visse objektive egenskaper er sterkt korrelert med subjektiv preferanse. For disse testobjektene, med dette testpanelet, under disse forholdene, osv osv, men det bør jo være nokså opplagt.
    La meg komme med et praktisk eksempel:

    Se på Amirs subjektive skår vs den «vitenskapelige» skåren (basert på objektive Klippel-målinger). Da ser vi ofte at Amir liker høyttalere som skårer objektivt svakt og misliker høyttalere som måler objektivt sterkt. Det er et stort overlapp mellom objektivt svake høyttalere og subjektivt sterke høyttalere (og omvendt).

    Ikke rart, altså, at Amir nå kritiserer Toole - for Amir har endelig erfart at vitenskapen ikke (fullt ut) fanger opp hans preferanser.

    Men dette (overlapp mellom objektivt sterke og subjektivt svake høyttalere) kunne man spådd på forhånd hvis man hadde forstått problemet med Toole.
     

    OMF

    Æresmedlem
    Ble medlem
    26.02.2002
    Innlegg
    16.168
    Antall liker
    9.278
    Sted
    Bergen
    Torget vurderinger
    14
    Det hadde i grunn vært bedre om du bare innrømmet at du bommet litt og ikke hadde noe greie på dette. Men du vil vel gjerne ha rett - og går ikke av veien for å trøtte ut mot-debattanter med endeløse svadainnlegg.

    IQ-tester måler ens evne til å skåre på IQ-tester. Men selv der varierer det med 20 prosent eller så fra test til test for samme person.
    Tja - en test på hvor langt du hopper stillestående lengde - måler jo nettopp det - og det samme gjør hvor mye du greier å ta i knebøy. Men disse testene - indikerer på samme måte som IQ tester en underliggende egenskap. Trolig ukjent for deg - men det å score høyt på en IQ test innebærer ikke bare at man er flinkere til å besvare IQ tester.

    De varierer heller ikke - de er veldig konsistente ved gjentatte tester. Standardavviket er for øvrig 16 - så en variasjoner på 20 ville jo gjort testen uinteressant - men hva vet du - du kaster jo bare rundt deg med påstander.

    Det store spørsmålet er hva IQ-testen måler i det praktiske liv. Visdom? Erfaring? Evne til å se andreordenseffekter?
    Som sagt - du har ingen anelse om hva du prate rom.

    IQ-målinger er derfor ganske treffsikre (80%) hvis man definerer intelligens veldig snevert.
    Jøss - her går du i sirkel i dine egne begrep. Jeg antar poenget ditt er at hvis man definerer IQ - som hvor høyt man score på en IQ test - så er treffsikkerheten 80% - basert på at en tulling tidligere mente testresultatet varierte med 20%. Men dette er jo bare tull alt sammen.

    Men nok om IQ-målinger. Poenget mitt er at man kan misforstå en hel del hvis man ikke skjønner helt hva man måler, hva signal-støy-forholdet er og om målingene vil fungere til å predikere i praksis.
    Ja, det har du gitt oss et veldig godt eksempel på nå. Og mitt inntrykk er at dette er din innfallsvinkel til det meste - så da melder jeg bare pass - gidder ikke diskutere med noen som har så liten selvinnsikt.

    Ha en fortsatt fin kveld.
     
  • Laster inn…

Diskusjonstråd Se tråd i gallerivisning

  • Laster inn…
Topp Bunn