Diverse OpenAI - sjukt imponerende AI

Diskusjonstråd Se tråd i gallerivisning

  • E. Largo

    Hi-Fi freak
    Ble medlem
    11.02.2007
    Innlegg
    9.355
    Antall liker
    18.394
    Sted
    Disco Volante
    Torget vurderinger
    2
    KI om det mest komplekse temaet på jord 😉

    Valg av dimensjon på en høyttalerkabel avhenger av flere faktorer, inkludert lengden på kabelen, effekten som skal overføres, og den elektriske motstanden som er akseptabel. Her er noen retningslinjer for valg av dimensjon på en 5 meter lang høyttalerkabel:
    1. **Kabeltype**: Generelt anbefales det å bruke høyttalerkabler som har god ledningsevne. Kobberkabler er det vanligste valget, da de gir minimal motstand.
    2. **Kabeltykkelse (AWG)**: For en høyttalerkabel på 5 meter, er det vanligvis tilstrekkelig med en kabeltykkelse på 16 AWG (American Wire Gauge) for de fleste hjemmeanlegg.
    - Hvis du planlegger å bruke kabelen til høyere effekt (for eksempel effektforsterkere), kan det være lurt å bruke en tykkere kabel, som 14 AWG eller til og med 12 AWG.

    3. **Strøm og motstand**: Jo større diameter på kabelen, jo mindre motstand vil den ha, som igjen reduserer signaltap. For en 5-meter lang kabel vil forskjellen mellom 16 AWG og 14 AWG i praksis ikke være enorm, men ved høyere effektnivåer kan det være opptil 15-20 % signaltap med en tynnere kabel.
    4. **Bruksområde**: Tenk på bruken. Til hjemmebruk med små eller mellomstore forsterkere er 16 AWG vanligvis tilstrekkelig. For profesjonelle oppsett, konsertlydtjenester eller kraftigere anlegg, kan du vurdere tykkere kabler.
    **Oppsummering**: For en 5 meter lang høyttalerkabel er 16 AWG et godt valg for vanlige hjemmeanlegg, mens 14 AWG eller 12 AWG kan være bedre for kraftigere oppsett. Sørg også for å bruke kvalitetskabler for best mulig overføring.
     

    morbid

    Hi-Fi freak
    Ble medlem
    24.08.2018
    Innlegg
    4.618
    Antall liker
    3.009
    Hvem har regna ut dette? Kunne vært nyttig å vite.

    Det er også bare regna på gpu compute, cpu, minne etc er holdt utenfor..
    Er også veldig dyrt i kroner og øre.
     

    weld77

    Æresmedlem
    Ble medlem
    19.09.2014
    Innlegg
    22.104
    Antall liker
    14.657
    Fascinerende saker - o3 på full pupp og etter å ha brukt tusenvis av dollares i regnekraft klarte ikke å løse denne oppgaven. Som for et menneske er nærmest komisk enkelt å finne systemet i.

    1735317180231.png

    Codeforce - problemer er derimot vanskelige, men ikke nødvendigvis veldig komplekse. Da i betydningen av at en løsning ikke krever fryktelig mye kode men er vanskelig å finne en elegant løsmning på og datasettene er så store at brute-force ikke funker.
     
    Sist redigert:

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.975
    Antall liker
    40.234
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    ^ Forundrer meg ikke. Juniorene kjøper hypen rått og går løs på prosjekter som ikke kan lykkes, siden data i rett kvalitet og tilstrekkelige mengder ikke eksisterer, mens noen av oss (kremt) meldte "bah, humbug!" etterfulgt av å poste meldinger om teknologiske nyheter på intranettet illustrert med AI-genererte bilder av en selv i relevante situasjoner. Det førte til en viss forundring i Young Professionals-kretser. Deretter kan man peke på AI-anvendelser med reell forretningsmessig nytte, men da i langt mer realistisk skala enn luftslottene.

    Tilfeldig valgt illustrasjon av konseptet:
    ComfyUI_01292_.png
     
    Sist redigert:

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.975
    Antall liker
    40.234
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Meta har tydeligvis ikke nok menneskelige brukere på fjaseboka, så nå har de begynt å slippe løs sine egne AI bots der også.
    The issue emerged last week when Connor Hayes, a vice president for Meta’s generative AI, told the Financial Times that the company expects its homemade AI users to appear on its platforms in much the same way human accounts do. “They’ll have bios and profile pictures and be able to generate and share content powered by AI on the platform… that’s where we see all of this going.”
    It wasn’t clear how many Meta AI bots existed before the company began purging them on Friday. A CNN search stumbled upon at least three that were labeled as such and contained a similar mix of AI-generated images.

    One, called “Grandpa Brian,” described itself in a chat with CNN as an African-American retired entrepreneur who was born in Harlem in 1938 to Caribbean immigrant parents.

    It became clear early on in the conversation that “Brian” was lying about most things — answering questions with a fictionalized story imparted by developers to make the bot seem authentic.

    When I asked Brian about who created it, the bot claimed its creators were a “diverse bunch” that interviewed 100 retirees through a New York City nonprofit called “Seniors Share Wisdom.” Brian’s persona, it said, was an amalgamation of a real Brian, who passed away, and the wisdom of 99 others. Brian said that its inspiration’s real-life daughter had even served as a consultant with Meta to ensure his persona’s authenticity

    “Think of me as Brian ‘version 100’ — the collective grandpa!” Brian said.

    But the nonprofit does not exist, which Brian later confirmed. And when pressed on its bio, Brian said it was an “entirely fictionalized biography based on a composite of real African American elders’ lives.”

    There was never a real Brian, and no daughter consulting with Meta.
     

    Harry Stoteles

    Hi-Fi freak
    Ble medlem
    18.05.2020
    Innlegg
    2.853
    Antall liker
    3.050
    Sted
    Oslo
    Torget vurderinger
    0
    Så det der. De har vel begynt å deaktivere dem også, fordi folk blei så sinna. Når en tenker på hvor mye ressurser disse greiene bruker, er sinne en helt rimelig reaksjon. For et vanvittig sløseri.
     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.975
    Antall liker
    40.234
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Så det der. De har vel begynt å deaktivere dem også, fordi folk blei så sinna. Når en tenker på hvor mye ressurser disse greiene bruker, er sinne en helt rimelig reaksjon. For et vanvittig sløseri.
    Ressursbruken er hinsides. Nå har Microsoft avtalt å restarte reaktor 1 på Three Mile Island for å mate AI-greiene sine. Det sier noe om hvor mye energi dette trekker.

    1736029066386.png

    (For ordens skyld: Mine egne AI-eksperimenter er fortsatt hostet på min egen stasjonære PC, og spillvarmen går rett ut i rommet som oppvarming. Litt av poenget med øvelsen er å forstå hvor mye energi som går med til å lære opp og bruke generativ AI.)
     

    Nidaros

    Ble medlem
    27.12.2014
    Innlegg
    250
    Antall liker
    178
    Torget vurderinger
    2
    Leste jeg ikke om et norsk selskap som jobbet med mye mer energieffektiv KI? Må ha vært for et års tid, siden.
     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.975
    Antall liker
    40.234
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Mulig, men jeg har ikke sett noe om det. Ser ikke helt hvordan det skulle fungere, siden energiforbruket med dagens AI er proporsjonalt med antall regneoperasjoner, som går rett til himmels med økende størrelse på nettverkene og økende antall iterasjoner i læring og bruk. Med mindre man finner på noe ekstremt lurt vil det være en direkte tradeoff her mellom energiforbruk og kvalitet. Deretter kan man multiplisere med økende antall brukere og bruksfrekvens.

    Why do you think it’s important to examine the energy consumption of artificial intelligence?
    Because AI is energy-intensive. I put one example of this in my research article: I highlighted that if you were to fully turn Google’s search engine into something like ChatGPT, and everyone used it that way—so you would have nine billion chatbot interactions instead of nine billion regular searches per day—then the energy use of Google would spike. Google would need as much power as Ireland just to run its search engine.

    @Hardingfele : Det kunne vært interessant å høre hvordan du tenker om dette, gitt din kombinasjon av AI-entusiasme og miljøbevissthet. For meg ser dagens generative AI ut til å være ressurssløseri på samme måte som bitcoin mining, bare i mange ganger større skala.
     
    Sist redigert:

    Hardingfele

    Æresmedlem
    Ble medlem
    25.10.2014
    Innlegg
    24.269
    Antall liker
    18.632
    Torget vurderinger
    2
    @Hardingfele : Det kunne vært interessant å høre hvordan du tenker om dette, gitt din kombinasjon av AI-entusiasme og miljøbevissthet. For meg ser dagens generative AI ut til å være ressurssløseri på samme måte som bitcoin mining, bare i mange ganger større skala.
    Godt spørsmål. Utfra et miljøperspektiv er innpå det meste vi foretar oss ressurssløseri, spesielt om vi ser det i lys av at vi burde la det være igjen noe til dem som kommer etter oss. Den store akselerasjonen har tømt klodens ressursspiskammers.

    Er jeg AI-entusiast? Tror jeg må ha vært blant de aller første i Norge som nevnte Sam Altman, her inne så tidlig som i 2017, og da var jeg ytterst kritisk til hans sludderholdning til energiforbruk og -muligheter.


    Jeg ser jo hvordan AI brukes i militæret, i grunnforskning, i utvikling av nye proteinforbindelser og ser at det absolutt er et potensielt banebrytende verktøy. Samtidig har jeg nok vært i forkant når det gjelder dem som varsler både positivt og negativt om KI, for å bruke det norske uttrykket. Har lest Kurzweils tanker om Singulariteten, Bostrom om runaway-AI, Hinton om mulighetene, i såpass lang tid og såpass dyptpløyende at jeg burde skrevet bok og tatt betalt for å rådgi virksomheter som ønsker å kikke på hva dette vil bety.

    En ting jeg etterhvert har skjønt er at ødeleggende energisløsing aldri har stanset mennesket fra å øde med energi. I motsetning til Bitcoin-/Kryptomining, har jo det å anvende KI et enormt potensial for å pløye gjennom klodens Universelle Bibliotek på jakt etter nye løsninger, metoder og muligheter, og da tydeligvis bedre enn hva ett eller noen få mennesker evner overfor samme massive kunnskapsgrunnlag. Jeg er av samme oppfatning som Hinton, som mener at det vi nå ser er som å stå overfor kilden til Thames og være kritisk til at den ikke ligner en stor flod. Floden (og flommen?) kommer.

    Hvor stor andel av samfunnets ressurser tok det å bygge jernbaner i sin tid? Hvilken nytteeffekt ga det, som støtte for den industrielle revolusjonen?
    Å bruke ressurser på å bosette Mars syns jeg er hinsides tåpelig. Å bruke ressurser for å pløye gjennom og utvikle menneskehetens kunnskapsgrunnlag vil jeg mene er verdt energiinvesteringen.
    Problemet er vel snarere at dagens utviklere av teknologien er "in it for the money" og i et kappløp med hverandre, noe som garantert vil føre til overlappende utvikling og sløsing.

    I et samfunn der intet er sant lenger, tror jeg at KI kan skjære gjennom all den konkurrerende oppdragsforskningen, for eksempel. Det han ha enorm verdi. Jeg ser også at man diagnostiserer bedre med KI, at (dessverre) KI finner olje og gass som geologer har oversett i datagrunnlaget til PGS, og at teknologien er som et foranskutt lyn innen medisinsk forskning. Hva er slikt verdt av energiforbruk?

    Den som har lest hva jeg har skrevet her inne vil ha sett at jeg mener "vi kommer til å forbrenne hvert eneste molekyl hydrokarbon vi klarer å få opp". Jeg har forsøkt å advare om konsekvensene og har sett andelen CO2 i atmosfæren (og nå også CH4) skyte i været, mens det arrangeres konferanser om viktigheten av å få begge ned. Jeg vil påstå at den energibruken også har ødeleggende miljøkonsekvenser.
    Vi står overfor en djevelsk versjon av Jevons Paradoks. Vi burde erstatte fossil energi med fornybar/utslippsfri energi, i den takten vi klarer å skape en overgang. Men det vi gjør er å legge den nye energien oppå den gamle, som vi ikke reduserer bruken av, fordi verdensøkonomien trenger vekst.

    Siden KI også er et militærteknologisk kappløp med potensiale for å skape våpen med utslettende effekt, anser jeg det lite sannsynlig at man vil få en regulering som bremser utviklingen. Fristelsen til å stå som USA i 1945 er for stor, i Asia og andre steder.

    Jeg syns jo at man skal bruke så lite energi som mulig. Jeg har skrevet og sagt at "i fremtiden vil vi telle energikalorier slik en rakettutvikler teller gram", men jeg ser lite til at den spådommen skal oppfylles med det første. Menneskeheten er i gang med å koke kloden på mer enn ett vis. I en verden der Trump melder til UK at landet bør kvitte seg med sine havvindgeneratorer og kjøpe olje og gass fra USA ser jeg større utfordringer enn dem KI-industrien representerer, og jeg ser ikke hvordan den kan stanses.

    Det jeg definitivt ser er at vi bør være forsiktige med å undervurdere hva KI kan gjøre. Effekten blir omveltende, for enkeltmennesker og for sivilisasjonen vi tilhører.
     
    Sist redigert:

    morbid

    Hi-Fi freak
    Ble medlem
    24.08.2018
    Innlegg
    4.618
    Antall liker
    3.009
    Ganske komisk hvor høy på seg selv det er mulig å bli.
     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.975
    Antall liker
    40.234
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Godt spørsmål. Utfra et miljøperspektiv er innpå det meste vi foretar oss ressurssløseri, spesielt om vi ser det i lys av at vi burde la det være igjen noe til dem som kommer etter oss. Den store akselerasjonen har tømt klodens ressursspiskammers.

    […]

    Det jeg definitivt ser er at vi bør være forsiktige med å undervurdere hva KI kan gjøre. Effekten blir omveltende, for enkeltmennesker og for sivilisasjonen vi tilhører.
    Jeg er nok ikke like mye teknologi-optimist. For meg er dette fortsatt i stor grad en hype-bølge på toppen av teknologi som ikke kan levere på forventningene, selv om man hiver ubegrensede mengder brute force regnekraft på det.

    Hvis vi forestiller oss noe i retning av dagens teknologi med LLM’er er det ikke mulig å «skjære gjennom» noe som helst. Alt er avhengig av hvilket datasett som er brukt i opplæringen og hvem som kontrollerer den prosessen. Resultatet vil bli omtrent som denne epidemien av angivelige meta-studier som viste ivermectins og hydroxychoroquins fortreffelighet som corona-remedier: AI‘en gir det resultatet man vil at den skal gi, statistisk korrekt ut fra de dataene som er matet inn i den. Om datasettet er dominert av bullshit vil output bli det samme. En AI kontrollert av musk kan gi et annet svar enn en AI kontrollert av zuck, alt etter hva de vil at den skal svare og hvordan de har kuratert datasettet den er opplært på.

    Det er enda litt verre enn det: En AI som f eks gir pålogging fra biometrisk ansiktsgjenkjenning kan like godt være opplært til å gi all areas backstage pass til et forhåndsbestemt mønster, enten det er musks eget kontrafei eller et tilsynelatende tilfeldig bit-mønster. Det er ingen måte å forsikre seg mot det på med mindre man selv lærer opp nettverket fra scratch, eller velger å stole på den som har gjort det for deg. («Zero trust», anyone?)

    Jeg har heller ikke mye tro på at en LLM skal kunne søke gjennom akkumulert kunnskap på jakt etter ny innsikt. Dagens AI gjør i prinsippet en regresjon i et multidimensjonalt rom, på jakt etter en «regresjonskurve» som minimerer differansen mellom prediksjon og treningsdata. Generativ AI bruker så dette til å forutsi det mest sannsynlige mønsteret som fortsettelse av en gitt input, enten det er neste ord i en setning, plassering av pixler som stemmer overens med en beskrivelse, eller folding av proteiner gitt et sett aminosyrer. I det ligger det noen grunnleggende begrensninger i hva den kan og ikke kan gjøre. Den kan gjøre en treffsikker medisinsk diagnose fordi pasientens symptomer stemmer overens med beskrivelsen i obskure medisinske publikasjoner den har «lest», men den kan ikke løse komplekse verdensproblemer uten stor risiko for å hallusinere opp noe som er bare tull. Det er forskjellen på intrapolasjon og ekstrapolasjon langs "kurven" gjennom datasettet.

    Så kan man si «bare vent, dette er bare begynnelsen på hva AI kan gjøre», men man kan også si «bare vent, neste generasjon atomubåter vil kunne fly». Det vil kreve noen relativt store gjennombrudd som neppe vil skje langs nåværende teknologiutvikling, uansett mengden regnekraft som gjøres tilgjengelig.

    For all del, dagens AI er imponerende og i noen tilfeller nyttig, men det aller meste er fjas og hype som resulterer i helt unødvendig ressursbruk. Når folk spør ChatGPT om å gjøre regnestykker for dem er vi på villspor. Det er ingen garanti for at svaret blir riktig, selv om det ser troverdig ut, samtidig som det bruker mer energi enn stort sett alle andre måter å regne ut svaret på. Noen greier jo å tjene seg rike på denne boblen også, ikke minst AI-profeter som reiser rundt for å fortelle bedrifter og regjeringer at de må hive seg på toget for ikke å bli forbigått. Men det behøver ikke være sant av den grunn.

    Arbeidsdag i morgen, kjenner jeg.
    ComfyUI_01413_.png
     
    Sist redigert:

    Hardingfele

    Æresmedlem
    Ble medlem
    25.10.2014
    Innlegg
    24.269
    Antall liker
    18.632
    Torget vurderinger
    2
    Jeg hører motstand mot en teknologi som gjør oss som har fordypet oss i et emne overflødige eller utsatte.

    Noen år tilbake. Jeg var kreativ direktør hos Lowe Brindfors i Stockholm, hadde tatt jobben etter at jeg arbeidet for N&T Leo Burnett i Oslo og Wibroe Duckert & Partners i Køben. Var tidlig ute som nettentusiast, hadde hatt Compuserve kjørende siden de lanserte BBS og Marc Andreessen (av alle) tilbød meg å kjøpe aksjer i Mosaic. Modemet pep og knatret hver kveld hos meg.

    Nils Petter Nordskar hos N&T Leo Burnett inviterte meg til Oslo, til Kreativt Forum møte på byrået i Drammensveien. Tema - Internettet, hva kunne det komme til å bety for reklamebransjen. Dette var midt på 1990-tallet. Første Mosaic ble lansert i 1993, den jeg viste den kvelden var senere versjon. Den ble til slutt lansert bredt som Netscape.

    Jeg demonstrerte BBS, Mosaic, interaktive CD-Roms, og spådde at vi stod overfor en revolusjon for reklamebransjen.

    Da jeg ble ansatt i Nordskar & Thorkildsen, som det het før Leo Burnett kjøpte opp byrået, hadde jeg insistert på at det skulle kjøpes inn Macintosh computere, og jeg hadde satt opp en meldingstjeneste mellom dem, i byrået, til stor forbløffelse for de ansatte: er sånt mulig? Så, noen år etter, i samme lokale, fullpakket sal med reklamefolk.

    Etter presentasjonen, og det kan skyldes dårlige formidlingsevner, var det unison avvisning av at internettet kom til å bety noe som helst for reklamebransjen. Ting ville fortsette som før.

    Med ett unntak. Nils Petter Nordskar hoppet av fra byrået og startet New Media Science, som skulle vise vei for annonsører.

    ===

    Har dette relevans for AI/KI?

    Jeg hadde eidetisk hukommelse fra jeg var liten og godt inn i 30-års alder. Hodet avfotograferte boksider og jeg kunne "slå dem opp lese det jeg hadde sett stå der". Ble kalt leksikonet.

    Jeg syns jo det var noe verre skit etterhvert at folk kunne slå opp informasjon på internettet, og at man ikke lenger var avhengig av det danskene kaller "paratviden". Har alltid hatt lett for å hente frem informasjon.

    Screenshot 2025-01-05 at 20.52.10.png

    Den typen "storage" i hodet er blitt irrelevant, og det strittes voldsomt imot. Lenge var "Wikipedia ikke til å stole på", vipps er det blitt et fenomenalt og oppdatert oppslagsverk og man har lært seg hvordan det skal anvendes.

    Jeg er skråsikker på at vi står overfor enorme fremskritt når det gjelder anvendelse av kunstig intelligens, og at dette er en stor trussel i forhold til hvordan vi har tilegnet oss kunnskap hittil og hvordan denne er blitt verdisatt, altså blitt verdifull og omsettelig i klingende lønn. Og yrker man ikke ville forestilt seg var utsatte er blitt det.

    Og derfor kikker vi etter "hvor det går feil", som om folk flest ikke driter seg ut jevnlig, innenfor sine fagfelt.

    Kunstig Intelligens blir like skjellsettende sprang som alfabetet, trykkekunsten, radiosendinger, databehandling -- på alle fagfelt vi mennesker har utviklet. Og vi kan like gjerne begynne å forberede oss på transformasjonen KI vil innebære.

    Ta en prat med Google AI: https://blog.google/technology/google-deepmind/google-gemini-ai-update-december-2024/#ceo-message
     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.975
    Antall liker
    40.234
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Jeg hører motstand mot en teknologi som gjør oss som har fordypet oss i et emne overflødige eller utsatte.

    [...]

    Og derfor kikker vi etter "hvor det går feil", som om folk flest ikke driter seg ut jevnlig, innenfor sine fagfelt.

    Kunstig Intelligens blir like skjellsettende sprang som alfabetet, trykkekunsten, radiosendinger, databehandling -- på alle fagfelt vi mennesker har utviklet. Og vi kan like gjerne begynne å forberede oss på transformasjonen KI vil innebære.
    Tja, nå anser jeg ikke mitt fagfelt som spesielt utsatt, ihvertfall ikke innenfor den tidsrammen som ar aktuell for min egen del. Likevel har jeg brukt en del tid på å prøve å forstå denne teknologien, først på 1990-tallet og igjen de siste par årene. På noen områder har du nok rett. Jeg ville ikke anbefale ukebladillustratør som yrkesvalg til ungdommen nå. På andre områder mener jeg du tar tilsvarende mye feil. Fremtidsvisjoner har det med å slå feil begge veier. Det er fortsatt stor mangel på flyvende biler og alt det andre som skulle være her på 2000-tallet.

    I genren for personlige anekdoter: Jeg tok en studentavis over til desktop publishing ca 1986, først med PC, deretter Mac. Avisen bruker fortsatt samme fonter som jeg valgte den gangen. Jeg installerte Mosaic Netscape i et UNIX-miljø på MIT i oktober 1994. Produktiviteten i forskningsgruppen gikk umiddelbart til null og ble der i flere uker. Det var omtrent samtidig med at jeg så på bruk av neurale nettverk for å rekonstruere optimale strategier i glemte brettspill som mulig PhD-tema. I stedet skrev jeg om noen anvendelser for Markov-kjeder og lignende stokastiske prosesser, og bygget en liten simuleringsmodell for å kryssjekke den analytiske modellen. Da trengte jeg hundrevis av replikasjoner for å få statistisk presisjon, så jeg skrev også et script som la replikasjoner på hver eneste computer jeg hade passord til, fra Sun UNIX arbeidsstasjoner til IBM PC'er under Linux, over internett. Det ble en nokså gratis supercomputer av typen "slopsucker", siden den gikk i bakgrunnen og sugde til seg ellers ubrukte CPU-sykluser. En bruker som var innlogget på en av de aktive maskinene ville ikke merke at den ble brukt med mindre vedkommende hadde en prosessmonitor oppe og la merke til at maskinen lå konstant på 100 % CPU. Selve programmet, med simuleringsbibliotek, random number generator, sannsynlighetsfordelinger og det hele kodet jeg i C for å få det så smått og effektivt som overhodet mulig. Scriptet for å koordinere det skrev jeg i Perl.

    Relevansen for AI? Ikke så veldig mye, det heller. :)
     
    Sist redigert:

    Hardingfele

    Æresmedlem
    Ble medlem
    25.10.2014
    Innlegg
    24.269
    Antall liker
    18.632
    Torget vurderinger
    2
    Hva forstår du egentlig med «kunstig intelligens»?
    Hintons vurderinger oppsummeres greit her. Feilen vi begår er å sammenligne det som foregår med "menneskelig intelligens", uten å forstå eller ta i betraktning hvordan kunstige nevrale nettverk opererer og samarbeider, og hva den utviklingen innebærer.

     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.975
    Antall liker
    40.234
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Hintons vurderinger oppsummeres greit her. Feilen vi begår er å sammenligne det som foregår med "menneskelig intelligens", uten å forstå eller ta i betraktning hvordan kunstige nevrale nettverk opererer og samarbeider, og hva den utviklingen innebærer.

    Svarte du egentlig på spørsmålet her? Jeg ser linken videre til det lengre intervjuet med Hinton i Tech Review, men det svarer vel ikke egentlig på spørsmålet, det heller.

    Han sier at neurale nettverk kan lære fortere enn mennesker. Det ser jeg ikke, tvert imot. En person kan lære noe ved å se det en gang, mens dagens AI’er behøver maaaange iterasjoner. Few-shot learning som han nevner er nokså eksperimentelle greier som i beste fall fungerer under spesielle omstendigheter.

    Han sier også at mange nettverk kan kommunisere. Hvordan da? Er tanken at man har 10000 kopier av samme nettverk og oppdaterer alle vektene i alle instanser samtidig, hvilket er nokså trivielt, eller er det at man lærer opp noe i ett nettverk og kopierer det over til andre nettverk med andre vekter? Etter å ha prøvd meg litt frem med å lære opp et sub-nettverk (Low-Rank Adaptation) og addere det inn i andre nettverk er det slett ikke trivielt. Resultatet kommer veldig an på hva som er i nettverket fra tidligere og hva annet man tar inn. I begge tilfeller kan nettverket meget vel «glemme» noe annet når nye vekter adderes inn, eller det overlærer (og får f eks alle andre personer i bildet til å se ut som meg).


    Jeg kjøper heller ikke det han sier om at et moderne LLM besitter mer kunnskap enn noe enkeltindivid. Lagringsplassen til det eksisterer ikke, mens menneskehjernen bruker en stor del av sin lagringsplass til funksjoner et LLM ikke behøver befatte seg med. Kunne knytte skoene sine vs å memorere Wikipedia, for å sette det på spissen.

    Om man skal være filosofisk kan man mene at intelligens ikke er å kunne tenke og resonnere, men å kunne forutsi hva som vil skje i nær fremtid. Det er det evolusjonære formålet med å ha en hjerne. Smartere organismer er bedre i stand til å forutsi nær fremtid enn dummere organismer. De smarteste forstår også intensjonalitet hos andre komplekse vesener og kan forutsi hvordan disse vil handle av egen vilje, f eks å lese trafikkbildet og forstå at bil x snart kommer til å gjøre y selv om den ikke har satt på blinklyset, bare ut fra mønsteret av fart og plassering i veibanen. Eller å se at en langsom bil på veien sannsynligvis er lokaltrafikk og bestemme at man ikke gidder å kjøre forbi, men heller venter til vedkommende svinger av om en kilometer eller to. Ren mønstergjenkjenning og prediksjon, men det ser jo ut til at selvkjørende biler som kan håndtere det der fortsatt er et stykke unna.

    Da er det vel ingen umulighet at AI’er blir mer «intelligente» enn oss, i betydningen bedre til mønstergjenkjenning og prediksjon innenfor et avgrenset domene, men jeg holder definitivt ikke pusten mens jeg venter. Og så var det energiforbruket, da. Ikke mye vits i en intelligent selvkjørende bil om man må ha sitt eget atomkraftverk i bagasjerommet for å drive vidunderet.


    Jeg tror ikke «vi» begår den feilen du beskriver, og om nødvendig kan jeg vise deg tensor-algebraen som får en LLM eller en billedgenererende diffusion-modell til å fungere, med Python-kode og det hele. Den ser ikke veldig menneskelig ut.
     
    Sist redigert:

    Hardingfele

    Æresmedlem
    Ble medlem
    25.10.2014
    Innlegg
    24.269
    Antall liker
    18.632
    Torget vurderinger
    2
    Vi er så heldige at "Time will show", og det kjappere enn vi tror (eller frykter).

    Hinton og Hopfield mottok Nobelprisen i fysikk for sitt arbeid med Bolzmann Machines i nevrale nettverk. Her, i sitt Nobelforedrag, trekker de opp hvordan disse nettverkene kan simulere og ekstrapolere.


    Her er slides fra foredraget. Hinton kommer inn ved 46 minutter og er verdt å lytte til.

     

    Harry Stoteles

    Hi-Fi freak
    Ble medlem
    18.05.2020
    Innlegg
    2.853
    Antall liker
    3.050
    Sted
    Oslo
    Torget vurderinger
    0
    Det er det filosofiske jeg er mest opptatt av, og det er en fundamental forskjell på å anta at all kunnskap er formaliserbar (som KGI forutsetter) og å akseptere at KI kun kan bli god på formaliserbar kunnskap. Der er jeg vel enig med Hinton, så vidt jeg forstår, når han sier at KI er et helt annet dyr enn all annen I. Men da sliter jeg også med å se hvorfor KI-entusiastene mener at formaliserbar kunnskap skal kunne fungere på samme måte som ikke-formaliserbar kunnskap, som for eksempel å kunne finne mening og mønster i andre bilføreres adferd, eller å kunne vaske opp ei tresleiv eller fylle oppvaskmaskinen.

    Et hjertesukk fra twitter som har gått seiersrundene på internett peker nettopp på dette: "Jeg vil at KI skal ta oppvasken så jeg kan bedrive kunst, ikke omvendt." Årsaken til at den ikke kan det, er nettopp at den er basert på formaliserbar kunnskap, altså det som kan abstraheres og settes på en forutsigbar symbolsk formel. Problemet er at det må et menneske til for å oppdage de tilfellene når det går galt. Overlat LLM-en til seg selv, her GPT-4omni mini – den "kloke" versjonen – og den viser at den ikke klarer seg på egenhånd.

    Skjermbilde 2025-01-06 kl. 14.29.45.png

    Jeg er enig med deg i at det er et potensiale, men jeg klarer ikke å se at det skal bli noe annet enn et enormt ressurs- og tidssløseri på kort og mellomlang sikt.
     
    Sist redigert:

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.975
    Antall liker
    40.234
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Vi er så heldige at "Time will show", og det kjappere enn vi tror (eller frykter).

    Hinton og Hopfield mottok Nobelprisen i fysikk for sitt arbeid med Bolzmann Machines i nevrale nettverk. Her, i sitt Nobelforedrag, trekker de opp hvordan disse nettverkene kan simulere og ekstrapolere.

    Her er slides fra foredraget. Hinton kommer inn ved 46 minutter og er verdt å lytte til.

    Jeg minner om at Boltzmann-maskinen er fra 1982. Det var gammelt nytt allerede første gang jeg så på dette rundt 1994. Det jeg snuste på da var basert på Suttons TD-Lambda backpropagation.

    Jeg minner også om at jeg brukte en tilsvarende «termisk» metode, simulated annealing, for noe så fjollete som å optimere intonasjonen i vindklokke-prosjektet mitt.
    https://www.hifisentralen.no/forume...ed-høy-nerdefaktor.107752/page-2#post-3880806

    Det er faktisk nært beslektet med denne lærealgoritmen, en stokastisk metode for å minimere en ekstremt ulineær tapsfunksjon med mange frie variable. Det er da også hva Nobel-presentasjonen du linket til handler om, spesielt s 10-20. Fra wiki:
    The network runs by repeatedly choosing a unit and resetting its state. After running for long enough at a certain temperature, the probability of a global state of the network depends only upon that global state's energy, according to a Boltzmann distribution, and not on the initial state from which the process was started. This means that log-probabilities of global states become linear in their energies. This relationship is true when the machine is "at thermal equilibrium", meaning that the probability distribution of global states has converged. Running the network beginning from a high temperature, its temperature gradually decreases until reaching a thermal equilibrium at a lower temperature. It then may converge to a distribution where the energy level fluctuates around the global minimum. This process is called simulated annealing.
    Det er eksakt hva jeg gjorde i Visual Basic for hobbyprosjektet, siden det var den opplagte måten å gjøre det på. Jeg tror nok du må backe opp futurismen din med noe mer enn at «Hinton sier at vi ikke forstår hvordan dette fungerer!» Kanskje det er nettopp hva «vi» gjør.
     
    Sist redigert:

    Hardingfele

    Æresmedlem
    Ble medlem
    25.10.2014
    Innlegg
    24.269
    Antall liker
    18.632
    Torget vurderinger
    2
    Som du vil se i arbeidet som Hinton har utført med Bolzmann Machines er målet å redusere energibruken, mens man samtidig sikter mot kognitiv autonomi, der nevralnettverket har ulike oppgaver alt etter hvorvidt det er våkent eller sover, bevisst eller drømmer (nye forbindelser).
    Dette er noe helt annet enn "å gjette neste ord i en setning", som det kan synes som at mange innbiller seg at KI handler om.

    Og det er her Hinton trekker opp skillet mellom mennesket som en 3-åring i forhold til hva koblede nevrale nettverk vil kunne oppnå av innsikt vi ikke har forestilt oss eller vært i stand til å forestille oss. Enorm datakraft og simulasjonskapabiliteter har gjort det mulig å ta disse modellene ut av teori og inn i praksis, ved modellering, i slik utstrekning at Hinton selv er blitt varsler om farene forbundet med SOTA på området.

    Jeg er fascinert og forsiktig begeistret over hva som skjer, gitt sprangene vi har gjennomgått fra jeg leste i filler min "Gödel, Escher, Bach" da den kom ut i 1979.

    Hofstadter vil lyrisk omfavne hva Jonsson gjør med mulighetene i AI, hans Cloud Station, lansert i går, er som en syntese av boken.


    Dette er hinsides for filmskapere, som nå kan begynne å "filme" drømmer på et vis man ikke har drømt om før, med visualiseringsverktøy som var ren SciFi for bare ett år siden.
    Hastigheten i utviklingen, for analyse, databehandling/-syntetisering, visualisering, modellering, (re)konstruksjon, abstraksjon, osv. er ikke til å tro, men reell.

    Selv hadde jeg en lang samtale her om dagen med Googles seneste AI om Nordvestpassasjen og fraktmulighetene i denne og generelt i Northern Passage. Frem og tilbake om isvariasjoner, antallet skip som allerede krysset, hvilke potensielle havner som måtte etableres langs rutene, antallet nye isbrytere som var på beddingen eller planlagt bygget (jeg fikk en kommentar om reaktordekslene som ble ødelagt da Ursa Major sank nylig, de skulle på Russlands nye kjernekraftdrevne isbryter). Jeg ba min samtalepartner om å gå gjennom tilgjengelig materiale med tanke på planlagte nye jernbaneforbindelser opp i nord, eller andre transportveier, til eksisterende eller planlagte havner, spurte om utviklingen i smelting/tining av permafrost og hva det kunne representere av trusler.

    For min egen del: alt dette kunne jeg funnet ved å søke opp og pløye gjennom artikler/reportasjer, tilgjengelig forskning, osv -- men Googles AI skjøt gjennom all tilgjengelig informasjon og innledet en dyptpløyende samtale omkring emnet, der den også sjekket hvor dypt inn det var relevant å gå med meg. (Den ga meg fraktdata for 2023, jeg minnet den om at vi nå befant oss på tampen av 2024 og at det måtte foreligge data for året. "You're right, apologies, here are the relevant numbers for both passages, for this year".)
    Jeg syns dette er en fenomenal måte å gå inn i emner på, og blir også lettere begeistret når jeg viser den dette bildet, som henger på veggen min, og spør hva den kan fortelle meg om det. (Trykket er en original fra 1840)

    This image appears to be a Japanese woodblock print, likely from the Ukiyo-e period (17th-19th centuries). Here's what I can observe:

    * Subject: It depicts a male figure, likely a warrior or samurai, based on the presence of a sword and what appears to be a bow slung across his back. He is holding a fan, which was a common accessory for both men and women in various social classes.

    * Style: The style is characteristic of Ukiyo-e, with strong lines, flat perspectives, and a focus on decorative patterns. The use of color is also typical of this art form.

    * Composition: The figure is placed prominently in the foreground, with flowering branches (likely cherry blossoms) in the background. This suggests a seasonal setting, as cherry blossoms are associated with spring in Japan.

    * Details: There are several details worth noting:

    * The intricate patterns on the figure's clothing.

    * The details of the sword and its fittings.

    * The use of line and shading to create depth and texture.

    * The presence of inscriptions or signatures (more on this below).

    Inscriptions/Signatures: The presence of Japanese characters (kanji) suggests there may be a signature of the artist, a title, or other inscriptions related to the subject or the print's production. Unfortunately, without being able to read Japanese, I can't provide a precise translation. However, these inscriptions are crucial for identifying the artist and the specific print.

    Possible Interpretations:
    * The print might depict a scene from a Kabuki play or a historical narrative. Many Ukiyo-e prints were produced as promotional materials for Kabuki theater.
    * It could be a portrait of a famous warrior or historical figure.
    * The cherry blossoms could be symbolic, representing the fleeting nature of life or the beauty of the natural world.
    To learn more about this print, I recommend:
    * Consulting with an expert in Japanese art or Ukiyo-e prints: They would be able to decipher the inscriptions and provide more specific information about the artist, the subject, and the print's historical context.
    * Searching online databases of Ukiyo-e prints: Websites like the Ukiyo-e.org database might have similar prints or information about the artist if you can identify the signature.
    Without the ability to read the inscriptions, my analysis is limited. However, it's clear that this is a beautiful and interesting example of Japanese Ukiyo-e art.


    IMG_5169.jpeg
     
    Sist redigert:

    PeriodeLytter

    Hi-Fi freak
    Ble medlem
    26.02.2013
    Innlegg
    3.788
    Antall liker
    3.485
    En morsom observasjon med ChatGPT4 er at den ikke er en stavekontroll. Fra en stavefeil i en Lumin reklame her på forumet bad jeg cgpt om å forsøke forklare hva ordet 'amkismal ' betyr. Den kom ikke opp med noe bra forslag så jeg bad den forsøke se om ordet kunne komme fra andre språk. Hvor den fant et mulig feilstavet engelsk ord som fikk Lumin DAC til å ha en negativ lydkarakter.

    Derfor bad jeg den teste en hypotese at ordet muligens kunne ha sitt opphav fra det kinesiske språket, oversatt til engelsk og siden norsk. Igjen fant det flere negative karatrestikker for denne Lumin DACn.

    Det morsomme er at Google translate så feilen med det samme. To første bokstavene er byttet om.
    Stavefeil ser det ut som cgpt fanger mer likt hvordan vi mennesker klarer tolke feilstavete ord. Hvor start og slutt og kontekst i setning er i orden klarer vi som regel se hvilken betydning som er forsøkt utrykket.
     

    Asbjørn

    Rubinmedlem
    Ble medlem
    26.03.2006
    Innlegg
    38.975
    Antall liker
    40.234
    Sted
    Vingulmǫrk
    Torget vurderinger
    2
    Som du vil se i arbeidet som Hinton har utført med Bolzmann Machines er målet å redusere energibruken, mens man samtidig sikter mot kognitiv autonomi, der nevralnettverket har ulike oppgaver alt etter hvorvidt det er våkent eller sover, bevisst eller drømmer (nye forbindelser).
    Dette er noe helt annet enn "å gjette neste ord i en setning", som det kan synes som at mange innbiller seg at KI handler om.
    Du forstår åpenbart ikke hva han sier. «Energien» i algoritmen handler om den stokastiske variasjonen for å riste løs algoritmen fra sub-optimale lokale minima og finne det globale minimum. Se s 11 i presentasjonen du linket til. Man forestiller seg gjeldende løsningsforslag som en kule i et berglandskap. Den forsøker å finne veien ned i dalen, punktet med lavest «energi». På vei ned kan den bli sittende fast i en grop mellom to åsrygger. Ved å øke «temperaturen» i algoritmen får man «ballen» til å sprette rundt, slik at den har en sannsynlighet for å hoppe ut av slike lokale minima og etter hvert finne bedre løsninger med lavere «energi». Underveis reduserer man «temperaturen» for å hindre at ballen spretter veggimellom, men etterhvert stabiliserer seg på laveste punkt.

    Dette er eksakt hva som skjer når man lærer opp en LLM til å gjette neste ord i en setning. Lærealgoritmen er en slik stokastisk optimeringsfunksjon. Det laveste punktet, med lavest «energi», representerer beste kurvetilpasning for prediksjon, f eks hva som vil være mest sannsynlige neste ord hvis input tilsier at man befinner seg nettopp der i landskapet. Det er ingen androide der som drømmer om elektriske sauer, bare en eller annen stokastisk optimerings-algoritme (som f eks simulated annealing, SGD, eller lignende) som oppdaterer koeffisienter i store matriser (tensorer) av numeriske verdier for å gjøre en multidimensjonal kurvetilpasning for prediksjon. Anvendelsen er ren feed-forward.

    Hinton bruker begrepet «drømmer» for å beskrive fasen i den stokastiske lærealgoritmen hvor ballen hopper tilfeldig, «våken» for fasen hvor den forsøker å finne bratteste vei ned fra hvor den enn befinner seg i øyeblikket. Begge deler er i læreprosessen, ikke i anvendelsen av nettverket. Hintons store bidrag i 2006 var å bruke koblede Boltzmann-maskiner for å representere dypere nettverk enn den begrensningen som fikk meg til å droppe mitt prosjekt. Som han selv skriver i presentasjonen på s 26 var dette en katalysator for å muliggjøre bedre algoritmer for dyp læring, men det er ikke slik dagens nettverk er oppbygd.

    Joda, jeg leste da også «Gödel, Escher, Bach» i sin tid. Kan jeg også anbefale Inga Strümkes «Maskiner som tenker» for en pedagogisk innføring i hva dette er og hva det ikke er?
     
    Sist redigert:
    • Liker
    Reaksjoner: I_L

    Harry Stoteles

    Hi-Fi freak
    Ble medlem
    18.05.2020
    Innlegg
    2.853
    Antall liker
    3.050
    Sted
    Oslo
    Torget vurderinger
    0
    (Den ga meg fraktdata for 2023, jeg minnet den om at vi nå befant oss på tampen av 2024 og at det måtte foreligge data for året. "You're right, apologies, here are the relevant numbers for both passages, for this year".)
    Ga den deg da riktige tall?
     

    defacto

    Hi-Fi freak
    Ble medlem
    04.05.2016
    Innlegg
    5.756
    Antall liker
    3.185
    Sted
    Liten by
    Jeg kan vel med stor sikkerhet si (etter å ha lest litt her) at AI ikke blir bedre enn den som bruker den. Spør man dumme spørsmål basert på lite viten, får deretter svar. Spør man intelligente spørsmål basert på stor viten om et tema, så kan man faktisk få svar som kan brukes og som er viten baserte!

    Personlig tror jeg AI blir drepen på mye (kanskje tilogmed internett som vi kjenner det?), men den kan enda ikke lage noe ut av intet. Så mennesker vil fremdeles være langt bedre til å finne opp nye ting. Jeg tenker spesielt på musikk. Men siden vi ihvertfall ikke blir smartere, så tipper jeg mange vil forledes til å bruke AI til å lage eksakt den musikken de vil ha og de kommer til å godta enkle musikalske grep og dårlig lyd.
     

    I_L

    Hi-Fi freak
    Ble medlem
    27.03.2003
    Innlegg
    3.780
    Antall liker
    6.644
    Har lest Kurzweils tanker om Singulariteten, Bostrom om runaway-AI, Hinton om mulighetene, i såpass lang tid og såpass dyptpløyende at jeg burde skrevet bok og tatt betalt for å rådgi virksomheter som ønsker å kikke på hva dette vil bety.
    Det har du sikkert, men hva med matriseregning, regresjonsanalyse, klassifiseringsalgoritmer og de statistiske metodene som AI og nevrale nettverk bygger på? Behersker du matematikken bak? Hvis ikke er det veldig lett å gå seg bort, det er derfor de første semestrene i teknologiutdanningen stort sett går ut på å drille grunnleggende realfag.

    Synes kanskje den mest treffende kommentaren til siste siders diskusjon er denne.
     
  • Laster inn…

Diskusjonstråd Se tråd i gallerivisning

  • Laster inn…
Topp Bunn