Selv om bruken av kunstig intelligens fortsatt skyter fart blant de unge, er det langt fra alle som kaster seg på KI-bølgen. – Det er spennende, men også skummelt, sier Samuel Mayani (18).
– Bransjen vår er så trua. For meg er det mest frustrerende at det er en veldig stor bedrift som faktisk har ressurser til å hyre inn ekte håndverkere.
27-åringen er nyutdannet fra Kunsthøgskolen i Oslo og jobber som frilans illustratør. Hun er blant mange i bransjen som reagerer på at Posten har tatt i bruk kunstig intelligens, for å lage julefrimerker.
1. Nettverket i flux1.dev, AI-modellen jeg bruker til bildegenerering, er 23 gigabytes stort og trives best på et grafikkort med minst like mye minnekapasitet, f eks noe sånt:
MSI GeForce RTX™ 4090 VENTUS 3X E 24G OC grafikkort bruker kraften til Ada Lovelace-arkitektur med nestegenerasjons strålesporing og tensorkjerner for å gi tordnende datakraft, som videre forsterkes av DLSS 3 AI-teknologi.
Paul Reber, professor of psychology at Northwestern University, replies
www.scientificamerican.com
Altså utgjør den heftigste AI’en jeg kan kjøre på en PC i 50000-kronersklassen fortsatt under en promille av en prosent av en helt gjennomsnittlig menneskehjernes kapasitet til å lære, lagre og forstå hvordan verden virker.
Slike sammenlikninger fremstår for meg som litt meningsløse. En menneskehjerne lagrer ikke informasjon på samme måte som en datamaskin. Datamaskinen kan gjengi lagret informasjon eksakt, men når vi husker noe så er ikke minnet noe som en gang likner på informasjonsinnholdet som det vi husker opprinnelig bestod av. Og om vi husker noe to ganger, er informasjonsinnholdet også helt forskjellig de to gangene. Til og med memorisering (feks å pugge sifrene i pi) skjer gjennom assosiasjon, ikke gjennom lagring av tallene per se.
Jeg har liten tiltro til at vi har noen fullstendig forståelse av hvordan hjernen fungerer, og derfor har jeg heller aldri hatt noen tro på AGI. Vi kan lage bedre modeller av en hjernes oppførsel i dag enn for femti år siden, men de er nok fortsatt veldig langt fra fullendt.
Jeg syns Ben Jordan lager gode videoer med mye research bak dem. Den siste videoen hans tar for seg booter på sosiale plattformer. Hvor han starter ved begynnelsen, — hvordan Putins regime ble bygget.
Hvor disinformasjon viser seg ikke behøver ha som mål å støtte en side i det politiske lanskapet. Men alene skape uorden i våre evne til å følge logikk ved at "alt" vi mates er fake news. Her med eksempler fra Putin og Trump sine sukksesskampanjer. Og nå hvordan AI har overtatt sosiale medier.
Jeg har liten tiltro til at vi har noen fullstendig forståelse av hvordan hjernen fungerer, og derfor har jeg heller aldri hatt noen tro på AGI. Vi kan lage bedre modeller av en hjernes oppførsel i dag enn for femti år siden, men de er nok fortsatt veldig langt fra fullendt.
Jeg leste en forskningskommentar i Morgenbladet om KI. Den pekte på at grunnen til at AGI fortsatt er langt unna, er at datamaskinen aldri har vært baby og dermed ikke trengt å forholde seg til en fysisk og sosial verden. Løsningen ville være å lage en ny modell som simulerte at datamaskinen hadde vært baby.
Det løser ingenting, fordi det bare legger til et lag av kompleksitet. Modellen er fundamentalt forskjellig fra menneskelig intelligens, og løsningen er å gjøre mer av det som ikke fungerer i utgangspunktet.
Han har jobbet med AI siden 60 tallet, og skrev i 2005 boken "The Singularity Is Near". I den predikerte han hvordan AI ville utvikle seg i årene som kom, og i den siste boka kan vi se at og traff ganske bra på sine spådommer den gangen.
I følge han vil vi ha noe som kan ligne på AGI i 2029.
Definisjonen av AGI er imidlertid viktig, og Ray skriver en del om Turing-testen, og at vi i 2029 ikke lengre kan vite om vi kommuniserer med en robot eller et menneske.
Det skjer jo enormt store ting både på hardware og software-fronten også.
Nvidia's nye chip er 25 ganger mer energieffektiv enn sin forgjenger og leverer 30x ytelsen.
De selger et rack med 36 sånne chipper som klarer 1440 PFLOPS. (1,44*10^18).
Det er opp gjennom årene gjort mange estimat for hjernens regnekapsitet, og det varierer voldsomt. Alt fra 10^18 til 10^28.
The computing power needed to replicate the human brain's relevant activities has been estimated by various authors, with answers ranging from 1012 to 1028 FLOPS. Details Notes We have not investigated the brain's performance in FLOPS in detail, nor substantially reviewed the literature since...
aiimpacts.org
Med dagens utvikling kan supercomputere komme til10^25 FLOPS i 2045, og det er ikke usannsynlig at vi da vil få noe som vi ikke helt vet hva er enda....
Teknologer og futurister har i likhet med fysikere en tendens til å ville tilpasset terrenget etter kartet. I fysikken kommer man opp med multivers, elleve romlige dimensjoner og alle mulige slags krumspring for å få observasjonene og dataene til å stemme med teorier som kan uttrykkes matematisk. Selv om Occams åpenbare barberblad er at matematikken som menneskeskapt verktøy og rammeverk neppe er komplett og kanskje ikke egnet til å uttrykke en teori om alt. Det gjør så klart ikke fysikken unyttig, alt vi kan modellere og forklare og gjenskape har verdi, men det er fortsatt bare modeller. Og når fysikerne begynner å bevege seg for langt ut i metafysikken og påstå at det er virkeligheten som er sånn, og ikke modellene, så har jeg en tendens til å falle av.
Og ditto for AI. Konseptet om at vi når singulariteten hviler på et premiss om at menneskelig bevissthet er forstått, og kan beskrives fullstendig bare man har store nok matriser og mange nok flyttallsoperasjoner. Og det stiller jeg meg svært skeptisk til, ikke minst når jeg vet hvor mye hybris det er i Silicon Valley.
Mye hybris ja. Men jeg er ikke fremmed for tanken om at vi om ikke mange år kan få en datamaskin til å fungere som en hjerne - når det gjelder å løse oppgaver. Vi ser jo hvordan de på stadig flere felt overgår vår kapasitet. At de en dag også klarer oppgaven med å lage seg selv bedre synes jeg derfor ikke er så rart.
Det gjenstår egentlig bare å se om det skjer i 2045 eller 2100...
Slike sammenlikninger fremstår for meg som litt meningsløse. En menneskehjerne lagrer ikke informasjon på samme måte som en datamaskin. Datamaskinen kan gjengi lagret informasjon eksakt, men når vi husker noe så er ikke minnet noe som en gang likner på informasjonsinnholdet som det vi husker opprinnelig bestod av. Og om vi husker noe to ganger, er informasjonsinnholdet også helt forskjellig de to gangene. Til og med memorisering (feks å pugge sifrene i pi) skjer gjennom assosiasjon, ikke gjennom lagring av tallene per se.
Jeg har liten tiltro til at vi har noen fullstendig forståelse av hvordan hjernen fungerer, og derfor har jeg heller aldri hatt noen tro på AGI. Vi kan lage bedre modeller av en hjernes oppførsel i dag enn for femti år siden, men de er nok fortsatt veldig langt fra fullendt.
Sant, men det neurale nettverket i dagens AI’er er en forenklet simulering av biologiske neuroner. Det er vektinger som styrer styrken av koblinger fra input til output. Datamaskinen lagrer og husker helt eksakt at en bestemt faktor f eks har verdien 0,8765, men det neurale nettverket den inngår i husker ikke eksakt. Det assosierer, at noe vanligvis hører sammen med noe annet, beregner sannsynligheter og velger utfall ut fra genererte pseudotilfeldige tall. Om du kjører samme forespørsel to ganger med ulike «frø» for slumptallsgeneratoren vil du få ulikt utfall selv om alt annet er likt.
Det er også litt interessant å fundere på hvor stort datasenter som behøves for hoste et neuralt nettverk på 2,5 petabytes. Det er selvsagt fullt mulig, og mange slike finnes, men det er ikke en hjemme-PC, akkurat.
Ja, men etter å ha lekt litt med sånne dingser blir det ganske tydelig at nettverket helst bør være på en og samme Cuda-arkitektur, eventuelt parallelle kort på samme databuss. Det kjører veldig mye saktere når data må lastes ut og inn av VRAM i hver iterasjon. Dette er både data- og prosessorintensivt, ikke like lett å skalere som når man kan sette ut beregningsoppgaver til uavhengige prosessorer og summere resultatene. (Jeg gjorde akkurat det selv for 30 år siden, la en replikasjon av en simulering på hver av mange arbeidsstasjoner i et nettverk og akkumulerte resultatene i en master-node. Lite I/O, mye CPU, kraften skalerte lineært med antall noder til en virtuell supercomputer med minimal overhead.)
Derfor ikke helt trivielt å bare hive et helt datasenter etter det heller. Så vidt jeg vet er største nettverk i bruk nå ChatGPT-3 med 160 milliarder parametre. Da er vi vel på ca 0,16 % av en gjennomsnittlig menneskehjerne med 10^14 synapser.
The brain has about 10¹¹ neurons and 1.8-3.2 x 10¹⁴ synapses. These probably account for the majority of computationally interesting behavior. Support Number of neurons in the brain The number of neurons in the brain is about 10¹¹. For instance, Azevado et al physically counted them and found...
Det stemmer nok, men nevronene er strengt tatt relativt enkle å forstå. Det er hvordan det hele henger sammen vi ikke forstår. Det fins ingen helhetlig teori om hvordan hjernen fungerer. Det er derfor det ikke er uproblematisk å bruke datamaskiners lagringskapasitet som metafor for hvordan hjernen håndterer informasjon.
For ikke å snakke om hvor kontroversielt informasjonsbegrepet er, filosofisk sett.
Enig i det. Vi forstår virkelig ikke hvordan menneskehjernen fungerer, og man kan mene at det kanskje er umulig for en menneskehjerne å forstå hvordan den selv egentlig fungerer. (Gödels teorem etc.) Sammenligninger blir derfor litt omtrentlige, basert på hva man mener å forstå pr nå.
Likevel, om jeg skulle kjørt en instans av ChatGPT-3 lokalt tror jeg at jeg ville brukt et litt heftig Xeon motherboard med seriøst mye RAM og så mange A100 GPU’er som det er plass til på kortet. Fire sånne i parallell, tilsammen 320 GB VRAM, burde gjøre jobben, hvis man finner et motherboard med nok fysisk plass.
Discover the best motherboard for multiple NVIDIA A100 80GB PCIe GPUs and maximize your AI performance requirements
massedcompute.com
De store datasentrene er rett og slett rack etter rack med slike kort. AI-applikasjonene er kjeder av matrisemultiplikasjoner, hvor alle elementer i matrisene potensielt kan påvirke hverandre. Derfor forskjellen mellom å ha hele modellen i et delt minne vs å skyfle den frem og tilbake over nettverksforbindelser. Det setter også noen grenser for hvor kraftige disse AI’ene kan bli med dagens hardware-teknologi.
Hva skjer dersom USA får et stort gjennombrudd innenfor KI mens Donald Trump er president?
www.nrk.no
– Det kan jo være at en AGI kan fikse opp i all ineffektivitet i offentlig sektor, ordne skattesystemet, og skape en balansert økonomi. Kanskje skaper AGI et godt og effektivt helsevesen også, forteller Strümke.
– Hvis denne maskinen faktisk er superintelligent og vi tenker at intelligens er evnen til å nå mål, vil [Trump] ha en maskin som kan fortelle ham akkurat hva han må gjøre for å nå målene sine, forklarer hun.
------
Dette er en illustrasjon på hvordan vi i Europa tenker KI, ut fra en blanding av Bibelen og Star Trek. AGI er Jesus, hvis den kommer så kommer den med frelse. Løsningene den kommer med, vil gi oss den ene riktige politikk der offentlig sektor er effektiv, skattesystemet endelig har funnet sin korrekte form, og økonomien og helsevesenet fungerer på en måte som kun kan kalles god.
Dette er en historieforståelse som Hegel ble kritisert for og Marx tok ut til det logiske endepunkt, men som egentlig bare gjenspeiler en form for eskatologi som Jesus gjorde populær. Når alt annet er prøvd, vil verden stabilisere seg i sin egentlige form.
Det er selvfølgelig bullshit fordi det ignorerer at alle disse ideene er ideologi. Uansett hvor smart datamaskinen blir, er det ikke den som kommer til å bestemme hva som er en effektiv offentlig sektor. Det handler om hva vi mener offentlig sektor skal gjøre, og hvilke skranker vi vil den skal ha. Det er verdimessige beslutninger. Vil AGI finne den ene korrekte verdi? Vil AGI finne ut hva som er riktig skatteprosent, uten å vurdere hvilke ideologiske verdier som skal ligge til grunn for den beslutningen?
Hvorfor skal vi akseptere slike vurderinger fra en AGI når vi samtidig sier at den kan hjelpe Trump å nå målene sine? Ønsker han et ordnet skattesystem og et godt og effektivt helsevesen?
Noen fler observasjoner etter å ha lekt litt mer med disse AI-greiene for å generere bilder:
De forstår virkelig ikke hvordan verden fungerer. En karakter som holder et sverd kan like gjerne holde det i bladet som i hjaltet, eller sverdet svever løst foran ham uten å holdes fast, eller det går tvers gjennom kroppsdeler. Man må være forberedt på å generere et halvt dusin bilder eller så og kaste de fleste av dem for å stå igjen med ett eller to som er brukbare. De mest kraftfulle bildegeneratorene automatiserer også denne delen av prosessen ved å mate de genererte bildene gjennom et "adversarial network" som forkaster de mest absurde feilene, men selve generatoren er like dum, i tillegg til at prosessen tar x ganger mer tid og energi.
Hvis man lærer opp et subnettverk til å generere bilder av en karakter, f eks meg, kan det bli ganske bra, men det veksler fortsatt mellom å gi bilder som er "nesten meg" og "definitivt ikke meg". Det greier ikke å holde fast i de karaktertrekkene som mennesker vil bruke for å kjenne igjen en person.
Om man forsøker å generere et bilde som inneholder den aktuelle karakteren sammen med andre personer, vil karakteren smitte over på alle andre personer i bildet. De ender alle sammen opp med å se ut mer eller mindre som meg, og det var kanskje ikke meningen.
Hvis man forsøker å generere to ulike karakterer i samme bilde, f eks Asbjørn og Elvis, vil AI'en generere to eksemplarer av noe som ligger ca midt imellom. (Nei, jeg har ikke tenkt å vise dere et eksempel på dette. Tro meg, det er ikke pent.)
Evnen til å gjengi andre ting blir dårligere når man multipliser inn noe nytt. F eks hvis man genererer et bilde av person+katt og er litt oppgitt over at personens hender har varierende antall fingre og ledd, så kan man vekte inn en matrise som er spesielt opplært på hvordan menneskehender skal se ut. Da ble hendene bedre, men katten ble til et ubestemmelig pelsdyr i retning av bisamrotte.
De som holder på med dette ser ut til å være tungt orientert mot fantasy og lignende genre. Hvis jeg prøver å generere et bilde av en vikinghær under ravnebanneret ender jeg lett opp med noe som ser ut som Gimli fra Ringenes Herre. Nedenfor er fire forsøk fra flux.1 dev på denne prompten, bare med ulikt «frø» i slumptallsgeneratoren:
A cinematic still image showing a group of viking warriors on foot. One warrior is carrying a triangular, tasseled banner showing a black raven with outstretched wings on a white field. The other vikings wear iron helmets and chain-mail armor. The vikings are grimy and blood-stained, on their way from one violent battle to another. They carry swords, battle-axes, shields, and torches. Darkness is falling. A burning castle can be seen in the background. The overall impression is one of quiet menace and impending violence.
OK til å illustrere den generelle stemningen, men Harald Hardråde ville ikke kjent seg igjen på de bildene. Hvor ble det av ringbrynjene? Hvor kom samurai-rustningene fra? Ser snubben til venstre på siste bilde noe som helst under hjelmkanten sin? Er det en ansiktsløs nazgûl til høyre på bildet?
Språkmodellene (f eks ChatGPT) enkelte bruker som orakel er bygget på samme teknologi som dette. Jeg ville ikke funnet på å stole på et svar derfra før jeg hadde dobbeltsjekket det forlengs og baklengs, og da hadde det kanskje vært raskere å slå opp i en reputabel bok til å begynne med enn å fyre opp en bullshitgenerator først.
Akademisk fotnote: Ravnebanneret ble brukt av vikingkonger frem til og med Harald Hardråde i 1066. Det er også gjengitt på Bayeux-teppet. Den symbolske meningen av å løfte ravnebanneret var å fortelle motstanderne at de ville bli blotet til Odin, på samme måte som det tradisjonelle åpningsbudet med å kaste et spyd over motstanderne og erklære dem som offer til Odin. https://en.wikipedia.org/wiki/Raven_banner
Eksempel på hva som skjer hvis man multipliserer inn noe nytt i AI-modellen: Jeg var ikke spesielt imponert av "vikinghjelmene" i eksemplene over. Det viste seg at noen allerede hadde lært opp et sub-nettverk (Low Rank Adaptation, LoRA) nettopp for å gjengi vikinghjelmer.
An authentic Viking helmet is a formidable piece of craftsmanship, designed both for protection and to inspire fear in opponents. Made from riveted...
civitai.com
Eksakt hva som behøves, et lynkurs i vikinghjelm for AI'en. Så jeg multipliserte den inn og brukte eksakt samme prompt som over.
Øhhh, vel, kanskje ikke helt som jeg hadde sett det for meg. Fine hjelmer, men det ble litt mer "utkledde nerder på tur i parken" enn Harald Hardrådes felttog over det. Veldig mye annet i bildene endret seg også.
Sånn burde hjelmen sett ut, ikke lesebriller:
Jeg tror ikke vi behøver si opp alle illustratører riktig ennå.
www.nrk.no
www.forskning.no
www.economist.com
decrypt.co
massedcompute.com
spectrum.ieee.org
