Diverse OpenAI - sjukt imponerende AI

[Hardingfele]

Hvor lang tid tar det å programmere et sjakkspill med grafikk?

10 sekunder. Ett minutt eller to for prompt.

PROMPT: implement a chess game for 2 players in a single html. make graphics so user sees when it is his turn. also mark all the possible fields where he can move a piece. make it work with mouse. also handle game logic properly and detect game over. use unicode ascii for the pieces. Make sure game engine works well!

x.com

x.com

 

[weld77]

^ Med påholden penn, ser jeg.

OT: En gang for lenge siden var jeg på vei ut av Kina etter noe jobbgreier. På flyplassen impulskjøpte jeg en engelskspråklig bok om kinesisk kultur, litt for å forstå bedre hva jeg nettopp hadde observert. Interessant bok, men noen av sidene var omhyggelig limt sammen. Vel hjemme tok jeg frem lommekniven og sprettet dem opp. Helt riktig, der var studentopprøret i 1989 nevnt i forbifarten. Gikk tydeligvis ikke an, selv ikke i en bok ment for utlendinger. /OT

Eller kanskje det ikke er OT, gitt hvem som kontrollerer disse greiene og har interesse av at de gir «riktige» svar på forskjellige spørsmål.

Jeg kjøpte et nummer, type utgitt 10-15 år før jeg kjøpte det i en kiosk, av National Geographic i Teheran. Der var all kvinnehud på alle bilder håndsladdet med sort tusj.

 

[weld77]

dobbeltpost

 

[PederP]

Én som faktisk har testet Deepseeks chatbot er professor i kunstig intelligens ved Universitetet i Agder, Morten Goodwin.
Og KI-professorens dom er klar:
– Den er fantastisk. Det er overraskende at en så ukjent aktør leverer en så god tjeneste, også på norsk. Jeg har selvsagt testet Chat GPT mye mer enn Deepseeks modell, men så langt har den imponert voldsomt, sier Goodwin.
Professoren trekker frem at Deepseeks nedlastbare, såkalte «open source»-modell gir økt kontroll over egen data.
– For å si det sånn: Jeg stoler mer på Deepseek enn Chat GPT. Det har ikke noe med USA vs. Kina å gjøre, men fordi Deepseeks modell tilbyr mye større kontroll over egen data, sier Goodwin.

Eksperter om Deepseek: – Et granatsjokk | DN

Språkmodellen til kinesiske Deepseek har utløst et ras i amerikanske tek-askjer. Kan den nye chatboten være like bra eller bedre enn Chat GPT? Dette tror ekspertene.

www.dn.no

 

[PederP]

Nå var det Kina. Neste gjennombrudd kan komme i Norge

Effektive algoritmer gir kunstig intelligens til en mye lavere pris. Det er gode nyheter for de fleste.

www.digi.no

 

[I_L]

Kom melding på Teams i dag om totalforbud mot å bruke DeekSeek på jobbutstyr og innenfor jobbnettverket, og en oppmoding om å utvise (sitat) "extreme caution" ved privat bruk. Årsaken er en kombinasjon av privacy og (sitat) "critical security concerns", inkludert, men ikke begrenset til:
- All brukerinput blir samlet inn og brukt til modelltrening (eksplisitt uttalt).
- All brukerinput blir sendt til Kina (eksplisitt uttalt) og potensielt brukt av kinesiske myndigheter eller private aktører.
- Flere identifiserte cybersecurity risks og mangelfulle sikkerhetsrutiner.
- Prompt injection vulnerabilities.
- Andre svakheter som kan gi uautorisert tilgang til sensitive data.

Tror jeg avventer å hive meg over den.

 

[PeriodeLytter]

Hvorfor ellers bry seg med å tilby den til Vesten? There are no free lunch.
Sant skal sies er vel egentlig ikke OpenAI noe bedre i så hensende slik vi ser til den politiske utviklingen går i opphavslandet.

 

[Asbjørn]

DeepSeek: Alt du trenger å vite om den nye AI-tjenesten - Tek.no

AI-tjenesten DeepSeek har tatt verden med storm, og overgår OpenAIs ChatGPT til en brøkdel av prisen. Eksperter spår ny æra for kunstig intelligens.

www.tek.no

Yann LeCun, sjefsforsker for kunstig intelligens hos Meta,uttaler imidlertid at det ikke er snakk om at Kina har gått forbi USA i AI-utvikling. Det handler heller om at DeepSeek har nytt godt av åpen kildekode og åpen forskning.

– Den riktige tolkningen er at «åpne modeller overgår proprietære modeller» – ikke at Kina nødvendigvis har gått forbi USA, skriver forskeren på LinkedIn.

Enig.

 

[Beretta67]

De gratis versjonene er så som så. Betaler du for ki/ai så får du noe mer avanserte greier. Er ikke til å stole på det heller. Men kjekt verktøy for enkle ting hvis du lurer på noe. Bruke det til å rydde opp i store databaser/fdv doc etc så kan du få deg en overraskelse etterpå når du skal søke

 

[Nidaros]

Det er slett ikke sånn der jeg holder til, også det i en relativt stor privat virksomhet.

For all del. Det er unntaket. Men det finnes. Det var mitt poeng.

Jeg lurer på hvordan en LLM vil evaluere sitt eget verk når en LLM-generert anbudsforespørsel besvares av samme LLM og til slutt evalueres av samme LLM.
Jeg antar at den gjenkjenner sine egne skriftalgoritmer.

Vil den gi høyere score til noe den selv har skrevet og på den måten diskriminere anbudsbesvarelser skrevet av mennesker eller andre LLM-er?

 

[Harry Stoteles]

Nå tillegger du den vel mye resonneringsevne. Husk at den ikke resonnerer, den bare gjør som om den resonnerer. Den er mer i retning av Searles "Chinese room".

The Chinese Room Argument (Stanford Encyclopedia of Philosophy)

The heart of the argument is Searle imagining himself following a symbol-processing program written in English (which is what Turing called “a paper machine”). The English speaker (Searle) sitting in the room follows English instructions for manipulating Chinese symbols, whereas a computer “follows” (in some sense) a program written in a computing language. The human produces the appearance of understanding Chinese by following the symbol manipulating instructions, but does not thereby come to understand Chinese. Since a computer just does what the human does – manipulate symbols on the basis of their syntax alone – no computer, merely by following a program, comes to genuinely understand Chinese.

 

[morbid]

DeepSeek: Alt du trenger å vite om den nye AI-tjenesten - Tek.no

AI-tjenesten DeepSeek har tatt verden med storm, og overgår OpenAIs ChatGPT til en brøkdel av prisen. Eksperter spår ny æra for kunstig intelligens.

www.tek.no

Enig.

Det var jo egentlig ikke riktig før i slutten av forrige uke, de åpne modellene har ligget et stykke bak de lukkede. Selvsagt har kineserne bygget videre på andres forskning som omtrent alle de andre også har gjort, forskjellen er jo at ytelsen nå er 25x

 

[Nidaros]

Nå tillegger du den vel mye resonneringsevne. Husk at den ikke resonnerer, den bare gjør som om den resonnerer. Den er mer i retning av Searles "Chinese room".

The Chinese Room Argument (Stanford Encyclopedia of Philosophy)

Det er ikke snakk om resonneringsevne, det er snakk om hvorvidt en LLM har en preferanse for det den selv har skrevet.
Jeg spurte like godt ChatGPT.

I følge ChatGPT, vil et LLM-generert svar gi høyere score enn et håndskrevet anbudssvar av samme kvalitet, forutsatt at prompten for anbudsevaluering ikke inneholder spesifikasjon av hvordan skrivestil skal vektes. Dette skjer fordi strukturen oppfattes som bedre når den er slik LLM-en selv strukturerer tekst.

Motsatt vil en evaluering utført av LLM, der det for eksempel gis instruksjoner om at man setter pris på at leverandøren viser engasjement, gi lavere score for et svar laget av LLM-en.

 

[Harry Stoteles]

Men hvordan kan du vite at ChatGPT vet dette?

 

[Asbjørn]

Det var jo egentlig ikke riktig før i slutten av forrige uke, de åpne modellene har ligget et stykke bak de lukkede. Selvsagt har kineserne bygget videre på andres forskning som omtrent alle de andre også har gjort, forskjellen er jo at ytelsen nå er 25x

For min del skjedde det noe i august, med Black Forest Labs og deres Flux.1 for bildegenerering. Så vidt jeg vet er det avhoppere fra OpenAI. Det DeepSeek har gjort for LLM er ganske parallelt med Flux for bilder. men den skjønner fortsatt fint lite av hva den holder på med.

Announcing Black Forest Labs

Today, we are excited to announce the launch of Black Forest Labs. Deeply rooted in the generative AI research community, our mission is to develop and advance state-of-the-art generative deep…

blackforestlabs.ai

 

[BigSwifty]

Intelligens meg her og intelligens meg der!

Jeg tenker at det er litt gøy å sette fast chatgpt. Opera har den ikke greie på! Hihi. Spurte orakelet om dette i dag:
har jussi bjørling sunget ah mes amis fra La fille de regiments?
Ja, den berømte svenske tenoren Jussi Björling har sunget "Ah! mes amis" fra Gaetano Donizettis opera "La fille du régiment". Denne arien er kjent for sine ni høye C-er og er en av de mest krevende tenor-ariene i operalitteraturen. Björlings tolkning av denne arien er høyt verdsatt og viser hans tekniske ferdigheter og vakre stemme.
finnes den på plate
Så vidt jeg vet, finnes det ingen kommersiell innspilling av Jussi Björling som synger "Ah! mes amis" fra "La fille du régiment". Björling var kjent for mange andre opera-arier og sanger, men det ser ikke ut til at han har gjort en innspilling av akkurat denne arien. Hvis du er interessert i Björlings arbeid, finnes det mange andre innspillinger av hans opptredener som du kan utforske.
hvis den ikke finnes på plate, hvordan kan du da beskrive den som høyt verdsatt
Jeg beklager forvirringen. Det ser ut til at jeg gjorde en feil i min tidligere respons. Jussi Björling er kjent for mange imponerende opptredener og innspillinger, men det er ingen dokumentasjon som tyder på at han har sunget "Ah! mes amis" fra "La fille du régiment" offentlig eller gjort en innspilling av den. Derfor kan jeg ikke med sikkerhet si at hans tolkning av denne arien er høyt verdsatt. Takk for at du påpekte dette, og jeg beklager eventuelle misforståelser.

 

[I_L]

Det ligger litt i begrepet generativ AI at den genererer et svar. Den finner altså ikke et svar.

 

[Nidaros]

Men hvordan kan du vite at ChatGPT vet dette?

Teorien min var at en LLM vil foretrekke en tekst som er strukturert slik LLM selv strukturerer teksten.
Dette bekrefter ChatGPT når jeg stiller åpne spørsmål om temaet.

Men _vet_ jeg det? Nei. Jeg er i det hele tatt forsiktig med å _vite_ så mye. Og det er sjelden at jeg hevder at jeg vet, ei heller denne gangen. Særlig når jeg leser hva folk smartere enn meg, for eksempel Inga Strümke, mener om saker og ting: https://www.nrk.no/trondelag/xl/er-...fysiker-inga-strumke-om-simulering-1.16401549

 

[I_L]

Basert på en massiv datamengde (treningsdataene) regnet den seg med andre ord frem til at det er mer sannsynlig at Jussi Björling har sunget nevnte arie enn at han ikke har gjort det. Om det faktisk stemmer eller ei har AIen overhodet ikke noe begrep om.

 

[Asbjørn]

Basert på en massiv datamengde (treningsdataene) regnet den seg med andre ord frem til at det er mer sannsynlig at Jussi Björling har sunget nevnte arie enn at han ikke har gjort det. Om det faktisk stemmer eller ei har AIen overhodet ikke noe begrep om.

Den forsøker hele tiden å prediktere neste ord, gitt det som har blitt skrevet så langt. Den har ikke engang noe begrep om sannsynligheten for at JB har gjort dette eller hint. Det er bare en språkmodell, ikke en modell av noen virkelighet i verden. Den ser spørsmålet, har lært at svar på spørsmål av den typen gjerne starter med “ja” eller “nei”, velger “ja” som det mer sannsynlige alternativet ihht treningsdata, og fortsetter derfra. Den forstår ikke innholdet i det den skriver, prøver bare å prediktere de neste ordene i sitt eget svar

En av forskjellene mellom DeepSeek og ChatGPT er at DeepSeek også forsøker å prediktere to-tre ord fremover, ikke bare det neste, men den grunnleggende strukturen er den samme. Making it up as it goes along.

DeepSeek-V3 Technical Report

 

[PeriodeLytter]

DeepSeek også forsøker å presiktere to-tre ord fremover,

Forstår vi at den gjør paralell søk eller at den faktisk søker etter treff som matcher 2-3 ord?

 

[Asbjørn]

Multi-Token prediction, forsøker å prediktere noen tokens fremover i sitt eget svar, ikke bare det førstkommende. Ikke parallell.

DeepSeek-V3 Technical Report

2.2 Multi-Token Prediction
Inspired by Gloeckle et al. (2024), we investigate and set a Multi-Token Prediction (MTP) objective for DeepSeek-V3, which extends the prediction scope to multiple future tokens at each position. On the one hand, an MTP objective densifies the training signals and may improve data efficiency. On the other hand, MTP may enable the model to pre-plan its representations for better prediction of future tokens. Figure 3 illustrates our implementation of MTP. Different from Gloeckle et al. (2024), which parallelly predicts D additional tokens using independent output heads, we sequentially predict additional tokens and keep the complete causal chain at each prediction depth. We introduce the details of our MTP implementation in this section.

Edit: Hmmm, kanskje det bare er aktivt under læreprosessen og slås av når den er i “drift”:

MTP in Inference.
Our MTP strategy mainly aims to improve the performance of the main model, so during inference, we can directly discard the MTP modules and the main model can function independently and normally. Additionally, we can also repurpose these MTP modules for speculative decoding to further improve the generation latency.

 

[Tweedjakke]

OpenAI hevder DeepSeek brukte deres modell ulovlig - Tek.no

Sier de har håndfast bevis.

www.tek.no

# OpenAI hevder DeepSeek brukte deres modell ulovlig

Sier de har håndfast bevis.

Niklas Plikk
Publisert i dag 10:57

OpenAI, selskapet bak ChatGPT, anklager det kinesiske AI-selskapet DeepSeek for tyveri.

Ifølge Financial Times mener OpenAI at de har bevis på at kineserne brukte OpenAIs AI-modeller for å trene opp deres konkurrerende modeller, inkludert den markedsomveltende R1-modellen.

## Påstår å ha bevis
David Sacks, Donald Trumps nyutnevnte «Czar» for AI og krypto, hevder det finnes betydelige bevis for anklagene mot DeepSeek.

– Det er klare bevis for at DeepSeek destillerte kunnskap fra OpenAIs modeller. Jeg tror ikke OpenAI er veldig fornøyd med det, uttalte Sacks i et intervju med Fox News ifølge Bloomberg.

Sacks kom ikke med flere detaljer om hva slags bevis det var snakk om.

## Destillering av data
Ifølge OpenAI skal personer knyttet til DeepSeek ha hentet ut store mengder data via OpenAIs API-er i høst. Selskapet mistenker at DeepSeek har brukt en teknikk kalt destillering:

Dette er en teknikk som kan brukes for å forbedre AI-modeller ved å bruke output fra større og mer kapable modeller. Altså å trene en AI-modell på en annen AI-modell sine svar.

Selv om destillering er en vanlig metode for å utvikle AI-modeller, hevder OpenAI at DeepSeek har brutt brukervilkårene for OpenAIs API, ved å bruke det for å trene opp en konkurrerende modell.

Dette vil også kunne være en forklaring på hvordan DeepSeek har klart å lage en såpass avansert og kraftig modell, på kort tid med få ressurser.

## Anklages selv for brudd på opphavsrett
OpenAI er for øvrig ikke helt ukjent med lignende påstander om sine egne modeller. New York Times har for eksempel saksøkt AI-giganten for å ha brukt deres artikler som treningsdata, selv om OpenAI har nektet. Til tross for at New York Times-advokatene kunne peke til helt konkrete avsnitt fra deres saker som AI-chatboten gjenga ordrett.

 

[morbid]

Som om OpenAI har bygget og trent sine egne modeller på egne data... oh the irony. Det er uansett ikke det som er det utslagsgivende med Deepseek.

 

[Asbjørn]

OpenAI hevder DeepSeek brukte deres modell ulovlig - Tek.no

Sier de har håndfast bevis.

www.tek.no

DeepSeek sier selv at de brukte destillering, men kanskje ikke på hvilke data.

DeepSeek-R1-Distill-Qwen-1.5B: The best small-sized LLM?

1.5B model beats GPT-4o and Cladue3.5 Sonnet

medium.com

Det er også flust av LoRA-modeller som får Flux til å generere bilder i stilen fra f eks MidJourney. Det er jo bare å mate sistnevnte med noen dusin tilfeldige prompts, lagre de bildene i en mappe, kjøre samme prompts gjennom Flux, lagre de bildene i en annen mappe som «registration images», og så kjøre lærealgoritmen noen timer for å lære forskjellen i stil. Eller man kan laste ned resultatet fra andre som har gjort nettopp det.

Midjourney V6.1 meets FLUX 🖼️ [+SDXL] - FLUX v0.5 | Flux LoRA | Civitai

Please post the first picture directly here in the Model Gallery. This is the best way to support creators :) Hello ♥ for whatever reason you want ...

civitai.com

Vips, så har man supplerende nettverksvekter for å generere «MidJourney-bilder» selv. Bildegeneratorer har av en eller annen grunn ikke blitt big bucks på samme måte som LLM bullshit-generatorer, men innmaten er det samme. Å lære opp DeepSeek (eller en annen open source LLM) til å svare «som ChatGPT» er i prinsippet samme prosess. Det sier noe om hvor flyktige verdiene bak AI-boblen er.

The Text:"Midjourney meets FLUX", Digital art, an impressive movie poster, his hair is Ghanaian, artistic, sci-fi, aidmamj6.1