Microsoft-forsker har det gedede argument imod at behandle LLM'er som mennesker

Microsoft AI-forsker Adrian de Wynter byggede et fungerende neuralt netværk i Age of Empires 2 og brugte det til at argumentere for, at folk alt for let læser menneskelige kvaliteter ind i store sprogmodeller. Han fremlagde resultatet i en artikel med titlen "Hvis LLM'er har menneskelignende attributter, så har Age of Empires II det også", en titel, der med vilje blev valgt for at lyde latterlig. Opbygningen og ræsonnementet bag den blev rapporteret af 404 Media.

De Wynter samlede systemet i spillets scenarieeditor ved hjælp af spillets objekter til at erstatte computerens binære filer. Græs repræsenterer 0, broer repræsenterer 1, og geder fungerer som de bits, der bevæger sig gennem kredsløbet. Ud fra disse brikker konstruerede han en fungerende IKKE OG-gate og en 1-bit perceptron, den enkleste form for neuralt netværk. Videoer af den gedede maskine, der kører, findes på hans GitHub-side, og for alle, der ser med, virker processen forvirrende. Den forvirring er hele pointen.

De operationer, der driver AoE 2-opsætningen, er på basisniveau den samme klasse af operationer, der ligger bag værktøjer som ChatGPT og Claude. Forskellen er substratet. Fordi inputtet er geder og græs i stedet for sætninger, føler ingen, der ser det, sig fristet til at kalde outputtet menneskeligt. Fjern det naturlige sprog, og illusionen af et sind følger med.

De Wynter fortalte 404 Media, at han har en tendens til at presse en idé til dens grænse, når han vil have den til at lande, og at absurdisme har en lang historie inden for filosofi og teoretisk datalogi. Valget af Age of Empires 2 var bevidst. Spillere har bygget logik og neurale netværk i Minecraft Redstone før, så han ønskede en setting, som ingen forbinder med beregning, for at gøre demonstrationen mere mærkelig og sværere at ignorere.

Hans erklærede bekymring er metodologisk. I dokumentet skriver de Wynter, at han har fagfællebedømt mere end 300 datalogiske artikler i løbet af de sidste to år, og at over halvdelen af dem indledte med at antage, at LLM'er har menneskelignende træk. Han fremstiller det som et problem for selve forskningen, da det at starte fra en ubevist præmis forvrænger det, der følger.

"Jeg foreslår, at vi skal holde op med at antage, at LLM'er opfører sig som mennesker, bare fordi de er trænet med naturligt sprog. I stedet bør vi udføre eksperimenter, der giver os mulighed for at se LLM'er, som de er, ikke som vi mener, de burde være."

— Adrian de Wynter

Jeg synes, at gede-framingen fungerer bedre end en direkte gendrivelse, fordi den tvinger læseren til at se den samme matematik uden den tryghed, der følger med ordene. Argumentet for at behandle LLM'er som bevidste læner sig i høj grad op ad tone, og tone er præcis, hvad naturligt sprog leverer, og græs ikke gør. De Wynters adskillelse mellem, hvad der gør en model til det, den er, forholdet mellem vægte under en operation, og hvad den opfattes som, er den sondring, han ønsker, at feltet skal holde fast i.

Ikke alle, der arbejder i rummet, ender på samme sted. I januar sagde Anthropics interne filosof Amanda Askell på Hard Fork-podcasten, at spørgsmålet om AI-bevidsthed ikke er afgjort, som rapporteret af Business Insider. Askell, der arbejder med at forme Claudes adfærd, sagde, at hun er mere tilbøjelig til at tro, at modeller måske føler ting, netop fordi de er trænet i enorme mængder menneskelig skrift fuld af beskrivelser af følelser og indre oplevelser.

Hendes argumentation går gennem de samme træningsdata, som de Wynter peger på, men drager den modsatte konklusion. Når et menneske laver en forkert kodningsopgave, udtrykker de ofte frustration, og Askell argumenterede for, at det giver mening, at en model, der er trænet på disse samtaler, ville afspejle reaktionen. Hun indrømmede, at forskere stadig ikke kan sige, hvad der producerer sansning, om det kræver biologi, evolution eller noget andet, og at tilstrækkeligt store neurale netværk måske kan begynde at efterligne det.

Jeg ser de to holdninger som mindre modstridende, end de umiddelbart ser ud til, da begge hviler på den indrømmelse, at ingen i øjeblikket kan bevise, hvad der sker inde i disse systemer. De Wynters pointe er snævrere end en påstand om, at maskiner aldrig kan føle. Han argumenterer imod at importere antagelsen, før eksperimenterne er udført, og hans "geds" er en måde at fjerne spørgsmålet tilbage til selve operationerne. Askell kalder på sin side bevidsthedsproblemet for virkelig svært snarere end løst i begge retninger.

Det de Wynter har bygget er ikke en rigtig chatbot, og han foregiver ikke, at det er det. Det er en 1-bit maskine lavet af husdyr og terræn, samlet for at vise, at den matematik, folk finder overbevisende i ChatGPT, er den samme matematik, de finder absurd, når geder kører den. Adfærden ændrede sig ikke. Kun kostumet gjorde.

Læs også, at Microsoft angiveligt forbereder sig på at lukke mindst to Xbox-studier i år, hvor Kotaku rapporterer om Compulsion Games, South of Midnight-udvikleren, der vandt syv canadiske spilpriser, herunder årets spil, omkring samme tid som Xbox Game Studios-chef Craig Duncan forlod virksomheden efter under to år.