Er is zojuist een AI voor het schrijven van poëzie onthuld. Het is redelijk goed.

Асуудлыг Арилгахын Тулд Манай Хэрэгслийг Туршиж Үзээрэй

Je kunt de controversiële taal-AI van OpenAI zelf uitproberen.

Javier Zarracina / Vox

Dit verhaal maakt deel uit van een groep verhalen genaamd Toekomst perfect

De beste manieren vinden om goed te doen.

Dit voorjaar maakte het door Elon-Musk opgerichte AI-onderzoekslab OpenAI een plons met een AI-systeem dat tekst genereert . Het kan overtuigende neprecensies, nepnieuwsartikelen en zelfs poëzie schrijven.

Nu heeft het publiek de kans om het eens te proberen - in ieder geval een beperkte versie ervan. Aanvankelijk had het bedrijf een extreem beperkte versie van het systeem uitgebracht, uit bezorgdheid dat het zou worden misbruikt. Deze maand heeft OpenAI een krachtigere versie uitgebracht (hoewel nog steeds aanzienlijk beperkt in vergelijking met het hele ding). Jij kan bekijk het zelf .

De manier waarop het werkt is verbazingwekkend eenvoudig. Een gebruiker geeft het systeem, GPT-2 genaamd, een prompt - een paar woorden, een tekstfragment, een passage uit een artikel, wat heb je. Het systeem is getraind op gegevens van internet om de volgende woorden van de passage te voorspellen - wat betekent dat de AI uw prompt in een nieuwsartikel, een kort verhaal of een gedicht zal veranderen. (Je kunt de nieuwste versie van GPT-2 uitproberen op een privésite gehost door machine learning engineer Adam King .)

De resultaten kunnen behoorlijk geavanceerd zijn. Wanneer ik heb het getest , Ik heb GPT-2 het begin gegeven van verhalen over sneeuwstormen in het noordwesten, over studenten en over GPT-2 zelf. Het systeem nam het vervolgens over, bedacht denkbeeldige wetenschappers om te citeren en denkbeeldige organisaties om te citeren (en het was zelfs enthousiast over de snelle vooruitgang van AI).

OpenAI besloot aanvankelijk om het volledige systeem niet voor het publiek vrij te geven, uit angst dat het door kwaadwillende actoren zou kunnen worden gebruikt om ons allemaal overspoelen met nepnieuws. In plaats daarvan bracht het kleinere en minder capabele versies uit - een gespreide uitrol waarvan OpenAI hoopt dat onderzoekers het systeem kunnen verkennen en ervan kunnen leren, terwijl de potentiële risico's op afstand worden gehouden.

AI wordt steeds geavanceerder - en dat is een groot probleem. Het heeft het potentieel om ons te helpen bij het aanpakken van enkele van de grootste problemen van onze tijd, van de ontwikkeling van geneesmiddelen tot schone energie. Maar onderzoekers maken zich zorgen dat het onbedoelde gevolgen kan hebben, de ongelijkheid kan vergroten, en, wanneer systemen krachtig genoeg worden, zelfs poseren echt gevaar . We zijn nog aan het uitzoeken hoe we de voordelen van AI kunnen afwegen tegen de potentiële gevaren.

Vroeger zeiden mensen dat AI niet creatief kon zijn. Nu kan het.

Zelfs de kleinere, minder capabele versie van GPT-2 is krachtig genoeg om interessante poëzie en fictie te schrijven, en het is gemakkelijk te zien hoe de krachtigere versies zulk overtuigend nepnieuws schrijven.

Hier zijn enkele fragmenten uit gedichten die GPT-2 (de kleinste openbare versie) heeft geschreven, dankzij Gwern Branwen , een onderzoeker die het model heeft getraind om specifiek poëzie te maken door een groot aantal gedichten voor gegevens te gebruiken.

In hun kleine kamer met de deur op een kier

En de kaars die op een kier aan de muur hangt,

Ik ben het woord Rise tegengekomen

Met een gezicht zo ernstig en plat als je wilt.

Het enige dat ik me herinner van Rise

Is de manier waarop je je voelt - zo slecht, zo slecht.

En ik ben veel woorden tegengekomen vanavond

Die zijn zo zoals Rise - zo zoals - zo vaag, zo vaag.

Elegantie en artistieke kracht,

Maar Rise is ver boven de rest,

En ik kan het woord niet horen - of zien,

Ik stop hier gewoon (ik stop als ik kan).

Als je niet weet wat Rise betekent, probeer het dan.

Hier is er nog een:

En, voordat de wolk van de storm blies,

Zijn ziel was met de wereld in het spel.

Hij keek naar de sterren, en de sterren glimlachten,

En de maan aan de hemel keek;

En terwijl hij keek, zag hij haar licht,

En de hele hemel lachte met hem mee.

Als wind en storm vliegen,

Als overstromingen en branden uitblijven,

Zoals hun kielzog weiden en vennen doet,

Dit is het hart van het man-kind dat hunkert.

En ik - ik zal gebonden zijn,

Met de grijsharige, sterke, oude,

Naar de aarde en de graven van de doden,

Wiens voeten worden neergemaaid, terwijl ze liggen;

En ik zal mijn vermoeide hoofd laten rusten,

In de stilte van de eeuwigheid,

In de vredige armen van God.

Deze zijn ... niet slecht! Maar dat betekent niet dat de AI poëzie echt kan begrijpen, toch? Dat is grotendeels waar, maar het hangt er wel van af hoe je erover denkt.

Een verklaring van hoe mensen de wereld begrijpen, is dat we een web van associaties bouwen tussen verwante concepten en ideeën, een begrip waarmee we kunnen voorspellen wat er daarna zal gebeuren. Dat klinkt griezelig dicht bij wat GPT-2 doet.

Natuurlijk is het systeem fundamenteel zeer beperkt: het werkt alleen met tekst, het wordt steeds minder coherent en het produceert vaak onzinnige dwaasheden. Maar zelfs binnen die grenzen is de output fascinerend. Naarmate AI-systemen geavanceerder worden, wordt het moeilijker om dingen te zeggen alsof alleen mensen creatief kunnen zijn of alleen mensen dingen echt kunnen begrijpen.

We zien het potentieel van leren zonder toezicht

We hebben de afgelopen tien jaar enorme vooruitgang geboekt in de verwerking van natuurlijke taal. De vertaling is verbeterd en is van hoge kwaliteit genoeg om nieuwsartikelen in andere talen te kunnen lezen. Google afgelopen zomer gedemonstreerd dat Google Assistant kan bellen en afspraken kan maken terwijl het net als een mens klinkt (hoewel het bedrijf beloofde dat het in de praktijk geen misleidende tactieken zal gebruiken).

AI-systemen zien even indrukwekkende voordelen buiten de verwerking van natuurlijke taal. Nieuwe technieken en meer rekenkracht hebben onderzoekers in staat gesteld fotorealistische afbeeldingen uit te vinden, uit te blinken in games voor twee spelers zoals Go en te concurreren met de pro's in strategische videogames zoals Starcraft en DOTA .

Maar zelfs voor degenen onder ons die gewend zijn om snelle vooruitgang te zien op dit gebied, is het moeilijk om niet onder de indruk te zijn bij het spelen met GPT-2.

Tot nu toe zouden onderzoekers die wereldrecordresultaten voor taaltaken proberen te krijgen, hun modellen verfijnen om goed te presteren op de specifieke taak in kwestie - dat wil zeggen, de AI zou voor elke taak worden getraind.

OpenAI's GPT-2 had geen verfijning nodig: het leverde een recordprestatie op bij veel van de kerntaken die we gebruiken om taal-AI's te beoordelen, zonder die taken ooit eerder te hebben gezien en zonder specifiek getraind te zijn om ermee om te gaan. Het begon ook enig talent te tonen voor begrijpend lezen, samenvatten en vertalen zonder expliciete training in die taken.

GPT-2 is het resultaat van een benadering die niet-gesuperviseerd leren wordt genoemd. Dit is wat dat betekent: de overheersende benadering in de branche van vandaag is leren onder toezicht. Dat is waar je grote, zorgvuldig gelabelde datasets hebt die de gewenste input en gewenste output bevatten. Je leert de AI hoe de output te produceren gegeven de inputs.

Dat kan geweldige resultaten opleveren, maar het vereist het bouwen van enorme datasets en het zorgvuldig labelen van elk stukje data. En het is vermeldenswaard dat begeleid leren is niet hoe mensen vaardigheden en kennis verwerven. We trekken conclusies over de wereld zonder de zorgvuldig afgebakende voorbeelden van leren onder toezicht.

Veel mensen zijn van mening dat vooruitgang in algemene AI-capaciteiten vooruitgang vereist in: ongecontroleerd leren - dat wil zeggen, waar de AI gewoon wordt blootgesteld aan veel gegevens en al het andere zelf moet uitzoeken. Niet-gesuperviseerd leren is gemakkelijker te schalen, omdat er veel meer ongestructureerde gegevens zijn dan gestructureerde gegevens, en leren zonder toezicht kan beter generaliseren over taken.

Leren lezen als een mens

Een taak die OpenAI gebruikte om de mogelijkheden van GPT-2 te testen, is een beroemde test in machine learning die bekend staat als de Winograd-schematest . Een Winograd-schema is een zin die grammaticaal dubbelzinnig is, maar niet dubbelzinnig voor mensen - omdat we de context hebben om het te interpreteren.

Neem bijvoorbeeld de zin: De trofee past niet in de bruine koffer omdat hij te groot is.

Voor een menselijke lezer is het duidelijk dat dit betekent: trofee is te groot, niet dat de koffer te groot is, omdat we weten hoe objecten die in andere objecten passen werken. AI-systemen worstelen echter met dit soort vragen.

Vóór dit artikel hadden geavanceerde AI's die Winograd-schema's kunnen oplossen 63,7 procent van de tijd gelijk, zegt OpenAI. (Mensen begrijpen ze bijna nooit verkeerd.) GPT-2 heeft deze 70,7 procent van de tijd goed. Dat is nog steeds ver onder de prestaties op menselijk niveau, maar het is een opvallende winst ten opzichte van wat eerder mogelijk was.

GPT-2 zette ook records op andere taaltaken. LAMBADA is een taak die het vermogen van een computer test om de eerder in een verhaal genoemde context te gebruiken om een ​​zin af te maken. De vorige beste prestatie had een nauwkeurigheid van 56,25 procent; GPT-2 behaalde een nauwkeurigheid van 63,24 procent. (Nogmaals, mensen hebben deze meer dan 95 procent van de tijd goed, dus AI heeft ons nog niet vervangen - maar dit is een aanzienlijke sprong in mogelijkheden.)

Sam Bowman, die aan de NYU werkt aan natuurlijke taalverwerking, legde via e-mail uit waarom er enige scepsis is over deze vooruitgang: modellen zoals deze kunnen er soms bedrieglijk goed uitzien door gewoon de exacte teksten te herhalen waarop ze zijn getraind. Het is bijvoorbeeld gemakkelijk om coherente alinea's te hebben als u hele alinea's uit andere bronnen plagieert.

Maar dat is hier niet aan de hand, volgens Bowman: dit is zo opgezet dat het dat niet echt kan doen. Omdat het één woord per keer selecteert, is het geen plagiaat.

Een ander sceptisch perspectief op AI-vooruitgang zoals deze is dat ze geen diepe vooruitgang in ons begrip van computersystemen weerspiegelen, maar slechts oppervlakkige verbeteringen die voortkomen uit het kunnen gebruiken van meer gegevens en meer rekenkracht. Critici beweren dat bijna alles dat wordt aangekondigd als een AI-vooruitgang eigenlijk slechts een stapsgewijze vooruitgang is van het toevoegen van meer rekenkracht aan bestaande benaderingen.

Het team van OpenAI bestreed dat. GPT-2 maakt gebruik van een nieuw uitgevonden neuraal netwerkontwerp, de Transformer genaamd, 18 maanden geleden uitgevonden door onderzoekers van Google Brain. Een deel van de prestatiewinst is zeker te danken aan meer gegevens en meer rekenkracht, maar ze worden ook aangedreven door krachtige recente innovaties in het veld - zoals we zouden verwachten als AI als een veld op alle fronten verbetert.

Het zijn meer gegevens, meer rekenkracht, goedkopere rekenkracht en architecturale verbeteringen - ongeveer anderhalf jaar geleden ontworpen door onderzoekers van Google, vertelde OpenAI-onderzoeker Jeffrey Wu me. We willen gewoon alles proberen en zien waar de daadwerkelijke resultaten ons brengen.

Door het systeem niet vrij te geven, zorgde OpenAI voor controverse

De aankondiging van OpenAI dat ze de release van het systeem aan het beperken waren, veroorzaakte gemengde reacties - sommige mensen waren ondersteunend, anderen gefrustreerd.

OpenAI is actief bezig geweest om erachter te komen hoe de kans op misbruik van AI beperken , en het heeft geconcludeerd dat in sommige gevallen de juiste oplossing is om te beperken wat het publiceert.

Met een tool als deze zou het bijvoorbeeld gemakkelijk zijn om Amazon-recensies te vervalsen en nepnieuwsartikelen te verspreiden in een fractie van de tijd die een mens nodig zou hebben. Een iets geavanceerdere versie is misschien goed genoeg om studenten geplagieerde essays te laten genereren en spammers hun berichten naar doelen te laten verbeteren.

Ik maak me zorgen over het feit dat trolly 4chan-acteurs willekeurig grote hoeveelheden onzin-opinie-inhoud genereren die seksistisch en racistisch is, vertelde OpenAI-beleidsdirecteur Jack Clark me. Hij maakt zich ook zorgen over acteurs die dingen als desinformatie doen, die geavanceerder zijn, en wijst erop dat er andere mogelijkheden voor misbruik zijn waar we nog niet aan hebben gedacht. Dus OpenAI houdt de krachtigste versies van de tool voorlopig offline, terwijl iedereen kan nadenken over hoe AI's zoals deze veilig kunnen worden gebruikt.

Maar critici zijn van mening dat het tegenhouden van de grootste versies van het model de risico's niet veel zou verminderen. Ik ben ervan overtuigd dat een enkele persoon die alleen werkt met voldoende computerbronnen deze resultaten binnen een maand of twee kan reproduceren (ofwel een hobbyist met veel apparatuur en tijd, of waarschijnlijker onderzoekers bij een technologiebedrijf), schreef Bowman me. Aangezien het standaardpraktijk is om modellen openbaar te maken, vertraagt ​​dit besluit de release van dit soort modellen slechts met een korte tijd.

Andere critici klaagden dat het wankelen van de release van het model eigenlijk vooral dient om OpenAI te krijgen meer publiciteit , bereikt door schijnbaar onredelijke angsten op te roepen over wat het model zou kunnen doen.

Mensen wijzen erop dat andere AI-labs programma's hebben ontwikkeld die net zo geavanceerd zijn en deze hebben vrijgegeven zonder een uitgebreid releaseproces of oproepen tot een gesprek over veiligheid. Dat is waar voor zover het gaat, maar ik denk dat er een sterk argument is dat die andere laboratoria niet voorzichtig genoeg zijn - en dat ook zij moeten proberen een gesprek op gang te brengen over de nadelen en gevaren van hun nieuwe uitvindingen voordat ze ze ontketenen op het internet.

Dat wil niet zeggen dat al het AI-onderzoek vanaf hier in het geheim moet plaatsvinden - of zelfs dat de grotere GPT-2-modellen niet moeten worden vrijgegeven. Tot nu toe hebben mensen GPT-2 niet gebruikt voor spam; ze hebben het gebruikt voor poëzie. Naarmate AI steeds geavanceerder wordt, zal het een van onze grootste uitdagingen zijn om erachter te komen hoe we het goede gebruik kunnen maken zonder het slechte.


Schrijf je in voor de Future Perfect nieuwsbrief. Twee keer per week krijg je een overzicht van ideeën en oplossingen voor het aanpakken van onze grootste uitdagingen: het verbeteren van de volksgezondheid, het verminderen van menselijk en dierlijk lijden, het verminderen van catastrofale risico's en - om het simpel te zeggen - beter worden in goed doen.