GLTR: Betrouwbaar statistisch hulpmiddel voor het identificeren van AI-gegenereerde tekst

• De nieuwe statistische methode kan AI-gegenereerde content detecteren.
• Het werkt door teksten te identificeren die te voorspelbaar zijn, in plaats van alleen fouten in teksten te vlaggen.

In het afgelopen decennium heeft de natuurlijke taalverwerkingsgemeenschap de groei van steeds grotere en slimme taalmodellen getuigd.

In een tijd van kunstmatige intelligentie en diepe neurale netwerken uitgerust met menselijke natuurlijke taal, hebben onderzoekers van Harvard University en IBM Research een statistische methode ontwikkeld om computer-gegenereerde tekst te detecteren.

Ze hebben een interactief tool gebouwd (publiekelijk beschikbaar) om natuurlijke menselijke taal en door machines gegenereerde tekst van menselijke spraak te differentiëren. Het doel is om mensen meer informatie te geven zodat ze een geïnformeerde beslissing kunnen maken over wat nep is en wat echt is.

Kunstmatige intelligentie modellen worden meestal getraind op miljoenen teksten (afkomstig van het wereldwijde web). Ze voorspellen woorden die het meest vaak op elkaar volgen om menselijke taal na te bootsen. Bijvoorbeeld, het woord "Je" is statistisch gezien het meest waarschijnlijk gevolgd door de woorden "waren", "hebben", en "zijn".

Met deze methodologie bouwden onderzoekers een tool die teksten detecteert die te voorspelbaar zijn [in plaats van fouten in teksten te vlaggen]. Het stelt zowel AI als mensen in staat om samen te werken om machine-gegenereerde taal te identificeren.

Hoe het werkt?

De nieuwe techniek — genaamd Giant Language model Test Room (GLTR) — is gebaseerd op een model getraind op ongeveer 45 miljoen teksten van websites. Het heeft toegang tot een van de grootste publiekelijk beschikbare modellen, GPT-2.

Daarom kan het observeren wat GPT-2 zou hebben voorspeld op elke positie (voor elke tekstuele invoer) en presteert efficiënt tegen GPT-2 en veel andere modellen.

GLTR vertegenwoordigt een visueel forensisch hulpmiddel om automatisch gegenereerde teksten te identificeren. Het toont 3 verschillende histogrammen die de informatie over de hele tekst aggregeren.

Referentie: The Harvard Gazette | GitHub

Voer gewoon een alinea in het toolvak in en het markeert alle woorden in vier verschillende kleuren, elk duidend op de voorspelbaarheid van het woord in de context van wat erop volgt. Paars betekent dat het woord niet voorspelbaar is; rood, licht voorspelbaar; geel, matig voorspelbaar; en groen toont hoog voorspelbare woorden in de alinea.

Dit is hoe een machine-gegenereerde alinea eruitziet –

Het eerste histogram toont hoeveel woorden uit elke categorie in de alinea verschijnen. Het tweede toont de verhouding tussen de kansen van het hoogst voorspelde woord en het volgende woord. Het derde histogram vertegenwoordigt de verdeling over de voorspellingsentropieën.

Natuurlijk zal de onzekerheid hoger zijn voor door mensen geschreven teksten, vooral voor onderzoeksartikelen en academische teksten. Zo ziet de abstract van een onderzoeksartikel (over EAGLE sterrenstelsels) eruit –

Lees: Kunstmatige Intelligentie Kan Spraak Genereren Uit Neurale Activiteit

Het onderzoeksteam testte hun nieuwe tool ook met een groep informatica-afgestudeerden. De studenten waren in staat om 50% van de computer-gegenereerde alinea's te detecteren, maar met de hulp van deze tool identificeerden ze 72%. Het percentage kan nog beter worden met een beetje training met het systeem.