Kunstig intelligens blir brukt for å karaktersette studentessays, melder Vice. Vice har vært i kontakt med 21 amerikanske stater og i 18 av dem står kunstig intelligens for nesten all karaktersetting. Kun mellom 5 og 20 prosent av studentoppgavene blir vurdert av et menneske i 18 stater. I de restrerende tre statene som har svart på Vice sine spørsmål er det både mennesker og kunstig intelligens som karaktersetter oppgavene.

Resultatet av praksisen kan påvirke millioner av studenters muligheter til videre utdanning og avgjøre om de i det hele tatt vil uteksamineres med en grad.  

Natural language processing (NLP), eller naturlig språkbehandling på norsk, kalles den kunstige intelligensen brukt for å vurdere oppgavene. NLP brukes ikke bare på matteoppgaver med fasitsvar, men på essays.

Vice skriver at den kunstige intelligensen ikke måler kvaliteten på skrivingen, men ser på lengden på setningene, vokabularet og stavemåten, og det er enkelt å «lure» systemet.

Les Perelman, tidligere direktør for skriving ved MIT, utviklet en generator som testet nettopp intelligensen til det kunstige intelligenssystemet. Generatoren tok sofistikerte ord og satte de sammen til setninger som ikke ga mening. Til tross for at setningene bestod av tilfeldige ord, ble de vurdert som gode, noen ganger perfekte, av det kunstige intelligenssystemet minst 21 amerikanske stater bruker. 

Ikke bare kan en lure systemet med sofistikerte ord, systemet «straffer» også studenter som ikke er gode i engelsk. Noe som kan gå hardt utover studenter som ikke har engelsk som morsmål eller studenter som skriver på en annen måte enn skrivemåten som finnes i eksempeloppgavene brukt for å trene opp det kunstige intelligenssystemet.

Problemet sier Emily M. Bender, professor i datalingvistikk ved Universitet i Washington, er at den kunstige intelligensen plukker opp menneskelig bias.

- Ikke bare vil maskinlæringsprogrammene plukke opp menneskelig bias fra treningsoppgavene, de vil også forsterke det, sier Bender til Vice.

Australia skrinla i 2018 planene om å implementere karaktersetting av kunstig intelligenssystemer på deres nasjonale prøver, etter at lærere og skriveeksperter ropte varsko.