Sådan lærer AI’en at skrive stuerent

Vi ved ikke, hvilke data de store, gængse sprogmodeller er trænet på. Men vi ved, at de ikke altid taler sandt, og at nogle af dem censurerer deres svar.

For at skabe en dansk sprogmodel, der er uafhængig af udenlandske techgiganter og forstår dansk sprog og kultur, er vores AI Specialist Kristian Nørgaard Jensen i gang med at indsamle bunkevis af dansk tekstdata fra Internettet.

Problemet er bare, at der er ualmindelig meget dårlig dansk tekst: Rigtig meget af den er slet ikke rigtigt dansk, men bare elendige maskinoversættelser af engelsksprogede reklamer og porno. Derfor har Kristian udviklet et værktøj, der kan måle tekstkvalitet, og et kvalitetsdatasæt, man kan træne danske sprogmodeller på.