Kan AI hjælpe ATP’s sagsbehandlere?

Som en del af ATP’s koncernstrategi har vi afprøvet et proof of concept for at afdække, om AI kan hjælpe ATP’s mange sagsbehandlere med at besvare komplekse vurderingsspørgsmål.

Ifølge Anne Kristine Axelsson, der er koncerndirektør for Pension & Arbejdsmarked, er afprøvningen et vigtigt skridt i ATP’s overordnede strategi for at blive et førende teknologi- og digitaliseringshus. “AI og ny teknologi har en central rolle i vores koncernstrategi, hvor det er en ud af tre strategiske målsætninger,” forklarer Anne Kristine Axelsson.

Hun understreger, at AI rummer stort potentiale, men kræver særlig opmærksomhed på grund af de mange udfordringer forbundet med teknologien.

“Vores tilgang er at gennemføre en række afprøvninger med nye teknologier for at opnå erfaring og styrke den digitale forestillingsevne, og selvfølgelig få driftsmodnet de afprøvninger, som vi kan se, skaber værdi,” siger hun og peger på, at samarbejdet med os netop er et eksempel på denne afprøvningstilgang.

Kan AI tænke som en sagsbehandler? Nej.
Projektet skulle undersøge, om Retrieval Augmented Generation (RAG) er moden nok til at generere præcise svar på de komplekse spørgsmål, ATP’s sagsbehandlere skal løse.

“Opgaven var at bygge en RAG-løsning, der kunne understøtte vores sagsbehandlere i behandling af sager baseret på artikler i en videndatabase,” fortæller Casper Millum, forretningskonsulentchef i ATP. “Vi ønskede, at AI’en kunne levere korrekt vejledning på komplicerede sagsspørgsmål uden at hallucinere.”

Selvom løsningen var god til at finde relevante artikler, var de testede sprogmodeller ikke dygtige nok til at sammenfatte og konkludere. “Den anvendte teknologis evne til at kombinere flere artikler og skabe et korrekt, sammenhængende svar på spørgsmålene er ikke moden nok,” konkluderer Casper Millum.

‘Menneskeoptimerede’ udfordringer
En af de største udfordringer i projektet var, at de fleste data fra videndatabasen hos ATP var vanskelig for AI’en at tolke. “Vores artikler var skrevet til mennesker og ikke til maskiner,” forklarer Casper Millum.

For eksempel manglede der vigtige metadata i artiklerne som emne og relevans, hvilket gjorde det svært for AI’en at tolke oplysningerne korrekt. “Vi blev klogere på, at vi fremadrettet skal tilrettelægge vores artikler, så de er mere maskinlæsbare.”

Menneskeskabte løsninger
Netop fordi det kan være en stor omstilling for medarbejderne at skulle ændre praksis, er ledelsesmæssig forankring vigtig for, at AI-projekter kan lykkes, mener Anne Kristine Axelsson. “Man skal være både tålmodig og utålmodig – tålmodig fordi det tager tid at se resultater, men utålmodig efter at sikre fremdrift,” nuancerer hun.

En vigtig del af ATP’s strategi er at udvikle medarbejdernes digitale forestillingsevne. “Vi ser vores medarbejdere som en afgørende forudsætning for, at vi lykkes med AI og den digitale omstilling. Vi har brug for, at de tænker kreativt om, hvor AI kan gøre en forskel i deres hverdag,” forklarer hun.

Målet om at højne digitale kompetencer er blevet indfriet, når man hører Casper Millums beskrivelse af samarbejdet med os. “De var rigtig gode til at forklare, hvordan teknologien hænger sammen,” fremhæver Casper Millum og understreger, at AI-eksperterne tydeliggjorde teknologiens muligheder og begrænsninger.

Potentiale i danske sprogmodeller
Direktør Anne Kristine Axelsson er enig i, at RAG-projektet har været lærerigt. “Vi blev klogere på potentialerne ved at anvende sprogmodeller til at understøtte beslutningsstøtte og søgning i vores videnløsning,” forklarer hun.

Hun forventer, at en videreudvikling af danske sprogmodeller indeholder et betydeligt potentiale for ATP. ”Især fordi vi kan styre transparens, ophavsretlige forhold og datahåndtering bedre i danske modeller,” pointerer hun.

Både Casper Millum og Anne Kristine Axelsson ser positive muligheder i fremtiden, når teknologien modnes yderligere. “Vi holder fortsat øje med udviklingen og er klar til at tage næste skridt, når teknologien er moden,” afslutter Anne Kristine Axelsson.