KI-prøven gjentar gamle bilag: hvordan går det på nye dokumenter?

Økonomiteamet prøver en KI-støttet bilagsarbeidsflyt på dokumenter de allerede kjenner. De har rettet kontoer, justert rutiner og valgt hvordan uklare innganger skal håndteres. En ny prøve gir gode resultater. Det dokumenterer ikke alene hvordan arbeidsflyten går på nye dokumenter.

Denne guiden gjelder vurdering av en praktisk pilot. Den påstår ikke at en bestemt leverandør trener modeller på kundens bilag, og forutsetter ingen egen treningsfunksjon. Endringer i lokale regler, dokumentutvalg og menneskelig oppfølging kan påvirke pilotresultatet uten at selve modellen er trent på kundens data.

Kjente prøver og ny kontroll har ulike formål

Et tidligere feilbilag bør prøves igjen etter en rettelse. Da undersøker teamet om den kjente feilen er håndtert. Det er en nødvendig regresjonskontroll, og formålet er nettopp å bruke samme dokument og forventning.

En uavhengig prøve av videre bruk skal undersøke noe annet: Hvordan håndteres relevante dokumenter som ikke allerede har vært brukt til å tilpasse piloten? Utvalget bør derfor være definert før de endelige resultatene påvirker flere rettelser.

Googles primærveiledning om separate datasett beskriver blant annet betydningen av uavhengig testing og risiko ved duplikater og gjentatt bruk av testgrunnlaget. Her brukes metoden som støtte for kontrollformålet, ikke som dokumentasjon på en bestemt regnskapsleverandørs modelltrening.

En syntetisk pilot med en pen samlet prosent

Anta 100 bilag i en kontroll. Seksti er tidligere brukt i pilotarbeidet. Førti er nye og har ikke vært brukt til å rette eller velge rutinen. Tallene er oppdiktede, og «riktig» betyr en på forhånd avgrenset egenskap som er vurdert mot uavhengig grunnlag.

De 92 prosentene er korrekt aritmetikk. De er likevel ikke det samme som resultatet på den nye gruppen. Hvis teamet bruker 92 som forventning til alle fremtidige dokumenter uten å forklare fordelingen, kan de overvurdere hva piloten faktisk har vist.

De åtte feilene i den nye gruppen må også beskrives. En feil dato, manglende dokumentasjon og feil avgiftsvurdering kan ha ulike konsekvenser. En godkjent mengde teller ikke som full regnskapsmessig riktighet hvis kontrollen bare prøvde ett felt.

Duplikat med nytt filnavn er ikke nødvendigvis et nytt tilfelle

Et bilag kan komme som PDF, bilde og videresendt e-post. Hvis de tre viser samme dokument, gir de ikke uten videre tre uavhengige bevis på ny ytelse. Filnavnet alene er et svakt skille.

Også svært like dokumenter fra samme leverandør kan gjøre nygruppen mindre utfordrende enn den ser ut. Bevar relevante dokumentfamilier og hva som faktisk varierer. Et nytt nummer på samme enkle mal kan være nyttig, men bør ikke uten forklaring representere helt andre kostnads- eller dokumenttyper.

Kontrollen må fortsatt respektere nødvendig dataminimering og tilgang. Denne metodiske oppgaven gir ingen generell rett til å dele kundebilag med nye aktører eller laste dem opp i vilkårlige tjenester.

Bestem kontrollfasit før forslaget leses

Den menneskelige vurderingen må bygge på originaldokument, faktisk hendelse og relevante regler. Et KI-forslag kan ikke være sin egen fasit. Hvis kontrolløren bare godtar det første plausible svaret, måler piloten i praksis hvor ofte forslaget virker overbevisende.

Godkjente eksempelgrunnlag og testvektorer er nyttige til sine avgrensede formål. De erstatter ikke et eget utvalg av nye tilfeller.

Beskriv dessuten hvilke vurderinger som ikke lar seg avgjøre fra bilaget alene. Et dokument kan være godt lest samtidig som formål, fradragsrett eller prosjektbruk krever andre opplysninger. Da bør resultatet være korrekt avklart usikkerhet, ikke et tvungent grønt svar.

En rettelse endrer pilotens bevisgrunnlag

Når teamet undersøker de åtte feilene og endrer rutinen, har de nye dokumentene blitt del av tilpasningsarbeidet. Det er riktig å kontrollere dem igjen. Ikke fortsett å kalle den gjentatte prøven uavhengig ny kontroll.

Bevar tidspunkt, hvilken versjon av arbeidsflyten som ble brukt, kontrollørens grunnlag og endringen som fulgte. Hvis videre ytelse skal vurderes på nytt, trengs et relevant nytt utvalg. Ingen bestemt mengde i denne guiden er en universell anbefaling eller sikker feilmargin.

Måling av faktisk manuell retting kan gi et annet nyttig pilotmål. Tidsbruk, usikkerhet og alvorlige feil bør ikke forsvinne fordi den samlede prosentkolonnen er høy.

Rapporter det piloten faktisk viser

Oppgi gruppene hver for seg, definisjonen av riktig, hvilke kilder som støtter kontrollen og begrensningene i utvalget. Feilkategorier gjør funnene praktisk anvendelige.

En god pilot kan vise at kjente rettelser virker samtidig som nye dokumenter trenger mer oppfølging. Det er et nyttig resultat. Når regresjonsbevis og ny ytelsesprøve holdes atskilt, kan økonomiteamet velge videre kontroll med bedre grunnlag enn én pen samlet prosent.