Én feil i stikkprøven: hva kan du si om hele dataleveransen?
Én feil kan bety svært forskjellige ting i to utvalg. Bruk funnet til riktig kontrollformål, og ikke gjør et valgt eksempel til en sikker samlet feilprosent.
Én feil finnes i en kontroll av regnskapsdata. Den ansvarlige sier at fem prosent av hele leveransen er feil, fordi tjue poster ble prøvd. Men de tjue var valgt nettopp fordi de så vanskelige ut. Feilandelen i et risikovalgt utvalg er ikke automatisk et estimat for hele populasjonen.
Skillet er nyttig når et økonomiteam vurderer en migrering eller en ny rapportleveranse. Risikoprøver, avstemming av totalsummer og statistiske undersøkelser kan utfylle hverandre. De gir ulike bevis og bør derfor ha forskjellige navn i godkjenningspakken.
Definer hva en post og en feil betyr
Før utvalget trekkes, må den forventede populasjonen være kjent. Gjelder kontrollen 10 000 dokumenter, 10 000 linjer eller 10 000 betalinger? En faktura med flere linjer kan endre både antall og sannsynligheten for å bli valgt.
Definer også feiltypen. En manglende vedleggsreferanse, feil valuta og en ugyldig kontokobling har ulike følger. En totalsum kalt feil kan skjule at bare én av egenskapene faktisk ble undersøkt. Kontrollens konklusjon må svare til det som ble prøvd.
Fullstendighet med en tydelig nevner hjelper med omfanget. Et statistisk regnestykke kan ikke gjøre en ufullstendig eller uklart definert leveranse til en riktig populasjon.
To syntetiske utvalg av samme leveranse
Anta 10 000 dokumenterte poster. Ett kontrollutvalg består av de 20 mest risikoutsatte postene valgt etter konkrete kriterier. Et annet består av 100 poster trukket tilfeldig etter en avklart metode fra den definerte populasjonen. Tallene er oppdiktede, og utvalgsstørrelsene er ikke anbefalte standardsatser.
| Kontroll | Antall prøvd | Antall feil | Hva andelen først beskriver |
|---|---|---|---|
| Risikovalgt utvalg | 20 | 1 | 5 prosent av de valgte risikopostene |
| Separat tilfeldig utvalg | 100 | 1 | 1 prosent av dette tilfeldige utvalget |
| Hele leveransen | 10 000 | Ikke fullkontrollert | Feilandelen er fortsatt ikke kjent sikkert |
De fem prosentene skal ikke ukritisk brukes som 500 feil i hele leveransen. Utvalget hadde en bevisst skjev sammensetning. At man kjenner hvert valgt dokument godt, endrer ikke utvalgsmetoden.
Det tilfeldige utvalgets ene prosent er heller ikke bevis på nøyaktig 100 feil. Et estimat må ha relevant metode, forutsetninger og usikkerhet. Tabellen viser hvorfor kontrollrapporten bør beskrive begge utvalgene før noen presenterer én samlet prosent.
Kilden for statistisk tolkning har forutsetninger
NISTs veiledning om en andel beskriver statistisk vurdering med et tilfeldig utvalg. Veiledningen om intervaller viser også hvorfor metodevalg og små antall feil har betydning.
Ikke bruk en tilfeldig symmetrisk prosentmargin uten å undersøke forutsetningene. Få feil og et begrenset utvalg kan kreve en annen beregning enn en enkel normaltilnærming. Denne guiden velger ingen universell intervallmetode eller grense for godkjenning av regnskapsdata.
Det må dessuten være klart hvordan populasjonen og utvalget henger sammen. Hvis samme feilfamilie eller samme kilde dokumenteres mange ganger som uavhengige poster, bør avhengigheten undersøkes før resultatet brukes til en bred konklusjon.
Risikoutvalget er fortsatt verdifullt
En prøve av store beløp, sjeldne valutaer eller uvanlige kreditnotaer kan finne viktige feil som et lite tilfeldig utvalg overser. Formålet er da å utfordre bestemte risikogrenser, ikke beregne hele leveransens gjennomsnitt.
Risikobaserte mappingprøver kan dokumentere dette formålet. Bevar hvorfor postene ble valgt og hva funnet sier om den relevante regelen.
Hvis en feil oppstår i en bestemt kildefamilie, kan en målrettet kontroll av hele den familien være et fornuftig neste undersøkelsetrinn. Konklusjonen bør fortsatt angi omfanget. En rettelse av én kjent valutatype skal ikke beskrives som bevis på at alle andre typer er kontrollert.
Hold oppdagelse og etterkontroll fra hverandre
Etter en rettelse vil teamet gjerne prøve den opprinnelige feilposten på nytt. Det er nødvendig for å se om den konkrete feilen er løst. Det er ikke en ny uavhengig prøve av hele populasjonen.
Bevar derfor den første kontrollens tidspunkt, feil, rettelsen og den senere bekreftelsen. Hvis et nytt tilfeldig utvalg brukes, oppgi hvordan det ble valgt og hvilket oppdatert datasett det gjelder. Ellers kan et pent resultat etter manuell behandling gi et misvisende bilde av originalleveransen.
Totalsummer har også en egen rolle. En korrekt bank- eller hovedbokssum kan være viktig, men kan skjule feil på enkeltposter som utligner hverandre. Et enkelt feilfritt dokument kan på sin side ikke bevise totalen.
Godkjenn med et avgrenset utsagn
La rapporten si hva som faktisk er kjent: kontrollert populasjon, utvalgsmetode, prøvde egenskaper, funn og uløste begrensninger. Rapportgrunnlaget må vise forskjellen mellom en observert utvalgsandel og en sikker økonomisk saldo.
Godkjenningen bør bygge på avtalte krav og riktig faglig ansvar. Ett syntetisk eksempel, en risikoprøve og et statistisk estimat er forskjellige deler av denne vurderingen. Når de holdes atskilt, blir feilfunnet mer nyttig og den samlede konklusjonen mer etterprøvbar.