Over de betrouwbaarheid van steekproeven en de trend richting 100% controles

on juli 18, 2017 Advies, Publiek Domein with 0 comments

Het gebruik van steekproefmethodes in audits en rechtmatigheidscontroles is wijdverbreid. Voor de kwaliteit van die audits en rechtmatigheidsscores is de druk hoog om een goede kwaliteit af te leveren op een zo efficiënt mogelijke en kostenbesparende manier. Nu is voor eenieder gemakkelijk te begrijpen dat de betrouwbaarheid van een steekproef nauw verbonden is met de grootte van de steekproef. Echter, in het geval van audits gaat het vaak om onregelmatigheden met een hele kleine foutkans. Juist in díe gevallen is het afschatten van de grootte van een betrouwbare steekproef een ingewikkeld wiskundig probleem waar in de meeste gevallen geen eenvoudige formule voor bestaat, niet in de laatste plaats omdat de exacte grootte van de foutkans onbekend is en dat nou juist de parameter is die men wil bepalen.

Een eenvoudig voorbeeld

Vergelijk het met een eenvoudig voorbeeld aan de hand van simulatie. We kijken naar uitgekeerde bedragen van uitkeringen aan 50.000 uitkeringsgerechtigden. Stel dat 0,1% van het totale bedrag verkeerd is uitgekeerd. Wanneer men nu met een steekproef wil bepalen hoe groot het fout uitgekeerde bedrag is, dan moet er een hele grote steekproef worden gedaan, omdat de kans erg groot is dat er zich binnen de steekproef geen enkele foute uitkering bevindt. Een steekproef van 10 bijvoorbeeld geeft een kans van gemiddeld 95.5% dat er geen enkele foute uitkering tussen zit. Het totale foute bedrag wordt dus ook flink onderschat; in dit geval een onderschatting van maar liefst 96.4%. Er doet zich echter nog een ander probleem voor: stel dat die paar verkeerd uitgekeerde bedragen toevallig in die hele kleine steekproef zitten. Dat geeft dus weer een vertekend beeld van de echte situatie, want als je de steekproef dan naar het totaal generaliseert, lijkt het of een heel groot deel van de bedragen verkeerd is uitgekeerd.

Wiskundige en statistische haken en ogen aan een steekproef

De grootte van de steekproef wordt doorgaans bepaald door de aanwezige capaciteit om de steekproef te doen. Om bij het voorbeeld van de uitkeringen te blijven: men zal proberen zoveel mogelijk uitkeringen te checken met de beschikbare mankracht. Maar in wezen zou de grootte van de steekproef moeten worden bepaald op grond van de statistische redenen en de vooraf opgestelde foutmarge. De achterliggende statistiek is allesbehalve triviaal. Vaak beschikt de auditeur met name over de kennis om een steekproef uit te voeren, maar reikt de wiskundige kennis niet zo ver dat de methode kan worden onderbouwd en verantwoord.

In de wiskundige verantwoording speelt niet alleen de uitkomst, maar ook de onzekerheidsmarge op die uitkomst een belangrijke rol. Voor het bepalen van die onzekerheidsmarge moet er kennis zijn over de manier waarop de fouten verdeeld zijn in de populatie. Vertaal dit naar de situatie van de auditeur. In zijn algemeenheid is het lastig om aannames te doen over de onregelmatigheden die kunnen worden gevonden in jaarrekeningen. Dit omdat fouten op verschillende plekken kunnen ontstaan (systeemfout, interpretatiefout, typefout, fraude, etc.) en daarmee geen wiskundig te voorspellen verdeling volgen. Daarnaast kun je zowel naar slechts de aanwezigheid van fouten kijken als naar de grootte ervan, wat ook weer totaal verschillende verdelingen en statistische methodes oplevert.

Grotere betrouwbaarheid met 100% controles

Het liefst wil je natuurlijk gewoon alle beschikbare gegevens kunnen checken om tot de daadwerkelijke rechtmatigheidsscore te komen. Gelukkig heeft de technologische ontwikkeling niet stilgestaan en bestaan er met huidige simulatie en analyse software manieren om toe te werken naar 100% controles. Hierbij kan worden gedacht aan schaduwberekeningen waarvan de uitkomst kan afwijken van de records. Voor records waarbij een discrepantie wordt gevonden kan met de hand worden nagelopen of er inderdaad sprake is van een onregelmatigheid of fout. Men kan een extra veiligheidsmaatregel toevoegen om systematische fouten te voorkomen door deze schaduwberekening te combineren met een (kleine) ouderwetse steekproef. Op deze manier biedt de 100% controle een weg aan de auditeur om te voldoen aan de eisen op het gebied van kwaliteit, efficiëntie en budget.


Add comment

CAPTCHA * Time limit is exhausted. Please reload CAPTCHA.

Deze site gebruikt Akismet om spam te verminderen. Bekijk hoe je reactie-gegevens worden verwerkt.

Decisive Facts