Kwaliteitsbewaking in de Verenigde Naties

Inleiding

Ons land kanaliseert omvangrijke sommen ontwikkelingsgeld via multilaterale organisaties. Worden deze bestedingen wel voldoende gecontroleerd? Deze vraag komt regelmatig naar boven in het kader van de debatten over de bijdragen tot de Verenigde Naties. Zij is bijzonder acuut wanneer het gaat over vrijwillige bijdragen in een context van budgettaire beperkingen. In deze nota wordt wat dieper ingegaan op deze problematiek, waarbij de focus zal liggen op de zogenaamde operationele activiteiten voor ontwikkeling, dus op de ontwikkelingsactiviteiten van de Verenigde Naties.

De titel werd bewust breed gekozen omdat er op dit vlak van controle en audit reeds heel wat systemen en concepten bestaan.  Die systemen leggen veelal de nadruk op technische en bureaucratische elementen, waarbij het ruimere beeld wat uit het oog wordt verloren. De doorsnee burger is immers vooral geïnteresseerd in de vraag of het geld goed wordt besteed en of de kwaliteit van de activiteiten voldoende wordt gegarandeerd. Met deze nota “kwaliteitsbewaking” kunnen wij geen sluitend antwoord verschaffen op de inhoudelijke vraag of het geld wel goed besteed wordt. Maar wij kunnen wel nagaan of het beheer ervan correct verloopt. Weten wij  wat er met de toegekende  fondsen gebeurt? Worden er inspanningen geleverd om resultaatgericht te werken? Kunnen wij vertrouwen hebben in de kwaliteit van de evaluatiesystemen die door het VN-systeem worden gehanteerd? Is er voldoende onafhankelijke controle? Spelen de donoren daarin een rol? Aan wie rapporteren de auditeurs? Kan fraude worden opgespoord? Wie geeft rekenschap aan wie?

De vragen over controle, resultaatgerichtheid, evaluatie en accountability zijn terechte vragen. Wij zullen in de volgende paragrafen vooral de nadruk leggen op het beschrijven van de systemen van kwaliteitsbewaking die in de VN gebruikt worden. Het is immers zo dat er heel wat instrumenten bestaan, zowel  inzake de bevordering van de kwaliteit als inzake het vermijden van problemen, zoals fraude en andere misbruiken. De mechanismen daarvoor evenals de rapporten daarover bestaan wel degelijk, terwijl de kennis daarover vrij beperkt blijft. [1] Deze nota wil aan dat euvel verhelpen door een globaal overzicht te geven van de vele bestaande structuren en mechanismen en tevens de toegang tot die informatie beschikbaar te maken.

Welke aspecten komen aan bod?

Zoals gesteld kunnen veel verschillende elementen worden onderzocht, afhankelijk van de invalshoek. Wij trachten hier een breed en holistisch beeld op te hangen, die de diverse aspecten bij elkaar brengt en verduidelijkt.

Het is duidelijk dat al deze diverse aspecten elk op zich belangrijk zijn en dat kritische vragen daaromtrent afdoende moeten worden beantwoord. Het is evenwel het samenbrengen van de verschillende deel-elementen dat ons eventueel kan geruststellen met betrekking tot de vraag of de toegekende middelen wel goed worden besteed.

Wij kunnen de problematiek van de kwaliteitsbewaking benaderen vanuit vier brede perspectieven: opvolging, controle/audit, evaluatie en resultaatgericht beheer. Deze vier perspectieven hebben elk hun eigen finaliteit, maar worden best alle vier bekeken om een betrouwbaar en evenwichtig  beeld te kunnen schetsen van de waarde die de VN-operationele activiteiten kunnen betekenen voor het Belgisch beleid. De nadruk in deze nota ligt evenwel op audit/controle enerzijds en evaluatie anderzijds.

Hoe gebeurt de opvolging van de bijdragen tot de VN (monitoring)?

De omvang van de vrijwillige bijdragen van ons land tot de VN overschrijdt de laatste jaren de 200 miljoen euro. Veelal draagt ons land 1 à 2 procent bij tot de middelen van de VN-organisaties. De opvolging van de bijdragen geschiedt via de volgende mechanismen:

• Deelname aan de beheer-instanties van de betrokken organisaties. Voor sommige van die  instanties is ons land (samen met de andere lidstaten) permanent lid, zoals bij de Algemene Vergadering van de VN en de Algemene Conferenties van de Gespecialiseerde Agentschappen. Voor andere gebeurt die deelname via een beurtrol. Dit geldt met name voor de beheerraden van de grote Fondsen en Programma’s, zoals UNDP, UNICEF enz. …
• Overleg met de organisaties. Ons land houdt met de meeste partner-organisaties tweejaarlijks bilateraal overleg. Tijdens dat overleg wordt uiteraard besproken hoe de organisatie omspringt met de door ons land toegekende middelen.
• Ambtelijke opvolging. Deze wordt waargenomen door de dossierbeheerders voor de betrokken instellingen. Enerzijds gebeurt dat in Brussel, in de desbetreffende diensten, maar ook de Permanente Vertegenwoordigingen bij de VN-instellingen hebben hier een belangrijke rol te vervullen.  Daarenboven geven ook diplomatieke posten op het terrein feedback over de  gefinancierde samenwerkingsacties. Er wordt ook af en toe een terreinbezoek georganiseerd, zowel rechtstreeks als in het kader van de werkzaamheden van de beheerraad.
• Een belangrijk instrument van de opvolging zijn de verschillende rapporteringen (vooruitgangsverslagen, jaarverslagen …), en dit op de diverse relevante niveaus: project, programma of organisatieniveau. De meeste vooruitgangsrapporten zijn eerder technisch van aard en zijn niet per se toegankelijk voor het brede publiek. Niettemin bieden de moderne informatie- en communicatiemiddelen de mogelijkheid om die toegankelijkheid sterk te verhogen en daaraan wordt gewerkt. [2] De jaarrapporten daarentegen zijn allemaal heel gemakkelijk te raadplegen en te bekomen.

Hoe gebeurt de controle op de toegekende middelen?

Controle is een vrij generieke benaming  die op heel diverse manieren kan worden ingevuld. Het is nuttig om hierbij een onderscheid te maken tussen de internationale systemen en louter bilateraal Belgische mechanismen. Verder kan ook een onderscheid gemaakt worden tussen boekhoudkundige /financiële controle (meestal audit genoemd) en meer algemene mechanismen die de integriteit van de betrokken organisatie moeten bewaken (inspectie, toezicht (oversight), ombudsman, klokkenluider bescherming, anti-fraude systemen…)

Internationale systemen

De controlesystemen die gemeenschappelijk zijn voor alle leden van de VN bestaan meestal uit de volgende elementen.  Overigens zijn sommige onderdelen daarvan verdragsrechtelijk  bepaald.

Audit

Via de audit-functie wordt gegarandeerd dat de organisatie de regelgeving volgt, zowel op financieel als op procedureel of methodologisch vlak.

Interne audit-diensten rapporteren aan het hoofd van de organisatie. In het verleden bleven de rapporten van de interne audit-diensten vertrouwelijk. Onder druk van de donoren zijn vele daarvan sedert enige jaren echter beschikbaar gemaakt voor de lidstaten, die daar toegang toe vroegen. Verschillende daarvan zijn nu ook voor toegankelijk voor het brede publiek. [3]

Externe audit-diensten staan onafhankelijk tegenover het management van de organisatie. Zij vervullen een functie die vergelijkbaar is met de nationale Rekenhoven. In de praktijk wordt de functie overigens waargenomen door de medewerkers van drie nationale Rekenhoven , gekozen door de Algemene Vergadering voor een welbepaalde periode. Hun rapporten zijn uiteraard publiek en worden besproken in ECOSOC en nadien de Algemene Vergadering. Het grote nadeel van het huidige systeem is de periodiciteit. De rapporten van deze Rekeningcommissarissen, zoals ze worden genoemd, worden maar om de twee jaar opgemaakt, zodat er een behoorlijk lange tijd verloopt tussen de gerapporteerde feiten en de (eventuele) bespreking daarvan in de Algemene Vergadering van de VN.

De organisaties van de VN zijn in de loop van de laatste jaren overgeschakeld van het eigen boekhoudkundig systeem (UNSAS) naar de meer algemene normen voor de publieke sector, het  IPSAS-systeem. [5] Deze overschakeling heeft de kwaliteit van de financiële informatie verbeterd.

Audit-comités

De meeste organisaties hebben een adviserend audit-comité dat de audit-activiteiten van de organisatie opvolgt en daarover ook jaarlijks rapporteert aan de beheerraad. Zij staan vaak ook in voor het coördineren van de werkzaamheden van interne en externe audit-activiteiten.

Inspectie en toezicht (oversight)

Binnen het VN-systeem is een gemeenschappelijke inspectie werkzaam. De Joint Inspection Unit heeft dus een systeemwijd mandaat en opereert onafhankelijk van het management van de verschillende organisaties. De leden van de  Joint Inspection Unit worden verkozen door de Algemene Vergadering, aan wie zij rapporteren. Inhoudelijk zijn de werkzaamheden van de JIU veelal te bestempelen als evaluatie (zie verder).

De Joint Inspection Unit opereert al sedert vele decennia. Twintig jaar geleden werd bovendien ook het Office for Inspection and Oversight Services (OIOS) opgericht. Het OIOS ontvangt klachten en kan onderzoek instellen naar gerapporteerd misbruik en fraude. OIOS werkt echter niet systeem-wijd. Het is een departement van het VN-secretariaat. Zo vallen grote VN-agentschappen zoals WHO, FAO en andere niet onder het mandaat van OIOS maar wel onder dat van de JIU.

Anderzijds wordt ook het OIOS onderworpen aan een onafhankelijk onderzoek, meer bepaald door de leden van het Independent Audit Advisory Committee dat werd opgericht in 2005 om de Algemene Vergadering bij te staan in het vervullen van hun ‘oversight responsibilities’.

Een aantal Fondsen en Programma’s hebben recentelijk eveneens brede inspectie-instanties (oversight) of onderzoekscellen (investigation) opgericht, al dan niet in samenhang met de audit-diensten.  In bijlage 1 vindt men een overzicht van de structurele kenmerken van de audit-functie in het VN-systeem. [6]

United Nations Ethics Office

In de nasleep van de olie-schandalen in Irak (Oil for Food) hebben de VN-lidstaten sterke druk uitgeoefend om nog bijkomende controlesystemen op te zetten die zulk frauduleus gebruik van middelen in VN-operaties moeten voorkomen. Het resultaat daarvan was de oprichting van het United Nations Ethics Office waarover de Secretaris-generaal jaarlijks rapporteert aan de Algemene Vergadering. Aansluitend daarbij werkt een Ethics Panel (vroeger Ethics Committee) dat specifiek gericht is op het bevorderen van een ‘ethische’ cultuur en maximale integriteit. De jongste tijd werden ook een aantal initiatieven genomen om belangenconflicten bij het werk binnen de VN te vermijden. Dat geldt onder meer voor wetenschappelijk werk (bvb. de rapporten van het International Panel on Climate Change).

Administrative Committee on Administrative and Budgetary Questions (ACABQ)

In dit overzicht kan eveneens melding gemaakt worden van het Administrative Committee on Administrative and Budgetary Questions (ACABQ) dat bestaat uit 16 onafhankelijke leden en dat rechtstreeks rapporteert aan de Algemene Vergadering van de Organisatie van de Verenigde Naties. Het ACABQ is een orgaan dat over een stevige geloofwaardigheid beschikt inzake budgettaire en administratieve aangelegenheden. Het adviseert de Algemene Vergadering ook inzake de audit-rapporten.

Controle op Belgisch vlak

De controle op de VN-bijdragen langs Belgische zijde verloopt via drie sporen, het eerste intern, het tweede quasi extern en het derde volledig extern.

Het eerste spoor is dat van de beherende diensten die via opvolgingsactiviteiten en kennisname van de rapporten nagaan of de fondsen correct worden besteed. Om een voorbeeld te geven: één van de belangrijkste partner-organisaties van ons land, UNDP, maakt jaarlijks een omvangrijk rapport over met de gecertifieerde boekhoudkundige gegevens van alle door ons land gefinancierde operaties. Dat financieel rapport vormt (samen met de inhoudelijke vooruitgangsrapportering) een sleutel element in de controle die de beherende dienst uitoefent op de besteding van de fondsen.

Deze interne controle wordt verder ook nog gegarandeerd door de Directie Begroting en Beheerscontrole van de Federale Overheidsdienst Buitenlandse Zaken, Buitenlandse Handel en Ontwikkelingssamenwerking. Deze Directie staat in voor het bewaken van de regelgeving inzake de gunning van markten en de toekenning van subsidies. Zij centraliseert ook alle documenten met betrekking tot de financieringsactiviteiten (toekenningsbesluiten/verantwoordingsstukken).

Het tweede, quasi externe, controle spoor is dat van de Inspectie van Financiën, die vooral ex ante werkt. Ten aanzien van de Directie generaal Ontwikkelingssamenwerking en de Minister van Ontwikkelingssamenwerking gaat het over een quasi externe instantie.  Maar de Inspectie van Financiën ressorteert onder de Minister van Begroting en behoort in feite nog tot de executieve macht. In de Ministerraad kan een negatief advies van de Inspectie van Financiën dus eventueel  teniet gedaan worden.

Het derde echt externe spoor (ten aanzien van de executieve macht) is de algemene verantwoordelijkheid van het Belgisch Rekenhof. In tegenstelling met de Inspectie van Financiën zullen de vertegenwoordigers van het Rekenhof hun controle eerder ex-post uitoefenen. Het Rekenhof rapporteert rechtstreeks aan het Parlement.

Hoe gebeurt de evaluatie van de VN activiteiten?

Om een antwoord te kunnen geven op de vraag of de VN voldoende kwaliteitsgaranties op inhoudelijk vlak biedt, moeten wij kijken naar de evaluatie-activiteiten die daarover plaats hebben. Er kan andermaal een onderscheid gemaakt worden tussen de internationale systemen en de eigen Belgische mechanismen.

Net zoals het geval is bij audit wordt ook op het gebied van evaluatie een onderscheid gemaakt tussen interne evaluatie, waarbij de evaluator nog opereert onder het leiderschap van het hoofd van de betrokken organisatie en externe evaluatie die onafhankelijk is en rechtstreeks rapporteert aan de beheerraad of andere organen waarin de lidstaten zelf de besluitvorming in handen hebben.

Interne evaluatie

De meeste organisaties beschikken over een professionele interne evaluatiedienst, die in relatief grote onafhankelijkheid evaluatierapporten kan opmaken. De parameters die men hanteert om te bepalen of evaluatiediensten inderdaad op een onafhankelijke en professionele wijze opereren zijn onder meer de personeelsbezetting, de autonomie in het bepalen van het werkprogramma en het gebruik van budgettaire middelen. De evaluatiecriteria zelf worden in grote mate gebaseerd op de beginselen ter zake die werden uitgewerkt door het Evaluatiecomité van de OESO/DAC.

Binnen de VN is er een gespecialiseerde groep werkzaam, de United Nations Evaluation Group (UNEG), die de verschillende interne evaluatiediensten bijeenbrengt en die gemeenschappelijke normen en werkmethodes op punt stelt.

Er wordt de laatste tijd veel gebruik gemaakt van het ‘peer review-mechanisme’. Dit wil zeggen dat de evaluatiediensten van de VN-organisaties worden onderzocht door andere professionele evaluatoren (afkomstig van lidstaten of andere VN-evaluatiediensten) en op basis daarvan al dan niet een soort certificatie krijgen omtrent hun degelijkheid. Peer reviews onderzoeken vooral de institutionele en operationele onafhankelijkheid van centrale evaluatiediensten, hun geloofwaardigheid en het nut van evaluatieverslagen. Jaarlijks vragen 4 of 5 evaluatiediensten binnen het VN-systeem zo een peer review. [7] Bepaalde evaluatiediensten hebben reeds hun tweede peer review afgerond (UNDP, GEF, WFP). [8] Het peer review mechanisme wordt gestuurd door een gemeenschappelijke werkgroep bestaande uit vertegenwoordigers van het Ontwikkelingscomité van de OESO en van de evaluatiegroep van het VN-systeem (United Nations Evaluation Group).

Het werkveld van evaluatie is zeer breed en complex. Het bestrijkt onderaan de projectinterventies, maar kan ook grotere programmagehelen, thema’s, landenprogramma’s tot en met de hele organisatie omvatten. In de grotere organisaties kan men een onderscheid maken tussen de centrale evaluatiefunctie op de hoofdzetel die zich vooral zal richten op thematische en sectorale evaluaties voor het geheel van de organisatie en de gedecentraliseerde evaluatiediensten. Deze laatst situeren zich in de regionale kantoren en de landenkantoren die op hun niveau eveneens een behoorlijk aantal evaluatiewerkzaamheden uitvoeren. Die laatste zullen dan uiteraard vooral betrekking hebben op specifieke  interventies en landen- of regionale programma’s. De centrale evaluatiedienst kan eventueel een kwaliteitscontrole uitoefenen op deze gedecentraliseerde evaluatiewerkzaamheden. [9]

In de praktijk worden de meeste evaluatie-oefeningen trouwens uitbesteed aan gespecialiseerde consulenten of studiebureaus. Het onderscheid tussen interne en externe evaluatie heeft dan ook minder te maken met het statuut van de personen die de evaluatie uitvoeren, dan wel met de positie van de evaluatiefunctie in de organisatie zelf.

In de VN bestaat er nog een hiërarchische band tussen de evaluatiedienst en het hoofd van de organisatie. In de Wereldbank daarentegen rapporteert de Independent Evaluation Group (IEG) rechtstreeks aan de beheerraad, zodat de interne evaluatiedienst daar de facto als extern kan worden beschouwd.

Om tegemoet te komen aan de nood om binnen de VN een meer geïntegreerde manier van evalueren te introduceren werd in de Resolutie over de Quadrennial Comprehensive Policy Review (RES 67/226 – december 2013) aan de Secretaris-generaal gevraagd om een coördinatiemechanisme voor systeem-wijde evaluatie van operationele activiteiten op te zetten. [10]

Externe evaluatie

Een externe evaluatie wordt uitgevoerd op initiatief van instanties die boven het management staan. Op die wijze wordt beïnvloeding of belangenvermenging vermeden. Bij gevoelige thema’s dragen externe, onafhankelijke evaluaties uiteraard de voorkeur weg. In de VN gebeurt dat meestal op initiatief van de lidstaten of op initiatief van bijvoorbeeld de Algemene Vergadering. Een voorbeeld van zulk een externe evaluatie is deze die enkele jaren geleden werd opgezet om de werking van FAO te onderzoeken.

Joint Inspection Unit

Zoals reeds vermeld kunnen de meeste werkzaamheden van de Joint Inspection Unit als (externe) evaluatie worden gekenmerkt. De rapporten van de Joint Inspection Unit zijn beschikbaar op de website van de Unit :  https://www.unjiu.org/en/reports-notes/Pages/reports.aspx . Enkele daarvan hebben betrekking op domeinen die zeer relevant zijn voor wat ons hier bezig houdt,  meer in het bijzonder het bestaande controlesysteem,  de introductie van resultaatgericht beheer, de onderzoeksfunctie (investigation) in het VN-systeem, het afleggen van rekenschap (accountability frameworks), de kwaliteit van de audit-functie in het VN-systeem en de evolutie in de kwaliteit van de evaluatie-systemen. [11]

Over de kwaliteit van de evaluaties

De kwaliteit van de evaluatie wordt bepaald door de gehanteerde methodologie. Deze is veelal gebaseerd op de OESO-DAC beginselen zoals geformuleerd in onderstaand kader.

“an evaluation is an assessment, as systematic and objective as possible, of an ongoing or completed project, programme or policy; its design, implementation and results. The aim is to determine the relevance and fulfilment of its objectives, its development efficiency, effectiveness, impact and its sustainability. An evaluation should provide information that is credible and useful, enabling the incorporation of lessons learned into the decision making process of both recipients and donors.”

Een evaluatie dekt dus verschillende dimensies: doeltreffendheid, doelmatigheid, duurzaamheid, vaak ook de gender- en milieu-impact. Elke evaluatie maakt normaliter het voorwerp uit van gedetailleerde referentietermen die vooraf worden besproken met de diverse betrokken partijen (stakeholders). De voorlopige resultaten ervan worden veelal ook aan deze stakeholders voorgelegd vooraleer het eindrapport wordt ingediend.

Een belangrijk aspect van evaluatie is terugkoppeling. Dit gebeurt meestal tijdens een seminarie waar de resultaten ter kennisname en bespreking worden voorgelegd. De laatste jaren wordt ook vrij systematisch gevraagd naar een ‘management respons’ op de resultaten van de evaluatiewerkzaamheden. Ook de vraag naar het gebruik van evaluatiewerkzaamheden in de besluitvorming van de organisatie is van cruciaal belang. [12]

De lidstaten beschikken via evaluatie over een excellent instrument om de kwaliteit van de werkzaamheden van de VN-organisaties te bewaken. In concreto gebeurt dit tijdens de bespreking van het jaarlijks evaluatierapport van de organisaties op de beheerraad. Sommige beheerraden beschikken over een gespecialiseerd evaluatiecomité om deze taak ter harte te nemen.

In het hogervermelde JIU rapport worden 28 organisaties beoordeeld op de kwaliteit (maturiteit) van hun evaluatiefunctie. Zie het desbetreffende overzicht in bijlage 2. De JIU- beoordeling resulteert in zes categorieën gaande van zeer zwak tot zeer sterk , met volgende verdeling:

• zeer zwak: ITU, UNOPS, UPU, UNWTO
  zwak: ICAO, UNHCR, IMO, WMO, UNRWA
  zwakkere middelmaat: ITC, WHO, UNCTAD, UN-HABITAT
  sterkere middelmaat: FAO, IAEA, UNEP, UNAIDS, UNODC, WIPO
  vrij sterk: ILO, WFP, UN-Women, UNIDO, UNICEF, UN-OIOS, UNFPA, UNESCO
  zeer sterk: UNDP

De evolutie gaat zeker de goede richting uit, zoals blijkt uit de analyse van de Joint Inspection Unit.

Belgische evaluatiewerkzaamheden

België kan ook op eigen initiatief evaluatiewerkzaamheden ondernemen. Deze taak wordt waargenomen door de ‘Bijzonder Evaluator’, wiens dienst rechtstreeks ressorteert onder de Voorzitter van het Directiecomité van de Federale Overheidsdienst en die rapporteert aan het Parlement. De dienst van de Bijzonder Evaluator is betrokken geweest bij de peer reviews van de evaluatiefuncties van de GEF (2010), UNEP en UN Habitat (2013). In 2014 nam hij deel aan de zogenaamde Development Effectiveness Review van UNHCR onder leiding van Nederland.  In de praktijk verlopen de meeste evaluatiewerkzaamheden in de multilaterale sector in gezamenlijk overleg met andere geïnteresseerde partijen.

Andere internationale initiatieven

De vraag naar de kwaliteit van de multilaterale interventies leeft uiteraard in vele landen. Sommige onder hen hebben dan ook interessante initiatieven genomen om de kwaliteit van de organisaties te meten. De meest gekende initiatief is dat van de Britse regering, die enkele jaren geleden een zeer breedvoerig  ‘Multilateral Assessment’ heeft gerealiseerd. De Australische regering heeft nadien eveneens een gelijkaardig initiatief genomen en verschillende Europese landen realiseren regelmatig assessments waarvan de resultaten publiek worden gemaakt. Het interessante van deze oefeningen is dat zij gebruik maken van het toekennen van punten scores, zodat organisaties in kwaliteitscategorieën kunnen worden ondergebracht. Maar die werkwijze draagt ook gevaren van over-simplificatie in zich. De waarde van de werkzaamheden van een multilaterale organisatie is immers niet altijd objectief meetbaar in cijfers en scores en moet ook gesitueerd worden in een bredere politieke context. Overigens hanteren de betrokken donoren uiteraard hun eigen referentie punten om de kwaliteit te beoordelen. De gebruikte normen zijn bilateraal en niet universeel van aard.

Het Multilateral Organisations Performance Assessment Network (MOPAN)

Een aantal donoren hebben zich verenigd om zulke individuele assessments door lidstaten in de mate van het mogelijke te vervangen door een gezamenlijke oefening. Dit gebeurt nu stelselmatig in het MOPAN-netwerk, waarvan ons land sedert enkele jaren lid is. MOPAN onderwerpt jaarlijks een bepaald aantal multilaterale organisaties aan een ‘Performance Assessment’ . De methodologie daarvoor werd in de loop der jaren geregeld verfijnd. Het nadeel van MOPAN is dat het een donorclub (19 donoren) betreft en dus minder universeel van aard is dan de meeste andere mechanismen. Voor een overzicht van de onderzochte multilaterale organisaties: zie bijlage 3 in fine.

Invoering van Resultaatgericht Beheer (Result Based Management)

In  de loop van de laatste jaren hebben de meeste VN-organisaties een formeel systeem van resultaat gericht beheer ingevoerd. Oorspronkelijk gebeurde dit vooral in antwoord op druk vanwege donoren, maar deze beheersmethode is ondertussen vrij algemeen aanvaard, hoewel de toepassing ervan uiteraard niet moeiteloos verloopt. De meeste strategische planningsdocumenten bevatten nu veelal een expliciet kader van na te streven resultaten, waarover wordt gerapporteerd in de jaarverslagen. [14]

Andere opvolgingsinitiatieven

De Good Humanitarian Donorship groep

Voor de humanitaire organisaties bestaat er sedert vele jaren een informele donorgroep die als doel heeft om de kwaliteit van de humanitaire interventies te verbeteren. De groep bekijkt daartoe de werking van de VN humanitaire organisaties, maar heeft ook aandacht voor de eigen verantwoordelijkheden van de donoren zelf.

De Utstein groep

De Utstein-groep streeft gelijkaardige doelstellingen na, maar dan voor de ontwikkelingsorganisaties van de VN. Deze informele donor groep komt jaarlijks bijeen.

De Genève groep

Tenslotte is er ook nog de Genève-groep, bestaande uit de VN-lidstaten die minstens 1% van de begroting van de VN-instellingen voor hun rekening nemen. Deze groep pleegt geregeld overleg over budgettaire en beheersproblemen waarmee de organisaties worden geconfronteerd.
België is lid van deze drie informele groepen.

Conclusie

Terug naar de uitgangsvraag: krijgen wij voldoende garanties over de controle op toegekende fondsen en de kwaliteit  van de gefinancierde activiteiten?

Wat de meer boekhoudkundige aspecten, fraudegevoeligheid en transparantie betreft zijn er de laatste jaren heel wat nieuwe structuren op punt gesteld die ons in algemene termen kunnen geruststellen wat betreft  de integriteit en werking van de multilaterale instellingen. Niettemin blijft een actieve belangstelling noodzakelijk om de risico’s nauwlettend in het oog te houden. Organisaties die jaarlijks miljarden dollars besteden, soms in zeer moeilijke omstandigheden, zullen nooit honderd procent risicoloos kunnen opereren. Het komt er op aan die risico’s te bewaken met de nodige gestrengheid, maar ook met  het nodige realisme.

Over de vraag of er voldoende ‘value for money’ wordt bereikt via de bijdragen aan de VN-organisaties zullen de meningen nooit volledig eenduidig zijn. Evaluatierapporten en peer-reviews over de evaluatiefunctie in partner-organisaties zullen immers veelal een genuanceerd beeld ophangen van de geëvalueerde bijdrage, activiteit of dienst. Maar men kan wel stellen dat bij de meeste partner-organisaties  voldoende structurele garanties aanwezig zijn om met een voldoende mate van vertrouwen openbare fondsen toe te kennen. Het veronderstelt evenwel dat de lidstaten hun verantwoordelijkheid opnemen in de desbetreffende comités, beheerraden en vergaderingen van ECOSOC en Algemene Vergadering. Een goede kwaliteitsbewaking vereist immers een proactieve instelling bij de lidstaten. Vooral het bespreken van de management-responses op de voorgelegde evaluatierapporten zal die intentie hard kunnen maken. Ook bredere initiatieven zoals MOPAN dragen daar zeker toe bij.

Via de nieuwste generatie strategische plannen en budgettaire documenten hanteren de meeste VN-organisaties nu ook een meer gerijpt systeem van resultaat gericht beheer. Daarbij worden de strategische doelstellingen in een resultaten-kader gegoten waarvan de realisatie systematisch kan worden opgevolgd. De rapporteringen die daarover gebeuren laten toe om op een meer objectieve manier rekenschap af te leggen over de geleverde prestaties. Ook dat is ‘work in progress’ dat stelselmatig moet worden opgevolgd en bewaakt.

Men kan bijgevolg stellen dat de VN in de loop van de laatste jaren, mede onder druk van de donoren, belangrijke inspanningen hebben geleverd om betere controlemechanismen en grotere transparantie te bewerkstelligen. Dat is zeker het geval voor de Fondsen en Programma’s, iets minder voor de Gespecialiseerde Instellingen. Het is nu ook de taak van de lidstaten om actief te waken over de verdere verspreiding en feitelijke toepassing van de nieuwe principes en mechanismen. Het meest aangewezen middel daartoe is het interpelleren van de hoofden van de organisaties over hun management respons op de diverse voorgelegde bevindingen en aanbevelingen in de desbetreffende rapporten.

__________________________________

Meer informatie

In de bijlagen vindt de lezer meer gedetailleerde informatie:

• Bijlage 1 geeft een beeld van  de structurele kenmerken van de audit functie in het VN-systeem. [15]
• Bijlage 2 geeft een overzicht van de evolutie van de evaluatiefunctie in het VN-systeem. [16]
• In bijlage 3 gaat een overzicht van de algemene kwaliteitsbewakingsmechanismen in de VN en de link met de beschikbare informatie. Het verschaft ook wat meer informatie over organisaties van het VN-systeem die de grootste volumes van Belgische bijdragen ontvangen (meer dan 10 miljoen euro gemiddeld per jaar in de periode 2011-2013). In de lijst werden ook enkele interessante niet VN-organisaties opgenomen.

DO/KP/herz. 13 april 2015

BIJLAGE 1: Summary of audit function in the United Nations system organizations (JIU/REP/2010/5 p.57)

BIJLAGE 2: Evolution of Evaluation Offices in JIU PO’s (JIU/REP/2014/6 p. 78-79)

BIJLAGE 3: Bondige beschrijving en websites van de controle – en evaluatiesystemen in het VN-systeem in het algemeen evenals van de belangrijkste multilaterale partners van de Belgische multilaterale ontwikkelingssamenwerking (met de gemiddelde DGD bijdragen in 2011-2013).

Verenigde Naties

Audit

Zie onderstaande links naar de desbetreffende websites. De externe auditrapporten voor UN, UNDP, UNICEF, UNRWA, UNCDF, UNEP, UNFPA, UN Women en UNHCR zijn allemaal gemakkelijk terug te vinden  te vinden onder de rubriek rapporten.

• http://www.un.org/en/auditors/board/
• http://www.un.org/en/auditors/board/auditors-reports.shtml
• http://www.un.org/en/auditors/panel/

Joint Inspection Unit

Zie onderstaande links naar de desbetreffende websites:

• https://www.unjiu.org/en/about-us/Pages/default.aspx
• https://www.unjiu.org/en/reports-notes/Pages/reports.aspx

Het Office for Investigation and Oversight Services

Zie onderstaande links naar de desbetreffende websites:

• http://www.un.org/Depts/oios/
• http://www.un.org/Depts/oios/pages/other_oios_reports.html

United Nations Evaluation Group

• http://www.uneval.org/#
• http://www.uneval.org/evaluation/reports
• http://www.uneval.org/document/peer-review-reports

Het UN Ethics Office

• http://www.un.org/en/ethics/

Vijfde Commissie van de VN AV

• http://www.un.org/ga/search/view_doc.asp?symbol=a/c.5/69/l.1

Het Administratief comité voor administratieve en budgettaire aangelegenheden ( ACABQ)

• http://www.un.org/ga/acabq/welcome

Het Ontwikkelingsprogramma van de Verenigde Naties – UNDP (35 mio)

Zie het Annual Report on Evaluation,  het Report on Audit and Investigation en de daarbij horende rapporten van de Administrateur die de respons van de administratie op de bevindingen van beide rapporten toelichten. [17] Er functioneert eveneens een Audit Advisory Committee en er bestaat een ‘hotline’ om fraude te rapporteren.

• http://web.undp.org/evaluation/
• http://web.undp.org/evaluation/evaluations/assessment-of-development-results.shtml 
• http://www.undp.org/content/undp/en/home/operations/accountability/audit.html
• http://www.undp.org/content/undp/en/home/operations/accountability/overview.html
• http://www.undp.org/content/undp/en/home/operations/accountability/audit/office_of_audit_andinvestigation.html

UNICEF (21 mio)

De werking in UNICEF is goed vergelijkbaar met UNDP.  Ter illustratie van de substantiële beschikbaarheid van informatie over kwaliteitsbewaking volgt hieronder een oplijsting van de relevante rapporten die tijdens de jongste jaarlijkse zitting van de UNICEF beheerraad (juni 2014) op de agenda stonden:

• UNICEF management response to the annual report of the Office  of Internal Audit and Investigations for 2013
• Office of Internal Audit and Investigations 2013 annual report to the Executive Board
• Unicef report on the recommendations of the Joint Inspection Unit
• Annual report on the evaluation function and major evaluations
• Report of the Ethics Office

 

• http://www.unicef.org/evaluation/
• http://www.unicef.org/auditandinvestigation/index_65818.html
• http://www.unicef.org/transparency/

Een overzichtelijk rapport over UNICEF’s Accountability systeem is te lezen in E/ICEF/2009/15

Het VN Commissariaat voor de Vluchtelingen – UNHCR (20 mio)

De evaluatiefunctie in UNHCR zit volgens de JIU analyse eerder in de categorie van de zwakkere broertjes. Wij kunnen er evenwel van uitgaan dat de lopende peer review een aanduiding vormt van de bereidheid om hier snel beterschap in te brengen. De audit wordt waargenomen door de VN Board of Auditors.

Recentelijk heeft UNHCR ook een onafhankelijk audit en controlecomité opgericht

• http://www.unhcr.org/pages/4a1d28526.html
• http://www.unhcr.org/523c0b339.pdf

Wereld Voedsel Programma -WFP (25 mio)

De evaluatiefunctie in WFP heeft een vrij goede reputatie en goede website:

• http://www.wfp.org/evaluation

WFP heeft ook een zeer open beleid inzake beschikbaarheid van informatie (‘disclosure policy’ ). Op de website kan je heel gemakkelijk het beleid opvragen dat WFP toepast zowel betreffende interne audit, ‘investigations’ als anti-fraude en anti-corruptie.

WFP publiceert jaarlijks een performance report: http://publications.wfp.org/en/apr/2013/

Zie ook de werkzaamheden van de Inspecteur generaal op wiens website  de interne audit rapporten te vinden zijn:

• http://www.wfp.org/about/oversight
• http://www.wfp.org/about/oversight/audit-inspection-reports

Het rapport van de externe auditeur wordt zowel in de Executive Board van WFP als in het financieel comité van FAO besproken (WFP staat verdragsrechtelijk onder een soort gezamenlijke voogdij van de VN en FAO): http://www.fao.org/docrep/meeting/030/mk247e.pdf

FAO (20 mio)

De evaluatiefunctie in FAO bevindt zich in de middenmoot  van de appreciatietabel van de JIU.

Tijdens elke tweejaarlijkse conferentie wordt het evaluatierapport besproken:

• http://www.fao.org/evaluation/oed-home/en/
• http://www.fao.org/docrep/meeting/028/mg392e.pdf

Hieronder het laatste rapport van de externe auditeur en het laatste interne auditrapport:

• http://www.fao.org/3/a-ml282e.pdf
• http://www.fao.org/aud/41484-08f934927ba6eea5eaa08a2bcf4b7a60d.pdf

FAO beschikt ook over een Inspecteur generaal. Zie hieronder de link  naar diens laatste rapport: http://www.fao.org/aud/41006-091bee261e4d7fa13d42946db1be1d439.pdf

De Wereldgezondheidsorganisatie – WGO  (10 mio)

De evaluatiefunctie in WGO is minder ontwikkeld dan deze van de meeste Fondsen en Programma’s, maar ook ten opzichte van andere grote Gespecialiseerde Agentschappen schaart WGO zich bij de zwakkere groep. Hieronder vindt men de link naar het laatste jaarrapport over evaluatie (Executive Board mei 2014) en het rapport van Programma, Begrotings- en Administratief Comité van de Executive Board. WHO beschikt ook over een Independent Expert Oversight Advisory Committee (IEOAC)

• http://apps.who.int/gb/ebwha/pdf_files/EB135/B135_5-en.pdf
• http://apps.who.int/gb/ebwha/pdf_files/EB135/B135_2-en.pdf
• http://apps.who.int/gb/ieoac/PDF/Thirteenth/13-report.pdf

Hieronder vindt men de link naar de laatste rapporten van de externe en interne auditor:

• http://apps.who.int/gb/ebwha/pdf_files/WHA67/A67_45-en.pdf
• http://apps.who.int/gb/ebwha/pdf_files/WHA67/A67_46-en.pdf

Global Environment Facility – GEF  (37 mio)

De Global Environment Facility ondergaat elke vier jaar een grondige doorlichting ter voorbereiding van de onderhandelingen over de heraanvulling van de middelen. Deze “Overall Performance Study” (OPS) vormt een degelijke analyse van de kwaliteit van de GEF operaties. Daarenboven beschikt de GEF over een onafhankelijk “Evaluation Office” dat onder de Raad staat. De controle over de financiële middelen zijn toevertrouwd aan de ‘trustee’. Dit is de Wereldbank. Er bestaat een systeem voor bewaking van de integriteit (conflict resolution). De opvolging geschiedt via de ‘Annual Monitoring Reviews’

http://www.thegef.org/gef/eo_office

http://www.thegef.org/gef/conflict_resolution

http://www.thegef.org/gef/AMR

http://www.thegef.org/gef/gef_trustee

Global Fund to Fight Aids Malaria and Tuberculosis (21 mio)

Het Global Fund beschikt over een zeer onafhankelijk bureau van de  inspecteur-generaal  die rechtstreeks rapporteert aan de beheerraad. Er bestaat ook een systeem van controle op prijzen en er is heel veel aandacht voor de fraudegevoeligheid van de financieringen. Dat alles is ook heel transparant en beschikbaar voor het brede publiek. Aangezien het Global Fund werkt met een systeem van driejaarlijkse ‘replenishments’ (heraanvulling der middelen) hebben de donoren regelmatig de kans om rapporten over bereikte resultaten te bestuderen en de activiteiten te evalueren. De financiële controle berust bij de ‘trustee’, dit is de Wereldbank.

• http://www.theglobalfund.org/en/documents/integratedevaluations/
• http://www.theglobalfund.org/en/me/
• http://www.theglobalfund.org/en/oig/
• http://www.theglobalfund.org/en/procurement/pqr/
• http://www.theglobalfund.org/en/oig/reportfraudabuse/
• http://www.theglobalfund.org/en/publications/annualreports/

Het Internationaal Fonds voor Landbouwontwikkeling – IFAD (12 mio)

Ook IFAD beschikt over een zeer onafhankelijke evaluatiedienst die rechtstreeks rapporteert aan de beheerraad. Net als het Global Fund werkt ook IFAD op basis van heraanvulling der middelen (4 jaarlijks), zodat de prestaties van de organisatie uitgebreid kunnen worden besproken tijdens de onderhandelingen daarover. De organisatie legt het externe audit rapport voor aan de jaarlijkse Raad van Gouverneurs. Er functioneert eveneens een audit comité binnen de Raad van Bestuur.

• http://www.ifad.org/evaluation/
• https://webapps.ifad.org/members/gc/37/docs/GC-37-L-6.pdf
• http://www.ifad.org/governance/ifad/audit.htm

Er bestaat eveneens een informatief jaarlijks rapport over de bereikte resultaten (Annual Report on Results and Impacts): http://www.ifad.org/evaluation/arri/index.htm

Europese instellingen (120 mio)

Audit, controle en evaluatie worden uitgevoerd door Europese instanties, met als algemene waakhond het Europees Rekenhof. De intensiteit en kwaliteit van deze controlemechanismen wordt vrij algemeen als zeer degelijk beschouwd. De Commissie zelf beschikt eveneens over een degelijk uitgebouwde evaluatiedienst.

• http://www.eca.europa.eu/en/Pages/ecadefault.aspx
• http://ec.europa.eu/europeaid/how/evaluation/index_en.htm

De Europese instellingen werken overigens vaak samen met de VN-organisaties en maken in die context ook auditverslagen over die samenwerking. Die analyses kunnen ons ook vaak relevante informatie geven over de werking van de VN-instellingen.

Wereldbank (140 mio)

Ook de Wereldbank beschikt over een goed ontwikkeld arsenaal van interne en externe controle- en evaluatiemechanismen die als zeer performant worden gezien. Zie onder meer de activiteiten van de Independent Evaluation Group en het jaarlijks rapport over de bereikte resultaten:

• http://ieg.worldbank.org/
• https://ieg.worldbankgroup.org/Data/reports/chapters/rap2013_vol1_updated2.pdf

Hieronder vindt men de link met de interne en externe audit rapporten:

• http://web.worldbank.org/WBSITE/EXTERNAL/EXTABOUTUS/EXTANNREP/0,,contentMDK:22316939~menuPK:6440223~pagePK:64168445~piPK:64168309~theSitePK:1397226,00.html
• http://siteresources.worldbank.org/EXTANNREP2013/Resources/9304887-1377201212378/9305896-1377544753431/IDA_FinancialStatements.pdf

Fondsen waarvoor de Wereldbank optreedt als fondsen beheerder (fiduciair agent)

De Wereldbank beheert zelf een duizendtal trust-funds, maar treedt  ook op als fiduciair agent voor andere organisaties. Deze worden omschreven als Financial Intermediary Funds (FIF’s). De belangrijkste hiervan zijn het Global Fund en de Global Environment Facility. Maar er zijn er nog andere, waaronder het Global Partnerschip for Education (GPE), de Consultative Group for International Agricultural Research (CGIAR) en enkele klimaatfonden zoals het Special Fund for Least Developed Countries en het Adaptation Fund. De Belgische bijdragen aan die fondsen kunnen gevolgd worden via de financiële rapporten die de Wereldbank opstelt en bijhoudt voor elk van die fondsen. De daarvoor bestemde website is zeer toegankelijk.

• http://fiftrustee.worldbank.org/

Samenwerking tussen internationale financiële instellingen (Evaluation Cooperation Group)

Er bestaat tussen de internationale financiële instellingen een samenwerkingsverband om gezamenlijk evaluatiewerkzaamheden te versterken.

• http://www.ecgnet.org/about-ecg

MOPAN

MOPAN heeft tot nog toe de volgende organisaties onderzocht:

• 2003: WB, UNICEF, WHO
• 2004: UNDP, FAO, AfDB
• 2005: WB, UNFPA, UNAIDS
• 2006: UNICEF, ILO, AsDB
• 2007: UNDP, WHO, AfDB
• 2008: EC, UNFPA, WB
• 2009: AfDB, UNDP, UNICEF, WB
• 2010: IFAD, UNFPA, WHO, AsDB
• 2011: FAO, IDB, UNEP, UNHCR, UNRWA
• 2012: IBRD, GAVI, AfDB, UNDP, UNICEF, UNAIDS
• 2013: AsDB, IFAD, WHO, WFP
• 2014: FAO, UNHCR, UN Women, UNFPA

 

• http://www.mopanonline.org/

United Nations Evaluation Group

• http://www.uneval.org/

OESO DAC Evaluation-network

• http://www.oecd.org/development/evaluation/

__________________________________

Noten

[1] Er wordt ook relatief weinig over geschreven in de gespecialiseerde onderzoekscentra. Zie niettemin een vergelijking tussen België, Nederland en het Verenigd Koninkrijk in “Bilateral Donors’ Efforts to Assess and Manage UN Agencies’ Effectiveness: Seeking a Balance between Paris Principles and Domestic Accountability” in Development Policy Review, 2012, 30 (4): 399-424

[2] Belgische inspanningen inzake aid transparency evenals de toegenomen toegankelijkheid van de internationale rapporten zelf.

[3] Sommigen hebben de vrees uitgedrukt dat vroegtijdige bekendmaking problemen kan veroorzaken. Er moet natuurlijk over gewaakt worden dat de verhoogde transparantie in deze materie niet leidt tot een uitholling van de aard van interne audit zelf. Auditeurs moeten in alle vertrouwen hun werkzaamheden kunnen uitvoeren en de betrokken administraties moeten eerst de gelegenheid krijgen om te reageren en corrigerend op te treden, vooraleer mogelijk voorbarige conclusies in de openbaarheid worden gebracht. Dat is de essentie zelf van interne audit.

[4] Dit in tegenstelling met de Internationale Financiële Instellingen die voor externe audit een beroep doen op gespecialiseerde privé consultancy firma’s.

[5] International Public Sector Accounting System.

[6] JIU/REP/2010/5 p. 57

[7] Er zijn peer review rapporten beschikbaar  voor UNDP, UNICEF, WFP, OIOS, GEF, UNIDO, UNEP, HABITAT en FAO.

[8] http://www.uneval.org/document/peer-review-reports .

[9] Dit systeem is vergelijkbaar met de Belgische ontwikkelingssamenwerking, waarin niet alleen de Bijzonder Evaluator, maar ook de actoren zoals BTC, BIO en de NGO’s evaluatiewerkzaamheden uitvoeren.

[10] Dit mechanisme moet bestaan uit vertegenwoordigers van de Joint Inspection Unit (JIU), de United Nations Evaluation Group (UNEG), het Departement Economische en Sociale zaken (UN DESA), het Office for the Coordination of Humanitarian Actions (OCHA) en het Office for Inspection and Oversight Services (OIOS).

[11] Analysis of the evaluation function in the United Nations System (JIU/REP/2014/6)

[12] Zie in dat verband de « Study on the uptake of learning from EuropeAid’s strategic evaluations into development policy and practice” Final Report June 2014.

[13] http://www.mopanonline.org/faq

[14] Zie daarover: “Results-Based Management in the United Nations Development System: Progress and Challenges”, A Report prepared for the United Nations Department of Economic and Social Affairs, for the Quadrennial Comprehensive Policy Review, , Final Report July 2012, Angela Bester. http://www.un.org/esa/coordination/pdf/rbm_report_10_july.pdf

[15] Summary of audit function in the United Nations system organizations (JIU/REP/2010/5 p.57)

[16] Evolution of Evaluation Offices in JIU PO’s, 1977-2013 (JIU/REP/2014/6 p. 78-79).

[17] http://web.undp.org/evaluation/documents/annual-report/2014/ARE-2013.pdf?bcsi_scan_A53BB446C5999838=1 http://www.undp.org/content/dam/undp/library/corporate/Transparency/2013_UNDP_Annual_Report_on_Disciplinary_Measures_EN.pdf http://www.undp.org/content/undp/en/home/operations/executive_board/documents_for_sessions/adv2014-annual.html

[18] http://www.unicef.org/about/execboard/files/09-15-accountability-ODS-English.pdf

[19] http://documents.wfp.org/stellent/groups/public/documents/newsroom/wfp220973.pdf