Agile Business Intelligence & Data Warehousing in de Publieke Sector

Agile Business Intelligence & Data Warehousing in de Publieke Sector

De klant

Het Europees Sociaal fonds (ESF) stimuleert Vlaamse organisaties om de arbeidsmarkt te versterken en de werkgelegenheid te vergroten. Het fonds helpt mensen omscholen naar een nieuwe job of begeleidt hen bij het zoeken naar een eerste baan. Bedrijven krijgen hulp bij de afstemming werk/privé voor de werknemers en de structuur van de arbeidsorganisatie. Ook maatschappelijk kwetsbare groepen, zoals laaggeschoolden, allochtonen of personen met een arbeidshandicap worden hierin betrokken. Daarnaast stimuleert het ESF-Agentschap organisaties om innoverend en transnationaal te werken.

De Europese Unie wordt geconfronteerd met een hele reeks nieuwe uitdagingen gaande van globalisering over nieuwe technologieën tot een vergrijzende bevolking. Om het hoofd te bieden aan deze potentiële gevaren voor de werkgelegenheid doet de EU beroep op het Europees Sociaal Fonds. ESF helpt mensen om zich aan te passen aan de veranderende arbeidsmarkt. Iedereen moet kunnen en willen werken: man en vrouw, jong en oud, laag- en hooggeschoold en dat onafhankelijk van de cultuur of afkomst.

Om de Vlaamse werkenden, werkzoekenden en organisaties te helpen zich te wapenen tegen de veranderende arbeidsmarkt ontvangt het ESF kapitaal van de Europese Unie en de Vlaamse overheid. Het Europees Sociaal Fonds Vlaanderen verdeelt deze middelen – in de vorm van subsidies – onder organisaties die de Vlaamse arbeidsmarkt stimuleren om werkzoekenden nieuwe kansen te geven en werknemers tevreden aan het werk te houden.

De uitdagingen

Het werkgelegenheidsbeleid van de EU-lidstaten wordt gecoördineerd door de Europese Unie. Europa ziet er nauwgezet op toe dat de lidstaten vooruitgang boeken in het behalen van hun Europa 2020-doelstellingen. Lidstaten die achterop raken krijgen aanbevelingen en moeten actie ondernemen. De EU kent zelf ook middelen toe aan de lidstaten om hen te helpen de Europa 2020-doelen en streefcijfers te behalen. Deze middelen komen uit de Europese Structuur- en Investeringsfondsen (ESIF). Het Europees Sociaal Fonds is een van die ESIF-fondsen en voor Vlaanderen veruit het belangrijkste.

Met de Europa 2020-strategie als overkoepelend kader heeft de EU vervolgens een aantal thematische doelen en investeringsprioriteiten gedefinieerd, een soort keuzemenu dat de basis vormt voor onderhandelingen tussen de Europese Commissie en de lidstaten over de prioriteiten en reikwijdte van de verschillende operationele ESIF-programma’s. Tijdens deze onderhandelingen wordt er een overeenkomst gevonden tussen wat Europa absoluut in het programma wil zien en wat de lidstaat zelf het meest prioritair vindt. Wat Vlaanderen prioritair vindt is terug te vinden in diverse beleidsdocumenten zoals het Vlaams Regeerakkoord, de beleidsnota’s van de ministers, Pact 2020, het Vlaams Hervormingsprogramma.

Zo komt uiteindelijk, op basis van deze Europese en Vlaamse beleidsdoelen, het ESF-programma tot stand. Dit programma investeert tussen 2014 en 2020 een klein miljard euro in de Vlaamse arbeidsmarkt: 378 miljoen daarvan wordt door het ESF gefinancierd.

De ESF-applicatie laat toe om alle oproepen en bijhorende projecten in zijn verschillende stadia (van opmaak tot afsluiting) in detail op te volgen. Het is een op maat geschreven dossierbeheersysteem. In deze applicatie zijn er al een aantal standaardrapporten voorzien.  Het belangrijkste rapport is de boordtabel die als belangrijkste instrument gebruikt wordt voor opvolging. In de levensloop van de applicatie zijn een aantal standaard operationele rapporten en meerdere honderden ad hoc queries geschreven die rechtstreeks de database benaderen. De hoeveelheid queries en soms lange uitvoeringstijden hadden gevolgen op de applicatieperformantie en -beschikbaarheid. Bovendien was het niet mogelijk om ad-hoc analyse door eindgebruikers te laten gebeuren.

Bijkomend was er nood aan geïntegreerde rapportering die gebruikt maakt van bijkomende databronnen. Door de VDAB worden maandelijks gegevens over opleidingen in het kader van projecten (MLP) van oproepen in Excel bezorgd.  Deze MLP-gegevens zijn gekoppeld aan een oproep en een project. Hierop wordt maandelijks gerapporteerd en op elk ogenblik zijn tussentijdse of eindrapporteringen mogelijk. Bovendien combineert deze rapportering MLP-gegevens met applicatiegegevens. Daardoor was telkens een tijdrovende, manuele verwerking nodig die hoofdzakelijk in Access gebeurde. Ook om bepaalde Parlementaire vragen te beantwoorden was het nodig dat gegevens werden aangevuld alvorens gerapporteerd kon worden. Ook deze verwerking gebeurde manueel in Access en Excel.

Met het nieuwe Operationele Programma 2014-2020 is ook de door Europa gevraagde rapportering veel uitgebreider geworden. Deze Annex rapporten bevatten zeer gedetailleerde financiële en operationele informatie, samengesteld uit verschillende databronnen. Ook naar de projectpromotoren en VDAB toe diende een uitgebreide rapportering mogelijk te zijn. 

Oplossing

In 2015 werd door het management de beslissing genomen om een oefening te doen waarin bekeken werd hoe de rapporteringsefficiëntie verhoogd kon worden. ESF Agentschap Vlaanderen beschikte op dat moment niet over een BI-architectuur. De rapporteringsnoden werden ingevuld door middel van de Microsoft Office suite, met name Excel en Access. Deze oplossing had zijn limieten bereikt op het vlak van onderhoudbaarheid en verwerking van datavolumes. Bovendien ging iedere rapportering met grote manuele verwerking gepaard, die met een geautomatiseerde oplossing vermeden kon worden. Het eindeloos samenvoegen van informatie in Access en Excel-sheets had ook gevolgen naar de betrouwbaarheid van de informatie. Iedere manuele stap verhoogde het risico op fouten.

Na een offerte vraag werd het aanbod van element61 weerhouden. Er werd gekozen voor een agile aanpak die inhield dat de behoeften en prioriteiten – uiteraard binnen het budgettaire kader – tijdens de loop van het project bijgestuurd konden worden. Ook de projectmanagement overhead werd zoveel mogelijk beperkt om het projectbudget zoveel mogelijk te kunnen inzetten op analyse-, ontwerp- en ontwikkeltaken. Er werd een model van coaching en co-development methodiek toegepast, die inhoudt dat medewerkers van ESF Agentschap Vlaanderen nauw betrokken werden bij alle stappen van het project en zelf ook een actieve rol bij de ontwikkeling gespeeld hebben.

Er werd gekozen om een data warehouse te voorzien waarin alle databronnen gecombineerd konden worden en zo extensieve, gedetailleerde rapportering en ad-hoc analyse mogelijk werden. Dit heeft als bijkomend voordeel dat de applicatie niet langer zwaar belast werd met queries. Deze data warehouse laag werd opgebouwd volgens de Kimball methodologie. Sterschema’s zijn opgebouwd uit meetwaardes en dimensies die context voorzien over de meetwaarde. De sterschema’s zijn ook specifiek voor rapportering gebouwd waardoor vroeger zeer tijdrovende queries nu snel kunnen worden uitgevoerd. Bovenop het data warehouse werd er een Microsoft Tabular SSAS cube model gebouwd waardoor het makkelijk is om ad-hoc analyse vragen te beantwoorden.

Gebruikte technologie

Dit datawarehouse werd opgebouwd met TimeXtender op een Microsoft SQL Server 2014. TimeXtender is een tool gebaseerd op Microsoft SQL Server die de implementatie van ETL sterk vereenvoudigd door de code te genereren. TimeXtender ondersteunt agile methodologie en de Kimball datawarehouse methodologie. Door alle metadata in TimeXtender bij te houden is het erg makkelijk om wijzigingen aan te brengen. Ook gebruikers die niet beschikken over doorgedreven SQL-kennis kunnen makkelijk sterschema’s bouwen door middel van een drag en drop interface. Standaard levert TimeXtender een project repository, volledige documentatie, versiebeheer en een grafische drag en drop user interface.

Als front-end werd door de klant gekozen om voorlopig te gegevens te ontsluiten met Microsoft Excel. Het is de bedoeling om in een latere fase de standaard front-end tool te gaan gebruiken van de Vlaamse Overheid.

element61 verantwoordelijkheden

element61 was in het ESF project betrokken voor de volgende rollen en activiteiten, in nauwe samenwerking met het ICT en business:

  • Introductie van Business Intelligence terminologie & concepten
  • Begeleiding bij het maken van de juiste keuzes met betrekking tot de BI-architectuur en weerhouden oplossingen
  • Installatie en begeleiding van de installatie van de verschillende tools (o.a. Microsoft SQL Server 2014, TimeXtender)
  • SQL Server expertise
  • Ontwerp en ontwikkeling van het data warehouse
  • Ontwerp, ontwikkeling en ontsluiten van de sterschema's
  • Begeleiding bij gebruik van TimeXtender
  • Opzetten van voorlopige rapportering in Excel

Conclusie

Het opzetten van een data warehouse heeft ervoor gezorgd dat geïntegreerde rapportering waarin verschillende databronnen gecombineerd worden erg eenvoudig is geworden. Het data warehouse heeft de manuele werklast in het combineren van data en opmaken van rapporten zeer sterk verminderd. Bovendien heeft de rapportering geen impact meer op de performantie van de ESF-applicatie. Door gebruik te maken van het data warehouse is bijkomend het aantal foute rapporteringen gedaald omdat iedereen van dezelfde gegevens gebruik maakt.

In een volgende fase zal gewerkt worden om de informatie die nu eenvoudig ontsloten kan worden te presenteren in visueel aantrekkelijke dashboards en rapporten.