Microsoft Data Quality Services (DQS) wasin 2012 een volledige nieuwe feature in SQL Server 2012. Kortgezegd biedt DQS de mogelijkheid om de kwaliteit van je data te verifiëren en verbeteren. Je kan een Data Quality "knowledge base” aanleggen en deze dan gebruiken om tal van kritische datakwaliteits-acties, zoals verbeteren, verrijken, standaardiseren en ontdubbelen, uit te voeren.
Data Quality Services 2012 geeft een data steward of IT professional de mogelijkheid om de kwaliteit van de bedrijfsdata te onderhouden. DQS maakt gebruik van een user interface waar men de knowledge base kan beheren door domeinen aan te maken en regels te koppelen aan deze domeinen.
Voorbeelden van dergelijke regels zijn:
- Verifieer data type
- Verifieer data formaat (bijvoorbeeld bij e-mail adressen)
- Gebruik synoniemen om dubbele data te vermijden
- Afkortingen omzetten naar volledige omschrijvingen (bijvoorbeeld "BE" omzetten in "België")
- Fuzzy lookup met een externe data set
In een tweede stap kan je deze knowledge base toepassen op een bepaalde bron van je data. Hiervoor moet je de kolommen uit je bron mappen met de domeinen die zijn gedefinieerd in de knowledge base. Je kan dan de regels toepassen op de data en de resultaten analyseren. Bij deze analyse heb je de mogelijkheid om correcties, die DQS voorstelt, al dan niet te accepteren.
Eventueel kan je de gecorrigeerde data nog exporteren naar een andere data source. De eerste iteratie van dit Data Quality project resulteert in een Data Quality knowledge base. Deze kan dan gebruikt worden in SSIS ( SQL Server Integration Services ) via de "DQS” data flow task om zo je data automatisch op te schonen, vooraleer de data wordt doorgeladen naar je data warehouse.
In een BI omgeving is de kwaliteit van de data een kritische succes factor, want foutieve data leidt tot foutieve beslissingen. De ontwikkelkost van dergelijke oplossing is omgekeerd evenredig met de kwaliteit van de data. Tot op heden was een tool die het capteren en sharen van kennis, in een continue proces tussen business en IT, nog niet aanwezig in het Microsoft BI platform. Met deze nieuwe oplossing, hebben we nu de mogelijkheid om vroeger gedefinieerde data kwaliteitsregels in SSIS te centraliseren en beheren door de eindgebruiker en te hergebruiken tussen verschillende projecten.
Contacteer ons
voor meer informatie over Microsoft Data Quality Services 2012.