Microsoft Extended ETL Implementations

Als we kijken naar de tijd die nodig is om een BI oplossing te ontwikkelen, dan zal het ontwikkelen van de ETL laag hierbinnen typisch een groot percentage opeisen. Niet alleen omdat dit een arbeidsintensief proces kan zijn, maar meer nog door de belangrijkheid van de juistheid van de data binnen en tussen databronnen onderling en de complexiteit hiervan.

Gebaseerd op de ervaring die element61 heeft met het ontwikkelen van ETL oplossingen en met Microsoft's ETL tool, SQL Server Integration Services, hebben we een standaard methodologie kunnen ontwikkelen om ETL componenten te bouwen. Deze methodologie omvat niet alleen een gestandaardiseerde manier om de beschikbare componenten binnen SSIS te gebruiken volgens de "industry best practices”, maar gaat ook verder dan de puur technische aanpak. Binnen onze methodologie heeft element61 ook de manier waarop met logging en error-handling wordt omgegaan gestandaardiseerd. Zoals het opvangen van ontbrekende lookups en de impact hiervan op het vervolg van de laadprocessen. Gebruikers kunnen dit alles opvolgen en monitoren op dagelijkse basis.

Al deze kennis en jaren van ervaring met het ontwikkelen van ETL componenten, is niet alleen gebundeld in de door ons ontwikkelde methodologie, maar resulteert ook in een set van SSIS templates, als een elementary excel-erator. element61 gebruikt deze om het ontwikkelen van verschillende ETL componenten bij een klant te standardiseren en versnellen.

Enkele voordelen van deze Integration Services templates :

  • Standaardisatie van ontwikkelingen: verzekert dat alle packages op een uniforme manier worden ontwikkeld, onafhankelijk van de ontwikkelaar.
  • Standaardisatie van lookup verwerking: alle lookups van alle klanten die SSIS als ETL tool gebruiken worden op dezelfde manier afgehandeld. Vooral voor ontbrekende lookups is dit zeer handig.
  • Standaardisatie van algemene logging: alle packages produceren dezelfde gegevens met betrekking tot logging.
  • Standaardisatie van monitoring: omdat alle logging en error-handling op dezelfde manier wordt uitgevoerd, heeft element61 ook een set van standaard rapporten bovenop dit alles gebouwd. Deze geeft de ontwikkelaar de nodige informatie met betrekking tot data kwaliteit tijdens de ontwikkelingen, maar ze kunnen ook eenvoudig worden gebruikt door de mensen die nadien de ETL loads moeten monitoren.
  • Uitbreidbaarheid: ook al bieden de SSIS templates een goed vertrekpunt bij het ontwikkelen van een ETL oplossing, is niet elke klant identiek. In 80% van de gevallen zullen deze packages meer dan voldoende zijn. Voor de overige 20% kunnen ze worden gebruikt als startpunt en worden uitgebreid met extra functionaliteit waar nodig.

Contacteer ons voor meer informatie over Microsoft Extended ETL implementations.