Datamigratie

Inhoudsopgave

1. Wat is datamigratie?
2. Fases van ETL
   1. Extract-fase
   2. Transform-fase
   3. Load-fase
3. Wie doet de datamigratie en met welke tools?
4. Soort migratie afhankelijk van bron- en doelsystemen
5. Veelvoorkomende problemen bij een migratie

Waaruit bestaat datamigratie?

Datamigratie is het proces waarbij data van het ene systeem naar het andere worden overgezet. De redenen voor deze migratie zijn divers: verandering van softwareOnder software verstaan we alle programma’s en applicaties die ervoor zorgen dat een informatiesysteem naar behoren werkt. Dit zijn niet-materiële componenten, in tegenstelling tot hardware. Software kan je dus niet aanraken, maar is wel nodig om een informatiesysteem taken te laten uitvoeren. Deze programma’s zorgen er onder andere voor dat een computer gebruikt kan worden voor tekstverwerking, om te surfen op het internet of om video’s te bewerken., een update van de databaseIn een database, ook wel gegevensbank of databank genoemd, worden gegevens verzameld, georganiseerd en gelinkt aan elkaar. Vanaf gekoppelde computers kunnen er zo snel data worden opgevraagd. Via het databasemodel zijn tegenwoordig ook uitgebreide analyses mogelijk. De meest moderne databases zijn tot slot ook in staat om gespecialiseerde rapportages te maken van complexe gegevens., de installatie van een nieuw datawarehouseIn haar originele betekenis betekent datawarehousing het opslaan van informatie. Bill Inmon, de vader van datawarehousing, noemde het “een onderwerpgeörienteerde, geïntegreerde, tijdsafhankelijke gegevensverzameling die aan de basis ligt van managementbeslissingen.” (Inmon, 1992, eigen vertaling) Dit is tot op de dag van vandaag de meest gebruikte omschrijving van het begrip. Toch geeft Inmon de gegevensverzameling meteen een doel: zakelijke beslissingen nemen. Daarmee ligt datawarehousing aan de basis van Business Intelligence (BI). De nauwe verwantschap tussen de twee begrippen heeft ertoe geleid dat de termen DWH en BI naast elkaar bestaan, maar in hun praktische invulling vaak synoniemen zijn., etc. Door data elektronisch te migreren, zorgen bedrijven ervoor dat de overgang naar het nieuwe systeem vlot verloopt. Ze hoeven de data uit oude systemen niet handmatig over te zetten. Dit levert veel tijdwinst op. Bovendien is de kans dat data zoekraken kleiner.

Volgens een studie van Gartner uit 2020 gaat er in 83% van de datamigraties iets mis, of lopen deze vertraging op.

Uit welke fases bestaat het ETL-model?

Bij een datamigratie moeten de gegevens een ETL-proces doorlopen (Extract, Transform and Load). Bij ETL worden de data eerst geëxtraheerd vanuit de originele bron. Daarna worden ze gecontroleerd en getransformeerd in een formaat dat vlot kan worden geüpload in het nieuwe systeem.

Extract

De data (zowel gestructureerde als ongestructureerde) worden uit de bronsystemen gehaald. Deze data kunnen komen uit: databases, juridische systemen, cloud-omgevingenCloud computing is het gebruik van software of opgeslagen gegevens (database) via een netwerk, meestal het internet. Bedrijfssoftware of een database in de cloud kan op uw eigen servers worden geïnstalleerd of op de servers van een derde partij. Een bedrijf hoeft bovendien niet volledig voor de cloud of het lokale model te kiezen: lokaal geïnstalleerde software kan in veel gevallen perfect gebruik maken van een online database., lokaal geïnstalleerdeLetterlijk vertaald betekent “on-premise” in het Nederlands “op locatie” of “ter plaatse”. Wanneer iets dus on-premise staat of gebeurt, wordt er verwezen naar de eigen locatie. In een bedrijfscontext kan je dit zien als de fysieke ruimte van het eigen bedrijf. Wanneer we over software spreken, betekent een installatie on-premise dat de software binnen de eigen IT-infrastructuur wordt geplaatst. De software wordt hierbij op de eigen servers geïnstalleerd, en niet, zoals het geval is bij cloud computing, op externe servers. software en serversEen server dient voor het opslaan, distribueren en verstrekken van informatie. Voor het verstrekken van informatie wordt het model client-server gebruikt. Hierbij vraagt een computer, webpagina of applicatie (de client) de informatie op bij de server. Deze laatste controleert of de client bevoegd is om de informatie te ontvangen., datawarehousesIn haar originele betekenis betekent datawarehousing het opslaan van informatie. Bill Inmon, de vader van datawarehousing, noemde het “een onderwerpgeörienteerde, geïntegreerde, tijdsafhankelijke gegevensverzameling die aan de basis ligt van managementbeslissingen.” (Inmon, 1992, eigen vertaling) Dit is tot op de dag van vandaag de meest gebruikte omschrijving van het begrip. Toch geeft Inmon de gegevensverzameling meteen een doel: zakelijke beslissingen nemen. Daarmee ligt datawarehousing aan de basis van Business Intelligence (BI). De nauwe verwantschap tussen de twee begrippen heeft ertoe geleid dat de termen DWH en BI naast elkaar bestaan, maar in hun praktische invulling vaak synoniemen zijn., analytische systemen (bijvoorbeeld BI-systemenBedrijven die gebruik maken van business intelligence, analyseren grote hoeveelheden ‘ruwe’ data, met als doel daarmee waardevolle informatie te verkrijgen voor het maken van strategische en operationele bedrijfsbeslissingen (business insights). Deze zogenaamde ruwe data is meestal afkomstig uit verschillende softwaresystemen binnen het bedrijf, zoals een ERP, HRM, DMS of gespecialiseerde financiële software. ), etc.

Transform

De transformatiefase zorgt ervoor dat de gegevens correct, precies, compleet en betrouwbaar zijn. Dubbele, onvolledige, incorrecte of gemanipuleerde data worden eruit gefilterd en eventueel gecorrigeerd. Daarna wordt ervoor gezorgd dat de data compatibel zijn met het nieuwe systeem. Transformatie bestaat uit de volgende subprocessen:

• Schoonmaak van de data: anomalieën, incoherente data en ontbrekende waarden worden geïdentificeerd en gecorrigeerd.
• Standaardisering van de data: de gegevens krijgen allemaal dezelfde vorm. Dit gebeurt door het toepassen van normen. Deze normen kunnen wettelijk vastgelegd zijn, zoals het Toepassingsprofiel Metadatering Lokale Overheden, maar ook door het eigen bedrijf opgesteld worden. Een van de meest voorkomende vormen om data te standaardiseren is door de dragers te formatteren.
• Elimineren van duplicaten: dubbele gegevens worden geïdentificeerd en de doublures worden verwijderd.
• Classificatie van de data volgens de categorieën die het bedrijf heeft bepaald.
• Andere subprocessen: eventueel moeten er nog extra subprocessen plaatsvinden, zoals een aanpassing van de dataschema’s (bijvoorbeeld herverdelen van kolommen), het linken van verschillende bronnen, etc.

Load

Het uploaden van de data in het nieuwe systeem is de laatste stap in het ETL-proces. De data kunnen op twee manieren worden geüpload:

• • Full load: bij deze methode worden alle data tegelijkertijd geüpload in het nieuwe systeem. Het nadeel hierbij is dat, zodra er een foutje in de upload sluipt, dit vaak een kettingreactie veroorzaakt. Eén verkeerd getransformeerd gegeven kan er namelijk voor zorgen dat alle daaraan gelinkte data ook verkeerd worden geladen. Daarom is het erg belangrijk om vooraf proeven te doen. Deze proeven kunnen in een testomgeving gedaan worden, ook wel gekend als sandbox. Er kan ook voor worden gekozen om kleine uploads als proef te doen in het nieuwe systeem, om zo het gedrag van de data en het proces na te gaan.

    De full-load-methode wordt meestal gebruikt door bedrijven die een Big Bang migration uitvoeren. Bij dit migratiemodel worden alle data overgezet binnen een vooraf vastgelegde tijdspanne en op een vooraf bepaald moment. Door de hele migratie strikt te plannen, kan de migratietijd erg beperkt worden. Het nadeel is dat het bedrijf de data en gerelateerde systemen tijdens de hele upload-periode niet kan gebruiken.

  • Incremental load: bij deze methode worden data in kleine hoeveelheden geüpload in het nieuwe systeem. Om doublures te voorkomen, worden de data telkens vergeleken met de data die al beschikbaar zijn in het nieuwe systeem. Deze methode is veiliger, want er is minder kans op een kettingreactie aan fouten. Het nadeel van deze methode is dat ze langer duurt.

    De incremental-load-methode wordt meestal gebruikt bij bedrijven die een Trickle migration uitvoeren. Bij deze methode worden de data per fase geüpload in het nieuwe systeem. Werknemers blijven parallel nog het oude systeem gebruiken. Hierdoor wordt de downtime van het bedrijf gelimiteerd, maar duurt het hele proces wel langer. De fasering moet bij dit soort migratie heel goed gestructureerd worden, anders zou het wel eens kunnen gebeuren dat een bepaalde ‘batch’ van data tussen de mazen van het net door glipt.

Hulpmiddelen en verantwoordelijken voor datamigratie

Alle fases van het ETL-proces kunnen handmatig door werknemers van het eigen bedrijf worden uitgevoerd, maar organisaties kunnen zich hierbij ook laten helpen. In de eerste plaats bestaan er softwaretools voor ETL. Deze applicaties worden aangeboden door de leveranciers van onder andere, ERPEen ERP-systeem brengt belangrijke informatie van verschillende bedrijfsafdelingen samen. Actuele gegevens over de productie, in- en verkoop, logistiek en administratie worden gekoppeld. Automatische werkprocessen verhogen de productiviteit, en verlagen de kosten., CRMCustomer Relationship Management (CRM) is de term die gebruikt wordt voor het beheer van klantrelaties binnen een bedrijf. Een CRM-systeem wordt gebruikt voor de opslag, analyse en inzet van alle relevante klantinformatie., DMSVeel bedrijven hebben moeite om documenten terug te vinden, erin samen te werken, of ze correct te archiveren. Een Document Management Systeem kan zorgen voor meer orde en efficiëntie in het beheer van documenten en documentstromen. Maar hoe doet deze software dat precies?, HRMHRM staat voor Human Resources Management. Software voor HRM stroomlijnt en automatiseert personeelszaken. Meestal hebben organisaties met veel personeel een speciale personeelsafdeling, oftewel een HR-afdeling. Bij Human Resource Management ligt de focus op de aandacht voor het personeel, het registreren van verzuim en van gewerkte uren, salaris en verlofaanvragen. Er zijn softwaresystemen op de markt waardoor deze HRM-zaken sneller en vloeiender kunnen verlopen. Vraag kosteloos de HRM Wijzer aan voor een vergelijking tussen verschillende soorten HRM-systemen. en QMSQuality Management, ook wel kwaliteitsbeheer in het Nederlands, bestaat uit het streven naar de hoogste kwaliteit van een product, productieproces, dienst of organisatie. Het is een overkoepelende vorm van bedrijfsbeheer die er op toeziet dat er steeds op een uniforme en kwaliteitsvolle manier wordt gewerkt.-software.

Een tweede mogelijkheid is dat de leverancier het ETL-proces voor zijn rekening neemt. In zo’n geval is het belangrijk dat er binnen de organisatie een persoon is, vaak de CIO, die de leverancier uitlegt hoe de migratie moet verlopen. Deze persoon moet ook controleren of:

• • • de datacategorieën die het bedrijf heeft vastgelegd gerespecteerd worden;
    • en dat de leverancier geen enkele configuratie overslaat, bijvoorbeeld een klantenprofiel. Bij migraties komt het namelijk vaak voor dat de originele registratiedatum van gegevens verloren gaat, en dat daarvoor in de plaats de datum van de migratie verschijnt.

Tussen welke systemen kunnen data migreren?

Afhankelijk van de systemen waartussen data zich moeten bewegen, zal de migratie bepaalde eigenschappen hebben. De mogelijkheden zijn:

• • • Storage migration: bij deze migratie worden data van het ene opslagmiddel naar het andere overgezet. Dit kan gaan over hardwareDe hardware van een informatiesysteem is de materiële component, alles wat je fysiek kan aanraken. Voorbeelden hiervan zijn de computermuis, het scherm, het toetsenbord, de processor, de harde schijf etc. Om een informatiesysteem te doen werken, moet deze hardware aangedreven worden door verschillende programma’s, die niet materieel zijn. Zo is er een besturingssysteem nodig (zoals Windows of MacOS), en wordt er vaak extra software geïnstalleerd voor de uitvoering van specifieke taken. Dit kunnen eenvoudige taken zijn zoals tekstverwerking, maar ook video-editing of zelfs de gehele Enterprise Resource Planning. van het eigen bedrijf (hard disk, USB-stick, lokale serverLetterlijk vertaald betekent “on-premise” in het Nederlands “op locatie” of “ter plaatse”. Wanneer iets dus on-premise staat of gebeurt, wordt er verwezen naar de eigen locatie. In een bedrijfscontext kan je dit zien als de fysieke ruimte van het eigen bedrijf. Wanneer we over software spreken, betekent een installatie on-premise dat de software binnen de eigen IT-infrastructuur wordt geplaatst. De software wordt hierbij op de eigen servers geïnstalleerd, en niet, zoals het geval is bij cloud computing, op externe servers. etc.) of cloud-omgevingen. In de meeste gevallen moeten de opslagplaatsen eerst geformatteerd worden, voordat er kan worden overgegaan tot een migratie.
    • Database migration: bij deze migratie worden data overgezet van de ene database naar de andere. Dit kan nodig zijn wanneer een bedrijf verandert van databaseleverancier (bijvoorbeeld van MySQL van Oracle naar SAP HANADe naam HANA is afgeleid van High performance, Analytical, Appliance. Het is een in-memory relationeel databasesysteem voor het verwerken van grote hoeveelheden real-time gegevens. Het SAP HANA-platform maakt het voor organisaties mogelijk om snellere en slimmere besluiten te nemen, dankzij de actuele analyses en rapportages in combinatie met aanzienlijk snellere bedrijfsprocessen. De database is zowel in de cloud als on-premise beschikbaar. De cloud-variant wordt ook wel HANA Enterprise Cloud (HEC) genoemd.), of wanneer de software van het databasesysteem geüpdatet wordt. Bij dit proces is het belangrijk dat een bedrijf extra aandacht besteed aan het transformeren van de originele data. Als deze transformatie niet volledig correct verloopt, zal de nieuwe database of de geüpdate versie het formaat van de data niet erkennen.

      Let op: bij de keuze voor een databasesysteem moeten bedrijven niet over één nacht ijs gaan. Veel databasesystemen structureren de data op een vergelijkbare manier. Toch heeft elke database enkele unieke kenmerken. In de ERP WijzerDe ERP Wijzer is een essentiële leidraad voor projectleiders die zich oriënteren op een (nieuw) softwarepakket voor Enterprise Resource Planning. U vindt er onder andere: prijzen, verschillende leveranciers, functionaliteiten, een pakkettenvergelijk, tips en belangrijke valkuilen. vindt u een vergelijking tussen verschillende databasesystemen.

    • Application migration: bij deze migratie worden data gemigreerd tussen applicaties (bijvoorbeeld van SAP Business OneSAP Business One is een ERP-pakket voor het midden- en kleinbedrijf. Het pakket is beschikbaar in ruim 150 landen en meer dan 30 talen. SAP Business One is het meest betaalbare instapmodel van SAP’s ERP-oplossingen. De bedrijfsoplossing verzamelt automatisch alle bedrijfsinformatie binnen één systeem, zodat alle gegevens inzichtelijk en toegankelijk worden gemaakt. Binnen de standaard software kan het systeem gedetailleerd en naar eigen wens worden ingericht. De oplossing is geschikt voor MKB-organisaties met een maximum tot ongeveer 150 werknemers en met een jaaromzet onder de 70 miljoen euro. Met dit ERP-systeem is een volledige integratie mogelijk van end-to-end business. Daarnaast is het pakket schaalbaar voor snel groeiende bedrijven. naar Microsoft Dynamics 365Microsoft Dynamics 365 is een volledige cloud-oplossing, opgebouwd uit verschillende applicaties die af te nemen zijn in SaaS-vorm. Microsoft benadrukt zelf vooral de combinatie van ERP en CRM. Het bedrijf belooft een vergaande integratie met Office 365 en Power BI. In hoeverre worden deze beloftes ingelost? Voor wie is Dynamics 365 het overwegen waard? Wat kan het pakket verwezenlijken waar voorgaande versies te kort schoten?). Bij een verandering van applicaties van verschillende leveranciers zal er altijd een migratie moeten plaatsvinden. Als het om een nieuwe applicatie van dezelfde leverancier gaat, is dit niet altijd nodig. Alleen als het datamodel van de nieuwe applicatie anders is, moet er ook bij applicaties van dezelfde leverancier een migratie worden uitgevoerd. Een bedrijf dat van SAP R/3 (SAP Business All-in-OneHet ERP-pakket SAP Business All-in-One (BAiO) is geschikt voor middelgrote bedrijven die een branche-specifiek ERP-systeem zoeken. Meestal wordt het pakket geïnstalleerd bij organisaties met minimaal 50 medewerkers. SAP Business All-in-One heeft de verfijning van SAP Business Suite, maar kent een snellere implementatietijd en heeft minder hoge beheerskosten.) verandert naar SAP S/4 HANA zal bijvoorbeeld een migratie moeten uitvoeren, want SAP heeft zijn datamodel volledig veranderd.
    • Business Process Management migration: bij deze migratie worden data uit bedrijfsprocessen overgezet. Het is de ingewikkeldste migratievorm, want ze bestaat uit het migreren van gegevens tussen systemen die onderling erg verschillen. Dit kan bijvoorbeeld het geval zijn bij een migratie van een desktop-applicatie naar een database, of van een database naar een software die lokaal geïnstalleerd is. Dit is vaak nodig in het geval van fuserende bedrijven, die tot dan toe verschillende systemen gebruikten. Over het algemeen wordt deze migratie uitgevoerd met behulp van BPM-hulpmiddelenBusiness Process Management (BPM) wordt gebruikt om alle structuren, processen en workflows binnen een bedrijf duidelijk in kaart te brengen, te evalueren en te optimaliseren. Via een BPM-aanpak worden bedrijfsprocessen vanaf een overkoepelend niveau geanalyseerd, gevisualiseerd en eventueel ook geregisseerd..

Welke problemen duiken het vaakst op bij datamigratie?

Bij datamigratie denken veel mensen aan eenvoudig ‘knip-en-plakwerk’. Door deze onderschatting duiken er wel eens problemen op. De meest voorkomende fouten zijn de volgende:

• 1. Geen back-ups maken van alle data die gemigreerd zullen worden: voordat er met een datamigratie begonnen wordt is het erg belangrijk dat een bedrijf een back-upBack-ups zijn kopieën van data. Deze kopieën worden bewaard op een andere plaats dan de originele data, zoals op externe servers, een externe harde schijf, in een datacenter via een cloudservice etc. Zo kunnen de data steeds worden teruggehaald, mochten ze op hun originele locatie verloren gaan of gestolen worden. Het maken van back-ups is een van de belangrijkste elementen van IT-security. De meeste bedrijven maken ze sowieso, maar back-ups zijn ook verplicht voor organisaties die een bepaalde ISO-norm willen behalen, zoals de norm ISO 27001 voor informatiebeveiliging. maakt van de betreffende data. Als dit niet gebeurt, en er gaat iets mis bij de migratie, gaan deze data verloren. Er kan een menselijke fout gemaakt worden, maar ook zaken die het bedrijf niet in de hand heeft, kunnen ervoor zorgen dat data verloren raken. Denk hierbij aan een uitval van de elektriciteit of de internetverbinding.
  2. Zich er niet van vergewissen dat de data voldoen aan de voorwaarden van het nieuwe systeem: bij het overzetten van data moet er eerst en vooral gecontroleerd worden of het formaat van de data compatibel is met het nieuwe systeem. Als het om hetzelfde datamodel gaat (vaak bij dezelfde leverancier), is het niet nodig een ETL-proces te doorlopen. In dit geval is het voldoende een vereenvoudigd protocol te volgen, het FTP (File Transfer Protocol). Als de datamodellen echter verschillend zijn, moeten wél alle stappen van het ETL-proces minutieus worden opgevolgd.

  3. Geen rekening houden met de downtime: bij een implementatie zal er bijna altijd een tijdspanne zijn waarin geen van beide systemen beschikbaar is. Tijdens deze downtime kunnen er namelijk geen gegevens worden opgeslagen. De duur van deze downtime hangt af van de hoeveelheid data die er moeten worden gemigreerd, en de complexiteit van de datatransformatie. Als er bij de migratie bovendien een cloudsysteem komt kijken (als bron- of doelsysteem), is ook de internetsnelheid een bepalende factor.

     Bijvoorbeeld: in een bedrijf neemt de migratie van e-mails van de ene cloudserver naar de andere twee uur in beslag. Maar, als het gehele intranetEen intranet is een privénetwerk binnen een organisatie waartoe uitsluitend medewerkers toegang hebben. Dit netwerk kan bestaan uit gekoppelde Local Area Networks (LAN) of eventueel zelfs Wide Area Networks (WAN’s). Via een gateway hebben gebruikers van het intranet ook toegang tot het reguliere internet, zij het soms met bepaalde beperkingen. van het bedrijf gemigreerd moet worden naar een andere server, dan kan de downtime oplopen tot 48 uur. Veel bedrijven kiezen ervoor om grote migraties in het weekend te laten plaatsvinden, wanneer er minder of niet gewerkt wordt. Dit geldt natuurlijk niet voor alle migraties. Een bedrijf met een webshopE-commerce, ook wel e-business genoemd, omvat alle vormen van online handelen. De meeste mensen denken direct aan een webshop voor consumenten, maar de term wordt ook gebruikt voor bijvoorbeeld de financiële transacties die tussen banken plaatsvinden. In die laatste betekenis gaat de benaming terug tot in de jaren 70. zal liever op werkdagen migreren (eventueel ‘s nachts), omdat klanten in het weekend juist veel aankopen doen.

  4. Geen tests uitvoeren in het nieuwe systeem voordat het oude wordt verwijderd: voordat een oud systeem (met de originele data) verwijderd wordt, moet er worden nagegaan of alle data daadwerkelijk zijn overgezet, en of ze bruikbaar zijn in het nieuwe systeem. Controleer hierbij of ze kunnen worden geopend en (indien nodig) bewerkt. Om dit snel te controleren kan het volgende trucje worden toegepast: zoek het jongste en oudste gegeven in het nieuwe systeem en probeer deze te openen en/of bewerken. Als deze data aanwezig zijn, en ze kunnen worden gebruikt, dan is dit normaal gesproken ook het geval voor alle data ertussenin. Controleer ook zeker data van verschillende categorieën. Zo weet u dat elke categorie correct geconverteerd is. Als het doelsysteem een groot systeem is, kunnen er bovendien vaak geautomatiseerde proeven worden gedaan.