Introductie

Data Testing richt zich op het valideren van de kwaliteit, volledigheid en betrouwbaarheid van data binnen een oplossing. Dit is essentieel voor zowel operationele platformen zoals Dataverse als data-gedreven platformen zoals Microsoft Fabric.

In tegenstelling tot functionele testing ligt de focus hier op: data zelf in plaats van functionaliteit.

👉 Data Testing valideert of data correct wordt verwerkt, opgeslagen en weergegeven van bron tot eindresultaat.

---

Doel van Data Testing

• Valideren van datakwaliteit en consistentie
• Controleren van transformaties en business rules
• Verifiëren van mappings tussen systemen
• Detecteren van dataverlies of duplicaten
• Controleren van end-to-end dataflows
• Valideren van dataconsistentie binnen operationele systemen

👉 Focus ligt op juistheid, volledigheid en betrouwbaarheid van data.

---

Waar wordt Data Testing toegepast

🔹 Microsoft Fabric

• Data pipelines (ETL / ELT)
• Dataflows en notebooks
• Lakehouse / Warehouse
• Power BI datasets en rapportages

🔹 Power Platform / Dataverse

• Dataverse entiteiten en relaties
• Integraties met externe systemen
• Datamigraties

---

Wat wordt getest

• Data volledigheid (alle records aanwezig)
• Data correctheid (waarden kloppen)
• Data consistentie (geen conflicten)
• Transformaties en berekeningen
• Mappings tussen systemen
• Duplicates en referential integrity
• Relaties en referential integrity (bijv. Dataverse lookups)

---

Aanpak (stap voor stap)

🔹 1. Scope bepalen

• Identificeer databronnen
• Bepaal kritische datasets
• Definieer kwaliteitsregels

🔹 2. Testscenario’s definiëren

• Source → target validatie
• Transformatieregels controleren
• Edge cases meenemen

🔹 3. Data voorbereiden

• Gebruik representatieve datasets
• Maak testcases voor uitzonderingen

🔹 4. Validatie uitvoeren

• Vergelijk bron- en doelsystemen
• Controleer aantallen en waardes
• Valideer berekeningen

🔹 5. Analyse en logging

• Identificeer afwijkingen
• Analyseer root cause
• Documenteer bevindingen

---

Checklist Data Testing

🔹 Data kwaliteit

• Data is volledig
• Geen ontbrekende waarden
• Geen duplicaten

🔹 Transformaties

• Business rules correct toegepast
• Berekeningen kloppen
• Aggregaties correct

🔹 Mappings

• Velden correct gemapt
• Datatypes kloppen
• Geen dataverlies

🔹 Dataflows

• Source → target klopt
• Pipelines draaien succesvol
• Fouten worden gelogd

🔹 Rapportages

• Power BI data klopt
• KPI’s correct berekend
• Data komt overeen met bron

---

Best practices

• Test data vroeg in de pipeline (shift-left)
• Gebruik automatische validatie waar mogelijk
• Vergelijk bron- en doelsystemen actief
• Test met realistische datasets
• Monitor datakwaliteit continu

---

Relatie met test levels

• Tijdens System Testing → validatie van dataverwerking en datakwaliteit
• Tijdens User Acceptance Testing (UAT) → controle dat data aansluit bij businessverwachtingen
• Na deployment → verificatie dat data correct wordt geladen en verwerkt

👉 Data Testing zorgt ervoor dat data gedurende de gehele lifecycle correct, consistent en betrouwbaar blijft.

---

Relatie met andere testtypes

• Smoke testing → snelle validatie of een build testbaar is
• Regression testing → controle op bestaande functionaliteit na wijzigingen
• Integration testing → controle van samenwerking tussen componenten
• Data testing → validatie van datakwaliteit en dataverwerking
• Performance testing → controle van prestaties en schaalbaarheid
• Security testing → validatie van toegangsrechten en beveiliging

👉 Data testing ondersteunt het testproces door te garanderen dat data correct wordt verwerkt, opgeslagen en gebruikt binnen de solution.

---

Samenvatting

Data Testing valideert dat data correct wordt verwerkt binnen de oplossing en vormt een essentieel onderdeel van zowel operationele systemen als data-gedreven platformen.

👉 Zonder Data Testing is er geen betrouwbare werking van processen of analytics.