Duplicate Detection Rules helpen bij het herkennen van mogelijke dubbele records binnen Dataverse.
Ze vormen een belangrijke eerste verdedigingslinie voor het bewaken van datakwaliteit en ondersteunen gebruikers bij het voorkomen van dubbele gegevens.
Duplicate Detection Rules zijn onderdeel van de standaardfunctionaliteit van Dataverse en kunnen worden toegepast op onder andere Accounts, Contacten, Leads en custom tabellen.
Preventing duplicates is easier than cleaning them up afterwards.
Duplicate Detection Rules zijn een hulpmiddel voor gebruikers en geen garantie tegen duplicaten.
Dataverse toont bij een mogelijke match een waarschuwing, maar de gebruiker kan in veel gevallen alsnog doorgaan met opslaan.
Hierdoor kunnen nog steeds dubbele records ontstaan wanneer:
waarschuwingen worden genegeerd
imports duplicaten bevatten
integraties duplicaten aanmaken
gebruikers onvoldoende controleren
👉 Zie Duplicate Detection daarom als een ondersteuning voor datakwaliteit en niet als een technische blokkade tegen duplicaten.
Voor kritieke gegevens zoals:
KvK Nummer
BTW Nummer
Externe Relatienummers
Personeelsnummers
wordt een Alternate Key aanbevolen zodat duplicaten technisch onmogelijk worden gemaakt.
Deze richtlijnen ondersteunen teams bij:
Duplicate Detection Rules controleren of een record mogelijk al bestaat.
Tijdens het aanmaken of wijzigen van gegevens vergelijkt Dataverse records op basis van vooraf gedefinieerde criteria.
Contact
Email Address
john.doe@contoso.com
Bestaat hetzelfde e-mailadres al?
Dan kan Dataverse een waarschuwing tonen.
Dubbele gegevens leiden vaak tot problemen zoals:
Contoso B.V.
en
CONTOSO BV
kunnen onbedoeld als twee klanten worden geregistreerd.
Dataverse vergelijkt records op basis van één of meerdere criteria.
Bij een mogelijke match:
Duplicate Detection voorkomt niet automatisch dat records worden opgeslagen.
De gebruiker kan in veel gevallen alsnog doorgaan.
Duplicate Detection Rules zijn geschikt wanneer:
✅ Gebruikers handmatig gegevens invoeren
✅ Datakwaliteit belangrijk is
✅ Records uniek moeten zijn
✅ Imports regelmatig plaatsvinden
✅ Integraties nieuwe gegevens aanmaken
Duplicate Detection Rules zijn niet geschikt voor:
❌ Harde technische validaties
❌ Verplichte uniciteit
❌ Complexe vergelijkingslogica
❌ Fuzzy matching
| Situatie | Oplossing |
|---|---|
| Volledige uniciteit vereist | Alternate Key |
| Technische validatie | Plugin of Custom API |
| Complexe matching | Maatwerkvalidatie |
| Externe datakwaliteitoplossingen | Data Quality Service |
Een goede duplicatieregel gebruikt betekenisvolle gegevens die een record uniek identificeren.
Email Address
of
Voornaam + Achternaam + Geboortedatum
KvK Nummer
of
BTW Nummer
Extern Relatienummer
Naam
alleen
of
Voornaam
alleen
Deze waarden zijn vaak niet uniek.
Een Duplicate Detection Rule bestaat uit:
Per criterium wordt bepaald:
Contact
Contact
Email Address
Exact Match
Wanneer twee contacten hetzelfde e-mailadres hebben wordt een waarschuwing getoond.
Een duplicatieregel wordt pas actief nadat deze is gepubliceerd.
✅ Test de regel eerst in DEV
✅ Controleer de resultaten
✅ Publiceer pas na validatie
Niet-gepubliceerde regels worden niet gebruikt.
Naast realtime controles kan Dataverse bestaande data analyseren.
Een Duplicate Detection Job levert:
Wanneer duplicaten worden gevonden kunnen records vaak worden samengevoegd.
✅ Behoud van relaties
✅ Minder dubbele gegevens
✅ Betere rapportages
✅ Hogere datakwaliteit
Deze twee concepten worden regelmatig door elkaar gehaald.
| Onderwerp | Duplicate Detection | Alternate Key |
|---|---|---|
| Doel | Waarschuwen | Blokkeren |
| Gebruiker kan doorgaan | Ja | Nee |
| Datakwaliteit | Ondersteunend | Afdwingend |
| Technische uniciteit | Nee | Ja |
| Integraties | Beperkt | Sterk aanbevolen |
Gebruik:
✅ Duplicate Detection voor gebruikersbegeleiding
✅ Alternate Keys voor technische uniciteit
Duplicate Detection heeft impact op prestaties.
✅ Gebruik alleen relevante regels
✅ Gebruik betekenisvolle criteria
✅ Beperk onnodig complexe combinaties
✅ Test bij grote datasets
🚫 Grote aantallen actieve regels
🚫 Matching op te veel velden
🚫 Regels zonder duidelijke businesswaarde
Duplicate Detection is slechts één onderdeel van datakwaliteit.
Een complete aanpak bestaat uit:
Voorkomen is altijd goedkoper dan opschonen.
✔ Gebruik duidelijke unieke criteria
✔ Controleer bestaande globale regels
✔ Gebruik Alternate Keys waar uniciteit verplicht is
✔ Test regels op realistische datasets
✔ Plan periodieke Duplicate Detection Jobs
✔ Analyseer gevonden duplicaten
✘ Alleen naam-gebaseerde matching
✘ Te veel actieve regels
✘ Vergeten publiceren
✘ Onnodige overlap tussen regels
✘ Duplicate Detection gebruiken als vervanging van Alternate Keys
| Onderwerp | Relatie |
|---|---|
| Entity Guidelines | Ondersteunt datakwaliteit binnen het datamodel |
| Choices | Zorgt voor consistente gegevensinvoer |
| Business Rules | Ondersteunt aanvullende validaties |
| Integrations | Vereisen vaak unieke identificatie |
| Alternate Keys | Dwingen technische uniciteit af |
| Data Quality | Duplicate Detection vormt onderdeel van een bredere kwaliteitsstrategie |
Duplicate Detection Rules helpen bij het herkennen van mogelijke dubbele records binnen Dataverse.
Door:
ontstaat een oplossing die:
👉 Duplicate Detection Rules vormen een belangrijke ondersteuning voor datakwaliteit, maar vervangen geen goed datamodel, Data Governance of Alternate Keys.