Gebruik van metagegeven inOnderzoek in relatie tot historie.

Een object heeft in feite maar een paar echte attributen. De andere attributen zijn metagegevens, die wat zeggen over de echte attributen. Die metagegevens zijn bv. materiele historie, audittrail of een status aanduiding. Onder deze laatste vallen bv. inActief of inOnderzoek.

Zolang een dergelijk metagegeven de hele set echte attributen beschouwd, hoort zo'n metagegeven bij het object zelf gemodelleerd en beheerd te worden. Dat komt omdat dat metageven exact 1 op 1 loopt met de hele groep van de echte attributen zelf en omdat het metagegeven geen zelfstandig bestaansrecht heeft. Het bestaat alleen omdat de echte gegevens er ook zijn. 

Dit is vrij gangbaar. Er zijn echter wel meerwaarde als het vereist is om metagegevens per attribuut bij te houden. 

Denk hierbij aan: 

1. historie bijhouden per attribuut. De materiele historie geldt dan alleen voor 1 echt attribuut en niet voor de hele set. Dit is een granulariteitskeuze. Het is in feite wel zuiverder, want alleen de gewijzigde attributen hoeven gemuteerd te worden. Voor het bijhouden van historie en mutaties op enkelvoudige attributen wordt vaak niet gekozen in een registratie database of in een koppelvlak die tot doel heeft een kopie bij te houden, omdat dit complexer is, vrijwel geen meerwaarde biedt omdat het ook afleidbaar is, en omdat er dan context en volledigheid kwijtraakt.

Tkn. voor processen aan de voorkant, dus voordat gegevens geregistreerd worden is het vaak wel handig om alleen te praten in gebeurtenissen en attributen die voor die gebeurtenis wijzigen. 

2. in onderzoek bijhouden bij een attribuut of set attributen (er kunnen er meerdere tegelijk in onderzoek zijn). 

Wat wel relevant is dat in onderzoek in feite een procesgegeven is, en eigenlijk niks zegt over de werkelijke attributen van het object. Als een gegeven, of een set gegevens, in onderzoek is, daar veranderd het echte object veranderd er door. Als uit het onderzoek blijkt dat het object wel goed is, en het object weer uit onderzoek is gehaald, dan is er aan het object helemaal niets veranderd. Waarom dan die mutaties doorvoeren? 

Conclusie is denk ik dat in onderzoek eigenlijk slaat op het onderzoeksproces zelf. Dat is mijn inziens een aparte entiteit. En in dat onderzoek zelf staat dan het object en welke attributen ervan in onderzoek zijn. Mijn inziens hoort het object in de registratie 'niet lastig gevallen te worden' door het feit dat zo'n onderzoek loopt. Vanuit deze optiek hoort in onderzoek dus niet bij het object zelf en moet dus losstaand gemodelleerd worden, met een eigen tijdvak waarin het onderzoek loopt. 

Uiteraard is het zo dat het wenselijk is om te weten dat een object in onderzoek is en dat het handig is om dit te melden, wanneer iemand de gegevens van het object opvraagt. Vanuit die optiek hoort het gegeven in onderzoek dus:
- wel als extra informatie meegeleverd te worden bij het object. Maar dus niet als attribuut van het object, maar als extra gegeven bij een bevraging. 
- de gebeurtenis dat een onderzoek naar het object is gestart of afgerond hoort ook geleverd te worden. Deze gebeurtenis gaat over een onderzoek, een proces, en is geen gegeven van het object zelf. Deze hoort dus ook niet als mutatie op dat object gedefinieerd worden.

Als een gegeven, of een set gegevens, in onderzoek is, daar veranderd het echte object veranderd er door.

moet zijn

Als een gegeven, of een set gegevens, in onderzoek is, daar veranderd het echte object niet door.

Het onderwerp betreft echte de bestaande modellering begrijp ik. 

Antwoord op de vraag hangt af waarover in onderzoek iets probeert te zeggen.

Over het onderzoek (dan A), of over het geregistreerde voorkomen van het object (dan B). 

Wat me wel opvalt is dat vanuit een registratie perspectief je eigenlijk vooral wilt weten dat specifieke, al eerder geregistreerde gegevens, onjuist zijn geweest. Dit lijkt nu helemaal niet in de discussie te spelen, terwijl de registratie dus tijdelijk al een tijdje niet strookt met de werkelijkheid. 

Volgens mij komt ik tot de conclusie dat in onderzoek echt over een proces gaat en niet over de gegevens zelf. Ok, een proces dat onderzoekt of gegevens wel of niet kloppen, maar dat weten we pas NADAT het onderzoek is afgerond. En dan pas weten we dat vanaf een bepaalde datum in het verleden de gegevens onjuist of juist waren. 

Dus: in onderzoek is eigenlijk een antwoord op de vraag: is dit object in onderzoek? en dat kan je vinden in een Onderzoek object, net zoals een vergunning een eigen historie kent, en niet 1 op 1 loopt met wat er feitelijk in de werkelijkheid waar te nemen is. 

hierna: korte uitwerking van hoe de registratie bijgewerkt moet worden om te zien vanaf wanneer gegevens onjuist zijn geweest. 

Als juist: object hoeft niet gemuteerd te worden en dus ook geen periode waarin het in onderzoek is geweest te hebben. 

Als onjuist: object moet verbeterd worden, en in de levensloop van het object moet te zien zijn wat de goede materiele historie is wat wat de formele historie voor en na het onderzoek was. 

NB. De datum waarop het onderzoek dan liep is niet relevant. Het gaat dan om de gegevens zelf.

ALS de gegevens per ongeluk verkeerd geregistreerd zijn vanaf de datum begin geldigheid: voor een correctie door. 

ALS de gegevens na registratie zijn veranderd in de werkelijkheid, dan zijn de gegevens aan het begin van het geregistreerde tijdvak nog wel goed, maar vanaf een bepaald moment niet meer, bv. de datum waarop het onderzoek uitwijst dat de gegevens anders zijn geworden, d.m.v. constatering of d.m.v. andere onderzoeksresultaten. Het goed geregistreerde deel van het tijdvak eindigt dan per die datum en er komt dan een nieuw voorkomen die vanaf die datum ingaat.

Ik ben voor alternatief A, omdat je wilt weten gedurende welke periode het object inOnderzoek was. Ik heb een tijdje terug al een post op het forum geplaatst dat mijns inziens volgens de StUF-standaard een actueel gegeven gecorrigeerd mag worden ook al ligt de begindatumGeldigheid van dit gegeven voor de beginGeldigheid van een ander gegeven van dat object. Ik ben dus niet met John eens dat dit volgens StUF niet mag.

Als je alleen vraagt met tijdstipMaterieel dan krijg je inderdaad het antwoord dat John beschrijft en fout vindt. Mij lijkt dat het correcte antwoord, want je wilt weten wat toen het geval was volgens de kennis van nu.

Als je met zowel tijdstipMaterieel als tijdstipFormeel 1-7-2009 vraagt, dan krijg je de waarde voor correctie en het inOnderzoek zijn, precies zoals je verwacht.

Volgens mij is zowel A alswel als B niet juist uitgewerkt, omdat in beide uitwerkingen procesgegevens verweven raken met entiteit gegevens en de tijdvakken van gegevens hierdoor niet juist worden achtergelaten.  

Eindresultaat zou moeten zijn dat de gegevens, en de tijdvakken waarin deze gegevens wel of niet juist waren, correct worden achtergelaten. 
- Dus als uit een onderzoek blijkt dat alles juist was, dan is het gegeven onveranderd en dan is er ook geen tijdvak waarin alleen het attribuut inOnderzoek even op Ja stond. 
- Dus als gedurende een tijdvak in de 1e helft van het tijdvak de gegevens nog wel juist waren, en het onderzoek start op 3/4 van het tijdvak, dan moet de eindsituatie zijn dat de gegevens tot halverwege het tijdvak juist waren en in de 2e helft wel de juiste gegevens in de registratie komen te staan. Het tijdvak van 3/4 tot na het onderzoek horen helemaal niet thuis in de registratie van het object, want dit zegt niks.

Of het A of B betreft dan is het antwoord: beide kunnen valide zijn. Gaat inonderzoek over het onderzoek zelf dan ligt het meer in de lijn van A (maar dan juist), en als het over het geregistreerde voorkomen van het object gaat dan ligt het meer in de lijn van B (maar dan juist). 

Gezien de duidelijke procesinsteek van inOnderzoek lijkt het toch echt meer overeen te komen met A, maar dan zodanig gemodelleerd dat de attributen van het object er qua tijdsvakken geen last van ondervinden. Oftewel, in een aparte entiteit gemodelleerd moeten worden.

Ik kan me vinden in één van de eerdere conclusies van Lennart dat 'In onderzoek' over het onderzoeksproces gaat (optie A) en niet in die van John (optie B). Vrij naar Lennart: "in onderzoek is eigenlijk een antwoord op de vraag: is dit gegeven in onderzoek?".
Dat blijkt m.i. ook uit de definitie van dit metagegeven en de toelichting daarop (bron: RSGB): "Een aanduiding waarmee wordt aangegeven dat een onderzoek wordt uitgevoerd naar de juistheid van een of meerdere gegevens van het betreffende object" resp. "De indicatie of te bevragen is dat er twijfel is of is geweest aan de juistheid van de attribuutwaarde en dat een onderzoek wordt of is uitgevoerd naar de juistheid van de attribuutwaarde ".
Met het in-onderzoek nemen wordt betwist dat de huidige waarde van het gegeven onjuist is. Er wordt niet betwist dat de waarde al onjuist zou zijn sinds de laatst doorgevoerde mutatie. Het kan bijvoorbeeld best zo zijn dat er daarna een mutatie niet verwerkt is. Dit blijkt pas uit het onderzoek.
De materiele historie van dit metagegeven geeft aan wanneer besloten is om de attribuutwaarde in-onderzoek te zetten en het uit-onderzoek te halen. Hiermee wordt de periode gemarkeerd waarbinnen verplicht gebruik niet absoluut geldt en afnemers van de waarde van het attribuut alert moeten zijn op het gebruik daarvan (en daarvan mogen afwijken). De formele historie van dit metagegeven geeft aan wanneer een afnemer dit had kunnen weten en daarnaar had kunnen handelen. Het is dus echt de markering van het begin en einde van het onderzoeksproces en niet van de periode waarin de waarde van het attribuut onjuist zou zijn.
Als deze conclusie tot aanscherping van het StUF-berichtenverkeer zou moeten leiden, dan lijkt me het zeer zinvol om daarover nadere afspraken te maken.

Ook ik ben voorstander van optie A. Zoals ik het tijdvak in de kennisgevingsberichten tot nu toe heb beschouwd, slaat het op alle gewijzigde gegevens in het bericht. Het kan daarmee dus ook een tijdvak voor het onderzoeksgegeven zijn. In optie B ben je dus kwijt in welke periode het gegeven in onderzoek heeft gestaan. Bovendien is het uit onderzoek halen geen correctie, maar een wijziging: het onderzoeksgegeven is juist geregistreerd en moet dus niet worden gecorrigeerd. In optie B gaat die mee in een correctie.

In essentie ontstaat het probleem doordat je het metagegeven tijdvakGeldigheid gaat toepassen op het proces-/metagegeven inOnderzoek. Daarmee wordt het een metametagegeven. Dat gaat fout als je in hetzelfde bericht ook niet-metagegevens gaat wijzigen. Is het tijdvak dan een meta- of een metametagegeven?

Om dit op te lossen zonder ingrijpen in de berichtdefinities, zou je moeten kiezen voor optie A. Ook omdat je anders de historie op het (meta-) element inOnderzoek ook niet goed geregeld krijgt. Van een collega die meer thuis is in Key2Burgerzaken begreep ik ook dat in de mGBA het niet is toegestaan in één bericht de gegevens te wijzigen en de onderzoeksgegevens. Zou een onderzoek tot wijzigingen leiden, dat zou eerst het onderzoek moeten worden beëindigd en worden daarna pas de gegevens gewijzigd. Dit sluit ook beter aan bij optie A.

Naar aanleiding van een (terechte) vraag van John hierbij nog een aanvulling:

In mijn vorige reactie ben ik voorbij gegaan aan de vraag of in situatie A de laatste correctie niet een synchronisatie moet zijn in plaats van een correctie, omdat er op hetzelfde object een mutatie is gedaan met een latere ingangsdatum. Maarten stelt daarvan dat het moet kunnen omdat per attribuut(groep) historie is en dat een mutatie op een attribuut kan worden gedaan met een ingangsdatum die ligt voor een mutatie die al is gedaan op een ander attribuut van hetzelfde object.

Dit is een interessante discussie die in een eerdere expertgroep aan het licht is gekomen, maar nooit is voortgezet. In de BAG is sprake van historie op het gehele object/record (in RSGB is dit opgepakt dro alle BAG-attributen in één groep te plaatsen). Daardoor is het in de BAG niet mogelijk wat Maarten stelt. Mede daardoor, én door het feit dat er maar één tijdvakGeldigheid is binnen elke entiteit, denk ik dat bij velen het idee is ontstaan dat dit voor alle entiteittypen het geval is.

Strikt genomen kun je volgens mij uit het RSGB en StUF afleiden dat de stelling van Maarten zou moeten kloppen. Het staat er echter niet duidelijk in en, zoals gezegd; de schijn wordt gewekt dat het anders is. Ik denk ook dat de mogelijkheid die Maarten schetst er een is die systemen nog veel complexer maakt (of bijna verplicht tot een geheel andere wijze van datamodellering door name value pairs ipv objectrecords). Ook denk ik dat het er voor de gemiddelde gebruiker absoluut niet duidelijker op wordt (en het ook niet duidelijk te krijgen is in schermen van applicaties). We zullen ons dus misschien dringen moeten afvragen in hoeverre de mogelijkheden die Maarten schetst niet te veel aansluiten bij een perfecte theorie en te weinig bij reële en acceptabele werkelijkheid.

Ik zou deze discussie dus graag nog eens voortgezet zien. Omdat ik de post waarnaar Maarten verwijst niet heb kunnen vinden, ben ik zo vrij geweest een discussie over dit onderwerp op te starten.

Er staan een paar fouten in bovenstaande kennisgevingen van werkwijze A:

• In de laatste kennisgeving (4) moet het gegeven inOnderzoek worden weggelaten. Anders wordt dit gegeven vanaf 01-06-2008 tot in het oneindige overschreven door een lege waarde. Dit is onjuist want voor de periode 24-06-2009 tot 21-07-2009 willen we dat inOnderzoek de waarde "J" heeft.
• Om vergelijkbare redenen moet in kennisgevingen (2) en (3) het gegeven codeGebouwdOngebouwd worden weggelaten. Echter bij wijzigingen heeft de fout minder ernstige gevolgen dan in de bovengenoemde correctiekennisgeving.