Brug af DanishFamilySearch.dk kontra ddd.dda.dk

Startet af Dan Nicolaysen, 18 Dec 2014 - 00:46

Forrige emne - Næste emne

Dan Nicolaysen

Hej

Jeg har nu læst artiklen "Praktiske erfaringer med brug af danishfamilysearch.dk konrtra brug af ddd.dda.dk" skrevet af Kirsten Sanders og udgivet i seneste nummer af Slægt og Data (4-2014). Det er en god artikel som både kan oplyse andre omkring DFS, men det kan også være med til at forbedre DFS.

Bag DFS er vi kun 2 personer, som kun kan arbejde på systemet når vi begge kommer hjem fra arbejde og de 3 unger på 7, 4 og 2 er i seng. Vi havde egentlig aldrig drømt om at vores lille søgeside ville blive brugt af så mange, men sådan blev det og trafikken stiger stadig. Vi erkender at der er mange ting som kan forbedres på søgesiden, og hvis vi havde tiden til det, så ville det også allerede være sket. Men sandheden er, at vi har været frygtelig travlt optaget med indtastningsprojekterne og fejlmeldingssystemet, og det tager jo sin tid når man kun har ca. 2 timer om dagen til at arbejde med DFS.

En ny søgeside er ved at blive udarbejdet hvor navnefeltet fremover er splittet ud som fornavn og efternavn. Den burde allerede være på systemet, men tiden løb fra os. Den kører dog i beta hos nogle få, og vi åbner snart op så alle kan afprøve den. Artiklen i bladet lander på et godt tidspunkt, idet nogle af de punkter som Kirsten nævner kan vi nu nå at forbedre og implementere i den nye søgeside.

Men lad mig svare på et af Kirsten's bekymringer omkring dobbelt indtastning. Det er en af de ting vi hos DFS også har været meget bekymret om. Men vi har sammen med Rigsarkivet fået implementeret et reservationssystem, hvor DDD modtager alle bestillinger på reservationer som foretages via DFS system. DDD tildeler derefter et Kipnr til indtasteren og kilden bliver reserveret hos både dem og DFS. For folketællingen 1906 reserverer og tildeler DFS selv et Kipnr. til indtasteren, da DFS i forvejen har eneret på FT 1906, ligesom kildeportalen har eneret på FT 1930. Reservationssystemet har kørt fint siden det begyndte sidste år, men i forbindelse med aftalen mellem Rigsarkivet og Myheritage ser det ud til at dette reservationssystem  måske mister sin værdi. Myheritage har nemlig planer om også at indtaste fra de danske kilder og give til Rigsarkivet efter 1 år, og de har ikke planer om kun at indtaste det som mangler. Hos DFS mener vi det er spild af gode resourcer hvis man indtaster poste som allerede er indtastet. Så ville det nok være bedre at indtaste de poste som stadig mangler at blive indtastet og indgå i samme reservationssystem, men vi kan jo ikke bestemme hvad Rigsarkivet vil lave af aftaler.

Kirsten skriver at hun mangler muligheden for at DFS også kan kombinere andre databaser i søgningen som f.eks. Nygaards Sedler eller Udvandrerarkivet. Hun er ikke den eneste som har ønske om det, vi har fået mange henvendelser omkring dette. Men det kræver at DFS får adgang til disse databaser enten i form som et API, som det er gjort med Politiets Registerblade, eller som en kopi. Det kan være Slægt og Data kan være behjælpelig med at fremskaffe adgang til nogle af databaserne, så skal DFS nok implementere det.

For visningen af detaljerne for posten, så vil DFS også i fremtiden åbne et nyt faneblad istedet for at vise detaljerne i et pop-up vindue. Vi vil også implementere en print funktion, men ellers kan man altid bruge ALT-P i browseren for at printe den side man står på.

Muligheden for at se original kilde mener vi stadig er meget vigtig. Det er rart at man kan se originalen og dermed selv verificere detaljerne.

Det er selvfølgelig vigtigt at oplyse at over 1.048.799 navne fra kirkebøgerne er nu blevet indtastet via DFS, og det er poste som i forvejen ikke er indtastet hos DDA. Det er blevet indtastet af frivillige fra hele landet, og er blevet foretaget siden september 2013. For folketællingen 1906 som startede for 5 måneder siden er over 120.000 personer nu blevet tastet ind. Der bliver i gennemsnit indtastet omkring 3.500 nye navne i databasen hver dag, og DFS har snart 3.000 registerede brugere. Alle indtastede data sendes selvfølgelig til Rigsarkivet og indgår i DDA's egen database.

Men i bund og grund er vi meget glade for artiklen i Slægt & Data. Det er vigtig information i vores arbejde med at forbedre systemet. Vi hører gerne fra andre hvis der er ting som man mener kan gøres bedre, eller hvis man har forslag til nye projekter.

Med venlig hilsen

Dan & Marianne Nicolaysen
Danish Family Search




John Nielsen

Hej Dan

Jeg har stadig et ønske om at kunne downloade de indtastede KB og FT som csv filer eller i stil med Kildeportalen.
Det vil naturligvis ikke hjælpe på jeres sparsomme tid.

Så vidt jeg kan se så er der ikke dukket en eneste af jeres FT op hos DDA, og mange af jeres KB er enten defekte eller mangler helt selvom de angives at være i databasen, f. eks ser stort set alle viede ud til at mangle.
Jeg er fuldstændig klar over at DDA ikke er blandt de skarpeste knive i skuffen, derfor bør der være alternativ adgang fra jer.

Hilsen John Nielsen

Dan Nicolaysen

Hej John

Ja, det er rigtigt at man endnu ikke kan downloade indtastninger som csv eller excel fil på DFS. Det er en af de mange opgaver vi endnu ikke har fået løst, men den står stadig på to-do listen. Vi skal nok komme til den også, men jeg kan ikke lige give et estimat. Det kommer lidt an på hvor meget vi får lavet her i juletiden, og tiden efter jul.

Det er rigtigt at ingen af vores FT'ere er endnu blevet afleveret til SA/DDA. Vi har nu 3 gange skrevet og spurgt om vi kan aflevere posterne som en SQL dumpfil eller lign., da der jo nu er over 120.000 poste. Det er lidt tosset at lave en CSV fil med så mange poste. Vi har endnu ikke fået et svar fra SA. 

For kirkebøgerne, så blev DDA færdige med den første aflevering i september måned. Vi har ingen nogen ide om det ligger rigtigt hos DDA eller ej, men svaret tilbage fra DDA var at alt var ok. I øjeblikket venter vi på at få 245 nye kipnr. på færdige kirkebøger som aldrig fik et kipnr i første omgang. Sidste svar fra DDA var fra 26 nov, hvor de skriver at der arbejdes på sagen. Så snart vi får de 245 kiprnr, så kan vi sende batch nr. 2. Når den er sendt, så er det batch nr. 3 med færdige kirkebøger.

Jeg tror SA/DDA har frygtelig travlt med andre ting, som f.eks. en ny web side, og vores indtastninger løber jo ingen vegne, så det kan godt vente.

Jeg kan se at en hel del indtastere fra DFS er også nu kommet på DDA's donor hitliste, så nogen må da være kommet ind hos dem. Indrømmet, jeg har ikke prøvet DDA i et stykke tid nu. Tja, jeg har slet ikke har tid til at slægtsforske, men sådan er det jo.

Mikkel Eide Eriksen

Hej

Ville et SQL-dump ikke kræve at jeres databasestrukturer er identiske? Det er de vel næppe.

Det enkleste i min optik ville være at sende data i et format som modtageren kender, i det her tilfælde ville jeg bruge deres eget .csv-format.

mvh
Mikkel
Interesse: alt Gilleleje plus Lindberg/Humble (SE/DK) Svane (Mors) Behringer (Alsace/DK/NO) Bortvig/Fleischer (Lolland)

Hjælper gerne med Sverige: https://forum.slaegt.dk/index.php/topic,153986

John Nielsen

Hej Mikkel

Det kan sagtens være det der er problemet med de afleverede KB.
En del af KB hos DDA har DFS indeksnumre istedet for de normale Løbenumre.
At forestille sig at DDA selv kan lave csv filerne er utopisk,
når man tænker på den manglende/elendige indgangskontrol de hidtil har leveret på færdige csv filer.
Se f. eks. K1934 og K1935 Odense Dåb.

Hilsen John Nielsen

Dan Nicolaysen

Med SQL dump mener jeg en backup fil som kan genindlæses på deres egen SQL database. Så indlæser man backup filen som en temp tabel, og så laver man et script for at flytte over i sin egen data struktur. På den måde kan selv 100.000 poste overføres iløbet af få sekunder, og så har det den fordel at man lige kan rense data i temp tabellen inden de overføres til de rigtige tabeller.

Jeg tror nok de vil have det på den måde, men vi skal nok lige over på den anden side af året inden der sker mere - tror jeg.


Mikkel Eide Eriksen

#6
Hvis de vil ha det sådan så er det vel sådan. Jeg har bare aldrig hørt om udveksling af data på den måde... Jeg arbejdede tidligere med modtagelse af metadata fra pladeselskaber og tilbagerapportering af salgsdata (100.000-vis af daglige posteringer hver vej), og det skete uden undtagelse i platformsuafhængige formater (XML og csv) som vi skrev adaptere til således at data kunne im- og eksporteres uden at kende til modpartens databaseopsætning.

mvh
Mikkel
Interesse: alt Gilleleje plus Lindberg/Humble (SE/DK) Svane (Mors) Behringer (Alsace/DK/NO) Bortvig/Fleischer (Lolland)

Hjælper gerne med Sverige: https://forum.slaegt.dk/index.php/topic,153986

Dan Nicolaysen

Ja, det har du ret i. CSV og XML er stadig gode metoder på at udveksle data. Vi har også brugt den metode for de KB'ere som er blevet afleveret, men for FB har vi en helt anderledes data struktur end DDA, så derfor har vi spurgt om vi evt. kan udveksle data via SQL. Det er også fordi vores aftale bygger på at filen hos DFS stilles til rådighed via et API, så det er DDA som skal hente den, ikke DFS som skal aflevere den. Vores første batch var 141 færdige kirkebøger i marts måned. Den blev de færdige med i september. Nu venter vi på 245 nye Kipnr, som vi så kan tildele de næste kirkebøger som ligger og venter på at blive hentet af DDA, og nøglen til den er Kipnr.

Eksempel: http://www.danishfamilysearch.dk/api/ddd/?kipnr=K0219&type=fødte

Det link øverst er for Kipnr K0219 og for begivenheden Fødte. DDA kalder dem og downloader når de har tid.

HOV...forresten John.....Der har du jo muligheden for lige nu at hente csv filer for de indtastede poster. Sjovt nok havde jeg ikke lige tænkt over det, for formatet er ikke det bedste, og ikke alle indtastede felter er med i udtrækket for det er tilpasset hvad DDA kan gemme - ikke hvad DFS har.

Det eneste du ikke kan vide med det udtræk, er hvilke Kipnr der er og hvilke bøger der er færdigmeldt. Men det burde jo være ment at implementere i systemet, så man kan vælge det via sogne siden.

Ha, nu vi taler om aflevering af data fra DFS og formater, så se lige hvad en vis Hr. Lars Helbo skriver lige nu på Politikens facebook side https://www.facebook.com/politiken/posts/10153396771268294  omkring aflevering af data fra DFS:

Citat"For et stykke tid siden hed det, at DFS ikke kunne finde ud af, at aflevere posterne i et ordentligt KIP-format. Derfor afleverede man som semikolon-separerede tekstfiler, og så måtte DDA bruge kræfter på selv at konvertere til noget brugbart. Nu skal DDA altså også selv bruge tid på at afhente dataene - jøsses!"

Nu er sandheden jo at DFS har lavet et specielt API og format som er tilpasset det som DDA vil have. Det er DDA som har bedt om komma-sep. fil og de felter som sendes. DFS har spurgt om der er mulighed for at overføre via SQL database til SQL database, for så er det hele nemlig overført på een gang. Så skal vi ikke vente 7 måneder på at overføre en batch på 141 kirkebøger.

Men DDA har ikke travlt med at få dataene. Hvis vi afleverer som SQL backup fil, så kan vi da i det mindste sige at nu har de fået det hele.




John Nielsen

#8
Hej Dan

Det er jo et fornemt api, og det virker også på de viede der stadig mangler hos DDA.
Jeg går ud fra at det kun gælder de KB i leverede i september, og prøver lige at se hvor mange jeg kan hente.

Hilsen John Nielsen

PS
Det er godt at DIS nu er gået helt ind.
Hvordan mon det vil se ud hvis der er noget de er imod.

Det gav på et øjeblik 49 kirkebøger med viede, vow, hvis bare DDA var så fremkommelige.

John Nielsen

Hej Dan

Så fik jeg ryddet op listen med manglende, mangelfulde og defekte KB hos DDA, omkring 100 stk.
Der var en del manuelt arbejde denne gang, men det vil være nemt at automatisere.

Kunne du ikke overveje at gøre dette api permanent.
Det forudsætter jo KIP numre, men jeg kunne sagtens leve med midlertidige KIP numre Ala Z0001, Z0002 osv, eller DFS numre.

Hilsen John Nielsen

Dan Nicolaysen

Hej John

Jo, jeg vil tage udgangspunkt i det nuværende API og så gøre det nemmere at hente det man søger. F.eks. vill det være smart hvis parametrene er Kildetype, Sogn, Årstal Fra og Årstal Til. Så får man posterne for den kilde hvis den ellers findes.

Jeg vil sætte det op på samtlige kilder som findes - folketællinger, kirkebøger, lægdsruller, skoleprotokoller.

Adressen vil blive:

http://www.danishfamilysearch.dk/api/csv/?kildetype=kb&amt=ålborg&herred=fleskum&sogn=gudum&fra=1686&til=1812

eller

http://www.danishfamilysearch.dk/api/csv/?sourceid=7906 (hvis man kender til DFS source ID'er, som er en unik nøgle til kilden. Den kan man se hvis man flytter musen henover luppen på en kirkebog)

Adresserne virker ikke endnu, jeg skal lige kode det først. Jeg vil skrive igen så snart det er der.

MVH

Dan Nicolaysen


John Nielsen

Hej Dan

Jeg er helt enig med Anne Marie, super.

Det må betyde at man kan hente alle indtastninger efterhånden som de laves.

Jeg vil sikkert begrænse mig til at hente færdige indtastninger ala DDA's "afleverede".
Det forudsætter at man kan identificere de færdige indtastninger.
Jeg forstår ikke helt jeres liste med færdige kirkebøger, for den indeholder KB med 0 poster og 0 personer.

Hilsen og god jul John Nielsen

Dan Nicolaysen

Hej John

Hov, jeg glemte at svare.

Ja, der er nogle kirkebøger som er færdigmeldte, men har 0 poste på DFS. Det sker når en kirkebog hos DDA er indtastet andet sted. For at undgå dobbelt indtastning, så markeres kirkebogen også som færdig på DFS, men DFS har ikke modtaget de indtastede data. Vi har spurgt flere gange om vi også kan få de indtastede poster fra kirkebøger som ikke er indtastet hos DFS, så vi i det mindste kan vise dem i søgningen, men vi har stadig ikke modtaget noget svar på netop det spørgsmål. Men lige nu har vi heller ikke tiden til at indlæse dem alligevel, og hvis vi gør det, så er der ingen relation til det originale opslag og heller ingen gul boks som markerer hvor posten er skrevet. Det er jo ikke så godt.

MVH

Dan

John Nielsen

Hej Dan

Takker.
Det forklarer nu ikke det hele for en del af dem med 0 kan jeg ikke finde indtastet nogen steder, og slet ikke hos DDA.

Hilsen John Nielsen

Dan Nicolaysen

Er den så under indtastning på DDA? Kan du oplyse hvilket sogn det drejer sig om?

John Nielsen

Hej Dan

Jeg har studeret lidt nærmere.
Det ser ud til fortrinsvis at være særlige menigheder der er markeret færdige med 0 personer, og der er 46 af dem.
Der kan jo være en grund til at i har markeret disse som færdige.

Disse 2 er markeret som under indtastning hos DDA
Odense;Skovby;Bogense;1772-1795;0;0;Naja Mckenzie
Ålborg;Slet;Løgsted;1826-1847;0;0;Maxine Nielsen

Den her kan jeg ikke finde noget om.
Hjørring;Læsø;Vesterø;1814-1836;0;0;Dan Nicolaysen

Hilsen John Nielsen

Lars J. Helbo

Citat fra: Dan Nicolaysen [16895] Dato 18 Dec 2014 - 10:23
Ja, det er rigtigt at man endnu ikke kan downloade indtastninger som csv eller excel fil på DFS. Det er en af de mange opgaver vi endnu ikke har fået løst, men den står stadig på to-do listen. Vi skal nok komme til den også, men jeg kan ikke lige give et estimat. Det kommer lidt an på hvor meget vi får lavet her i juletiden, og tiden efter jul.

Det her er da rigtigt interessant. Hermed vil der jo helt klart være tale om videregivelse af indtastningerne - ikke bare anvendelse.

Vil du godt fortælle os, hvem der har givet jer tilladelse til det?

Når jeg spørger, så er det fordi, der på DDD's hjemmeside bl.a. står følgende:

CitatJuridiske forhold

Det gælder for KIP-data som for alle andre forskningsdata, at ejendomsforholdet, copyrighten, forbliver hos donor. Copyrighten bliver altså ikke overdraget til Rigsarkivet Odense ved afleveringen. Rigsarkivet Odense får derimod visse afgrænsede rettigheder med hensyn til videregivelse af materialet. For KIP'ernes vedkommende gælder det videregivelse til ikke kommerciel brug. Den, der modtager et datamateriale fra Rigsarkivet Odense, har aldrig lov til at give materialet videre. Den rettighed er Rigsarkivet Odense nemlig aldrig bemyndiget til at give videre til tredjemand. Den, der har modtaget et materiale fra Rigsarkivet Odense, og som står over for en person, som også gerne vil gøre brug af materialet, skal altså fremfor at videregive materialet henvise til Rigsarkivet Odense. Det medfører kun en mindre ulempe, idet Rigsarkivet Odense jo ikke tager penge for data.

John Nielsen

Hej Lars

Ikke fordi det gør nogen forskel for dig, men det er DFS indtastninger der er tale om.

Hilsen John Nielsen

Lars J. Helbo

Jo, det gør selvfølgelig en stor forskel - hvis det er rigtigt  :)

Dan Nicolaysen

Helt korrekt John, det er DFS indtastninger der er tale om  ;D ;D ;D

Hilsner Marianne Nicolaysen

Lars J. Helbo

Når man nu skal sammenligne de to, så handler det jo ikke bare om søgefunktionen. Det handler også om indholdet. Jeg har kigget lidt på det og konstateret, at der er væsentlige forskelle. På DDD kan man under http://www.ddd.dda.dk/oversigter.htm få en udførlig oversigt over, hvad der er reserveret/indtastet og hvad der findes i databasen. Findes der noget tilsvarende ved DFS?

Bent Mortensen

Ja du må undskylede Lars:
Jeg er ved at tro at du ikke fatter en skid, er det en form for forfølgelses vandvid du lider af ???????.
Kan du ikke komme med noget Posetivt, så syntes jeg du skal standse her.
Venlig Hilsen
Bent Mortensen 7500

John Nielsen

Hej Lars

Ja, det gør der, og det med det udførlige has DDA skal du ikke tro på.
Der er meget stor forskel på hvad listerne påstår og hvad der er tilgængeligt.
På trods af fejlmeldinger så har det ikke ændret sig over årene.

Hilsen John Nielsen

Lars J. Helbo

Hold da helt op, I to  :)

Sagen er, at jeg har været ved at sammenligne. Det har intet med "had" at gøre; men det er sådan, at jeg har nogle kursister, som jeg gerne vil give en seriøs vejledning - hvornår skal man bruge den ene løsning og hvornår er det bedre at bruge den anden. Det skal gerne foregå på et seriøst grundlag, uanset hvad jeg selv mener. Det betyder f.eks. at jeg også kigger på sådan noget som MyHeritage. Uanset at jeg mener, at det er en pengemaskine, så kunne det jo være, at man i særlige tilfælde kan have gavn af den.

Men nu har jeg altså været ved at sammenligne indholdet af DDD og DFS. Jeg troede egentlig, at det var identisk? Men det er tilsyneladende langt fra tilfældet. Efter min optælling, er der over 2000 indtastninger af folketællinger (sogne/år), som findes på DDD; men som ikke kan ses via DFS. Det gælder f.eks.:

D7169;Hjørring;Horns;Mosbjerg;1855
D7252;Aalborg;Gislum;Gislum;1855
D7302;Skanderborg;Voer;Gangsted;1901
D7337;Aalborg;Gislum;Binderup;1911

osv. osv.

Det da en væsentlig oplysning for brugerne. Men i mangel af en komplet liste over indholdet på DFS så kan det selvfølgelig tænkes, at jeg tager fejl? Umiddelbart kan jeg ikke se noget system i det. Derfor ville det være rart med en officiel liste, så man kunne sammenligne istedet for at formode.


John Nielsen

#25
Hej Lars

Bland mig uden om "Hold da op, I to", jeg prøver at være seriøs.

Færdig indtastede: FT
Færdig indtastede: KB

Hilsen John Nielsen

PS
Jeg kan sagtens finde Mosbjerg 1855.
Vælg Overwiew/Census Data/Hjørring/Horns/Mosbjerg.
De gamle indtastninger hos DDA var jo ikke forbundet til originalen,
det er et af projekterne der kører hos DFS.

Lars J. Helbo

Men det er jo kun FT-1906? Det jeg har brug for er en samlet liste, der viser hvilke FT, der er søgbare via DFS.

John Nielsen

Hej Lars

Ja, det er færdige indtastninger fra DFS hånd.

Følg linket jeg gav dig, Overview osv, der er de allesammen.

Hilsen John Nielsen

Lars J. Helbo

Vil det sige, at der ikke er nogen forskelle for så vidt angår indholdet?

John Nielsen

Hej Lars

Ja, det er mit indtryk, men DDA halter bagefter med at få DFS indtastninger online.

Hilsen john Nielsen