Bruk av .tar fil for dokumenter i et Noark 5-uttrekk og håndteringen i Arkade 5?

[solfeggietto]

Viser til Arkade bevarer ikke uttrekksdato som er eget felt i metadata fra v2.12.3 #183 som ble lukket no fordi uttrekksdato faktisk blir med i DIAS-pakkens dias-mets.xml

Hvordan stiller Arkade 5, arkivforskriften og praktisk bruk av Noark 5-uttrekk seg til om dokumentene i et Noark 5-uttrekk blir pakket i en .tar fil under /content eller /content/dokumenter?

Spørsmålet kommer opp fordi det er en dublering av sjekksummer og metadata

• Noark 5-uttrekket lister opp alle dokumentfiler i arkivstruktur.xml iht. Noark 5-spesifikasjonen til uttrekk
• DIAS SIP og AIP lister opp, no i den andre fileGrp seksjon akkurat de samme dokumentfilene som uttrekket selv dokumenterer med metadata og sjekksummer og filstørrelser m.m.

Gitt at vi har et uttrekk på f. eks. 2 TB eller større med de antall >= 1 millioner filer, så virker det lite hensiksmessig at pakkelaget og struktur med metadata skal gjenta det arkivuttrekket selv dokumenterer grundig?

Arkade 5 v2.12.3 har faktisk en mye bedre struktur i innholdet enn tidligere pakker fordi man ikke blander i samme gruppe filene til DIAS-pakkestrukturen med filene i selve uttrekket (alt content/ med undermappe for dokumenter m.m.).

Alle DIAS-relaterte filer finnes i ytre fileGrp:
dias-mets.xsd
log.xml
adminitrative_metadata/addml.xsd
adminitrative_metadata/arkivuttrekk.xml (hentet ut fra Noark 5-uttrekket, siden denne er ADDML-filen)
adminitrative_metadata/dias-premis.xsd
adminitrative_metadata/dokumenter-filformatinfo-statistikk.csv (fordi jeg i SIP krysset av for PUID "Inkluder formatinformasjon for dokumentfiler"
adminitrative_metadata/dokumenter-filformatinfo.csv (også fordi PUID avkrysset)
Alle uttrekksfiler finnes i indre fileGrp
... alle under i mappen content/

addml.xsd, arkivstruktur.xml, arkivstruktur.xsd, arkivuttrekk.xml (ADDML-filen), business-spesific-metadata.xsd, endringslogg.xml, endringslogg.xsd, loependeJournal.xml, loependeJournal.xsd, metadatakatalog.xsd, offentligJournal.xml, offentligJournal.xsd

... alle under i mappen content/dokumenter/<en oppføring per fil>

[joergen-vs]

Arkade kan gå inn i pakkeformater for å kontrollere filer, i dag i form av en dias-pakke. Å gjøre dette for en pakking av dokument-mappen legger opp til noe nytt, noe som påvirker andre deler av Arkivverket. Kan godt legge fram problemstillingen over sommeren.

§ 5-14 punkt 2 er ganske klar, "arkivdokumentene skal lagres som separate filer, og overføres sammen med arkivuttrekket". Siste linje, "separate filer kan pakkes i henhold til standardene ZIP og TAR", legger opp til at filer kan pakkes, men er rettet mot innhold som må sikres med passord, ikke på grunn av mengde filer.

Selve arkivuttrekket (innholdet i content) har i dag en sterk relasjon; arkivbeskrivelse - metadata - data/dokumenter. Og et minstekrav til kobling mellom metadata og dokument er filsti.
For overføring er det obligatorisk å etterprøve integriteten til overføringen, som vil blant annet si å ha kontroll på hvilke filer som følger med i pakken, og at filene eller pakken ikke er endret.

Forskjellen på disse oversiktene er omfanget. Utenfor content er det krav til hva som skal følge med, men ikke hva som ikke kan følge med. Og selv i content er det ett sted som ikke er del av arkivbeskrivelsen; mappen med systemdokumentasjon. Begge områder finnes i mets-filen, fordi overføringspakken skal sikre integriteten mellom arkivløsning og bevaringsløsning.
Noark 5 er kun et av flere uttrekksformat, og eneste hvor man strukturelt kontroll på sjekksum og filsti. For register-data beskrevet med addml som har dokumenter, vil det være en datatype som sier hva som er filsti og sjekksum på metadata, men ingen indikasjon (idag) på hvilket felt som inneholder sjekksum for dokumentene. For databaseuttrekk vil det være samme utfordring med lokalisering av sjekksum, og ingen sjekksum på metadataene.

Det vil gi ikke mening å fjerne integritetsmetadataene fra pakken, når innholdet i pakken ikke alltid inneholder integritetsinformasjon.

[PSvendsen]

Oslo byarkiv har fagsystemuttrekk med noen hundre tusen arkivdokumentfiler hvor vi har sjekksummene i felt i flate datafiler. Arkivuttrekket er beskrevet med ADDML. For oss er Arkade 5 sin produksjon av en stor METS-fil ut fra antall arkivdokumentfiler, en langdryg og unødvendig prosess. For vår del, som et kommunalt arkivdepot, vil det være hensiktsmessig om denne delen av pakkeproduksjonen kan konfigureres bort. Så vi vil med denne kommentaren fremme et ønske om å gjøre pakkeproduksjonen i Arkade 5 mer fleksibel. En workaround er selvfølgelig å pakke arkivdokumentfilene i en tar- eller zip-fil, men vi synes dette er å justere på arkivuttrekkets struktur og tilføre en ekstra aktivitet (utpakking) ved senere bruk av pakkens innhold, kun for å omgå en rigid pakkeproduksjon.