Siirtotiedoston koulutusmateriaali
Siirtotiedoston koulutusmateriaali
Siirtotiedoston koulutusmateriaali
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
<strong>Siirtotiedoston</strong><br />
tekninen koulutus<br />
Mikko Eräkaski<br />
Markus Merenmies<br />
24.10.2012
Käsiteltäviä aihealueita<br />
• Siirron yleiskuva ja vastaanoton periaatteet<br />
• Sähke2-metatietomalli ja -skeema<br />
• Pitkäaikaissäilytettävien tiedostomuotojen käsittely ja<br />
laadunvarmistus<br />
• Varmenteiden käyttö (varmiste.sig)<br />
• Verkkoyhteydet ja tiedonsiirto<br />
• Siirtojen onnistumisen seuranta ja siirron paluukanavan<br />
hyödyntäminen<br />
• Aineiston VIRPA-käyttö: yleiskuvaus ja tekninen käyttötapa<br />
• Arkistolaitoksen tarjoamat siirtämisen tukipalvelut sekä ohjeistus
Siirron yleiskuva<br />
ja vastaanoton<br />
periaatteet
Siirron periaatteet<br />
1) ”Luottamuksen ehyt ketju”<br />
2) Siirrettävän aineiston poiminta järjestelmästä –<br />
mahdollisuus määrittää kriteerit<br />
3) Itse siirto ei edellytä merkittävää valmistelua<br />
4) Automaattinen tiedonsiirto järjestelmien välillä<br />
5) Automaattinen vastaanottoprosessi VAPAssa
• Asiakirjat<br />
– Tiedostot<br />
• SAHKE-metatiedot<br />
– sahke1.xml<br />
• Allekirjoitus<br />
– Varmiste.sig<br />
Mitä siirretään
Siirrettävän aineiston<br />
kriteerejä<br />
VÄHIMMÄISVAATIMUKSET:<br />
• Käsittelyprosessi / asia tulee olla päättynyt<br />
• Tehtävään liittyvät pysyvästi säilytettävät asiakirjat on merkitty<br />
”valmis”<br />
• Tiedostojen tulee olla hyväksyttyjä formaatteja<br />
• Pakolliset SÄHKE2-metatiedot<br />
• Aineistoa ei ole aikaisemmin siirretty<br />
• VAPA ”muistaa” aineiston yksilöivät tunnisteet<br />
MITÄ VOIDAAN SIIRTÄÄ:<br />
• Natiivimuodot tiedostoista<br />
• Muita metatietoja (custom –metadata)
Siirron toimintaperiaate<br />
• Tietojärjestelmien välinen tiedonsiirto<br />
• VAPA-palvelu mahdollistaa siirtojen automatisoinnin<br />
järjestelmien välillä<br />
Siirtävä tietojärjestelmä<br />
SIIRTO<br />
Vastaanotto<br />
Kuittaus siirrosta<br />
Paluuraportti<br />
• Siirtokokonaisuuden<br />
koko on vapaasti<br />
määriteltävissä<br />
• Pienin mahdollinen<br />
siirtokokonaisuus on yksi<br />
(1) asia<br />
VAPA-palvelu
Miten aineisto järjestäytyy<br />
VAPAssa<br />
VAPA<br />
TEHTÄVÄLUOKITUS<br />
PÄÄTEHTÄVÄ<br />
TEHTÄVÄ<br />
ALATEHTÄVÄ<br />
Asia 1<br />
Asia 2<br />
Asia 3<br />
ALATEHTÄVÄ<br />
Asia 1<br />
Asia 2<br />
Asia 3<br />
Asia 4<br />
PÄÄTEHTÄVÄ<br />
SIIRROT<br />
SIIRTO 1.<br />
ALATEHTÄVÄ<br />
Asia 1<br />
Asia 2<br />
ALATEHTÄVÄ<br />
Asia 1<br />
Asia 2<br />
SIIRTO 2.<br />
ALATEHTÄVÄ<br />
Asia 13<br />
ALATEHTÄVÄ<br />
Asia 3<br />
Asia 4<br />
Aineisto ei järjesty<br />
VAPAssa<br />
siirtokokonaisuuden<br />
mukaan, vaan<br />
tehtäväluokan mukaan<br />
Tehtäväluokalle voidaan<br />
siirtää aineistoa<br />
vaiheittain.<br />
Yksi asia on siirrettävä<br />
aina kerrallaan
Vastaanotto tarkistaa saapuvan<br />
aineiston<br />
• Tavoitteena automatisoitu ja luotettava siirtoprosessi.<br />
• VAPA suorittaa siirrettävälle aineistolle automaattisia teknisiä<br />
tarkistuksia<br />
– Virustarkistus<br />
– Allekirjoitus (varmiste.sig)<br />
– Pakolliset SÄHKE2-metatiedot<br />
– Tiedostojen ja kokonaisuuden eheys<br />
• Jos vastaanoton tarkistuksissa tapahtuu virhe, hylätään koko<br />
paketti
Siirron jälkeen<br />
• Siirtävälle taholle VAPA-raportointiliittymä<br />
– siirtojen seuranta<br />
– virheraportit<br />
– aineiston kertymäraportit<br />
• Siirron jälkeen:<br />
– alkuperäinen aineisto VAPAssa,<br />
– siirtävän organisaation järjestelmässä olevat asiakirjatiedot<br />
katsotaan kopioiksi<br />
– siirrettyjen asiakirjatietojen tilatiedoksi tulee<br />
tietojärjestelmässä ”siirretty”
Sähke2-<br />
metatietomalli
Metatietojen siirto<br />
• Sahke.xml -tietotiedostojen (=SÄHKE-metatietojen)<br />
yhteenlaskettu koko ei saa ylittää 100MB<br />
• XML-skeeman mukainen rakenne<br />
• Arvojoukot ja elementtien nimet sekä suhteet ja<br />
toisteellisuuden<br />
• Tukee organisaation omaa laadunvarmistusta<br />
http://www.arkisto.fi/skeemat/Sahke2_2011_12.xsd
SAHKE1.XML<br />
• ”Digitaalinen rahtikirja”<br />
• TransferInformation<br />
• Sopimustiedot<br />
• Todentaa osaltaan siirtävän osapuolen<br />
• ContactInformation<br />
• Siirtoon liittyviä yhteystietoja<br />
• CaseFile<br />
• Toistuva elementti, jossa alirakenteita<br />
• Siirrettävän aineiston metatiedot
Transfer information<br />
Elementti<br />
NativeID<br />
Title<br />
TransferContractId<br />
MetadataSchema<br />
Kuvaus ja käyttötarve<br />
Yksilöi siirtokokonaisuuden ja erottaa sen muista saman<br />
organisaation lähettämistä siirtokokonaisuuksista.<br />
Identifiointitunnuksen muodostamiseksi voidaan käyttää<br />
OID-tunnusta.(SÄHKE 6.1.1)<br />
Yksilöidään siirtävä järjestelmä. Tätä tunnusta käytetään<br />
siirtokokonaisuuden autenttisuuden todentamiseksi ja<br />
sen arvon tulee olla sama kuin mikä on ilmoitettu<br />
palvelun käyttöönottolomakkeessa.<br />
Tähän tallennetaan arkistolaitoksen kanssa laaditun<br />
siirto- ja säilytyssopimuksen numero. Sopimusnumero on<br />
aina tietojärjestelmäkohtainen ja sitä käytetään<br />
vastaanoton yhteydessä yhtenä tarkistettavana tekijänä.<br />
Informatiivinen, ei käytetä tarkistuksiin.
ContactInformation<br />
Elementti<br />
Organisation.Name<br />
ContactPerson.Name<br />
ContactPerson.Address<br />
ContactPerson.PhoneNumber<br />
ContactPerson.Email<br />
Kuvaus ja käyttötarve<br />
Kontaktitietoihin (SÄHKE 6.2) sisällytetään<br />
siirrosta vastaavan teknisen yhteyshenkilön<br />
tiedot. Arkistolaitoksen edustaja voi<br />
tarvittaessa ottaa yhteyttä tähän henkilöön, jos<br />
siirrossa on ongelmia.
CaseFile, eli itse aineisto<br />
• CaseFile: Käsittelyprosessi<br />
• Action: Prosessiin liittyvä toimenpide<br />
• Record: Asiakirja<br />
• Document: Asiakirjaan liittyvä tiedosto
CaseFile<br />
Elementti<br />
Created<br />
NativeId<br />
Language<br />
Restriction<br />
Title<br />
RetentionPeriod<br />
RetentionReason<br />
Status<br />
ClassificationScheme.<br />
MainFunction<br />
Function<br />
agent<br />
Action<br />
Kuvaus ja käyttötarve<br />
Avattu/laadittu<br />
Yksilöivä tunnus.<br />
Kieli (2.4) 2 merkkiä, SFS-ISO 639 -1 –standardi<br />
Rajoitus (myös julkinen)<br />
Nimeke<br />
-1 on pysyvä säilytys<br />
Määräys tai laki, johon pysyvä säilytys perustuu<br />
Tila (valmis)<br />
Tehtäväluokituksen päätehtävä<br />
Tehtävä<br />
Toimija<br />
Toimenpiteen metatiedot (oma kokonaisuus)
CaseFile - esimerkki<br />
Elementti<br />
esimerkki<br />
Created 2012-09-21<br />
NativeId<br />
Language<br />
Restriction<br />
Title<br />
urn:oid:1.2.246.10.2458859.07.01.05.02.2008.1<br />
Fi<br />
RetentionPeriod -1<br />
RetentionReason<br />
Status<br />
PublicityClass = julkinen<br />
PersonalData = sisältää henkilötietoja<br />
Henkilöstötilinpäätös<br />
AL/12345/07.01.01.03.01/2008<br />
Ratkaistu<br />
Function 07.01.05.02<br />
agent<br />
Role = Kirjaaja<br />
Name = Kalle
Action<br />
Elementti<br />
Created<br />
Title<br />
Agent.role<br />
Agent.name<br />
Type<br />
Record<br />
Kuvaus ja käyttötarve<br />
Laadittu. Pvm ei saa olla aiempi kuin CaseFile:n<br />
vastaava elementti.<br />
Nimeke<br />
Toimijan rooli (esim. kirjaaja)<br />
Toimijan nimi<br />
Toimenpiteen tyyppi (esim. valmistelu)<br />
Toimenpiteeseen liittyvät asiakirjat (ei pakollinen)
Record<br />
Elementti<br />
Kuvaus ja käyttötarve<br />
Created<br />
Avattu/laadittu<br />
NativeId<br />
Yksilöivä tunnus.<br />
Language<br />
Kieli (2.4) 2 merkkiä, SFS-ISO 639 -1 –standardi<br />
Restriction<br />
Rajoitus (myös julkinen)<br />
Title<br />
Nimeke<br />
RetentionPeriod -1 on pysyvä säilytys<br />
RetentionReason Määräys tai laki, johon pysyvä säilytys perustuu<br />
Status<br />
Tila (valmis)<br />
Function<br />
Tehtävä<br />
Type<br />
Asiakirjan tyyppi, esim. lausunto, päätös, hakemus<br />
Authenticity Asiakirjan alkuperäisyys ja eheys todettu (4.2)<br />
Document<br />
Tiedoston metatiedot (oma kokonaisuus)
Record - esimerkki<br />
Elementti<br />
Status<br />
Esimerkki<br />
Valmis<br />
Function 07.01.05.02<br />
Type<br />
Authenticity<br />
Päätös<br />
Checker = Kirjaamo<br />
Date = 2012-09-21<br />
Description = Todettu allekirjoituksesta
Document<br />
Elementti<br />
NativeId<br />
UseType<br />
File.name<br />
File.Path<br />
Format.name<br />
Format.version<br />
HashAlgoritm<br />
HashValue<br />
Kuvaus ja käyttötarve<br />
Yksilöivä tunnus.<br />
Käyttötarkoitus: Arkisto, Natiivi, Julkaisu<br />
Tiedoston nimi<br />
Tiedostopolku siirtopaketissa ilmaistaan suhteessa<br />
XML-siirtotiedoston sijaintiin.<br />
Informativinen<br />
Informativinen<br />
Eheystunnisteen algoritmi: md5, sha1, sha256<br />
Eheystunnisteen arvo
Document – esimerkki
Yksilöinti - NativeID<br />
• Prosessin, asiakirjan ja tiedoston yksilöinti<br />
• Yksiselitteinen ja ”globaalisti tunnistettavissa”<br />
• Käytännössä siirtäjäkohtaisesti uniikki yksilöinti<br />
• Yksilöinti hierarkian eri tasoille tarkentuen<br />
• Suositellaan OID:n käyttöä (JHS 159 ISO OIDyksilöintitunnuksen<br />
soveltaminen julkishallinnossa)<br />
• Tunnistetta käytetään aineiston noutamisen<br />
tukemiseksi. (VIRPA-käyttö)
Validointi
XML-validointi<br />
• Käyttökelpoisen XML-tiedoston täytyy olla joko oikein<br />
muodostettu (well-formed) tai oikeellinen eli validi<br />
(valid)<br />
• Oikein muodostettu täyttää XML-kielen<br />
muotomääritykset siten, että esimerkiksi jokaisella<br />
merkinnällä (tag) on vastaava loppumerkintä.<br />
• Oikeellisen dokumentin rakenne tarkastetaan<br />
dokumenttityypin mukaisesti. Dokumenttityyppi määrää<br />
mm. mitä elementtejä voi käyttää dokumentissa. Se<br />
määrää myös mitkä elementit saavat sijaita minkäkin<br />
elementin sisällä ja mitä attribuutteja kuuluu millekin<br />
elementille.
Validointi työkaluna<br />
• Tarkistaa, että pakolliset elementit ovat mukana<br />
• Arvoluettelot, kuten ”ei sisällä henkilötietoja” ja näiden<br />
tarkan kirjoitusasun<br />
• Ennakkovalidointi säästä työtä ja selvittelyn ongelmia<br />
kaikilta osapuolilta
Skeemaviittaukset<br />
<br />
…<br />
<br />
http://www.arkisto.fi/skeemat/Sahke2/2011/12/20<br />
Pitkäaikaissäilytettävien<br />
tiedostomuotojen<br />
käsittely ja<br />
laadunvarmistus
Asiakirjat siirtokuntoon<br />
• Konvertointi sp-muotoon mahdollisimman aikaisin<br />
• Tiedostojen nimeäminen ohjeiden mukaisesti<br />
• Natiivimuodot<br />
• Eivät yksin kelpaa säilytykseen<br />
• Pitkäaikaissäilytyksen muodot<br />
• PDF/A-1b, myös PDF/A-1a<br />
• UTF8 (XML)<br />
• TIFF (rev 5 ja rev6), säilyttävät hyvin ilmiasun<br />
• Ei saa olla linkkejä tai riippuvuutta ulkoisista<br />
elementeistä.<br />
• Fonttien yms. Käytettävyyden varmistaminen
Tiedostojen nimeäminen<br />
• VAPAan siirrettävien asiakirjatiedostojen nimissä on<br />
sallittu seuraavat merkit:<br />
a-z A-Z 0-9 - _ . ( ) # välilyönti<br />
• Tiedostonimen pituus on maksimissaan 256 merkkiä.<br />
• Yksittäisen asiakirjatiedoston koko ei saa ylittää 2GB
Siirrettävät asiakirjat<br />
• Arkistolaitoksen VAPA -palveluun siirretään vain<br />
pysyvästi säilytettävät asiakirjat ja näistä vain<br />
lopulliset versiot. Väliversioita samasta asiakirjasta ei<br />
siirretä.<br />
• Asiakirjatiedon yhteydessä siirtotiedossa tulee esittää<br />
tiedoston käyttötapa: ”Natiivi”, ”Julkaisu” tai ”Arkisto”.<br />
Arkisto<br />
<br />
F0010696.PDF<br />
00002614\PDF\F0010696.PDF<br />
Auditointointikriteerit<br />
Formaattien hallinta<br />
• Onko organisaatiossa ohjeistettu käyttämään<br />
käsittelyprosessissa vain sellaisia tiedostomuotoja, jotka<br />
voidaan konvertoida arkistolaitoksen edellyttämiin<br />
pitkäaikaissäilytyksen muotoihin<br />
• Ovatko siirrettävien pysyvästi säilytettävien asiakirjojen<br />
tiedostomuodot joko PDF/A tai TIFF
Formaattien hallinta<br />
• Formaattikirjasto (Pronom)<br />
• Tunnistaminen (droid)<br />
• Sisäisten tunnisteiden avulla selvittää mikä formaatti<br />
on kyseessä<br />
• Karakteristointi<br />
• Määrittää ne ominaisuudet, jotka halutaan säilyvän<br />
• ”Preservation Plan” (Plato)
DROID<br />
• DROID (Digital Record Object Identification) is a software tool to<br />
perform automated batch identification of file formats.<br />
• It is designed to meet the fundamental requirement of any<br />
digital repository to be able to identify the precise format of all<br />
stored digital objects, and to link that identification to a central<br />
registry of technical information about that format and its<br />
dependencies.<br />
• It uses internal and external signatures to identify and report the<br />
specific file format versions of digital files. These signatures are<br />
stored in an XML signature file, generated from information<br />
recorded in the PRONOM technical registry.<br />
• New and updated signatures are regularly added to PRONOM,<br />
and DROID can be configured to automatically download<br />
updated signature files from the PRONOM Web site via Web<br />
services
Eheystarkiste<br />
• Lasketaan asiakirjatiedostoista<br />
• Varmistaa tiedoston muuttumattomuuden<br />
• Laskenta järjestelmän tai siirto-osion toimesta<br />
Algoritmi<br />
MD5<br />
SHA-1<br />
SHA-256<br />
merkintä<br />
md5<br />
sha1<br />
sha256
Työkaluja<br />
• md5sum<br />
• Droid<br />
• Komentorivipohjainen työkalu<br />
• *xml > tiedostot.md5<br />
• Graafinen käyttöliittymä, myös<br />
komentorivi<br />
• Vain md5
1) Tiedostoista<br />
lasketaan<br />
eheystarkisteet<br />
2) Tiedostojen<br />
eheystarkiste<br />
tallennetaan aineiston<br />
metatietoihin<br />
3) Metatieto tiedostoista<br />
lasketaan myös<br />
eheystarkisteet, jotka<br />
tallennetaan<br />
varmiste.sig tiedostoon<br />
4) Varmiste.sig<br />
allekirjoitetaan<br />
sähköisesti
Varmenteiden käyttö<br />
(varmiste.sig)
Todistusvoimaisuuden synty<br />
• Digitaalisessa muodossa syntyneet asiakirjat on<br />
muodostettu hallitussa prosessissa siten, että prosessin<br />
vaiheet on todennettavissa.<br />
• Tietojärjestelmän ominaisuudet tukevat aineiston<br />
tietoturvallista käsittelyä ja estävät oikeudettoman<br />
tietojen muuttamisen tai poiston<br />
• Asiakirja-aineisto voidaan siirtää arkistoon siten, että<br />
siirron eheys ja siirtäjä voidaan todentaa
Siirtokokonaisuuden allekirjoitus<br />
• Varmistaa aineiston siirtäjän sekä eheyden<br />
• Allekirjoitetaan vain metatiedot<br />
• Asiakirjojen eheystarkiste on metatiedoissa<br />
mukana<br />
• Joko henkilö tai järjestelmävarmenne,<br />
sovittava VAPA-tuen kanssa<br />
• Paketin allekirjoittajana voi olla luonnollinen<br />
henkilö tai tietojärjestelmä, joka edustaa<br />
allekirjoittajaa.<br />
• Allekirjoitus tallentuu varmiste.sig tiedostoon
Allekirjoittaminen<br />
• Manuaalinen vaihe siirtopaketin kokoamisen jälkeen.<br />
• varmistutaan lähettäjästä<br />
• Luodaan varmiste.sig –tiedosto<br />
• Sisältää eheystarkisteet metatiedoista, eli<br />
SAHKE1.XML tiedosto, ei muista tiedostoista<br />
• Pkcs7 muotoinen allekirjoitus, joka varmistaa<br />
metatietojen eheystarkisteet
Varmenteen todentaminen<br />
• openssl x509 -in -text<br />
• Myöntäjä<br />
• Kenelle tehty<br />
• Itse sisältö<br />
• openssl x509 -in -purpose<br />
• käyttötarkoitukset<br />
• "Kyllä" oltava väh. seuraavissa:<br />
• S/MIME signing<br />
• Any Purpose<br />
• Any Purpose<br />
• CA OCSP Helper
Siirtävä järjestelmä<br />
meta<br />
doc<br />
1) Tiedostoista lasketaan<br />
eheystarkisteet<br />
Siirtokokonaisuus<br />
Sähke.xml<br />
<br />
<br />
Varmiste.sig<br />
mdsum (sähke.xml)<br />
Signature (PKCS#7)<br />
ref<br />
md5<br />
2) Tiedostojen eheystarkiste<br />
tallennetaan aineiston<br />
metatietoihin<br />
3) Metatieto tiedostoista<br />
lasketaan myös<br />
eheystarkisteet, jotka<br />
tallennetaan varmiste.sig<br />
tiedostoon<br />
4) Varmiste.sig<br />
allekirjoitetaan sähköisesti
Verkkoyhteydet ja<br />
SFTP-tiedonsiirto
Aineiston siirto<br />
• Suojattu tiedonsiirto palvelimelta toiselle<br />
• VAPA suorittaa siirrettävälle aineistolle automaattisia<br />
teknisiä tarkistuksia<br />
• Jos vastaanoton tarkistuksissa tapahtuu virhe, siirto<br />
keskeytyy ja se on aloitettava alusta<br />
• Siirtävälle taholle VAPA-extranetin raportointipalvelu<br />
• siirtojen seuranta<br />
• virheraportit<br />
• aineiston kertymäraportit<br />
• Siirron jälkeen:<br />
• alkuperäinen asiakirja VAPAssa,<br />
• siirtävän organisaation järjestelmässä olevat asiakirjat<br />
katsotaan kopioiksi<br />
• Siirrettyjen asiakirjojen ja käsittelyprosessien tilatiedoksi<br />
tulee tietojärjestelmässä ”siirretty”
Hallinnolliset toimet<br />
• Siirtotunnukset<br />
• 1 tunnus / ympäristö / org<br />
• Raportointikäyttäjien ilmoittaminen<br />
• Palomuuriavaukset<br />
• Testi ja tuotanto<br />
• Testiympäristön määräaikainen käyttö<br />
• Testauspalvelun käyttö osana sähköisen säilyttämisen<br />
lupaa
Siirron tekninen toteutus<br />
• SFTP yhteys tähän soveltuvalla clientillä<br />
• Kokonaisuuden siirto, joko kerralla tai osissa.<br />
• Tulee olla binääri-muodossa (ei tekstimuodossa)<br />
• Viimeisenä ”triggerinä” varmiste.sig
Siirron virheilmoitukset<br />
• Allekirjoitus tehtävä aina viimeisenä<br />
• jos tietosisältöä muutetaan allekirjoituksen jälkeen, niin<br />
pakettia ei hyväksytä<br />
• Samaa aineistoa voi luovuttaa vain kerran.<br />
• Jos aineisto on VAPA:ssa ja sinne yritetään tuoda samaa<br />
aineistoa uudelleen, tulee virheilmoitus dublikaatista.<br />
Tarkistus identifiointitunnuksesta.<br />
• Onnistuneesta tai epäonnistuneesta siirrosta tulee<br />
sähköpostiin ilmoitus
Palomuuriavaukset<br />
• VAPA-tuelta lomake, jolla kohdejärjestelmän IPosoitteet.<br />
• Tällä ilmoitetaan myös lähdejärjestelmän osoitteet<br />
• Käytetyt portit<br />
• SFTP 115, HTTP 80, FTP 20 ja 21<br />
• Liikennöintisuunta siten että yhteyden avaus aina<br />
siirtäjän suunnasta<br />
• Yhteydet pääsääntöisesti: testi-testi ja tuotantotuotanto<br />
• Teknisesti siirtävä ”järjestelmä” voi olla sellainen, joka<br />
kyetään verkkoteknisesti yksilöimään ja luomaan<br />
palomuuriyhteys<br />
• Yhteyksien luomiseen varattava aikaa noin 1-2 vko
SFTP –client sovelluksista<br />
• Tiedostojen siirtämiseen tarkoitettuja sovelluksia<br />
• Rajapinta mahdollista rakentaa myös operatiiviseen<br />
järjestelmään<br />
• Soveltuvia järjestelmiä mm.<br />
• Cyberduck http://cyberduck.ch/<br />
• WinScp http://winscp.net<br />
• FileZilla http://filezilla-project.org<br />
• Siirtotoiminto mahdollista osin automatisoida työkalun<br />
avulla<br />
• Edellytyksenä kyky binäärimuotoiseen siirtoon.
Siirtotapahtuma<br />
• Siirretään ensin aineistopaketti<br />
• metatiedot ja asiakirja tiedostot<br />
• Kun muu aineisto on siirtynyt, siirretään<br />
allekirjoitus (varmiste.sig) binäärisenä
Siirtohakemistot aineistossa<br />
• Koottu aineisto järjestetään<br />
siirtokokonaisuudeksi siten, että jokaiselle<br />
siirrettävälle asiakirjallisen tiedon<br />
käsittelyprosessille (asialle) luodaan oma<br />
alihakemistonsa.<br />
• Siirrettävät asiakirjatiedostot kootaan<br />
hakemistoon siten, että jokaista<br />
tiedostomuotoa varten luodaan oma<br />
hakemistonsa.<br />
• SÄHKE-metatiedot sisältävät XMLtiedostot<br />
(metatiedostot) sijoitetaan<br />
siirtokokonaisuuden juureen
Siirtohakemistot VAPA:ssa<br />
• Siirtokokonaisuus käsitellään yhtenä kokonaisuutena.<br />
• Jokaista siirtokokonaisuutta varten luodaan oma<br />
alihakemisto päätason alaisuuteen.<br />
• VAPA sulkee pääsyn siirtokokonaisuuteen siirron<br />
jälkeen sen käsittelyn ajaksi. Jos siirtokokonaisuuden<br />
käsittely päättyy virhetilanteeseen, niin alihakemistoa<br />
käytettäessä varmistetaan, että vain pääsy kyseiseen<br />
alihakemistoon estyy.<br />
• Alihakemiston nimeämisessä voidaan käyttää<br />
esimerkiksi järjestelmän tunnistetta ja päivämäärää,
Siirtokokonaisuuden paketointi<br />
• Hakemistorakenne, jossa<br />
metatiedoista on viittaukset asiakirja<br />
tiedostoihin.<br />
• Huom! Suhteellinen viittaus suhteessa<br />
metatietoihin<br />
EI: c:\siirto\aineistot\123\abc<br />
KYLLÄ: \123\abc
Aineiston tekninen siirto<br />
• Käyttäjätunnukset sopimuksen teon<br />
yhteydessä<br />
• Suojattu tiedonsiirto palvelimelta toiselle<br />
SFTP-protokollalla<br />
• Palomuuriavaukset tilattava etukäteen<br />
• SFTP-client sovelluksia vapaasti saatavilla
Siirtojen onnistumisen<br />
seuranta ja siirron<br />
paluukanavan<br />
hyödyntäminen
Aineiston vastaanotto<br />
• VAPA suorittaa siirrettävälle aineistolle<br />
automaattisia teknisiä tarkistuksia<br />
• Virustarkistus<br />
• Allekirjoitus (varmiste.sig)<br />
• Sopimustiedot<br />
• XML:n rakenteen oikeellisuus<br />
• Tiedostojen ja kokonaisuuden eheys<br />
• Arvojoukot<br />
• Jos vastaanoton tarkistuksissa tapahtuu<br />
virhe, hylätään koko paketti<br />
• Tavoitteena automatisoitu ja luotettava<br />
siirtoprosessi.
Siirron jälkeen<br />
• alkuperäinen asiakirja on tämän jälkeen<br />
VAPAssa<br />
• siirtävän organisaation järjestelmässä<br />
olevat asiakirjat katsotaan kopioiksi<br />
• Aineisto tulee merkitä siirretyksi<br />
• Hallintaoikeus ja velvollisuus säilyy vielä<br />
siirtäjällä, kunnes aineisto luovutetaan<br />
• Siirretyn oman aineiston käyttö mahdollista<br />
VIRPA-rajapinnan kautta
Siirron paluukanava<br />
• Kaikista siirtoyrityksistä tulee raportti<br />
siirtäjälle, joka kertoo siirron tilan<br />
• Paluukanavan avulla muodostetaan<br />
koneellisesti luettava siirtoraportti, joka<br />
mahdollistaa siirron jälkeisen tilatiedon<br />
automaattisen päivittymisen siirtävässä<br />
järjestelmässä<br />
• tukee parhaiten käyttötapaa, jossa siirtoja<br />
tapahtuu usein ja lyhyellä siirtosyklillä<br />
• Käytettävissä samoin kuin VIRPA-rajapinta
Paluusanoma<br />
• Paluuraportti on suoritetun siirron tilasta VAPAssa<br />
tuotettu XML-muotoinen raportti, jonka sisällön<br />
kutsuva järjestelmä tulkitsee.<br />
• Kutsu perustuu siirretyn aineiston tunnukseen<br />
• Sanomapohjainen tunnistaminen (käyttäjätunnus ja<br />
salasana)<br />
• https://[palvelun osoite].narc.fi/<br />
DeliveryService/ReportDownloadingestID=[s2:Transfe<br />
rInformation/s2:NativeId ]<br />
• Kutsun otsikkotiedoissa on esitettävä<br />
iPlanetDirectoryPro eväste ja sen arvona session<br />
luonnissa saatu token.id:n arvo.
Vastauksen tulkinta<br />
<br />
success<br />
122.123.123/rep:transferId><br />
Raportti sisältää vastaanoton työnkulun raporttitiedon XMLmuodossa,<br />
josta mahdolliset virheet on löydettävissä
Siirtotoiminnallisuuksien<br />
auditointi
• Onko järjestelmässä toiminnot, joiden avulla<br />
siirrettävät asiakirjatiedostot konvertoidaan<br />
arkistolaitoksen vaatimusten mukaisiin<br />
tiedostomuotoihin, kuten PDF/A ja TIFF<br />
• Vaatimus tulee todentaa pistokokein<br />
aineistosta, jossa on eri formaateissa olevaa<br />
aineistoa ja siirtokokonaisuuden<br />
lopputuloksesta tarkistetaan konvertoitujen<br />
asiakirjatiedostojen tyypit ja näiden<br />
konversioiden onnistuminen.
• Onko järjestelmässä toiminnot, joiden avulla<br />
siirtokokonaisuus muodostuu sellaiseen<br />
hakemistorakenteeseen, että se on siirrettävissä<br />
yhtenä yhtenäisenä kokonaisuutena VAPApalveluun.<br />
• Todennetaan arvioimalla muodostunutta<br />
hakemistorakennetta siten, että se ei sisällä<br />
siirtokokonaisuuteen kuulumattomia tiedostoja ja<br />
että siirrettävät tiedostot ovat helposti<br />
siirrettävissä.
• Onko järjestelmässä toiminnot, joiden avulla<br />
siirrettäväksi tarkoitettu aineisto voidaan poimia<br />
järjestelmästä, joko erinä tai käsittelyprosessi<br />
kerrallaan.<br />
• Onko järjestelmässä toiminnot, joiden avulla<br />
siirrettäväksi tarkoitettu aineisto merkitään poimituksi<br />
sen jälkeen kun aineisto on otettu osaksi siirrettävää<br />
kokonaisuutta’<br />
• Onko järjestelmässä toiminnot, joiden avulla<br />
epäonnistuneen siirron jälkeen siirrettäväksi poimittu<br />
aineisto voidaan palauttaa poimintaa edeltävään tilaan<br />
”ei poimittu”.
Aineiston VIRPA-käyttö:<br />
yleiskuvaus ja tekninen<br />
käyttötapa
Periaate<br />
• Aineiston suorakäyttörajapinta (VIRPA) tarjoaa<br />
organisaatiolle mahdollisuuden noutaa VAPAan<br />
siirtämiään aineistoja NativeID:n avulla
Palvelun kuvaus<br />
• aineiston nouto edellyttää, että aineiston aineiston<br />
identifiointitunnuksia<br />
• mahdollistaa vain aineiston noudon VAPA-järjestelmästä,<br />
ei aneiston palauttamista takaisin VAPAan tai aineiston<br />
muokkaamista.<br />
• VIRPA-rajapinta ei sisällä erillisiähakutoiminnallisuuksia<br />
tai näiden tukea.<br />
• haettavan aineiston käyttöoikeudet perustuvat kutsuvan<br />
järjestelmän omaan käyttäjä- ja käyttöoikeushallintaan.
Hakutavat<br />
• VIRPA-rajapinta noutaa pyydetyn aineiston kutsuvalle<br />
järjestelmälle ZIP-pakettina, joka sisältää sekä<br />
pyydetyn asiakirjatiedoston että siihen liittyvät<br />
metatiedot. Kutsuvan järjestelmän vastuulla on esittää<br />
nämä tiedot vastaanottajalle.<br />
• Aineistoa voidaan hakea joko sykronisesti tai<br />
asynkronisesti.<br />
• synkronisessa haussa paluusanoma sisältää<br />
suoraan pyydetyn aineiston<br />
• asynkronisessa haussa paluusanoma sisältää linkin<br />
osoitteeseen, josta aineisto on myöhemmin<br />
haettavissa.
Arkistolaitoksen<br />
tarjoamat siirtämisen<br />
tukipalvelut sekä<br />
ohjeistus
VAPA-tuki<br />
• Siirtoon liittyvät käytännön järjestelyt<br />
• Palomuuriavaukset<br />
• Siirtäjän alustukset VAPAssa<br />
• Tunnusten myöntäminen<br />
• Virheilmoitusten tulkinta ja ongelmien<br />
selvittäminen<br />
• On aina ensimmäinen yhteydenottopiste siirtoon<br />
liittyvissä teknisissä kysymyksissä<br />
• Kanavoi tukipyynnöt eteenpäin tarvittaessa<br />
• Vapa-tuki@narc.fi
VAPA-siirtotestaus<br />
• Varmistutaan siirtokokonaisuuden rakenteellisesta<br />
oikeellisuudesta<br />
• Nähdään siirtopaketin sisällöllinen oikeellisuus<br />
• Suoritetaan kun on uusi VAPA-palveluun liittyvä järjestelmä tai<br />
jos järjestelmän siirtotoiminnallisuuteen on tehty merkittäviä<br />
muutoksia.<br />
• Edellyttää organisaation itse tuottamaa testiaineistoa<br />
• Sovellusta tai järjestelmää, jonka avulla siirtokokonaisuus<br />
voidaan siirtää testijärjestelmään.<br />
• Sähköisen säilyttämisen luvan edellytys on testauksella<br />
todennettu siirtotoiminnallisuus
Testit<br />
• Automaattisesti<br />
• Metatietorakenteen XML-rakenne<br />
• Asiakirjatiedostojen formaattien<br />
määritystenmukaisuus<br />
• Eheystarkisteet ja allekirjoitus<br />
• Manuaalisesti<br />
• SÄHKE2-metatietojen käyttö<br />
• Konversioiden käytettävyys
Siirtotestauksen vaiheet 1/2<br />
nro. Kuvaus toimenpiteistä<br />
1. Siirtoyhteyden muodostaminen<br />
- Palomuuriavausten ja allekirjoittajan tietojen<br />
toimittaminen VAPA-tuelle<br />
- VAPA-tuki toimittaa siirtotunnukset<br />
2. Siirtoyhteyden testaus<br />
- Siirtäjä testaa yhteyden toimivuuden<br />
3. Testaus 1-vaihe: siirron läpimeno<br />
Siirtotestaus aloitetaan pienellä aineistolla, jotta<br />
mahdolliset virheet on helppo korjata (esim. yksi asia<br />
ja pari asiakirjaa).<br />
dokumentaatio / ohje<br />
Siirto-ohje<br />
Siirto-ohje<br />
Siirto-ohje<br />
Siirtotestauksen ohje<br />
Ensimmäinen versio siirtokokonaisuudesta voidaan<br />
lähettää myös s-postilla.
Siirtotestauksen vaiheet 2/2<br />
nro. Kuvaus toimenpiteistä dokumentaatio / ohje<br />
4. Testaus 2-vaihe: aineiston variaatiot<br />
Kun siirto on mennyt läpi voidaan vähitellen<br />
kasvattaa aineisto kokoa.<br />
Siirtotestauksen ohje<br />
Käytetään testiaineistoa, joka edustaa kattavasti<br />
siirrettävää aineistoa ja sen rakenteita<br />
5. Testaus 3-vaihe: aineiston sisällöllinen validointi<br />
Kansallisarkisto katselmoin vaiheessa 2. siirtrettyä<br />
aineistosta VAPA-järjestelmässä.<br />
Siirtotestauksen ohje<br />
6. Siirtotestauksen päättäminen<br />
Yhteinen käsitys testauksen riittävyydestä<br />
7. VIRPA-rajapinnan ja siirron paluuraportin rajapinnan<br />
testaus.<br />
VIRPA-ohje
Testauksessa käytettävä<br />
aineisto<br />
• Ei tule käyttää oikeaa aineistoa – etenkään jos<br />
sisältää arkaluonteisia tietoja<br />
• Aineisto, joka edustaa kattavasti niitä rakenteita<br />
ja muotoja, jotka ovat järjestelmän<br />
tuotantokäytössä tyypillisiä.<br />
• Huomioida myös aineistokohtaiset erityispiirteet<br />
• Asioiden ja asiakirjojen lukumäärää<br />
oleellisempaa on aineiston monipuolisuus ja<br />
kattavuus.
Testiaineisto<br />
Asiat:<br />
• Salassa pidettävä asia<br />
• Salassa pidettävä asiakirja (SP) + julkinen asiakirja (SP) samassa<br />
asiassa<br />
• Asia, joka sisältää määräajan ja pysyvästi säilytettäviä asiakirjoja<br />
• Päätetty, mutta uudelleenavattu asia tuleeko mukaan<br />
• Asia, josta on hävitetty jo määräajan säilytettäviä asiakirjoja<br />
• Asia, joka sisältää suhde- merkintöjä toiseen asiaan.<br />
Muita ominaisuuksia:<br />
• Asiakirja, josta on useita eri versioita tuleeko viimeinen versio<br />
• Saapunut sähköisesti allekirjoitettu asiakirja<br />
• Tiedostomuotoja: DOT, PPT, PPTX ja XLS, XLSX, DOC, DOCX, JPEG,<br />
HTML, ODF, PNG tms. – etupäässä niitä, joita ko. järjestelmässä<br />
käytetään.
Ohjeita testaajalle:<br />
• Varmista aluksi siirtoyhteyden toimivuus<br />
• Sovi VAPA-tuen kanssa testiajankohta<br />
• Aloita testaus pienillä aineistoilla<br />
• Validoi siirtokokonaisuus ensin itse<br />
– Sahke.xml<br />
– Varmiste.sig<br />
• Kuittaus siirroista siirtoja suorittavan<br />
tahon sähköpostiin
Lisätietoja<br />
VAPA-palvelusta ja sen<br />
käyttöönotosta<br />
Siirron tekninen tuki<br />
Mikko Eräkaski<br />
050 363 5769<br />
Vapa-tuki@narc.fi<br />
email. Etunimi.sukunimi@narc.fi
Change language