Archiveren op de agenda - Data Space
Archiveren op de agenda - Data Space
Archiveren op de agenda - Data Space
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
Lezing 2 :<br />
Mo<strong>de</strong>rne digitale storage<br />
Gastspreker : De heer Ties Beekhuis<br />
<strong>Data</strong> <strong>Space</strong> Ne<strong>de</strong>rland BV<br />
De kunst van het mo<strong>de</strong>rn archiveren<br />
Van Abbemuseum<br />
Eindhoven<br />
5 februari 2009
Mo<strong>de</strong>rne Digitale<br />
Storage<br />
Ties Beekhuis<br />
Manager Consultancy
Agenda<br />
Section<br />
PROACT<br />
<strong>Archiveren</strong> Heading <strong>op</strong> about <strong>de</strong> <strong>agenda</strong><br />
Wat new zijn subject <strong>de</strong> uitdagingen<br />
Welke <strong>op</strong>lossingen<br />
Object gebaseerd archief<br />
Samenvatting / Q&A
De PROACT Groep<br />
• Grootste, beursgenoteer<strong>de</strong> storage integrator van Eur<strong>op</strong>a<br />
• Kennishuis met 15 jaar storage ervaring, €100M+ omzet<br />
• Vertegenwoordigd in 8 lan<strong>de</strong>n, 18 kantoren<br />
• Beken<strong>de</strong> A-merken on<strong>de</strong>r 1 dak<br />
• 320 me<strong>de</strong>werkers, waarvan 220 engineers<br />
• Executive member SNIA<br />
• Ruim 1700 klanten, loyaliteit 99,8%
Focus gebie<strong>de</strong>n
Agenda<br />
PROACT<br />
<strong>Archiveren</strong> <strong>op</strong> <strong>de</strong> <strong>agenda</strong><br />
Wat zijn <strong>de</strong> uitdagingen<br />
Welke <strong>op</strong>lossingen<br />
Object gebaseerd archief<br />
Samenvatting / Q&A
<strong>Archiveren</strong> <strong>op</strong> <strong>de</strong> <strong>agenda</strong><br />
• Het digitale universum in 2007<br />
was 45 gigabytes (GB) voor elke<br />
persoon <strong>op</strong> <strong>de</strong> wereld<br />
• Met 281 miljoen GB (281 exabytes), was<br />
het digitale universum 10% meer dan verwacht<br />
• In 2011 zal dit 1.8 zettabytes (1,800 exabytes) zijn<br />
• Uw “Digital Shadow” is per dag meer dan u zelf aan<br />
digitale data creëert<br />
IDC 2007:<br />
The Diverse and Exploding Digital Universe:<br />
An Updated Forecast of Worldwi<strong>de</strong> Information Growth Through 2011
<strong>Archiveren</strong> <strong>op</strong> <strong>de</strong> <strong>agenda</strong><br />
• Nationaal Archief (beleidsplan ‘07-’10)<br />
– reeds 2TB digitaal archief<br />
– vanuit ministeries al meer dan 8x aangebo<strong>de</strong>n<br />
– overdracht nog niet plaatsgevon<strong>de</strong>n vanwege ontbreken<br />
<strong>op</strong>erationeel digitaal <strong>de</strong>pot.<br />
• Wet bewaarplicht telecommunicatie<br />
– In Ne<strong>de</strong>rland verkeers- en locatiegegevens 18 mndn bewaren<br />
– Op sommatie van Justitie data <strong>op</strong> heel korte termijn verstrekken<br />
• Fiscale bewaarplicht<br />
– 7 jaar<br />
– 20 jaar bij rechtsvor<strong>de</strong>ring uit contract (ook digi communicatie)
<strong>Archiveren</strong> <strong>op</strong> <strong>de</strong> <strong>agenda</strong><br />
• Wet <strong>op</strong> <strong>de</strong> geneeskundige behan<strong>de</strong>lingsovereenkomst<br />
– 15 jaar bewaartermijn<br />
– 30TB+ PACS archief geen uitzon<strong>de</strong>ring meer<br />
• Archiefplicht overheidsorganisaties<br />
– Onbepaal<strong>de</strong> tijd voor Ne<strong>de</strong>rlands cultureel erfgoed<br />
• Hoe houd je <strong>de</strong> groei bij?<br />
• Hoe migreer je TB’s aan data?<br />
• Hoe financier je oneindige kosten?<br />
• Hoe voorkom je dataverlies?
Archief <strong>de</strong>finitie<br />
PROACT’s <strong>de</strong>finitie voor archiveren<br />
Een combinatie van beleid, processen en een<br />
technisch platform voor het behou<strong>de</strong>n, beveiligen<br />
en toegankelijk maken van geselecteer<strong>de</strong> informatie<br />
voor een vastgestel<strong>de</strong> tijd.
De (on)zin van ILM<br />
Er is een groot verschil tussen archiveren en migreren!<br />
<strong>Archiveren</strong> is een beleidsmatig besluit.<br />
Migratie is het verplaatsen van data tussen<br />
twee verschillen<strong>de</strong> <strong>op</strong>slag type – dit is een IT besluit.
Agenda<br />
PROACT<br />
<strong>Archiveren</strong> <strong>op</strong> <strong>de</strong> <strong>agenda</strong><br />
Wat zijn <strong>de</strong> uitdagingen<br />
Welke <strong>op</strong>lossingen<br />
Object gebaseerd archief<br />
Samenvatting / Q&A
Uitdagingen archief storage<br />
• Schaalbaarheid capaciteit en performance<br />
• Limieten en beheer bestand systemen<br />
• Integriteit en authenticiteit<br />
• Standaard gebaseer<strong>de</strong> interfaces<br />
• Toekomstige migraties<br />
• On<strong>de</strong>rsteunen<strong>de</strong> diensten / compliancy
Bestand systemen kunnen het niet bijhou<strong>de</strong>n<br />
• Bestand systemen zijn 30 jaar gele<strong>de</strong>n ontworpen<br />
– Gericht <strong>op</strong> het <strong>op</strong>slaan van hon<strong>de</strong>r<strong>de</strong>n bestan<strong>de</strong>n <strong>op</strong> kleine disken<br />
– Systemen van vandaag <strong>de</strong> dag nog steeds gebaseerd <strong>op</strong><br />
ou<strong>de</strong>rwets ontwerp<br />
• Opslag vereisten zijn an<strong>de</strong>rs<br />
– Opslag van miljoenen bestan<strong>de</strong>n <strong>op</strong> hon<strong>de</strong>r<strong>de</strong>n tot duizen<strong>de</strong>n<br />
grote disken<br />
• Bestand systemen kunnen niet meer <strong>op</strong>gerekt wor<strong>de</strong>n<br />
– Instabiel met gelaag<strong>de</strong> complixiteit en virtualisatie<br />
– Technische limieten<br />
– On<strong>de</strong>rliggen<strong>de</strong> bestand systeem moeten nog steeds beheerd,<br />
veiliggesteld, gemigreerd en on<strong>de</strong>rhou<strong>de</strong>n wor<strong>de</strong>n.
Archief medium<br />
• Tape en <strong>op</strong>tische disken:<br />
– Niet ontworpen voor gegaran<strong>de</strong>er<strong>de</strong> lange termijn <strong>op</strong>slag<br />
– Beleid <strong>op</strong> basis van backup, niet archivering<br />
– Ou<strong>de</strong> informatie vaak offline <strong>op</strong> tape – traag – niet<br />
zoekbaar<br />
– Korte levensduur van tape formaten - migraties<br />
• Disk (DAS/SAN/NAS):<br />
– Niet ontworpen voor gegaran<strong>de</strong>er<strong>de</strong> lange termijn <strong>op</strong>slag<br />
– Integriteit en onveran<strong>de</strong>rbaarheid van data niet<br />
gewaarborgd<br />
– Gebaseerd <strong>op</strong> 30 jaar ou<strong>de</strong> bestand systemen<br />
– Bestand systeem beheer, backup en technische limieten<br />
– Migratie gelimiteerd door archivering applicatie server
Agenda<br />
PROACT<br />
<strong>Archiveren</strong> <strong>op</strong> <strong>de</strong> <strong>agenda</strong><br />
Wat zijn <strong>de</strong> uitdagingen<br />
Welke <strong>op</strong>lossingen<br />
Object gebaseerd archief<br />
Samenvatting / Q&A<br />
18. februar 2009 – page 24
Meest gebruikte <strong>op</strong>lossingen<br />
• Pointer gebaseerd<br />
– I<strong>de</strong>aal voor mail en databases, min<strong>de</strong>r voor bestan<strong>de</strong>n<br />
– Is voornamelijk migratie – applicatie omzeilen<br />
• Storage netwerk gebaseerd<br />
– Geen pointers, fysiek verplaatsen<br />
– Is voornamelijk migratie – applicatie omzeilen<br />
• Storage <strong>op</strong>slag gebaseerd<br />
– Traditionele disk <strong>op</strong>slag - nog steeds uitdagingen<br />
– Object gebaseer<strong>de</strong> <strong>op</strong>slag<br />
• <strong>Archiveren</strong> naar behoefte
<strong>Archiveren</strong> naar behoefte<br />
• Voornamelijk financiele constructies en geen weg terug<br />
• <strong>Archiveren</strong> als dienst met beheer services:<br />
– Volledig storage beheerd archief<br />
– Niet verplicht ge<strong>de</strong>el<strong>de</strong> infrastructuur, te verplaatsen<br />
– Locatie onafhankelijk<br />
– Service niveau afspraken<br />
– Open ontsluiting voor alle applicaties<br />
– Juiste kennis, beheer en support organisatie<br />
– Geen onbeschikbaarheid voor migraties, on<strong>de</strong>rhoud of<br />
vernieuwing<br />
– Geen levenscyclus risico’s<br />
– Vastgestel<strong>de</strong> achter<strong>de</strong>ur
Waarom wel archiveren naar disk?<br />
Het antwoord: Totale Kosten (TCO)<br />
$4X<br />
$3X<br />
$2X<br />
$1X<br />
Paper/fiche<br />
Tape/Optical<br />
Object oriented<br />
disk<br />
3 6 9 12 15<br />
Bron: SNIA
Agenda<br />
PROACT<br />
<strong>Archiveren</strong> <strong>op</strong> <strong>de</strong> <strong>agenda</strong><br />
Wat zijn <strong>de</strong> uitdagingen<br />
Welke <strong>op</strong>lossingen<br />
Object gebaseerd archief<br />
Samenvatting / Q&A
ILM traditioneel complex<br />
• 3 - 4 storage lagen<br />
– Vermenigvuldiging van<br />
overhead<br />
– <strong>Data</strong> duplicatie<br />
• <strong>Data</strong> dijken en pompen<br />
– Vereist het verplaatsen van<br />
data tussen <strong>op</strong>lossingen<br />
– Complex, arbeids intensief<br />
– Hoge investeringen<br />
• Fragiel en inflexibel<br />
• Goed voor vendors, min<strong>de</strong>r voor<br />
gebruikers<br />
days<br />
Apps<br />
SAN<br />
NAS<br />
Tape<br />
Archive<br />
Management<br />
Tier data<br />
pumps
ILM innovatief simpel<br />
• Dynamisch ~10% db SAN of NAS<br />
– Gericht <strong>op</strong> servers met performance<br />
behoefte<br />
• Statisch ~ 90% overige data CAS<br />
– Massaal schaalbaar met hoge<br />
doorvoersnelheid<br />
– Snel en goedk<strong>op</strong>e primaire storage<br />
– Stabiel en flexibel<br />
– Min<strong>de</strong>r beheer en on<strong>de</strong>rhoud<br />
– Standaard NAS ontsluiting<br />
– Goed voor klanten, min<strong>de</strong>r voor vendors<br />
Apps<br />
CAS<br />
90% Fixed Content<br />
10%<br />
Dynamic<br />
SAN or<br />
NAS
Wat is CAS?<br />
• Content Addressable Storage – object gebaseer<strong>de</strong> <strong>op</strong>slag<br />
– Een bestand wordt vertegenwoordigd door <strong>de</strong> inhoud<br />
– Een bestand adres refereert aan <strong>de</strong> inhoud, NIET <strong>de</strong> locatie<br />
• CAS vs “Regulier” disk systeem:<br />
– Geen bestand systeem – Ongelimiteer<strong>de</strong> adres ruimte<br />
– <strong>Data</strong> integriteit – Een bestand adres refereert aan <strong>de</strong> inhoud<br />
– Backup/Restore en beschikbaarheid – ingebouw<strong>de</strong><br />
functionaliteit<br />
• Dit creeert een systeem dat….<br />
– Geen bestand systeem, RAID of volumes heeft, alleen<br />
adressen<br />
– Zon<strong>de</strong>r onbeschikbaarheid onbeperkt kan groeien
Het gaat om <strong>de</strong> inhoud, niet <strong>de</strong> locatie<br />
• Basis concept van CAS: eenvoud<br />
– St<strong>op</strong> er een bestand/object in<br />
– Krijg een unieke sleutel terug<br />
– Bewaar <strong>de</strong> sleutel in een document of db<br />
– Gebruik steutel om object <strong>op</strong> te vragen<br />
• Aanvullen<strong>de</strong> functionaliteiten:<br />
– Defineer bewaartermijn<br />
– Defineer aantal objecten<br />
• Metadata bij elk object<br />
• Universele HTTP, bestand of applicatie integratie ontsluiting
CAS Cluster<br />
“Simplicity is the ultimate s<strong>op</strong>histication”<br />
• Start met een klein cluster<br />
• Voeg capaciteit naar behoefte toe<br />
– Van 1TB tot meer dan 1PB<br />
• Zon<strong>de</strong>r applicatie of gebruiker verstoring<br />
capaciteit en snelheid uitbrei<strong>de</strong>n<br />
• Voeg sub-cluster(s) toe voor<br />
beschikbaarheid met replicatie<br />
• Het geheel doet zich als één digitaal<br />
online archief voor
Metadata gedreven beschikbaarheid<br />
Object<br />
in<br />
2 replicas<br />
I<strong>de</strong>ntifier<br />
out<br />
• Gebruiker (= applicatie) kan het aantal<br />
replica’s bepalen voor elk object<br />
• Replica UUIDs voor een object zijn<br />
i<strong>de</strong>ntiek – geen corruptie<br />
• Tij<strong>de</strong>ns levenscyclus van data kan door<br />
beleid het aantal replica’s veran<strong>de</strong>ren<br />
• Alles is metadata gestuurd
Automatische <strong>op</strong>timalisatie en migratie<br />
Toevoegen nieuwe hardware<br />
Verwij<strong>de</strong>r ou<strong>de</strong> hardware
Object gebaseer<strong>de</strong> <strong>op</strong>slag met CAS:<br />
• Zeer schaalbaar<br />
• Gegaran<strong>de</strong>er<strong>de</strong> data integriteit<br />
• Zelf configurerend en beheerend<br />
• Zelf herstellend en helend<br />
• Enkel type <strong>op</strong>slag voor levensduur<br />
• Open standaard ontsluiting<br />
• Voldoen aan wet- en regelgeving<br />
• Zon<strong>de</strong>r onbeschikbaarheid wijzigen<br />
• Minimale beheerlast
Agenda<br />
PROACT<br />
<strong>Archiveren</strong> <strong>op</strong> <strong>de</strong> <strong>agenda</strong><br />
Wat zijn <strong>de</strong> uitdagingen<br />
Welke <strong>op</strong>lossingen<br />
Object gebaseerd archief<br />
Samenvatting / Q&A
Samenvatting<br />
• <strong>Archiveren</strong> is niet gelijk aan migreren<br />
• <strong>Archiveren</strong> niet alleen vanuit wet- en regelgeving<br />
• Inzichtelijk maken lange termijn problematiek<br />
• Impact en werking van <strong>op</strong>lossingen verschillen<br />
• Object gebaseer<strong>de</strong> <strong>op</strong>slag voor beheerloos archief<br />
• Maar ook voor alle file gebaseer<strong>de</strong> <strong>op</strong>slag<br />
• Object gebaseer<strong>de</strong> <strong>op</strong>slag alleen is nog geen archief
Why Proact<br />
Focused company<br />
In<strong>de</strong>pen<strong>de</strong>nt<br />
Processes in place<br />
Industry knowledge<br />
Experience<br />
References<br />
T<strong>op</strong> certifications
PROACT<br />
035 - 7070525<br />
Info@proact.nl<br />
www.proact.nl
Established & disruptive spelers
Our industry focus and customers at a glance<br />
Heinen en H<strong>op</strong>man<br />
Lithuanian Parliament
<strong>Data</strong> <strong>Space</strong> Ne<strong>de</strong>rland BV<br />
De kunst van het mo<strong>de</strong>rn archiveren<br />
Van Abbemuseum<br />
Eindhoven<br />
5 februari 2009
Change language