DFÜ-Daten - aqua_plan
DFÜ-Daten - aqua_plan
DFÜ-Daten - aqua_plan
Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.
YUMPU macht aus Druck-PDFs automatisch weboptimierte ePaper, die Google liebt.
Erfahrungen mit dem<br />
Distributionssystem<br />
in NRW<br />
Anwenderseminar<br />
AQUAZIS Pegelwesen in<br />
Aachen am 16.09.2008<br />
Martin Brinkmann, FB 53 Wassermengenwirtschaft, Hochwasserschutz
Erfahrungen mit dem<br />
Distributionssystem<br />
in NRW<br />
1. Ausgangssituation<br />
2. Aufbau <strong>Daten</strong>distributionssystem<br />
3. Erfahrungen
Ausgangssituation 2006<br />
• Übertragung der <strong>Daten</strong><br />
quartalsweise<br />
• Vorgang manuell anstoßen<br />
StUA 1<br />
AquaZIS<br />
lokal<br />
LUA<br />
AquaZIS<br />
zentral<br />
Nach Bedarf<br />
StUA 2<br />
AquaZIS<br />
lokal<br />
<strong>DFÜ</strong>-<strong>Daten</strong> monatlich<br />
WISKI<br />
StUA 3<br />
AquaZIS<br />
lokal
Ziele<br />
� Tagesaktuelle <strong>Daten</strong> in<br />
der zentralen AquaZIS-<br />
Instanz<br />
� Automatischer<br />
<strong>Daten</strong>transfer<br />
� sicherer <strong>Daten</strong>tausch<br />
(redundante <strong>Daten</strong>)<br />
Automatischer <strong>Daten</strong>tausch, Tagesaktuell<br />
StUA StUA 1<br />
StUA StUA 2<br />
StUA 3<br />
AquaZIS<br />
AquaZIS<br />
AquaZIS<br />
lokal<br />
lokal<br />
lokal<br />
LUA<br />
AquaZIS<br />
zentral<br />
� <strong>DFÜ</strong>-<strong>Daten</strong> tagesaktuell<br />
� Automatische<br />
<strong>Daten</strong>weitergabe<br />
� Verringerung zusätzlicher<br />
Abrufkosten<br />
WISKI
Erfahrungen mit dem<br />
Distributionssystem<br />
in NRW<br />
1. Ausgangssituation<br />
2. Aufbau <strong>Daten</strong>distributionssystem<br />
3. Erfahrungen
Konzeption<br />
<strong>DFÜ</strong>-<strong>Daten</strong> 05:00<br />
Zentraler FTP-Server<br />
<strong>DFÜ</strong>-<strong>Daten</strong><br />
04:30<br />
Aachen Düsseldorf Siegen<br />
AquaZIS<br />
lokal<br />
FTP<br />
Zentrale Komponente<br />
LANUV<br />
AquaZIS<br />
zentral<br />
AquaZIS<br />
lokal<br />
WISKI<br />
AquaZIS<br />
lokal<br />
19:00 19:00 05:00<br />
19:00<br />
FTP<br />
04:00<br />
<strong>DFÜ</strong>-<strong>Daten</strong><br />
Dezentrale <strong>Daten</strong><br />
LANUV Aachen Düsseldorf Siegen<br />
21:00<br />
Dezentrale <strong>Daten</strong><br />
FTP
1. Schritt<br />
Aachen Düsseldorf Siegen<br />
AquaZIS<br />
lokal<br />
FTP<br />
Auf den FTP-Server werden geschrieben:<br />
AquaZIS<br />
lokal<br />
AquaZIS<br />
lokal<br />
19:00 19:00 19:00<br />
• Nur angemeldete Stationen und Zeitreihen => AquaZIS-Instanz ist <strong>Daten</strong>pfleger<br />
• Zeitreihen und Stammdaten: nur Änderungen<br />
• Realreihen (Abflusskurven): Immer komplett<br />
• Zeitreihen und Realreihen werden im <strong>aqua</strong>_<strong>plan</strong> Pack-Format ausgetauscht,<br />
Stammdaten als .rdb<br />
• Keine Änderung => leere Datei => <strong>Daten</strong>übertragung im Protokoll nachvollziehbar<br />
FTP<br />
FTP
2. Schritt<br />
Die Zentrale holt vom FTP-Server (<strong>Daten</strong> nur von anderen <strong>Daten</strong>pflegern):<br />
• Es werden nur die <strong>Daten</strong> der Stationen importiert, deren Stammdaten auch in der<br />
Zentrale vorhanden sind<br />
• Zeitreihen und Stammdaten werden grundsätzlich überschreibend importiert, da sie<br />
von einem anderen <strong>Daten</strong>pfleger kommen<br />
Zentrale Komponente<br />
LANUV<br />
AquaZIS<br />
zentral<br />
21:00<br />
Dezentrale AQUAZIS-Instanzen
3. Schritt<br />
<strong>DFÜ</strong>-<strong>Daten</strong> Export:<br />
• Der Export der <strong>DFÜ</strong>-<strong>Daten</strong> enthält<br />
alle angemeldeten Zeitreihen<br />
• Alle Änderungen seit dem letzten<br />
Exportstempel<br />
<strong>DFÜ</strong>-<strong>Daten</strong><br />
04:30<br />
Zentrale Komponente<br />
LANUV<br />
AquaZIS<br />
zentral<br />
<strong>DFÜ</strong>-<strong>Daten</strong> Import (Autoimporter):<br />
• Import erfolgt als gesperrte Rohdaten, Qualität 0<br />
• Ergänzender Import<br />
• <strong>DFÜ</strong> als <strong>Daten</strong>beschaffer in Stammdaten eingetragen<br />
• Beim Import wird keine neue Zeitreihe angelegt<br />
• CNR aus WISKI = Geber in AquaZIS => zugehörige<br />
Zeitreihe<br />
04:00<br />
<strong>DFÜ</strong>-<strong>Daten</strong><br />
WISKI
4. Schritt<br />
<strong>DFÜ</strong>-<strong>Daten</strong><br />
<strong>DFÜ</strong>-<strong>Daten</strong>:<br />
05:00<br />
Aachen Düsseldorf Siegen<br />
AquaZIS<br />
lokal<br />
• Für alle vorhandenen Stationen werden die<br />
<strong>DFÜ</strong>-<strong>Daten</strong> übernommen, wenn in den<br />
Stammdaten das LANUV als <strong>Daten</strong>beschaffer<br />
eingetragen ist<br />
• Werden grundsätzlich ergänzend importiert,<br />
kein Änderungsstempel<br />
AquaZIS<br />
lokal<br />
05:00<br />
Dezentrale AQUAZIS-Instanzen<br />
AquaZIS<br />
lokal<br />
Geänderte <strong>Daten</strong> anderer <strong>Daten</strong>pfleger<br />
• Alle <strong>Daten</strong> der übrigen lokalen Instanzen die<br />
bereitgestellt wurden, werden abgeholt<br />
• <strong>Daten</strong> von Stationen, die in der lokalen Instanz<br />
unbekannt sind, werden nicht importiert<br />
• Stationen sind von anderen <strong>Daten</strong>pflegern =><br />
Zeitreihen und Stammdaten werden<br />
grundsätzlich überschreibend importiert
Sonderfunktionen<br />
• Gesamtabzug<br />
• Automatisierter Wechsel des <strong>Daten</strong>pflegers für eine Station<br />
• Pflege der Schlüssellisten<br />
– Pflege der Schlüssellisten nur noch zentral möglich<br />
– Durch täglichen <strong>Daten</strong>tausch stehen die Einträge am Folgetag landesweit zur<br />
Verfügung<br />
– Vertrauliche Schlüssellisten (z.B. Beobachter) werden nur in den lokalen<br />
Instanzen gepflegt und nur optional über des DDS weitergegeben<br />
– Um das Anlegen neuer Stationen nicht zu behindern wird im Zwangsfeld<br />
Betreiber der Eintrag “vorläufiger Betreiber” ergänzt
Systemvoraussetzungen<br />
• Betriebssystem: LINUX<br />
• <strong>Daten</strong>haltung von AquaZIS und Azur-Jobs des<br />
<strong>Daten</strong>distributionsssystems sollten auf diesem LINUX-Server laufen<br />
(<strong>Daten</strong>export und -import)<br />
• Zugriff der lokalen Instanzen auf FTP-Server (derzeit im LANUV) über<br />
passives FTP
Erfahrungen mit dem<br />
Distributionssystem<br />
in NRW<br />
1. Ausgangssituation<br />
2. Aufbau <strong>Daten</strong>distributionssystem<br />
3. Erfahrungen
Grundsätzliches<br />
� Lange und intensive Testphase, Regeln für den <strong>Daten</strong>austausch immer<br />
wieder angepasst um die <strong>Daten</strong>sicherheit zu erhöhen<br />
� Seit Frühjahr 2008 Tests mit beteiligten Instanzen abgeschlossen,<br />
Aufnahme weiterer AquaZIS-Instanzen durch Neuorganisation verzögert<br />
� System selbst sehr stabil, wenige Ausfälle<br />
� Probleme werden in LOG-Dateien gut dokumentiert<br />
� Für Problembehebung häufig keine vertieften DV-Kenntnisse erforderlich<br />
� Geringer Administrationsaufwand im laufenden Betrieb
Vorbereitungen<br />
� DV-technische Vorbereitungen<br />
� LINUX-Server<br />
� Ggf. Migration des vorhandenen AquaZIS auf einen LINUX-Server<br />
� Installation der Azur-Jobs für den DS-Export und DS-Import<br />
(zeitabhängige Cronjobs)<br />
� Zugriff auf den zentralen FTP-Server einrichten<br />
� Auf FTP-Server entsprechendes Verzeichnis einrichten<br />
=> Vorbereitung unkompliziert, Zeitaufwand gering (Zusammenarbeit mit<br />
<strong>aqua</strong>_<strong>plan</strong>)
Vorbereitungen<br />
� Fachliche Vorbereitung:<br />
� Geber in den Stammdaten pflegen, wenn notwendig zugehörige<br />
Zeitreihen mit den identischen Attributen einrichten<br />
� Abgleich mit Messstellennummer und CNR in WISKI<br />
=> iterativer Vorgang<br />
� <strong>Daten</strong>pfleger bei den eigenen Stationen pflegen<br />
� Bei den Stationen mit <strong>DFÜ</strong>-<strong>Daten</strong> das LANUV als <strong>Daten</strong>beschaffer<br />
einrichten
Vorbereitungen<br />
� Fachliche Vorbereitung:<br />
� Eigene Stationen und Zeitreihen im Distributionssystem anmelden<br />
� Stammdaten der gemeldeten Stationen an andere AquaZIS-Instanz<br />
� Gesamtabzug<br />
=> Vorbereitung teilweise iterativer Prozess, zunächst manuelle Einrichtung<br />
notwendig, Protokolle geben Informationen über Probleme
Erfahrungen<br />
� Redundante <strong>Daten</strong>haltungen<br />
⇒Erhöhung der Sicherheit durch regelmäßigen Gesamtabzug<br />
⇒automatisch<br />
� Durch die Aufnahme der <strong>DFÜ</strong>-<strong>Daten</strong> sehr schnelle <strong>Daten</strong>kontrolle<br />
möglich<br />
� Änderungen am Gesamtsystem (z.B Änderungen an den Gebern, neue<br />
Zeitreihen) müssen abgesprochen und angemeldet werden
Erfahrungen<br />
� <strong>Daten</strong>tausch ist recht schnell (ca. 10 Minuten)<br />
=> was passiert, wenn weitere AquaZIS-Instanzen hinzukommen??<br />
� Distributionssystem ist flexibel einsetzbar<br />
� Anpassen an Neuorganisation<br />
� Aufnahme der Bezirksregierungen
Fragen / Diskussion
Change language