Übersicht:

- Speichern von Einstellungen in ini-Dateien - Definition der Quell-und Zieldateien - Datum-Zeit-Format für Dateinamen - Wettermeldungen aus dem Internet - Schreibmodus

- Terminfilter - Doubletten entfernen - Archivierung der Originalmeldungen - Decodierung ausgewählter Stationen - Stationsnamen in TLP-Dateien - Zieldateien im Textformat

Auf den Registerseiten 'Bodenwetter' und 'Radiosonden' werden die notwendigen Einstellungen für die Decodierung von Bodenwettermeldungen und Radiosondenaufstiegen vorgenommen

Die Meldungen können als große Dateien eintreffen, z.B. wenn sie aus einer Datenbank gelesen oder aus dem Internet heruntergeladen werden. Sie können aber auch häppchenweise als Einzelmeldungen direkt von einer automatischen Station übertragen oder in kurzen Zeitabständen per E-mail oder FTP von einem Wetterdienst geliefert werden. Diesen Datenstrom müssen Anwender selbst organisieren. In jedem Fall ist zur Anbindung an die Datenquelle(n) ein Dateiverzeichnis für eingehende Meldungen (Quelldateien) erforderlich.

Die Decodierung läßt sich auf drei Arten starten

Die decodierten Daten werden in Zieldateien gespeichert, wobei eine Reihe von Filtern und Anschlussprozeduren zur Verfügung steht.

Wegen der Ähnlichkeit der Verfahren, wird in der folgenden Beschreibung das Schwergewicht auf den Bodenwettermeldungen liegen. Auf Abweichungen bei Radiosondenaufstiegen wird gesondert hingewiesen.

TRAP:  Das Format der Zieldateien der Bodenwettermeldungen ist binär und in späteren Programmversionen aufwärtskompatiblen Änderungen unterworfen.

TIPP:  MetWatch kann mit Hilfe eines Konverters auch die Dateien der 32-bit-Vorgängergeneration lesen. Grundsätzlich sollten die Originaldateien zwecks späterer Nachdecodierung aufbewahrt werden.

Speichern von Einstellungen in ini-Dateien     

Alle Einstellungen werden standardmäßig in der Datei FMDECODE.INI gesichert. In der Professional-Version lassen sich unterschiedliche Anwendungsprofile unter frei wählbaren .INI-Dateinamen speichern. Erfahrene Benutzer können mit einem ASCII-Editor Änderungen direkt an den .INI-Dateien vornehmen.

Definition der Quell-und Zieldateien     

Beim ersten Programmstart werden die Standardvorgaben für Quell- und Zieldateien angezeigt:

Quelldateien enthalten die Meldungen zu einem oder mehreren Bobachtungsterminen. Nach erfolgreicher Decodierung entstehen die Zieldaten im angegebenen Verzeichnis. Für die Dateinamen gibt es keine prinzipiellen Einschränkungen. Es wird jedoch dringend die Verwendung des im Beispiel dargestellten Datum-Zeit-Formates empfohlen. Im vorliegenden Fall werden Stundendateien gelesen und Stundendateien erzeugt.

Die Dateien müssen eine Namensendung (Extension) besitzen, z.B..OBS für Bodenwettermeldungen bzw. .TAB für Temps. Die Pfad- und Dateinamen werden direkt in das Editierfeld eingegeben. Dies ist (fast) die einzige Möglichkeit, um die Extension zu ändern. Das mit dem Editierfeld verbundene Pull-Down-Menu bietet eine Auswahl von Beispielen. Man kann auch die Verzeichnisse nach existierenden bestehenden Dateien durchsuchen und diese auswählen. Mit einem Doppelklick ins Editierfeld wird ein nur aus Ziffern bestehender Dateiname in die Platzhalterform umgewandelt.

TRICK: Pfadnamen dürfen neben den Laufwerksbuchstaben auch Aliasnamen der im Netzwerk verbundenen Rechner tragen (z.B. \\datenserver\..).

TIPP: Quelldateien im binären FM94-BUFR-Format können sowohl SYNOPs und/oder TEMPs enthalten und sollten unabhängig vom Inhalt mit einer Extension .BFR, .BFS oder .BFT kenntlich gemacht werden. Aber auch mit jeder anderen Extension lassen sich die Daten decodieren. Dabei ist es egal, ob die Quelldateien als SYNOPs oder TEMPs eingelesen werden. Die Datenart wird beim Einlesen erkannt und entsprechend verarbeitet.

Datum-Zeit-Format für Dateinamen     

Es war übertriebene Sparsamkeit der WMO, bei Einführung des FM-Formates sowohl in den Wettermeldungen als auch in den übergeordneten Bulletinköpfen auf Angaben zu Monat und Jahr zu verzichten.

Um die Daten bei der Decodierung dennoch zeitlich zuordnen zu können, erwartet FMdecode die fehlende Information im Dateinamen. Als Datum wird dabei die Ziffernfolge vom ersten numerischen bis zum ersten nichtnumerischen Zeichen interpretiert.
Die Datei SMDL_2006122412_EDZW.obs enthält z.B. Meldungen vom 24.12.2006 12UTC.

In den folgenden Beispielen stehen die Zeichenfolgen YYYY, MM, DD, HH als Platzhalter für Jahr (grundsätzlich 4-stellig), Monat , Tag und Stunde der Beobachtung. Nichtnumerische Zeichenfolgen können als Unterscheidungsmerkmal von Datenpaketen des gleichen Beobachtungstermins dienen. Alternativ ist zu diesem Zweck auch das Anhängen von Minuten NN zulässig und sinnvoll. Die decodierten Daten werden konsequenterweise in Verzeichnissen und Dateien abgelegt, die ebenfalls die Datum-Zeit-Information im Namen tragen.

	Quelldateien	Zieldateien
Pfadnamen Bodenwetter	...\OBS\	...\...\YYYY\[MM\[DD\[HH\]]]
Pfadnamen Radiosonden	...\TAB\	...\...\[YYYY]\[MM]\[DD]]]
Dateinamen Bodenwetter	[zz]YYYYMMDD[HH[NN]][zz].OBS	YYYYMMDD[HH].DCB
dsgl, mit alphanumerischem Monat	DDMMMYY.OBS (z.B. 31DEZ03 , keine [zz] zulässig)
Dateinamen Radiosonden	[zz]YYYYMMDD[HH][zz].TAB	YYYYMMDD[HH].TLP
	[] : optionale Platzhalter,  [zz] nichtnumerische Zeichenfolgen

TRAP: Bei Beschränkung auf zweistellige Jahreszahlen werden Werte kleiner als 80 den Jahren 2000 bis 2079, sonst den Jahren 1980 bis 1999 zugeordnet. Fehler in der Zeitzuweisung von Wetterbeobachtungen können dennoch durch Verschlüsselungsfehler, Verstümmelungen bei der Datenübertragung oder nachträgliche Manipulationen der Daten auftreten.

TRICK: Wenn der Name der Quelldatei keine Datum-Zeit-Information enthält, gibt es folgende Möglichkeiten:

• Einfügen von Zeitmarkierungen in .OBS-Dateien in der Form YM yyyymm
  Beispiel :YM 200612 setzt die aktuelle Zeit auf den Dezember 2006
• Im Stapelbetrieb : Ermittlung von Monat und Jahr aus der aktuellen Systemzeit des Rechners. Im interaktiven Modus wird der Benutzer zur Bestätigung oder Änderung dieser Zeit aufgefordert.

Automatische Decodierung     

Mit Hilfe der Datum-Zeit-Platzhalter YYMMDDHH oder auch mit Wildcards wie *.*, *.OBS) kann die Datenverarbeitung automatisiert werden, sowohl im Stapelbetrieb (batch mode) als auch im interaktiven, insbesondere im zeitgesteuerten Modus. Damit werden alle dem Wildcardmuster entsprechenden Dateien decodiert und im Anschluss umbenannt (.OBS --> .ob_) bzw. an bereits bestehende Dateien angefügt, es sei denn, eine Aufbewahrung ist nicht erwünscht Die Datum-Zeit-Platzhalter haben dabei die gleiche Wirkung wie der einfache *, d.h. auch Dateien, die nicht diesem Format entsprechen, werden verarbeitet.

TRAP: Die binären BUFR-Daten können nicht angefügt werden, sie werden lediglich unter Einbeziehung der Systemzeit hhmm umbenannt.

Mit Zieldatei-Wildcards der Form *.DCB wird der Zieldateiname von der Quelldatei übernommen:

Beispiele:

TIPP:  In der Regel sollte Stundendateien der Vorzug vor Tagesdateien gegeben werden.

TRICK:  Enthält das Editierfeld der Quell- oder Zieldateien einen expliziten Dateinamen, so kann dieser per Doppelklick in den entsprechenden Platzhalter umgewandelt werden. (z.B. 991224-->YYMMDD oder 2003010100-->YYYYMMDDHH).

Wettermeldungen aus dem Internet herunterladen     

Aktuelle Wettermeldungen werden von verschiedenen amerikanischen Universitäten für ausschließlich wissenschaftliche Zwecke zum Herunterladen angeboten. Zum Teil wurden diese Dienstleistungen aufgrund von Beschwerden einzelner nationaler Wetterdienste oder wegen sehr hoher Zugriffsraten wieder eingeschränkt. Wir weisen ausdrücklich daraufhin, dass eine kommerzielle Nutzung dieser Daten unzulässig ist.

Dagegen stellt der Deutsche Wetterdienst aktuelle meteorologische Beobachtungsdaten im Internet unter opendata.dwd.de entgeltfrei und bedingungslos zur Verfügung.

Zum Herunterladen der DWD-Daten verwendet FMdecode das Programm wget.exe, das im MetWatch-Verzeichnis bereitzustellen ist. Ausserdem ist auf der Seite "Bodenwetter" bzw. "Radiosonden" unter "Quelldatei"/"Internet" die Adresse opendata.dwd.de einzutragen.

Mit einem Klick auf wechselt die Anzeige von den rechnerseitigen Quelldateien auf eine Liste der verfügbaren Adressen (URLs).

Die URLs enthalten wie die lokalen Pfad- und Dateinamen spezifische Platzhalter für Datum und Zeit. URL-Listen werden in den Dateien SYNOP.URL und TEMP.URL vorgehalten.

Die expliziten Dateinamen werden beim entsprechend des gewählten Zeitraums eingesetzt. Die Dateien landen automatisch im Verzeichnis der Quelldateien und werden sofort decodiert.

TRAP: Die Einstellung der Quell- und Zieldateien müssen vor dem Download vorgenommen werden.

TIPP: Der +-Schalter ermöglicht, mehr als eine URL aus der Liste auszuwählen. So können nacheinander SYNOPs (.SYN-Dateien) und METARs (.SAO-Dateien) geladen werden. Da diese in der Regel die gleiche Beobachtungszeit tragen, werden sie nacheinander auf YYYYMMDDHHNN.OBS-Dateien kopiert, die sich durch einen virtuellen Minutenwert NN unterscheiden.

Bei zeitgesteuertem Download wird der oben eingestellte Zeitraum automatisch aktualisiert. Die Verarbeitung von Bodenwettermeldungen und Radiosondenaufstiege sollte zeitlich versetzt erfolgen, um Konflikte beim Zugriff auf die Stationsliste zu vermeiden.

Das Sichern der Einstellungen nicht vergessen!

Zieldateien überschreiben oder anhängen     

Decodierte Beobachtungsdaten können eine bereits bestehende Zieldatei entweder überschreiben oder daran angehängt werden. Die Standardoption 'Anhängen' ist die richtige Einstellung, wenn neue Beobachtungsdaten in mehr oder weniger kurzen Zeitabständen eintreffen. Solche Quelldateien enthalten in der Regel nicht nur aktuelle Daten, sondern auch Nachzügler. Diese dürfen die bereits zuvor in Zieldateien angesammelten Daten nicht überschreiben. Auf diese Weise kommt es allerdings auch zu mehrfacher Speicherung von Meldungen. Daher sollte gleichzeitig die Option ‚'Doubletten entfernen beim Decodieren' gewählt werden.

WICHTIG: Im operationellen Betrieb sollten Quelldateien nur neu eingetroffene Meldungen enthalten, um den zeitlichen Aufwand für Decodierung und insbesondere das Entfernen der Doubletten zu minimieren. Eine unnötig lange Dateisperre der Zieldateien kann sonst erforderlich sein. Die Option 'Überschreiben' ist nur dann sinnvoll, wenn die Quelldatei sämtliche Beobachtungen eines Zeitraumes enthält.

Terminfilter (FM12)     

Manchmal kann es sinnvoll sein, bestimmte Beobachtungstermine oder Datenarten (z.B. METARs) von der Decodierung auszuschließen.

Bulletinkennung  Termine Haupttermine  SM   00, 06, 12, 18  Zwischentermine  SI   03, 09, 15, 21  Nebentermine   SN   01, 02, 04, 05 ... 19, 20, 22, 23

TIPP: Quelldateien können ältere Daten enthalten, deren Decodierung unter Umständen nicht erwünscht ist. Werden z.B. Nachzügler an bereits sehr große Zieldateien angefügt und ist die Option 'Doubletten entfernen / Sortieren' gewählt, kann sich der Programmablauf extrem verlängern. Für diese Fälle kann ein rückwirkender Zeitraum in Stunden angegeben werden, innerhalb dessen die Ausgabe von Meldungen noch zugelassen sein soll.

TRAP: Fehlerhaft vordatierte (>1/2h) Meldungen werden in jedem Fall herausgefiltert. Wichtig ist in diesem Zusammenhang die korrekte Einstellung der Zeitzone.

Einstellungen:   Methode:  'alle' Alle in den Quelldateien vorkommenden Termine werden berücksichtigt. Diese Option sollte gewählt werden, um archivierte Meldungen nachträglich zu decodieren. 'nur heutige' Nur Meldungen des aktuellen Tages werden decodiert 'rückwirkend' Referenzzeitpunkt des hier eingegebenen Zeitraums ist der durch den Quelldateinamen definierte Termin. Enthält eine Quelldatei keine Datumsinformation gilt die Systemzeit bzw. der manuell gesetzte Termin. Die Einstellung kleiner Intervalle (<12 Stunden) ist nur bei Stundendateien (YYYYMMDDHH) sinnvoll. Dadurch können allerdings später Nachzügler verloren gehen. Eine zu große Toleranz kann andererseits den Decodiervorgang extrem in die Länge ziehen, weil ständig ältere Zieldateien aktualisiert werden müssen.

Doubletten entfernen     

Der Doublettenkiller

• entfernt identische Mehrfachmeldungen
• fügt METARs, SYNOPs und Automatenmeldungen zusammen (nur bei gleicher Meldezeit)
• fügt getrennt verbreitete Meldungsteile zusammen
• betreibt ein aufwendiges COR-Level-Management

TIPP: Doubletten können sowohl bei der Decodierung als auch nachträglich entfernt werden.

TIPP: Die u.U. zeitaufwendige Sortierung nach Stationskennziffer (nur Bodenwetter) beschleunigt die Darstellung von Zeitreihen mit MetWatch

Archivierung der Originalmeldungen (Bodenwetter)     

TIPP: Bodenwettermeldungen ist die Voraussetzung für die Anzeige der Originalmeldungen in der MetWatch-Kartendarstellung.

Die Archivierung ist außerdem eine lohnende Alternative zum einfachen Ansammeln der einlaufenden .OBS-Dateien, ist daher zu empfehlen. Die Archivdateien tragen wie die Quelldateien die Endung .OBS und lassen sich bei Bedarf nochmals decodieren.

Die Meldungen werden einschließlich des zugehörigen Bulletin-Headers zeilenweise gespeichert. Daher können Meldungen mehrfach auftreten, nur identische Zeilen werden herausgefiltert.

Decodierung ausgewählter Stationen     

Mit Hilfe von Stationsauswahldateien besteht die Möglichkeit, Meldungen nur teilweise zu decodieren (primäre Auswahl) oder regional aufzuteilen (sekundäre Auswahl). Damit läßt sich u.U. der Bildaufbau in MetWatch deutlich beschleunigen.

Primäre Zieldateien Nach erfolgreicher Decodierung enthalten die Zieldateien ausschließlich Beobachtungen von Stationen aus der angegebenen Auswahldatei (.SEL-Datei). Sekundäre Zieldateien werden zusätzlich zu den primären Zieldateien entsprechend einer angegebenen Gruppe (.SGR-Datei) von Auswahldateien (.SEL-Dateien) in entsprechenden Unterverzeichnissen angelegt.

Bei globalen Datensätzen läßt sich in MetWatch durch eine regionale Aufteilung in sekundäre Ziel-Dateien der Bildaufbau beschleunigen und die Zugriffszeit auf Zeitreihen wichtiger Stationen wesentlich verringern. Alternativ oder in Ergänzung hierzu werden SYNOP- Zeitreihen auch durch die Option Entfernen von Doubletten mit 'Sortierung' schneller dargestellt.

Stationsnamen in TLP-Dateien (Radiosonden)     

Anders als bei der Decodierung von Bodenwettermeldungen werden bei TEMP-Stationen aus historischen Gründen nicht die vollständigen Namen aus der Stationsliste übernommen, sondern nur eine von mehreren Varianten. Die '1' kann hier z.B. bedeuten : Verwende den deutschsprachigen Namen.

Zieldateien im Textformat (Bodenwetter)     

Wetterlisten in Tabellenform lassen sich im Anschluss an die Decodierung als .TXT- und/oder .HTM-Dateien erstellen. Die Auswahl der gewünschten Konfiguration erfolgt mit dem Aktivieren dieser Option. Die Konfiguration selbst muss auf der Registerseite Wetterlisten vorbereitet werden.

CSV- und XML-Zieldateien sind als Schnittstelle zur Weiterverarbeitung decodierter Wettermeldungen mit anderen Programmen gedacht. Sie enthalten die Information der DCB-Dateien in Textform.

In CSV-Dateien sind die einzelnen Parameter durch Semikolon getrennt, was den Import nach EXCEL ermöglicht.

Auf der Registerseite Export werden CSV- und XML-Dateien konfiguriert. TIPP: Es ist insbesondere möglich, Zeitreihen ausgewählter Stationen und Parameter in diesen Formaten zu exportieren.