Keine Abarbeitung einer Pipeline bei aktivierter Absturz-Überwachung [Archiv]

firemichael

14.10.2012, 09:39

Folgende Problemlage:
Nach update auf 1.1.1 möchte ich neben den Alarmier-Pipelines noch die Absturz-Überwachung und den Wetter-Warner nutzen.
Bei aktivierter Absturz-Überwachung allerdings hört FE irgendwann nach 1-2 Tagen auf, die Alarm-Pipelines abzuarbeiten (keine Hinweise im Terminal-Fenster, keine Reaktion von FE auf diese Pipelines).
Die Absturz-Überwachung allerdings klappt dann nach wie vor zuverlässig und macht in meinem Fall alle 24h ein "HalloWach". -abgestürzt ist FE also nicht.
Starte ich FE neu, klappts wieder 1-2 Tage lang, dann das gleiche Problem.
Deaktiviere ich die Absturz-Überwachung, läuft alles, wie es soll.

Ideen?

florian_hsk

14.10.2012, 12:54

Dann werden bestimmt keine Alarme mehr angenommen/übergeben.
Welches Auswerteprogramm nutzt du? Steht nach dem Problem ein Eintrag in der Error.log?

firemichael

17.10.2012, 18:05

ich benutze BOSMON.
Das wertet weiterhin alles korrekt aus, führt die betreffenden Aktionen aus und übergibt an den FE-Server. (Logs bei BOSMON waren leider nicht aktiviert).
Im FE-Server-Fenster ist aber plötzlich nichts mehr neues zu lesen, es gibt bei FE-Server keine Error- oder sonstige unnormale Meldungen in den logs oder im Ablauf-Fenster.

Es kommen für mich nur drei Ursachen in Frage (Dinge, die ich geändert habe):

1) Update auf die 1.1.1er Version
2) Absturz-Überwachung wurde aktiviert
(Ich habe nach Auftreten des Fehlers zunächst die Absturz-Überwachung deaktiviert. Danach lief es mehrere Tage einwandfrei, bis dergleiche Fehler kommt)
3) Wetter-Warnung aktiviert
(habe ich als nächstes deaktiviert, mal sehen wie lange es gut geht...)

Grüsse!

firemichael

25.10.2012, 15:18

So, es gibt Neuigkeiten:

- Wetter-Warner und Hallo-wach wurden abgeschaltet, trotzdem hört firEmergency nach einiger Zeit einfach irgendwann auf, die Alarme abzuarbeiten. (stürzt aber nicht ab)

- die decodierung und Übergabe seitens Bosmon klappt.

- es gibt Einträge im Error-Log von firEmergency

- der Fehler trat erst nach update von 1.0 auf 1.1.1 auf.

- die Error-log seht Ihr im Anhang

Das daily.log zeigt bei jedem weiteren Versuch, Alarmierungen zu FE zu senden, Fehlermeldungen mit folgendem Beginn:

14:31:58 [ERROR] [RMI TCP Connection(18)-146.123.15.142] [server.data.DataManagement] [606] Fehler beim Laden der Alarmhistory
...

Ich bin jetzt mit meinem Latein am Ende...

Beuti

26.10.2012, 11:29

Die Einträge in der error.txt haben meiner Ansicht mit dem Problem nichts zu tun. Sollten sich nur auf Fehler in der Anzeige auf der GUI auswirken.

Kannst du bitte mal den ganzen Log von der Situation wo der Fehler auftritt aus dem Daily-Log posten. Da müsste rund um den Fehler mit der AlarmHistory noch mehr Informationen stehen. Der Fehler mit der AlarmHistory ist auch nicht gut sollte aber auch den kompletten Alarmablauf nicht blockieren.

Am besten wäre ein kompletter Daily-Log in dem noch Alarme abgearbeitet werden und dann die Situation wo keine mehr kommen.

firemichael

26.10.2012, 20:23

Kannst du bitte mal den ganzen Log von der Situation wo der Fehler auftritt aus dem Daily-Log posten. Da müsste rund um den Fehler mit der AlarmHistory noch mehr Informationen stehen. Am besten wäre ein kompletter Daily-Log in dem noch Alarme abgearbeitet werden und dann die Situation wo keine mehr kommen.

Hier bittesehr!

Es sind seltsamerweise gar keine Einträge in der Daily log zu sehen in dem Zeitraum, in dem FE "taub" wird.
Interessant ist, dass ein manueller Probealarm aus FE heraus aber klappt...

Schon mal danke für Eure Hilfe!

der Michel

florian_hsk

26.10.2012, 23:19

Scheint wirklich so, dass die Alarmübergabe Bosmon > FirEmergency nicht mehr funktioniert. Abhilfe schafft wahrscheinlich nur ein Server-Neustart, oder?
Ich hatte dasselbe Problem in einer frühreren Version von FE auch schonmal (allerdings mit FMS32). Zu dem Zeitpunkt, ab dem es nicht mehr funktionierte, wurde ein Fehler ausgegeben.

Probier doch mal folgendes um das Problem einzugrenzen:
Erstell eine neue Einheit nur mit Alarmtext & SMS, aktivier die Dateiüberwachnung und überprüf damit die error.log auf Änderungen. Wenn nun ein Fehler auftritt, bekommst du eine SMS (allerdings auch bei jedem Öffnen einer Oberfläche).

Deine gepostete Log zeigt ja nur den Anzeigefehler der GUI, der nach Starten der Oberfläche auftrat. Glaube aber, dass die error.log immer wieder überschrieben wird.
Deswegen: Falls du eine SMS kriegst, keine Oberfläche öffnen sondern direkt die error.log kontrollieren.

Kommandante

28.10.2012, 10:27

Hi,
ich gerade eben auch das gleich Problem das FE "taub" wurde. Bei mir stand ebenfalls nichts in den Logs. Erst nen Server-Neustart sorgte für Abhilfe.

Grüße

firEmergency

28.10.2012, 10:36

Wenn FE taub wird, ist dann der Port 5555 noch geöffnet (in Windows kann man das mit dem Befehl "netstat -a" in der Konsole herausfinden)?

Kommandante

28.10.2012, 10:38

Werd ich beim nächsten mal probieren.

firemichael

28.10.2012, 23:51

So, ich habe das Error-log überwacht wie von Florian HSK empfohlen.

FE wird "taub" direkt nach (bei?) Alarmierung.

Hier die Zeilen im Error-log (das log wird tatsächlich bei login in die Oberfläche überschrieben / gelöscht)

Da es nur ein kurzer Text ist, habe ich auf einen Anhang verzichtet und es direkt als Fließtext einkopiert:

Exception in thread "Einheit_1PipelineThread Sun Oct 28 19:06:23 CET 2012" Exception in thread "Einheit_2PipelineThread Sun Oct 28 19:06:23 CET 2012" java.lang.NullPointerException
at server.data.DataManagement.addAlarmHistory(DataMan agement.java:519)
at server.Pipeline.runPipeline(Pipeline.java:302)
at server.Pipeline.run(Pipeline.java:132)
at java.lang.Thread.run(Unknown Source)
java.lang.NullPointerException
at server.data.DataManagement.addAlarmHistory(DataMan agement.java:519)
at server.Pipeline.runPipeline(Pipeline.java:302)
at server.Pipeline.run(Pipeline.java:132)
at java.lang.Thread.run(Unknown Source)

Sagt irgendjemandem das etwas?

Grüße,

der Michel

Beuti

31.10.2012, 10:54

Ich werde mir das Problem anschaun worans liegt.

Was mir vielleicht noch helfen könnte um das Problem zu genauer zu lokalisieren wäre so ein Log wie du schon gepostet hast aber im DEBUG-Modus.

Umschalten wie hier beschrieben => http://firemergency-wiki.de/mediawiki/index.php5?title=Log-Level_%C3%A4ndern

EDIT: Hast du die Version 1.1.5 installiert oder noch eine davor?

EDIT2: In der Log.txt die du oben gepostet hast, ist die komplett vollständig? Hast du da irgendwas rausgelöscht? Oder hast du da nur deine Kommentare eingefügt?
Explezit geht es mir darum ob hier

19:55:57 [INFO] [ProwlThread Thu Oct 25 19:55:56 2012] [server.PluginController][140] PluginController mit Plugin prowl.Prowl (Admin2) mit AlarmData () nach 1148 ms beendet

*** kurze info: bis hierher erfolgte die Alarmierung einwandfrei.
Danach gibt es keine Einträge, Fehlermeldungen oder Alarmierungen mehr (obwohl BOSMON fleissig einiges übergeben hat)

*** knapp 24 Stunden dann der Login ins GUI:

19:26:41 [INFO] [AWT-EventQueue-0] [server.gui.LauncherServerGUI][28] ServerGUI wird gestarten...
19:26:41 [INFO] [AWT-EventQueue-0] [server.gui.LauncherServerGUI][43] Starte LoginScreen...

Da wo dein Kommentar steht sind da im Log auch GAR KEINE Einträge?

Brandinspektor

06.11.2012, 11:41

Hallo,

wir haben mit unserer FE-Vollversion in Verbindung mit BOSMON
genau den selben Effekt - FE 1.1.1 wird nach ein paar Tagen taub
und nur ein Neustart hilft.

Die Wetterwarnung und die Absturzüberwachung wurde bereits
deaktiviert - leider ohne Erfolg, der Fehler tritt trotzdem weiter-
hin ohne Routine auf.

Gibt es schon Abhilfe für dieses Problem mit FE 1.1.1 ?

Gruß
BI

firemichael

06.11.2012, 11:58

Da wo dein Kommentar steht sind da im Log auch GAR KEINE Einträge?

Nein. Da steht gar nix.

Ich habe jetzt übrigens Java von der vorletzten auf die aktuelle Version upgedated (Java war immer aktuell) und das FE-Patch auf 1.1.5 aufgespielt. Seitdem habe ich zwar noch keine Probleme, allerdings muss das nix bedeuten, weil der Fehler ja nur alle paar Tage auftrat...

Als Workaround habe ich mir eine Pipeline gebastelt, die bei Änderung der Error-Log den FE-Server über eine batch-Datei beendet und sofort wieder neu startet.
Ist zwar nicht wirklich elegant und bestimmt nicht im Sinne des Erfinders, aber als erste Hilfe...

Beuti

06.11.2012, 13:38

Bisher gibt es leider noch keine Lösung für das Problem weil wir die Ursache bisher noch nicht genau lokalisieren konnten. Ist wohl eine sehr komische Konstellation die den Fehler verursacht die wir erst noch genau analysieren müssen.

An euch beide nochmal die Bitte, falls noch nicht geschehen, das Log-Level auf DEBUG zu ändern und wenn der Fehler auftritt und uns bitte das komplette Log zukommen lassen. Im Log sollte mindestens der letzte erfogleich durchgeführte Alarm enthalten sein.

firemichael

07.11.2012, 12:18

Neuigkeiten:

Es ist wieder passiert. FE ist "taub" geworden. Auch 1.1.5 mit aktuellstem Java-Update.

Hinweis zur Fehlersuche:
Die Datei-Überwachung der ERROR.log (und der damit verbundene Neustart des Servers) hat NICHT funktioniert, obwohl das ERROR.log bei der letzten erfolgreichen Alarmierung geändert worden war.
(gleiche Fehlermeldung wie im Post #11)
Beim daraufhin erfolgten Login in die Admin-Oberfläche hat FE die ERROR.log erneut geändert: jetzt hat auch die Dateiüberwachung funktioniert.

Merke: FE wird sporadisch nicht nur "taub" bei BOSMON-Alarmierungen, sondern auch bei der Datei-Überwachung. Ist vielleicht n Hinweis...

Leider hatte ich durch einen Neustart des FE-servers die "DEBUG"-Einstellung wieder verloren. Daher nur die gleichen Fehlermeldungen wie im Post #11 erwähnt.

firEmergency

07.11.2012, 12:26

DEBUG Modus dauerhaft:
http://firemergency-wiki.de/mediawiki/index.php5?title=Log-Level_%C3%A4ndern

Ansonsten:
Der Fehler kann grundsätzlich bei jedem Alarm auftreten, da der Fehler an sich erst ganz am Ende des Alarms (beim Speichern des Alarms in den Settings) auftritt. Das Input-Plugin, welches den Alarm ausgelöst hatte, bei dem der Fehler auftritt, stürzt dann ab.

Wir wissen also, warum es abstürzt. Nur der Auslöser ist noch nicht ganz klar. Wir sind auf jeden Fall dran.

firemichael

07.11.2012, 12:38

...Das Input-Plugin, welches den Alarm ausgelöst hatte, bei dem der Fehler auftritt, stürzt dann ab....

Bei mir haben ZWEI Plugins nicht funktioniert:

1) das Input-Plugin, welches den Alarm (und scheinbar auch den Fehler) ausgelöst hat (BOSMON) und
2) auch das Datei-Überwachungs-Plugin. ERROR.log ist ja bei Auftreten des Fehlers definitiv geändert worden, aber das Datei-Überwachungs-Plugin hat es nicht gemerkt.
Das Datei-Überwachungs-Plugin hat erst wieder funktioniert, als ich mich (OHNE Neustart des Servers, also in "taubem Zustand") an der Admin-Oberfläche anmelden wollte. (das führt ja irgendwie immer zu einem Eintrag im ERROR-log)

Brandinspektor

07.11.2012, 13:01

Bei uns ist der Fehler auch gerade wieder aufgetreten,
FE reagiert nicht mehr auf BOSMON.

Den DEBUG-Modus hatte ich gestern eingeschaltet, was
muss ich nun für die Fehlerprüfung wohin senden?

Hier öffentlich posten möchte ich es nicht, wenn es u. U.
vertrauliche Daten enthalten könnte.

Kann ich den Server neu starten damit wir wieder einsatz-
bereit sind oder geht damit das Fehlerprotokoll verloren ?

Gruß
BI

firemichael

07.11.2012, 13:09

...was
muss ich nun für die Fehlerprüfung wohin senden?...

Du musst im Windows-Explorer die ERROR.log -Datei sichern (Kopieren, öffnen, copy&paste usw.).
NICHT vorher den FE-Server neu starten oder Dich in einer Oberfläche einloggen, das könnte die Fehlermeldungen überschreiben!

Das Files kannst Du dann bestimmt per Mail an FE schicken. -oder anonymisieren...

Beuti

07.11.2012, 13:18

Wenn ihr den DEBUG-Modus aktiviert habt bitte vor allem das Daily-Log senden nicht nur das Error-Log weil die reine Fehlermeldung zwar schön ist aber uns das Daily-Log uns wesentlich mehr hilft. Da wir dann nachverfolgen können was sonst noch passiert bevor FE "taub" wird. Dadurch können wir dann hoffentlich analysieren warum das passiert.

Brandinspektor

07.11.2012, 13:19

OK,

gesichert habe ich sowohl das ERROR als auch das DAILY-Log.

Im ERROR-Log sind Einheitennamen aufgeführt, die habe ich teilweise
mit XX überschrieben und den Dateinamen mit .txt ergänzt, sonst aber
nichts geändert.

Viel Erfolg bei der Fehlersuche ;)

Gruß
BI

Brandinspektor

07.11.2012, 13:21

Beuti

07.11.2012, 14:00

Super Danke für die Dateien. Antwort ist schon raus :)

Aufgrund der Daten erweitere ich meine Bitte auch nochmal.
Falls der Fehler irgendwo auftreten sollte bitte folgende Dateien senden:

-Daily-Log im DEBUG-Modus
-Error-Log
-AlarmHistory-Datei von dem Tag dem der Fehler auftritt

Die AlarmHistor-Datei findet sich im firemergency-Verzeichnis unter "Confgi\AlarmHistory". Es trägt den namen History_Datum.fdb. Files mit der Endung .fdb.bak falls vorhanden bitte auch mit senden.

Brandinspektor

07.11.2012, 14:11

Ok,

auch diese Daten habe ich per E-Mail zur Verfügung gestellt
und hoffe, dass ihr den "Übeltäter" bald ermitteln könnt. :)

Gruß
BI

Brandinspektor

09.11.2012, 14:03

Vielen Dank an Stefan (FMS-User: Beuti) vom firEmergency-Team.

Er hat sich unserem Fehler umgehend angenommen, konnte ihn ein-
grenzen und schnell beheben.

Seit 24h alarmiert firEmergency nun wieder einwandfrei.

DANKE!

Gruß
BI

firemichael

09.11.2012, 14:08

Ähm, ja... Glückwunsch!

... und woran lag es nun?
Lasst Ihr die anderen Betroffenen an Eurem Erfolg teilhaben?
Bzw. ist die Lösung übertragbar?

Grüße,

der Michel

Brandinspektor

09.11.2012, 14:27

Hallo Michael,

setz Dich per E-Mail mit Beuti support@firemergency.de in Verbindung.
Eventuell musst Du Deine Error- und Daily-Logfiles sowie die AlarmHistory
mitschicken.

Ich habe von ihm eine, auf mein Problem angepasste, neue Version von FE
erhalten und installiert, die bisher einwandfrei zur Probe läuft.

Ich denke, dass die Behebung von "meinem" Fehler mit in das nächste Update
von FE einfliessen wird. ;)

Also, wende Dich an Beuti - hier werden Sie geholfen. :)

Gruß
BI

firEmergency

09.11.2012, 14:50

Da der Fehler relativ kritisch sein kann, werden wir die bisherige "Closed-Beta" 1.2 zur "Open-Beta" umfunktionieren.

Neben ganz vielen Neuerungen wird dann dort auch der Fehler behoben sein.

Kann nur noch keinen 100% genauen Termin nennen. Denke nächste Woche ist realistisch.

Beuti

09.11.2012, 15:02

Freut mich das es jetzt wieder funktioniert!

Falls jemand momentan akut in den Fehler läuft, der wohl nur unter gewissen Konstelationen auftritt, kann er sich wie Bandinspektor schon sagte an support@firemergency.de wenden un bekommt vorab schon die Version. Für alle anderen dann in der OpenBeta zu 1.2.

Zum woran lags: Im Prinzip ein Problem mit Multithreading in Java im Zusammenhang mit Dateizugriffen was dann irgendwelche sehr seltsame Seiteneffekte produziert hat.