Grundsätzlich tendiere ich dazu jede Meldung, wenn auch verstümmelt oder unvollständig in einer Tabelle mit zu dokumentieren - und das realtime, also zum Zeitpunkt des Empfangs.
All diese Daten werden dann in der Datenbanktabelle gespeichert.
Da dabei dann auch Krüppel und Dubletten sind, geht man einfach den Weg über eine Abfrage, die Dubletten ausgrenzt und unter Berücksichtigung diverser Paramter unvollständige oder verküppelte Datensätze herausfiltert. Als Ergbenis bleiben verwertbare Daten übrig, mit denen man arbeiten kann.