Pipelines
Fragestellung und Ziel
Wie wird eine Verarbeitung dauerhaft auf neue Ereignisse angewendet? Pipelines helfen, wiederkehrende Schritte wie Filterung und Berechnung vor die eigentliche Auswertung zu verlagern.
Umsetzung in Bytefabrik
Der Pipeline-Editor basiert auf Apache StreamPipes. Datenströme liefern die Eingabe, Prozessoren verarbeiten Ereignisse und Senken bestimmen die Ausgabe. Welche Elemente verfügbar sind, hängt von den installierten Erweiterungen ab. Die Konfiguration ordnet Felder des Eingabeschemas den Anforderungen eines Elements zu.
Best Practices für einen Datenfluss
- Wählen Sie einen geprüften Eingabestrom und benennen Sie das fachliche Ziel.
- Fügen Sie benötigte Verarbeitungsschritte hinzu und kontrollieren Sie deren Feldzuordnung.
- Konfigurieren Sie das Ausgabeziel. Für historische Analysen benötigen Sie eine passende Speicherung.
- Prüfen Sie die Pipeline mit bekannten Daten und kontrollieren Sie anschließend das tatsächliche Ergebnis.
- Dokumentieren Sie Zeitlogik, Einheiten und die Bedeutung neu berechneter Felder.
Beispiel: Ein Temperaturstrom wird auf eine Maschine eingeschränkt und für eine Auswertung aufbereitet. Speichern Sie das aufbereitete Ergebnis separat, wenn Sie Rohwerte für spätere Fehleranalysen weiterhin benötigen.
Was Sie beachten sollten
Ein Filter verwirft Ereignisse für die nachfolgenden Schritte. Eine Aggregation verändert Auflösung und Aussage der Werte. Beides sollte eine bewusste fachliche Entscheidung sein.
Ein gespeicherter Pipeline-Entwurf ist nicht gleichbedeutend mit laufender Verarbeitung. Prüfen Sie Betriebszustand und Output. Klären Sie bei Änderungen, ob ein Neustart erforderlich ist und wie Unterbrechungen behandelt werden.
Die Pipeline arbeitet auf ihrem Eingabestrom; sie berechnet nicht automatisch bereits gespeicherte Historie neu. Ergänzende Bedienhinweise: StreamPipes Pipelines.