Verarbeiten
Fragestellung und Ziel
Welche Verarbeitung brauchen Ihre Rohdaten, damit mehrere Auswertungen dieselbe fachliche Bedeutung verwenden? Ziel ist, benötigte Regeln einmal nachvollziehbar umzusetzen und Ergebnisse wiederzuverwenden.
Umsetzung in Bytefabrik
StreamPipes-Pipelines verbinden Datenströme, Prozessoren und Senken. Verfügbare Verarbeitungselemente übernehmen beispielsweise Filterung, Berechnung oder Aggregation. Bytefabriks AI Pipelines ergänzen diesen Ansatz um individuell erzeugte und prüfbare Verarbeitungslogik.
| Aufgabe | Geeigneter Einstieg |
|---|---|
| Ein einzelnes Rohereignis vor dem Anlegen des Schemas anpassen | Script Transformation bei der Anbindung |
| Vorhandene Verarbeitungselemente zu einem Datenfluss verbinden | Pipelines |
| Individuelle Logik aus einer fachlichen Beschreibung entwickeln | AI Pipelines |
| Gespeicherte Daten einmalig oder explorativ untersuchen | AI Notebooks |
Best Practices und Hinweise
Formulieren Sie Eingabe, erwartete Ausgabe und Regeln vor der Umsetzung. Halten Sie eine kleine Menge bekannter Ereignisse für die Prüfung bereit. Wählen Sie anschließend die einfachste passende Verarbeitung.
Ein bereinigter Strom ist noch kein historischer Datensatz: Das Ergebnis muss gezielt gespeichert werden. Prüfen Sie außerdem, ob eine Regel nur das aktuelle Ereignis benötigt oder vorherige Zustände berücksichtigen muss.
Starten Sie mit Transformationen und prüfen Sie anschließend die Datenqualität.