Ein Data Engineer sorgt dafür, dass die Zahlen, auf die sich alle verlassen, überhaupt stimmen.

Data Engineer steht auf unserer Teamseite in der Disziplin Betrieb, Qualität und Sicherheit, neben System Engineer, Cyber Security Engineer und QA Engineer. Nach der Rolle selbst fragt uns fast nie jemand. Gefragt werden wir nach dem Dashboard, das seit einem halben Jahr angekündigt ist, oder danach, warum zwei Auswertungen für denselben Monat zwei verschiedene Umsätze zeigen. Das ist dieselbe Frage. Wir erklären, was die Rolle im Alltag tut, worin sie sich vom Data Analyst unterscheidet und warum ein Auswertungsvorhaben fast nie am Werkzeug scheitert.

Ein Data Engineer baut den Weg der Daten, ein Data Analyst liest am Ende ab.

Die Abgrenzung wird einfach, wenn man diesen Weg von hinten anschaut. Am Ende steht eine Zahl in einem Bericht: Umsatz pro Kunde, offene Stunden pro Projekt, Ausschuss pro Charge. Der Data Analyst arbeitet mit dieser Zahl. Er wählt die Auswertung, vergleicht Zeiträume, findet das Muster und sagt, was es für das Geschäft bedeutet.

Der Data Engineer arbeitet an allem, was davor liegt. Die Daten liegen in der Buchhaltung, im CRM, in der Zeiterfassung, im Onlineshop und in zwei Excel Dateien. Sie haben unterschiedliche Formate, unterschiedliche Kundennummern und unterschiedliche Vorstellungen davon, wann ein Auftrag abgeschlossen ist. Jemand muss sie zusammenführen, vergleichbar machen und dafür sorgen, dass das morgen ohne Handarbeit wieder passiert, auch wenn der Shop über Nacht ein Feld umbenennt.

In einem kleinen Vorhaben macht dieselbe Person beides und das ist in Ordnung. Nicht in Ordnung ist, wenn nur der zweite Teil bestellt wird, weil er der Teil ist, den man in einer Sitzung zeigen kann. Eine Auswertung auf ungeprüften Daten ist keine halbe Auswertung, sondern eine Zahl, der niemand mehr traut, sobald sie das erste Mal jemandem widerspricht, der es besser weiss.

Die eigentliche Arbeit besteht darin, Definitionen zu entscheiden.

Der technische Teil dieser Rolle ist der kleinere. Daten abholen, umformen und ablegen ist Handwerk und es ist heute gut unterstützt. Zeit braucht ein anderer Teil: Zwei Systeme meinen mit demselben Wort selten dasselbe.

Umsatz ist dafür das übliche Beispiel. Die Buchhaltung zählt nach Rechnungsdatum, der Shop nach Zahlungseingang, der Verkauf nach Auftragseingang und keiner der drei rechnet falsch. Dazu kommen Fragen, die keine Software für sich entscheiden kann: Zählt eine stornierte Rechnung im Ursprungsmonat oder im Monat der Gutschrift. Ist ein Konzern mit drei Debitorennummern ein Kunde oder drei. Gilt ein Projekt als abgeschlossen, wenn die letzte Stunde erfasst ist oder wenn die Schlussrechnung draussen ist.

Das sind keine technischen Fragen, sondern Fragen aus dem Geschäft. Deshalb ist das erste Ergebnis dieser Arbeit eine Liste: fünf bis fünfzehn Begriffe, je ein Satz, entschieden und freigegeben von jemandem, der sie entscheiden darf. Erst danach lohnt es sich, den Weg zu bauen.

Wo diese Liste fehlt, entsteht sie trotzdem, nur unsichtbar: als Formel in einer Excel Datei, die eine einzelne Person pflegt. Das ist derselbe Effekt, den man sieht, wenn niemand angeschaut hat, wie heute wirklich gearbeitet wird. Neben jedem System, das eine Frage nicht beantwortet, wächst eine Datei, die es tut.

Auswertungsvorhaben scheitern selten am Werkzeug und fast immer an den Daten.

Werkzeuge für Auswertungen sind günstig und schnell aufgesetzt. Ein Dashboard, das an eine einzelne Quelle hängt, steht an einem Nachmittag. Genau das führt zu dem Ablauf, den wir am häufigsten sehen: Es wird ein Werkzeug ausgewählt, eine Lizenz gekauft, ein erstes Dashboard gezeigt, alle sind zufrieden und drei Monate später schaut niemand mehr hin.

Der Grund ist fast immer derselbe. Die erste Zahl, die jemand aus eigener Erfahrung überprüfen kann, stimmt nicht. Danach ist das Werkzeug erledigt, unabhängig davon, wie gut die anderen zwanzig Zahlen waren. Vertrauen in eine Auswertung kennt keine Zwischenstufen: Sie wird benutzt, oder sie wird umgangen und umgangen wird sie mit derselben Excel Datei wie vorher.

Der Aufwand, der das verhindert, ist überschaubar und steht im Budget an der unbeliebten Stelle. Drei Quellen sauber zusammenführen, die Begriffe klären und den täglichen Abgleich einrichten sind in einem KMU fünf bis zehn Tage. Bei einem Vorhaben zwischen CHF 10'000 und CHF 30'000 ist das der grössere Teil und es ist der Teil, den man niemandem vorführen kann. Gestrichen wird deshalb er und übrig bleibt die Lizenz.

Der Weg der Daten ist ein Architekturentscheid, auch wenn er nach Fleissarbeit aussieht.

Ein paar Entscheide in dieser Arbeit sind später teuer zu ändern und sie fallen alle am Anfang. Ob die Auswertung direkt auf den Produktivsystemen läuft oder auf einer eigenen Ablage. Ob nur der aktuelle Stand gespeichert wird oder auch der Verlauf. Ob ein Datensatz beim Abgleich überschrieben oder ergänzt wird.

Der Verlauf ist dabei der Entscheid, der am meisten kostet, wenn er falsch fällt. Wer nur den aktuellen Stand speichert, kann später nicht mehr sagen, wie ein Auftrag vor drei Monaten ausgesehen hat und diese Information lässt sich nachträglich nicht beschaffen. Deshalb gehört die Rolle an denselben Tisch wie die, die die Entscheide trifft, die man später nicht mehr billig ändern kann.

Ein zweiter Punkt wird regelmässig übersehen. Eine Auswertungsablage ist eine Kopie. Wenn darin Kundendaten, Namen von Mitarbeitenden oder Stundenbuchungen liegen, ist sie eine Bearbeitung von Personendaten mit allem, was dazugehört und sie gehört in das Verzeichnis, das ein KMU ohnehin führen sollte. Wer sie bei einem Anbieter ausserhalb der Schweiz und der EU betreibt, hat auch diesen Entscheid getroffen, meistens ohne ihn zu bemerken.

Für ein KMU ist das ein Auftrag von wenigen Tagen und er kommt vor dem Dashboard.

Nicht jedes Unternehmen braucht die Rolle. Wer seine Zahlen aus einem einzigen System zieht und mit dessen Standardauswertungen auskommt, kommt ohne aus und das soll er auch. Selber bauen rechnet sich erst, wenn der Unterschied das Geschäft betrifft und bei Auswertungen ist dieser Unterschied oft kleiner, als er im Gespräch wirkt.

Gebraucht wird die Rolle in drei Fällen. Die Zahl, auf die es ankommt, entsteht aus mehr als einem System. Zwei bestehende Auswertungen widersprechen sich und niemand kann sagen, welche recht hat. Oder es gibt eine Excel Datei, an der eine einzelne Person hängt und ohne die im Betrieb niemand eine Auswertung machen kann.

Danach ist der laufende Aufwand klein: rund ein halber Tag pro Monat, damit Änderungen an den Quellsystemen auffallen, bevor sie eine Zahl still verschieben. Eine eigene Stelle wird die Rolle erst, wenn ein Unternehmen dauernd mit Daten aus vielen Systemen arbeitet. Vorher ist es ein Auftrag.

Bei uay gehört Data Engineer zur Disziplin Betrieb, Qualität und Sicherheit, neben System Engineer, Cyber Security Engineer und QA Engineer. Bei jedem Problem schauen wir zuerst, welche Rollen es braucht. Bei allem, was Auswertung heisst, ist diese fast immer dabei und sie kommt vor der Lizenz. Sie muss nicht bei uns liegen: Wenn der bestehende Partner die Begriffe klärt und aufschreibt, bevor er das erste Dashboard zeigt, ist das der einfachere Weg. Wenn niemand zuständig ist, übernehmen wir es, mit Aufwand und Preis in der Offerte und bleiben gegenüber dem Kunden verantwortlich.