Zielführung Starten – Der Management-Podcast von CTcon

Transkript zu Folge 20:

Data Science zum Erfolg führen – Machine Learning Operations (ML Ops) in Praxis und Forschung

[00:00:00] Podcast: Zielführung starten - der Management-Podcast von CTcon.
[00:00:21] Christian Bungenstock: Herzlich willkommen. Ich bin Christian Bungenstock, Partner bei CTcon in Düsseldorf. Als Gastgeber von Zielführung starten, nehme ich Sie heute mit auf eine Tour zu den Erfolgsfaktoren tiefgreifender, erfolgreicher und gut integrierter Data Science Teams. Im Gespräch erwarten wir Professor Dr. Timo Schürg und Niklas Hartmann. Timo Schürg ist Professor für Data Science und Machine Learning an der Hochschule Darmstadt. Timo hat viel Erfahrung im Aufbau von Data Science Teams und war vor seiner Hochschulkarriere unter anderem bei der DB Cargo AG und der Schott AG aktiv. Timo kennt Niklas aus gemeinsamer Projektarbeit. Niklas Hartmann ist Principal bei CTcon in Frankfurt, er berät seit vielen Jahren große Konzerne vor allem aus Logistik, Transport und Verkehr. Niklas trägt Verantwortung in unserem Kompetenzcenter Datengesteuerte Steuerung. Die Transformation zu einer digitalen Unternehmenssteuerung ist sein Leitstern. Beide besprechen, wie Data Science Teams in großen Organisationen mit Erfolg arbeiten. Dabei geht es auch darum, welche Unternehmensfunktionen sie am besten begleiten.
[00:01:35] Niklas Hartmann: Hallo Timo, schön, dass du zu Gast bist bei Zielführung starten.
[00:01:38] Prof. Dr. Timo Schürg: Ja, vielen Dank für die Einladung, freut mich hier zu sein.
[00:01:41] Niklas Hartmann: Sehr gerne. Ich freue mich mit dir zu reden, denn CTcon, das ist ja ein Mix aus dem besten von Wissenschaft und Praxis. Ich glaube beide Stränge können wir sehr gut aufnehmen. Wir haben uns wie schon im Intro angekündigt in der Praxis kennengelernt, im gemeinsamen Klienten-Projekt. Das ist ehrlicherweise ein paar Jahre her. Wir haben auch damals schon rund um BI und Advanced Analytics Themen zusammengearbeitet. Heute bist du in der Forschung und vielleicht können wir die Zeit einfach mal ein bisschen Revue passieren lassen. Was ist denn aus deiner Sicht in dem Themenumfeld rund um Advanced Analytics und Co passiert, was waren die wesentlichen Trends und wo stehen wir heute?
[00:02:22] Prof. Dr. Timo Schürg: Ja, also ich glaube was sich sehr stark verändert hat, ist die Professionalisierung von dem ganzen Thema. Als wir uns kennengelernt haben, als wir die ersten Schritte zusammen gemacht haben, war das noch sehr in den Kinderschuhen. Also ich bin dahin gekommen, um so ein Analytics Team von der Pike auf mit aufzubauen und da waren wir noch sehr im Forschungsmodus unterwegs, um zu verstehen, wie das Ganze überhaupt funktioniert, welche Technik dazu passt und welche Themen man überhaupt damit angehen sollte. Genau, was ich jetzt gesehen habe in den letzten Jahren ist, dass sich das Thema unglaublich professionalisiert hat, auch immer mehr speziell dafür qualifizierte Mitarbeiter dazu gekommen sind, also Leute, die extra dafür ausgebildet sind und ganz andere Sachen damit mitbringen.
[00:03:05] Niklas Hartmann: Also Stichwort Data Engineer, Stichwort Data Scientist. Siehst du da auch eine methodische Entwicklung? Also sind die Themen andere geworden oder gilt das eigentlich gleichermaßen für alle Methoden, die in dem Kontext zum Einsatz kommen?
[00:03:19] Prof. Dr. Timo Schürg: Ja, also von den Methoden hat sich mit Sicherheit einiges geändert. Ja, also das ganze Stichwort neuronale Netze und KI, das hat einen unglaublichen Schub noch mal reingebracht und auch ganz andere, ja, Kraft von den Algorithmen, viel komplexere Probleme, die man damit lösen kann. Ja, und das andere Stichwort, was du angesprochen hast, also eine ganz starke Differenzierung von den Rollen. Früher gab es den Data Analyst, ja, und dass sich so langsam Richtung Data Scientist entwickelt hat, und inzwischen hat man ein komplettes Portfolio von Rollen, was man ausfüllen muss in dem Data Science Team.
[00:03:50] Prof. Dr. Timo Schürg: Ja, also angefangen von dem Data Engineer, der sich hauptsächlich damit beschäftigt, wie man die ganzen Daten aufbereitet, ja, bis zu dem Modellierer, der sich hauptsächlich um die Modelle kümmert.
[00:03:59] Niklas Hartmann: Also ein großes Spektrum an Rollen, großes Spektrum an Methoden. Es stellt ja durchaus Herausforderungen da für die Unternehmen, die sich damit auseinandersetzen, diese Kompetenzen zu entwickeln, Verantwortung auch für diese Menschen und natürlich auch für die Methodenentwicklung zu verorten und ich glaube, das ist ein schöner Übergang zu deiner Forschung und deinem aktuellen Thema. Vielleicht kannst du uns kurz einführen, woran du eigentlich forscht.
[00:04:24] Prof. Dr. Timo Schürg: Genau, ich hab so zwei Babys, die ich versuche voranzutreiben. Das eine ist eine Methode, ja, das ist topologische Datenanalyse. Da geht's darum, wie man Fußabdrücke quasi generiert aus Daten und damit vor allen Dingen Probleme lösen kann, wo man keine Labels an den Daten dran hängen hat. Aber ich glaube, das ist nicht so das Thema für uns heute, ja, das ist sehr technisch und sehr experimentell. Und das andere Thema, an dem ich super interessiert bin, ist der Bereich MLOps. MLOps steht für Machine Learning Operations. Da geht's vor allen Dingen darum, wie ich, wenn ich durch den ganzen Prozess durch bin, wenn ich ein Modell fertig entwickelt habe, wie ich das danach vernünftig in den Betrieb kriege und ja auch sicherstelle, dass ich skalieren kann als Unternehmen. Weil wenn ich für jedes neue Modell, was ich entwickelt habe, einen neuen Mitarbeiter einstellen muss, der das sich darum kümmert und das regelmäßig schmiert und ölt, ja, dann skaliert das Ganze nicht.
[00:05:16] Niklas Hartmann: Okay. Das heißt, also wenn ich das mal übersetze, üblicherweise, ist das ein bisschen überspitzen darf, kommen die neuen Trendthemen in Form von Leuchttürmen, Schnellboten, Piloten in die Unternehmen und man sagt, Mensch, wir müssen uns mit der Methode mal auseinandersetzen und da findet sich doch bestimmt irgendein Use Case, den man mal machen könnte. Und du beschäftigst dich eigentlich dann hinten raus mit der Frage, wenn dieses Schnellboot relevant war, wie kriege ich das jetzt in der Organisation verankert und in den laufenden Betrieb, dass die Daten immer wieder bereitgestellt werden, dass die Analysen immer wieder durchgeführt werden und dass eben auch sozusagen das in einer effizienten Organisation stattfindet. Ist das in etwa die Pipeline des Themas oder geht's noch breiter?
[00:06:04] Prof. Dr. Timo Schürg: Ja, ein bisschen breiter wäre besser, weil wenn man erst dann anfängt zu gucken, ja, dann ist es eigentlich schon zu spät. Ja, vielleicht ist ein ganz plastisches Beispiel, wenn wir so mit der Zeit anfangen, wo wir uns kennengelernt haben, das war so ein Analytics Team, was wir wirklich von der grünen Wiese aufgebaut haben. Wir haben da unser, genau wie du das beschrieben hast, haben einen Use Case gesucht, haben das umgesetzt. Danach war eigentlich kein Platz mehr für neue Themen, weil wir jetzt ein Thema erfolgreich abgeschlossen haben und das kam beim Kunden auch gut an, das wollte er weiter benutzen. Ja und dann haben wir als Analytics Team dieses Thema auch betrieben. Haben uns um den ganzen Betrieb von der Lösung gekümmert, den ganzen Service gemacht und da war keinerlei Kapazität mehr frei für neue Themen.
[00:06:46] Niklas Hartmann: Na ja, verstehe. Okay. Das heißt, wenn wir das so ein bisschen trennen vielleicht in diese beiden Phasen, so wie du es jetzt angedeutet hast, es gibt so eine Art Proof of Concept Phase oder eben hat man auch schon Pilot gesagt oder Schnellboot und es gibt eine spätere Implementierungs- und Betriebsphase. Ich würde mal ganz vorne anfangen. Wenn jetzt heute ein interner Kunde kommt und sagt, ich habe da eine Idee für einen für einen Projekt. Gibt es eigentlich jemanden aus deiner Sicht, der sicherstellt, dass so ein Thema relevant ist? Was ist eigentlich relevant an der Stelle?
[00:07:21] Prof. Dr. Timo Schürg: Ja, das ist ein ganz wichtiger Punkt. Ja, also ich glaube mit eine von den entscheidenden Schnittstellen bei so einem erfolgreichen Projekt ist gerade die Anfangsphase, wenn man die Idee präzisiert. Ideen für Data Science Anwendungen gibt's im Unternehmen ganz viele. Und die entscheidende Phase, wo ganz viel über den Erfolg von einem Projekt entschieden wird, ist die erste Phase, wo man versucht, das zu präzisieren. Eine ganz wichtige Sache dabei ist, dass man eigentlich da zwei Größen hat, die man miteinander verbinden muss. Was man als arbeitender Data Scientist im Kopf hat, ist immer die die Prognosegüte von dem Modell. Ja, wie gut treffe ich denn meine Trainingsdaten? Misst man typischerweise irgendwie in Prozent, ja, also ich will eine möglichst hohe Prozentzahl erreichen von Genauigkeit. Und umgekehrt für das Unternehmen ist ja eigentlich total egal, wie gut das Modell ist, sondern da ist entscheidend, dass ich irgendeine Steuerungsgröße habe und die treffe. Und ganz entscheidend für den Erfolg von dem Projekt ist, dass man versucht diese beiden Sachen zusammenzubringen. Also am besten hat man irgendeine Übersetzung, dass ich weiß, wenn ich die Güte in meinem Modell habe, dann hat das auch folgende Auswirkungen auf meinen Unternehmenserfolg.
[00:08:34] Niklas Hartmann: Da bin ich komplett bei dir. Allerdings würde ich auch sagen, tatsächlich in der Praxis so ganz konsistent zu beobachten ist das noch nicht. Oftmals hat man den Eindruck, die Hype-Themen, die kriegen ganz einfach einen Weg durch die Tür, aber es gibt eigentlich niemanden, der so dreimal warum fragt, wenn so ein Thema kommt. Also zu sagen, aus Sicht der Unternehmensstrategie, die ja beschreiben soll, wie das Unternehmen erfolgreich bleibt oder wird, sozusagen konsequent ableitet, dass ein Beitrag in Richtung dieser Strategieumsetzung entstehen kann und dass man sich nicht beliebig irgendein Thema schnappt, sondern tatsächlich einen Plan hat, wie das eben auf die strategischen Ziele des Unternehmens einzahlen kann. Hast du andere Erfahrungen gemacht?
[00:09:21] Prof. Dr. Timo Schürg: Nee, das deckt sich 100 % mit meiner Erfahrung. Also da gibt's immer die Hype Themen, die gerade gepusht werden müssen und da vergisst man oft den, was das für einen für einen Impact hat auf das Unternehmen. Und eine andere Sache, die ganz oft vergessen wird, sind auch die Endnutzer hinten dran. Oft werden die relevanten Themen nicht von den Leuten gesetzt, die die Lösung dann benutzen, sondern von jemanden, der ein bisschen größeren Blick drauf hat. Und wenn man vergisst, diese Leute mit einzubeziehen, dann entwickelt man manchmal an der Lösung vorbei. Da gibt's immer das eine lustige Beispiel, da werden Tablets eingeführt für die Leute, die in Standhaltung machen und sie können die Tablets gar nicht bedienen, weil sie dicke Handschuhe anhaben. Und das wichtige Stichwort, was man da immer reinbringen muss, ist, dass viele gute Ideen aus dem Design Thinking, die helfen auch bei Data Science Projekten, gerade in der Anfangsphase, wenn es darum geht, die Idee zu präzisieren und den Endnutzer mitzunehmen und das sind die Punkte, die schon in der Anfangsphase sicherstellen, dass mein Projekt hinten raus ein Erfolg wird.
[00:10:23] Niklas Hartmann: Okay.
[00:10:23] Prof. Dr. Timo Schürg: Weil die Quote ist immer noch unglaublich schlecht, ja, also wenn man so den Zahlen glaubt, die Gartner und Co veröffentlichen, ist die Quote immer noch so bei 80 % scheitern. Also 80 % aller Data Science Projekte schaffen es nicht über den Leuchtturmstatus hinaus.
[00:10:39] Niklas Hartmann: Na, nicht zu unterschätzender Ressourcenaufwand, der dann dabei getrieben wird, wobei man natürlich auch sagen muss, experimentieren soll ja erlaubt sein, die Organisation lernt methodisch, die Organisation lernt zumindest so hat's nicht funktioniert, wir müssen einen anderen Weg gehen. Die Frage ist natürlich immer, wie konsequent verketten sich dann die Cases, ne? Also, wenn man eine strategische Zielvorgabe hat und sagt, ich habe da ein bestimmtes Thema, das ich unbedingt umsetzen muss als Unternehmen und ich probiere es auf dem ersten Weg, vielleicht mit einem Data Science Projekt und ich schaffe es nicht. Lege ich es dann zur Seite und mache irgendwas anderes oder versuche ich halt mit einer anderen Methode das gleiche Ziel zu erreichen. Dann ist natürlich die Frage, wie zähle ich das jetzt in der Statistik, aber durchaus eine Perspektive in der Scheitern ja auch erlaubt sein muss sozusagen, ne? Was ich vorhin noch mal spannend fand, war jetzt der Aspekt, es gibt eigentlich niemanden, der challenged, wenn so ein Case kommt. Das heißt, deine Erfahrung zeigt auch, da kommt ein Fachbereich und bietet eine Anfrage an ein Analytics Team und eigentlich ist nur entscheidend, ob das Analytics Team gerade Kapazität hat und wenn da Kapazität ist, dann nimmt man sich dem an. Es gibt aber keine neutrale Instanz, die sagt, so wir haben viele Anfragen, wir haben viele Ideen, wir challengen die auch gegeneinander und entscheiden halt über das relevanteste in Anführungszeichen und das wird als allererstes ausprobiert.
[00:11:59] Prof. Dr. Timo Schürg: Ja, aber ich glaube, es gibt auch Unternehmen, die da ganz gute Ansätze haben. Also was ich z.B. bei einem Unternehmen mal gesehen habe, ist, dass die, also wie so eine Art Beauty Contest haben für Data Science Projekte und dass dort Entscheider sitzen, die so wie bei Höhle der Löwen über Venture Capital verfügen und dann entscheiden, welche von diesen Data Science Themen tatsächlich, also mit Geld versorgt wird.
[00:12:22] Niklas Hartmann: Okay, das ist zumindest auf jeden Fall eine kreative Idee. Klingt unternehmerisch. Weißt du, ob es dafür Kriterienkatalog gab oder war das dann tatsächlich eben unternehmerische Entscheidung des Gremiums, das dort vor Ort war?
[00:12:35] Prof. Dr. Timo Schürg: Also ich habe bei dem Unternehmen nicht gearbeitet, deswegen weiß ich nicht genau, wie die das gemacht haben, aber was man so aus der Literatur kennt, sind eigentlich so drei verschiedene Kriterien, nachdem man das beurteilt. Das eine ist, bringt mir das als Unternehmen Erfahrung? Ja, also kriege ich damit, lerne ich damit irgendwas? Und das andere ist, ob damit neue Geschäftsfelder aufgemacht werden, also generiere ich mir damit neues Einkommen und dritter Punkt ist immer, werde ich dadurch effizienter? Also kann ich vielleicht damit Prozesse, die im Moment kostenintensiv machen, günstiger machen. Und das sind so die so drei Eckpunkte, wo man sich dran entlang hangeln kann, um auch wirklich objektiv zu beurteilen, bringt mir der Case was oder laufe ich da jetzt einem Hype nach?
[00:13:18] Niklas Hartmann: Jetzt gibt's ja eigentlich eine Rolle im Unternehmen, die traditionell für die Rationalitätssicherung verantwortlich ist. Die nennt man Controller. Die ist uns als Unternehmenssteuerer durchaus natürlich nah. Müsste man jetzt nicht den Appell hier senden zu sagen, Mensch, in dieses Gremium und an den Tisch gehört der Controller fest mit dran als neutraler Sparringspartner, der diese Kriterien immer wieder Faktenbasiert in der Runde sozusagen präsentiert und für eine für eine rationale Entscheidung sorgt?
[00:12:49] Prof. Dr. Timo Schürg: Aus meiner Sicht auf jeden Fall. Und wo ich den auch super wichtig finde, ist im Nachhalten von diesen Zahlen. Weil einen Business Case zu generieren und da Zahlen hinzuschreiben, geht relativ schnell. Also muss man das Commitment einholen von den Leuten, die die Zahlen mitbringen, aber dann wirklich nachzuverfolgen, ob das auch so kommt zwei Jahre später, ist noch mal eine ganz andere Hausnummer. Ja, deswegen, also aus meiner Sicht gehört auf jeden Fall ein Controller mit dazu.
[00:14:19] Niklas Hartmann: Super, dann haben wir schon mal einen Erfolgsfaktor für den für die erfolgreiche Auswahl von POCs sozusagen identifiziert und jetzt hast du eigentlich auch direkt in dem gleichen Atemzug gesagt, na ja, ist auch ein Erfolgsfaktor für den nachhaltigen Übergang in die Organisation und auch eben entsprechend den Erfolg langfristig zu sichern und auch die Relevanz dadurch sozusagen immer wieder zu validieren. Welche Erfolgsfaktoren gibt's denn in deinem zweiten Forschungsfeld MLOps an der Stelle aus deiner Sicht noch, um jetzt den Übergang vom POC in den Betrieb zu sichern und eben auch zu skalieren?
[00:14:53] Prof. Dr. Timo Schürg: Da ist neben also dem Controller, der super wichtig ist, sind natürlich die Leute aus der IT wichtig, weil die haben jahrelang Erfahrung damit, wie man sowas genau skaliert. Da wird nicht für jedes neue System, was man einführt, ganz viele Mitarbeiter eingestellt, sondern man hat feste Prozesse und versucht sich anhand dieser Prozesse entlang zu hangeln, um ja, das Ganze auch so hinzukriegen, dass es skaliert. Und an viele von diesen Systemen kann man sich mit einer Data Science Lösung dran hängen. Also um ein ganz einfaches Beispiel dafür zu geben, eigentlich jedes Unternehmen hat irgendeine Hotline, wo ich anrufen kann, irgendein First Level Support, der für einen da ist, wenn was beim Rechner hängt. Wenn man Machine Learning Modell an den Kunden bringt, hat man genau dieses gleiche Problem. Irgendwo bei dem hängt das, ein Knopf funktioniert nicht. Und wenn alle diese Anrufe sofort beim Data Science Team landen, bindet das viel zu viel Kapazität und auch viel zu viel teure Kapazität. Und das ist jetzt also wirklich das erste und einfachste Beispiel, wo es Sinn macht, die beiden Sachen zu vertraten, ja, also so ein First Level Support auch für Machine Learning Modelle, wenn die irgendwie Richtung Kunde unterwegs sind, macht super viel Sinn.
[00:16:03] Niklas Hartmann: Sind denn aus deiner Erfahrung die Fachbereiche bereit dazu, das in soweit die Verantwortung auch abzugeben, zumindest in den technischen Teilen der Betriebsführung?
[00:16:13] Prof. Dr. Timo Schürg: Ja, das hängt unglaublich daran, wo man so ein Data Science Team aufhängt. Also so wie ich das kenne, gibt's drei verschiedene Positionen, wo man so ein Data Science Team hinhängen kann, organisatorisch. Das eine ist in den Fachbereich selber. Dann man kann das als Einheit innerhalb des Controllings machen, habe ich auch schon gesehen. Und die dritte Möglichkeit ist, dass innerhalb von der IT zu hängen. Ja, und je nachdem, wo man sich am Anfang entschieden hat, sein Data Science Team hinzuhängen, gibt's ganz unterschiedliche Herausforderungen, wie man das nachher integriert. Also eine Möglichkeit ist natürlich, das von vorne rein in die IT zu hängen, dann hat man diese Verzahnung in die IT hinten raus eigentlich super sichergestellt. Auf der anderen Seite ist ein Data Science Projekt kein IT-Projekt. Wirkt ein viel größeres Risiko, viel größeres Potenzial zu scheitern. Ja, und da ist oft in der IT ein anderer Gedanke dahinter. Wenn ich da ein Projekt starte, dann soll das bitte auch Erfolg haben. Und das ist gerade in der starken experimentellen Phase am Anfang von Data Science Projekten passen da oft die Prozesse überhaupt nicht aufeinander.
[00:17:18] Niklas Hartmann: Also das heißt eigentlich der der gute Kompromiss, will jetzt nicht überparteilich sein, aber tatsächlich könnte ein guter Kompromiss da wieder im Controlling liegen, weil es ist eine neutrale Instanz, sie ist eigentlich traditionell eben ja, mit der Unterstützung der Entscheidungsfindung betraut, das umfasst für mich ja eben auch so forschen und das Verständnis zu erweitern über die Zusammenhänge im Unternehmen und zu sagen, wir sind fachlich in der Lage sozusagen allen Fachbereichen eine inhaltliche Plattform zu bieten, weil wir die Fäden zusammenlaufen auf einer Informations- und Datenseite, aber wir spielen natürlich den Betrieb technisch gesehen gerne ab. Dann hätte man den Vorteil technisch zu skalieren in der IT und auf der anderen Seite den Moderationsprozess, über den wir auch eingangs gesprochen haben, zu sagen, gibt's auch Abwägungen zwischen Fachbereichen? Kann ich ja einfach jetzt jeder machen, was er will in Anführungsstrichen, sondern wir stellen auch sicher, dass eben relevante Themen als erstes bearbeitet werden und wir verbinden die mit einem guten Messkonzept und wir verknüpfen die zur Strategie. Ja, im Controlling am besten gewährleistet sein könnte.
[00:18:22] Prof. Dr. Timo Schürg: Ja, man muss halt diese Schnittstelle in die IT gut hinkriegen und das ist ein Punkt, wo es Potenzial für Reibung gibt. Also ich glaube, so richtig die optimale Lösung gibt's aus meiner Sicht nicht. Gibt ja auch dieses Lab Modell, wo ich einfach ein Data Science Team komplett auslagere. Also am besten ein komplett eigenes Gebäude, was vielleicht außerhalb ist sogar von meinem Betriebsgelände. Da gibt's auch meistens immer ein bisschen Cargo Kult, also viele bunte Möbel und ein Tischkicker und Obst auf ganz vielen Tischen. Das ist natürlich super für diese Phase, wo man experimentieren will, kreative Lösungen mitbringen will, aber diese beiden anderen Punkte, ja, welchen Impact hat das für mein Unternehmen und wie gut ist das verratet mit den Zielen von meinem Unternehmen und wie kriege ich die Integration mit der IT hin. Gerade diese beiden Punkte sind da dann oft ein Schwachpunkt. Also ich glaube, so richtig die optimale Lösung gibt's aus meiner Sicht nicht. Jeder hat ihre eigenen Nachteile und man muss halt gucken, was für dem Unternehmen am besten passt.
[00:19:19] Niklas Hartmann: Jetzt hast du eigentlich noch mal eine neue Perspektive aufgemacht auf das Stichwort Erfolg. Und ich glaube, wir haben ein ganzes Spektrum in dem Gespräch schon eröffnet, in den Fragen von, wer guckt eigentlich wie auf Erfolg? Also du sagtest vorhin mal, na ja, der Data Scientist, der möchte erstmal eine hohe Modellgüte haben, eine hohe Prognosegüte erreichen in dem, was er tut. Der guckt da methodisch drauf. Dann haben wir jetzt drüber gesprochen, dass das Thema Erfolgswirksam sein sollte, also irgendwie an relevante erfolgskritische Themen des Unternehmens angelehnt und nicht nur an irgendwie Hype und Trend einer bestimmten Methodik. Dann haben wir drüber gesprochen, dass es skalieren sollte in der IT und eben auch kostenoptimal sozusagen langfristig eingesetzt werden kann. Das führt uns ja zu der Frage, gibt's in dieser Landschaft, in diesem Spektrum eigentlich schon etablierte Messgrößen und eine klare Definition von dem, was den Erfolg hier ausmacht. Hast du dazu aus deiner auch Beratungs- und Trainingspraxis Impulse?
[00:20:20] Prof. Dr. Timo Schürg: Ja, also wird sogar in der gängigen Literatur, wenn man sich anschaut, was sind so die größten Risikofaktoren für Data Science Projekte, taucht eigentlich immer wieder genau dieser Punkt auf, es gibt aktuell keine guten Kennzahlen, wie man Erfolg von dem Data Science Team misst. Und welche Incentivierung bietet das, je nachdem, wie ich es messe. Also z.B. eine ganz einfache Messgröße für Erfolg von dem Data Science Team ist erfolgreich umgesetzte Projekte pro Jahr. Ja, aber das führt natürlich dazu, dass man viele kleine Projekte macht, weil da hat man diese Kennzahl besser erfüllt. Und lässt vielleicht Sachen, die wirklich viel bringen würden fürs Unternehmen, lässt man eher weg, weil es meist ein größerer Fisch wäre.
[00:21:04] Niklas Hartmann: Also auch hier noch mal ein großes Themenfeld, wo die Unternehmenssteuerer gefragt sind, Guidance reinzubringen, vielleicht ein Stück weit ohne die Kreativität zu bremsen natürlich und den methodischen Fortschritt, aber eben doch ein Stück weit zu sortieren, was ist Erfolg für das Unternehmen und wie kriegen wir auch Messkonzepte etabliert für die Projekte, die da gemacht werden und wie messen wir ihren Impact? Auch wenn das natürlich immer schwer ist, monokausal aus einem Ergebnis zurückzuleiten, wo jetzt die Impacts herkamen. Auf der anderen Seite, wir machen uns ja mit unserem Ansatz für Datengetriebene Steuerung sehr stark dafür, zentral im Controlling Financials und non-Financials viel stärker zu verdichten, multidimensionale Datenmodelle aufzubauen und so eben auch einfach stärker als in der Vergangenheit, wo man vielleicht etwas finanzorientierter auch in der Datensicht im Controlling unterwegs war, kausal Zusammenhänge datengetrieben analysieren und erkennen zu können und vielleicht kann man auch damit dann einfach den nächsten Schritt gehen, eben darin Zusammenhänge zu detektieren mit Causal Analytics zu sagen, hey, Projektwirksamkeit und der Effekt passen doch offensichtlich ganz gut zusammen, um da auch die Rolle schon wieder zu unterstreichen. Auch wenn hier nicht alle Wege immer automatisch ins Controlling führen sollen.
[00:22:19] Prof. Dr. Timo Schürg: Ja, ist auch ein großes Paradox aus dem Bereich Data Science, dass da geht's ja gerade darum, Daten zu analysieren und aus diesen Daten Mehrwert zu bringen. Und gerade die Data Science Teams selber wehren sich dagegen, dass man in irgendeiner Form objektive Kennzahlen hat, womit man den Erfolg von diesen Teams misst. Und welche Incentivierung bietet das, je nachdem, wie ich es messe? Und also viele KI Projekte, Machine Learning Projekte, da sehen sich die Entwickler davon, sehen das eher als Manufakturbetrieb und als ein unglaublich kreativer Prozess, ähnlich wie Wissenschaft. Und wehren sich in dem Zuge dagegen, dass man irgendwelche Zahlen hat oder Daten, mit denen man Projekterfolg messen kann. Also in der Data Science geht's darum, dass man andere Sachen analysiert, aber dass das Team an sich auch irgendwie mit Daten gemessen wird, dann wehren sich eigentlich alle Teams gegen und es finde ich ist so ein bisschen Paradox in der in der Data Science.
[00:23:19] Niklas Hartmann: Ja, sehr spannend, denn das Thema Incentives, Incentivierung, Anreizgestaltung hattest du eben auch schon mal erwähnt. Jetzt hast du eigentlich als Grund angeführt, ja, da ist der freischaffende Künstler, der möchte diesen Blick in die Blackbox nicht zu sehr haben, damit die Kreativität nicht eingeschränkt wird. Glaubst du, dass man, wenn man Incentives wieder ganz hart versteht, dass man mit einer unternehmerischen, finanziellen Incentivierung da dran was ändern könnte?
[00:23:49] Prof. Dr. Timo Schürg: Ja, ich denke schon. Ich glaube, das ist ein wesentlicher Punkt, wo man ansetzen kann. Also z.B. kann man Data Science Team einfach danach messen, wie viel Business Cases die pro Jahr mitgebracht haben und was da an Wert generiert wurde. Aber ich glaube, die zweite Komponente, die da noch wesentlich mit reinspielt, ist auch die Kultur. Man muss auch an die Kultur in einem Data Science Team denken und da auch versuchen, das ein bisschen zu ändern, weg von dem freischaffenden Künstler. Was in der Literatur oft erwähnt wird, ist, dass man keine Moonshots machen soll, sondern mehr Laps around the Track. Ja, also ein Data Science Projekt zu Ende bringen, sollte eigentlich irgendwann so einfach sein, wie eine Runde auf der Tartanbahn laufen. Und dann muss man halt weg von dieser Kultur des freischaffenden Künstlers, der sich nicht auf die Tastatur gucken lassen möchte, sondern mehr Templates nutzen. Schon vorgefertigte Modelle, das macht natürlich viel weniger Spaß, weil man nicht diesen ganzen Spaß an dem Training hat.
[00:24:44] Niklas Hartmann: Mehr Routine, mehr Wiederholung, mehr Industrialisierung der der Methoden sozusagen.
[00:24:50] Prof. Dr. Timo Schürg: Verstehe, ja.
[00:24:51] Niklas Hartmann: Ja, da kommen wir auch zurück zu dem Punkt, den wir ganz am Anfang von dem Gespräch hatten, was sich verändert hat in den letzten 10 Jahren, also die Rakete, die Tools, die man zur Verfügung hat, um Modelle zu entwickeln, sind unglaublich viel professioneller geworden und stabiler. Also es geht inzwischen viel schneller, dass man ein Modell trainiert, sobald man einmal die Daten sauber gemacht hat.
[00:25:11] Niklas Hartmann: Dann bleibt ja die Frage, wie schaffen wir es wirksam den Anreiz zu gestalten, der entweder extrinsisch motiviert, sich dem Impact stärker zu öffnen. Dann gleichzeitig aber auch sozusagen den Menschen in der Data Science nicht die intrinsische Motivation zu nehmen und zu sagen, du hast diesen kreativen, forschenden Teil, in dem du als Pionier neue Methoden erstmals ins Unternehmen bringst, nicht nimmt und nur noch sozusagen Massenbetrieb macht. Vielleicht führt uns das auch noch mal zu dem organisatorischen Teil und dem Rollenteil. Du sagtest, die Rollen haben sich deutlich differenziert gegenüber früher. Jetzt könnte man ja auch wieder hier auf die Idee kommen, zu sagen, vielleicht gibt's da einfach zwei Rollen, also ein Data Science Mass Production und ein Data Science Pionier. Ja, je nach Erfahrung, je nach Ausbildung widmet man sich halt lieber dem einen oder dem anderen Thema. Wie guckst du da drauf? Gibt's da Tendenzen?
[00:26:08] Prof. Dr. Timo Schürg: Ja, ich glaube, hast du genau richtig zusammengefasst. Also da gibt's mehrere Rollen und wenn ich ein erfolgreiches Data Science Projekt haben will, also wenn ich mir jetzt nur mal ein Projekt anschaue, reicht das nicht, da einfach jemanden dran zu setzen, der sehr gut Modelle trainieren kann, sondern ich muss mehrere verschiedene Rollen ausfüllen. Also idealerweise habe ich sowas wie ein Data Engineer, der sich darum kümmert, wie ich meine Daten Pipelines baue, wie ich die Daten sauber mache. Ich brauche den Data Scientist, der ein Modell trainieren kann, aber genauso wichtig ist jemand, der sich um die Kommunikation kümmert, die Ziele im Blick behält, das ganze Stakeholder Management macht. Also jemand, der mehr eine Business Brille auf hat. Und alle diese Rollen zusammen zu vereinen in einer Person ist unmöglich. Ja, jeder hat da seine Stärken und Schwächen, deswegen für ein erfolgreiches Data Science Projekt muss ich mehrere Leute zusammenziehen und also dieses Projekt auch wirklich gut besetzen.
[00:27:04] Niklas Hartmann: Ja, das ist ja auch noch mal eine interessante Perspektive drauf. Jetzt hast du ja viele solcher Projekte erlebt, also du hast in unterschiedlichen Teams gearbeitet, hast in eher so einem Lab Format, wie du selbst erwähnt hast, er gearbeitet, bist jetzt beratend da unterwegs. Gibt's eine gute Größe? Also gibt's jetzt hast du schon gesagt, na ja, einer allein wird es nicht schaffen, also offensichtlich zu klein gibt's, gibt's auch zu groß?
[00:27:27] Prof. Dr. Timo Schürg: Ja, weil ich glaube gerade am Anfang, diese Experimentierphase, wenn da zu viele Leute versuchen zu experimentieren, ich glaube, das klappt nicht so gut. Also, ich habe Projekte alleine gemacht, die sind eigentlich alle gescheitert, ja. Das ist meine Quote an den Sandgesetzten Projekten relativ hoch, ja.
[00:27:44] Niklas Hartmann: Kein kausaler Bezug zur Person.
[00:27:46] Prof. Dr. Timo Schürg: Ich glaube nicht, ich glaube, das liegt einfach daran, wenn man versucht, das alleine zu machen, das hat wenig Chance auf Erfolg. Also, ich glaube, eine gute Größe sind immer so vier bis sechs Personen. Idealerweise hat man, also was ich eben noch vergessen habe, jemanden noch eher mit einer Software Engineering Brille auf, der schaut, dass der Code auch eine gewisse Qualität hat, gerade wenn man hinten raus Richtung Betrieb schaut, also jemand, der von Anfang an guckt, dass der Code, der produziert wird, auch wartbar ist, macht unglaublich viel Sinn. Gerade diese Data Scientist Rolle wird ja oft ausgefüllt von Leuten, die eher Mathematik oder Physik oder anderen naturwissenschaftlichen Background haben und nicht unbedingt wirklich Informatik studiert haben.
[00:28:27] Niklas Hartmann: Ja.
[00:28:27] Prof. Dr. Timo Schürg: Und in so einem Informatikstudium, also man lernt da wirklich richtig, wie man sauber programmiert und wie man von vorneherein sicherstellt, dass eine Lösung auch wartbar ist. Und so jemanden von vorneherein mit dabei zu haben, macht unglaublich viel Sinn.
[00:28:40] Niklas Hartmann: Ja, sicher auch Teil der von dir erwähnten Professionalisierung des gesamten Themenkomplex in den letzten Jahren, am Anfang war da doch viel Pioniergeist und man macht erstmal und man merkt dann nach Jahren, oh eine Dokumentation hätte uns geholfen, damit geht's dann los und vielleicht ein bisschen auf die Wartbarkeit zu achten ist das andere. Und sicherlich gehört auch Informationssicherheit und auch letztlich Lizenz-Themen genauso in das Spektrum, wo man ja auch immer wieder aktiv auf dem Radar behalten muss als Unternehmen, was wird da eigentlich eingesetzt? Denn es ist immer schnell gesagt, na ja, wir benutzen nur Open Source, aber am Ende steckt dahinter doch ein ganzer Wald an Lizenzen, der möglicherweise am Ende des Tages doch mal Kosten erzeugt oder wir benutzen halt unterschiedliche, auch das hast du schon erwähnt, Packages, die dahinter stehen, die den Alltag sehr praktisch machen. Auf der anderen Seite muss man aber auch da schauen, dass die aktuell gehalten werden, dass keine Sicherheitslücken entstehen und auch all das gehört ja sicherlich in dein Thema mit rein, zu sagen, wir brauchen eine skalierungsfähige Organisation, die sich auch darum kümmert.
[00:29:43] Prof. Dr. Timo Schürg: Genau, das ist das große Stichwort Governance. Das klingt immer super langweilig, aber ist total wichtig für einen langfristigen Erfolg. Das geht bei den Themen los, die du erwähnt hast mit der Data Governance. Also wer sind denn überhaupt die Leute, die verantwortlich sind für bestimmte Datentöpfe. Was bei ganz vielen Data Science Projekten auftaucht, ist, dass eigentlich im ersten Schritt, das ausreichend wäre, wenn die Leute besseren Zugriff hätten auf die Daten, dass man Daten nicht nur als etwas versteht, was in gewissen Tabellen rumsteht, sondern sich Daten wie Produkte vorstellt und passend Datenprodukte an einen Analysten liefert, damit er sich nicht mehr per Hand aus fünf verschiedenen Quellen das zusammenzieht und dann in Excel S-Verweise baut, sondern ein fertiges Datenprodukt hat. Und da ist es ganz wichtig, dass man eine Data Governance hat und sogenannte Data Stewarts, die sich um gewisse Datentöpfe kümmern und sich wie ein Produktmanager für ihre Daten verantwortlich fühlen und die so dem Fachbereich zur Verfügung stellen.
[00:30:43] Niklas Hartmann: Ja, man hat teilweise den Eindruck, dass auch das ein Stück weit ein unterentwickeltes Thema ist, an vielen Stellen, aber eins, das unheimlich reich ist an Potenzial, also sich den Basics noch mal zu widmen und zu sagen, wir sorgen dafür, dass aus unserem Bereich hochqualitative, vollständige Daten entstehen, wir fragen auch die Nachbarbereiche überhaupt erstmal, ob die an unseren Daten Interesse hätten oder ob die vielleicht sich für andere Daten interessieren würden als wir selbst, aber wir können sie erzeugen und wir können sie bereitstellen, also auch Stichwort Datendemokratie, dann wirklich zu leben und zu sagen, wir sitzen nicht drauf auf unseren Daten, sondern wir geben sie auch ins eigene Unternehmen rein, wird natürlich neben, ja, ich sage jetzt mal in Anführungszeichen, fancy Methoden oft mal so ein bisschen ins zweite Glied gedrängt und man sagt, na ja, wir machen erstmal ein Leuchtturmprojekt AI, obwohl man vielleicht hinter dem AI-Modell eine ziemlich fragmentierte Datenlandschaft hat. Vielleicht kannst du auch da noch mal eine oder zwei Erfahrungen dazu geben, wie gute Ansätze entstehen können, um Datendemokratie zu fördern, um gute, konsistente Datenmodelle in so großen Unternehmen, wie wir sie halt auch gemeinsam kennen, dann voranzutreiben.
[00:31:52] Prof. Dr. Timo Schürg: Also ein ganz typischer Ansatz dafür ist, dass man eine Schicht einzieht zwischen die Datenquellen und den Endkunden, so dass man sehr Datenkonsument nicht mehr direkt auf ganz viele einzelne Tabellen zugreifen muss, sondern dass es dazwischen wie eine Datenproduktschicht gibt, wo man fertige Datensets sich ziehen kann. Das ist auch die ganze Basisarbeit dafür, dass man nachher Erfolg hat im Bereich KI und maschinellen Lernen, weil alles steht und fällt mit der Qualität von den Daten. Aber das Aufbauen von so einer Schicht, wo verschiedene Quellen schon zusammengeführt sind und wo es auch noch saubere Dokumentation für gibt und wo die ja, Dinge auch korrekt zusammengeführt sind, das ist jahrelange Arbeit. Also ich kenne auch ein Beispiel von einem Unternehmen, die haben alle Aktivitäten im Bereich KI und maschinelles Lernen erstmal gestoppt für anderthalb Jahren und haben gesagt, so, wir stecken jetzt erstmal ganz viel Zeit da rein, diese Datenschicht ordentlich aufzubauen. Und wenn wir noch mal zurückkommen zu dem Thema, wann hat so ein Data Science Projekt Erfolg oder woran scheitert das dann? Also typischerweise startet so ein Projekt damit, dass man Excel-Dateien zugeschickt bekommt. Ja, also kennst du mit Sicherheit auch. Eigentlich gibt's immer irgendjemanden, der die Datenquellen ganz gut kennt und auch alle Zugriffe hat. Der loggt sich dann in ganz viele verschiedene Systeme ein, zieht die Excel-Dateien, die kriegt man dann zugeschickt als Data Scientist, dann fügt man diese Daten zusammen, baut ein Modell drauf und hat seinen Leuchtturm eigentlich relativ fix fertig. Und der Hauptpunkt, wo dann solche Projekte nachher scheitern beim Betrieb gehen, ist, dass man natürlich nicht diese Person jeden Montag damit beauftragen kann, diese Daten zusammenzuziehen und die in einen Ort abzulegen oder am besten jeden Morgen. Das heißt, man muss diese Datenladestrecken automatisieren und das ist so ein ganz wesentlicher Knackpunkt, wo dann Projekte scheitern. Und wenn man vorher schon so eine ordentliche Zwischenschicht hat, wo man Daten sauber zusammenfügen kann aus verschiedenen Systemen und wo die dann auch einleuchtenden Namen haben, das ist ein Faktor, den man mitbringen kann, damit Data Science Projekte Erfolg haben.
[00:34:04] Niklas Hartmann: Ja, super, leuchtet auch extrem ein. Also die ETL Strecke ist halt sehr einfach gebaut, wenn sie auf eine saubere Basis zugreifen kann. Wenn unsere Hörer sich dem Thema jetzt widmen wollen und denken, ja, das beschäftigt uns doch auch seit Jahren. Wonach sollen sie als erstes suchen? Also ich glaube, da gibt's unheimlich viele Themen und Fachbegriffe, die draußen in der Welt rumgeistern. Vor vielen Jahren war es irgendwann mal der Data Lake, der plötzlich alles heilen sollte und dann hat man gemerkt, na ja, jeder hat seinen Eimer Wasser rein gekippt, aber bei dem einen war es Salzwasser und bei dem anderen Süßwasser und bei dem dritten war es irgendwie noch was anderes und das, was da zusammengelaufen ist, hat sich nicht gut verstanden und eigentlich konnte man auch nichts mehr damit anfangen. Jetzt deutlich überspitzt. Welches Konzept überzeugt dich heute am meisten, um die Schicht zu erzeugen, von der du gesprochen hast?
[00:34:51] Prof. Dr. Timo Schürg: Also was man am besten da benutzt, um danach zu suchen ist das Stichwort Data Fabric. Das ist worunter das heute im Marketing drin ist und wo es auch viele Produkte dazu gibt. Und die unterscheiden sich wirklich als Konzept zu dem alten Data Lake Konzept, wo man einfach gesagt hat, da kippt man alles rein und die Leute werden sich schon zurechtfinden. Und zu dem anderen Stichwort, also wie bringe ich meinen Data Science Projekt tatsächlich in Betrieb? Da ist das Stichwort MLOps. Gibt's inzwischen auch viel Literatur dazu. Und ist auch so wie wir das, das was wir eben angesprochen haben, auch bei vielen Stellen eine Governance Frage. Also, wenn es z.B. darum geht, welche Tools sind denn erlaubt in meinem Unternehmen? Da gibt's auch zwei verschiedene Philosophien, ja, also ich lasse einfach jeden Data Scientist damit arbeiten, womit er möchte, aber das wird dann hinten raus sehr kompliziert, wenn ich versuche, das zu betreiben. Und umgekehrt, das andere Extrem ist, dass ich ganz klar vorgebe, nur folgende Tools und folgende Pakete sind erlaubt. Damit habe ich hinten raus die Sicherheit, dass alle meine Produkte zusammenpassen. Muss man sich beim Auto gar nicht anders vorstellen könnte, ja, bei der Autoherstellung. Auf der anderen Seite, wo das die Leute beschränkt ist, gerade bei dieser Anfangsphase, wenn man versucht kreativ zu sein und ein Problem auf eine neue Art zu lösen und man ist beschränkt mit den Tools, die man benutzen darf, ist das ein ganz großer Hemmschuh. Ja und irgendwo da in der Mitte liegt die Wahrheit, wie es gut gehen könnte.
[00:36:20] Niklas Hartmann: Da kommt kurz der Bahner noch mal raus bei dir mit dem Hemmschuh. Kann man den Lebenslauf nicht verbergen. Also es meinst du, es gibt ein Sweet Spot irgendwo zwischen Standardisierung von Dokumentation, Wartung und auch Lizenzkosten und einer ganz klaren Vorgabe der Werkzeuge gegenüber der Lösungsfreiheit und der technologischen Offenheit. Ja. Schwierige Frage am Ende des Tages, weil natürlich das mit Blick auf die Skalierbarkeit immer schwierig wird, wenn man diese ja, die Auswahl dann zulässt, ne? Und auch Fragen der Informationssicherheit sicherlich nicht einfacher werden. Ich würde gerne noch einen Bogen machen an der Stelle, denn wir haben jetzt viel über die Skalierung der Themen gesprochen und wie man sie gut in den Betrieb kriegt und welche Kontextfaktoren zum Erfolg beitragen können. Wir sind etwas abgekommen von Methoden, aber an einer Methode kommen wir natürlich aktuell nicht vorbei, künstliche Intelligenz, alle sprechen von Gen AI, ich glaube es ist das größte Thema, das man gerade generell sieht auch vom Umfang her deutlich größer als so die Methoden über die man sich dann früher mal unterhalten hat. Siehst du das es tatsächlich anders ist, also glaubst du es ist jetzt gerade ein großer Hype und der wird sich irgendwann wie viele andere Schlagworte wieder beruhigen oder stehen wir hier methodisch vor der großen Revolution die sich eigentlich gerade viele erhoffen?
[00:37:45] Prof. Dr. Timo Schürg: Ich würde sagen, irgendwo da in der Mitte. Also das ist glaube ich nicht einfach nur ein Hype, der sich in zwei Jahren legen wird. Also mit Modellen, also mit diesen Large Language Models wie ChatGPT, da ist wirklich eine neue Tür mit aufgegangen und da sind ganz neue Sachen mit möglich, die vor 10 Jahren undenkbar waren. Auf der anderen Seite glaube ich auch nicht, dass das die große Revolution ist. Also ein Test, den ich immer mache, wenn ein neues Modell rauskommt, ist, dass ich irgendein offenes Problem aus der Mathematik nehme, was jetzt nicht so gut dokumentiert ist. Ja, also die Riemannsche Vermutung, da gibt's ganz viel drüber im Internet, wenn ich ChatGPT nach der Riemannschen Vermutung frage, wie man die löst, ja, wird sagen, das geht nicht. Aber bei allen offenen mathematischen Problemen, die nicht gut dokumentiert sind, wenn ich da ChatGPT frage, wie geht das denn? guckt mir das eine Lösung aus. Sagt mir das musst du so und so machen und dann hast du das Problem gelöst. Also da fehlt irgendwie noch eine komplette Schicht mit dem Wissen, dass man etwas nicht weiß.
[00:38:45] Niklas Hartmann: Gut, als junges Thema ist das ja okay, dass da noch Entwicklungspotenzial auf der Strecke liegt. Die schiere Größe und der Hype unterscheidet sich aus meiner Sicht halt schon, wie stark es in die Unternehmen reingedrängt wird. Jeder fragt sich, was kann ich jetzt eigentlich damit machen. Können wir die Menschen und unsere Zuhörer denn an der Stelle beruhigen, dass es sich nicht unterscheidet von anderen Themen, müssen wir in Sachen MLOps, in Sachen Betriebsführung anders denken, wenn wir auf AI gucken oder bleiben die Herausforderungen dahingehend die gleichen?
[00:39:12] Prof. Dr. Timo Schürg: Nee, das sind wirklich ganz neue Herausforderungen. Einfach die schiere Größe von den Modellen macht eine komplett neue Tür auf. Also wenn ich ein klassisches Machine Learning Modell habe, das kann ich als Unternehmen, glaube auch ziemlich egal von welcher Größe, kann ich das betreiben. Das kann ich trainieren, das kann ich betreiben, das kriege ich hin. Dasselbe für neuronale Netze, ja, so wie wir sie vor ChatGPT kannten. Also alles, wo es um Bildklassifikation geht, Objekte in Bildern, ja, das war auch alles in der Größenordnung, dass kann ich als Unternehmen sowohl trainieren, ja, also da kann ich mir die Kosten dafür, werde ich mir leisten können und von der Komplexität kriege ich auch den Betrieb hin. Aber ein Modell von der schieren Größe so wie das ChatGPT ist, werde ich als Unternehmen weder trainieren noch betreiben können. Also ich glaube, da kriegt man eine ganz neue Herausforderung, weil man damit dann Abhängigkeiten bekommt zu den großen Unternehmen, die solche Sachen trainieren können. Und es gab das neue Thema, was da aufkommt, läuft alles unter so einem Stichwort Prompt Engineering. Ja, also wie kann ich denn z.B. automatisch meine Prompts so verändern, dass das genau passt zu dem, was ich als Unternehmen brauche?
[00:40:26] Niklas Hartmann: Also da auf der einen Seite noch mal eine neue Anforderung an die Kompetenzen im Data Science Team, zur Bedienung, denn sicherlich wirkt sich es ja auch auf die Arbeitsweisen des Teams selbst aus und eben die Nutzung des Werkzeugs an sich für die Aufgaben des Data Science Teams. Auf der anderen Seite höre ich bei dir auch ein Stück weit raus, dass der Kontext, den wir etwas früher erläutert haben, dass es wichtig ist, noch mehr Wert auf Messbarkeit und Definition von Erfolg zu legen und zu sagen, wir müssen das enger an den Impact im Unternehmen knüpfen, noch mal unterstrichen wird, wenn du sagst, da steigt die Abhängigkeit gegenüber externen Dienstleistern, da steigen möglicherweise auch langfristig entsprechend Kosten, ja, denn der Dienstleister möchte auch gerne was daran verdienen, dass er das bereitstellt. Und das in einem engeren Maße, als das in der Vergangenheit war, als wir in der eher fragmentierten Methodenwelt unterwegs war, wenn sich das heute so stark auf diese Lösungen, die du genannt hast, konzentriert.
[00:41:22] Prof. Dr. Timo Schürg: Ja, und auch die Messbarkeit von dem Erfolg wird also aus meiner Sicht viel komplexer. Weil bei klassischen Machine Learning sind die Anwendungsgebiete oft Sachen, die ich sehr gut messen kann. Also, wenn ich z.B. in meiner Produktion einen Prozess um 10 % verbessere oder meinen Ausschuss um 5 % reduziere, das sind so die typischen Use Cases für klassisches Machine Learning oder auch für Bildklassifikation. Da kann ich ganz gut rechnen und weiß, was mir das bringt. Und wo gerade diese neuen Large Language Models viel bringen, ist beim Coding. Ja, also wenn ich Code schreiben möchte, das geht jetzt einfach viel schneller. Ja, ich kriege eigentlich schon vorgefertigte große Bausteine und die nur noch zusammenstöpseln. Also typische Umfragen sagen, dass Coding um die 50 % schneller geworden ist. Und das andere, wo das viel bringt ist in der Textproduktion oder im Texte zusammenfassen. Aber all diese Bereiche sind super schwer zu messen. Also, was bringt mir das Zahlen, also in wirklichen Zahlen für meinen Business Case, wenn ich 50 % schneller code kann. Ich glaube, das ist sehr schwer zu quantifizieren und viel schwerer zu quantifizieren als ich produziere 3 % weniger Ausschuss.
[00:42:36] Niklas Hartmann: In der Tat. Also wir sind doppelt gefordert als Unternehmenssteuerer, die Messbarkeit wird schwieriger, sagst du, und eigentlich gab es sie vorher auch schon nicht. Da müssen wir uns müssen wir uns also sehr anstrengen in den Unternehmen hier noch unseren Beitrag zu leisten und zu sagen, wir stellen sicher, dass Erfolg erzeugt wird und dass wir verstehen, wie er erzeugt wird und eben die entsprechenden Informationen als Unternehmenssteuerer bereitstellen. Vielen Dank dafür, Timo. Vielleicht bevor wir abschließen, jetzt haben wir viel über die Vergangenheit gesprochen, viel über die aktuelle Situation rund um die Herausforderungen der Skalierung von MLOps Themen und lass uns den Blick noch mal nach vorne strecken. Wenn du jetzt einen Termin machst, um die anschließende Folge für diesen Podcast aufzunehmen in ein oder zwei Jahren, was hat sich bis dahin aus deiner Sicht getan in den Themen? Gibt's Sachen, die du dir explizit wünschen würdest und gibt's eine Empfehlung, die du unseren Klienten ans Herz legen würdest, worum sie sich führend kümmern sollten.
[00:43:43] Prof. Dr. Timo Schürg: Ja, also was ich mir wünschen würde oder wo ich denke, was passieren wird in den nächsten Jahren, ist, dass der Grad der Professionalisierung im Bereich Data Science und Machine Learning immer weiter zunimmt. Also gerade, wenn wir uns den Bereich MLOps, den wir angeschnitten haben, anschauen, da sind alle großen Software-Anbieter, bieten da inzwischen Produkte an und die werden immer ausgereifter und ich glaube, damit wird es auch immer leichter Machine Learning Modelle zu betreiben und ich glaube, das wird in zwei Jahren also noch zugenommen haben. Ja, und was ich so als Empfehlung geben kann, ist zum einen das Thema von dieser Datenschicht, die wir angesprochen haben, da Energie reinzustecken, weil damit legt man die Grundlage für alle weiteren Use Cases und hat mit dem Thema Datenprodukte eigentlich schon an sich einen Benefit, den das bringt, also ist nicht nur etwas, was auf zukünftige Sachen einzahlt, sondern liefert, glaube ich, einen direkten Mehrwert. Ja und das andere Thema ist sich einfach viel Gedanken darüber zu machen, wie ich mein Data Science Team so strukturiere, dass es Erfolg hat. Also, wo hänge ich es am besten hin und wie messe ich das denn?
[00:44:48] Niklas Hartmann: Okay, dann gehen wir die Wette ein, gucken wir in ja, 12 Monaten einfach wieder drauf, was ist passiert, welche neuen Cases sind entstanden, wo hängen die Data Science Teams, welche Rolle spielt das Controlling und der CFO in dem Spiel, hat man zur Rationalitätssicherung bei der Erfolgsmessung von Data Science Projekten beitragen können und ja, haben wir generell vielleicht mit Gen AI 50 % Produktivität nicht nur beim Coden geholt, sondern auch in den Unternehmen. Wir werden sehen, es hat mir großen Spaß gemacht, mit dir zu sprechen und besten Dank dafür.
[00:45:22] Prof. Dr. Timo Schürg: Ja, auch besten Dank, hat mir auch super viel Spaß gemacht.
[00:45:24] Niklas Hartmann: Ciao Timo.
[00:45:25] Prof. Dr. Timo Schürg: Tschüss.
[00:45:29] Christian Bungenstock: Wenn Ihnen unsere Etappen gefallen und wir sie durch interessante Management Themen navigieren, haben wir gute Nachrichten. Im Juli sind wir mit einem neuen Ziel am Start. Sie wollen keine Folge von Zielführung starten verpassen, dann abonnieren Sie kostenlos unseren Podcast im Verzeichnis Ihrer Wahl. Bis bald.
[00:46:02] Podcast: Das war "Zielführung starten", der Management-Podcast von CTcon.

Zurück zum Podcast