Herangehensweise für Machine Learning-VorgängeHow to approach machine learning operations

Machine Learning-Vorgänge bestehen aus Prinzipien und bewährten Methoden zur Organisierung und Standardisierung der Entwicklung, Bereitstellung und Wartung von Machine Learning-Modellen auf skalierbare Weise.Machine learning operations consist of principles and best practices about how to organize and standardize machine model development, deployment, and maintenance in a scalable way.

Diagramm: Übersicht über Machine Learning-Vorgänge

Die Hauptkomponenten der Entwicklung eines Machine Learning-Systems werden im Folgenden beschrieben:The main components of how a machine learning system develops are outlined below:

Diagramm: Komponenten eines Machine Learning-Systems in der Produktionsumgebung

_Sculley et al. 2015._Sculley et al. 2015. Versteckte technische Schulden in Machine Learning-Systemen.Hidden technical debt in machine learning systems. Proceedings of the 28th International Conference on Neural Information Processing Systems, Volume 2 (NIPS 2015) (Beratung der 28. internationalen Konferenz zu neuronalen Informationsverarbeitungssystemen, Teil 2).Proceedings of the 28th International Conference on Neural Information Processing Systems, Volume 2 (NIPS 2015).*

Machine Learning-Vorgänge im Vergleich zu EntwicklungsvorgängenMachine learning operations vs. development operations

Währen Entwicklungsvorgänge (DevOps) sich auf Machine Learning-Vorgänge auswirken, unterscheiden sich ihre Prozesse.While development operations (DevOps) influence machine learning operations, there are differences between their processes. Neben DevOps-Praktiken befassen sich Machine Learning-Vorgänge mit den folgenden Konzepten, die nicht in DevOps behandelt werden:In addition to DevOps practices, machine learning operations address the following concepts not covered in DevOps:

  • Datenversionsverwaltung: Es muss eine Versionsverwaltung für Code und Datasets vorliegen, da sich das Schema und die tatsächlichen Daten im Laufe der Zeit ändern können.Data versioning: There must be code versioning and dataset versioning, as the schema and actual data can change over time. Dies ermöglicht die Reproduktion von Daten, macht die Daten für andere Teammitglieder sichtbar und unterstützt die Überprüfung von Anwendungsfällen.This allows data to be reproduced, makes the data visible other team members, and helps use cases to be audited.

  • Modellnachverfolgung: Modellartefakte werden häufig in einer Modellregistrierung gespeichert, die Speicher-, Versionsverwaltungs- und Kennzeichnungsfunktionen identifizieren sollten.Model tracking: Model artifacts are often stored in a model registry that should identify storage, versioning, and tagging capabilities. Diese Registrierungen müssen den Quellcode, dessen Parameter und die entsprechenden Daten zum Trainieren des Modells identifizieren. All das gibt an, wo das Modell erstellt wurde.These registries need to identify the source code, its parameters, and the corresponding data used to train the model, all of which indicate where a model was created.

  • Digitales Überwachungsprotokoll: Beim Arbeiten mit Code und Daten müssen alle Änderungen aufgezeichnet werden.Digital audit trail: When working with code and data, all changes need to be tracked.

  • Generalisierung: Modelle unterscheiden sich hinsichtlich der Wiederverwendung von Code, da Modelle anhand der Eingabedaten oder des Szenarios angepasst werden müssen.Generalization: Models are different than code for reuse, as models must be tuned based on the input data or scenario. Möglicherweise müssen Sie das Modell an neue Daten anpassen, um es für ein neues Szenario zu verwenden.You might need to fine-tune the model for the new data to use it for a new scenario.

  • Neutrainieren von Modellen: Die Modellleistung kann mit der Zeit abnehmen. Es ist wichtig, dass Modelle neu trainiert werden, damit sie nützlich bleiben.Model retraining: Model performance can decrease over time, and it's important to retrain models for them to remain useful.

Ansätze für Machine Learning-VorgängeApproaches to machine learning operations

Data Scientists in einer Organisation wenden ein breites Spektrum von Erfahrung, Reife, Kenntnissen und Tools an, um mit Machine Learning-Vorgängen zu experimentieren.Data scientists within an organization apply a broad spectrum of experience, maturity, skills, and tools to experimenting with machine learning operations. Da es wichtig ist, möglichst viele Teilnehmer zur Einführung von KI zu ermutigen, ist ein Konsens dazu, wie alle Organisationen an Machine Learning-Vorgänge herangehen sollten, weder wahrscheinlich noch wünschenswert.Since it's important to encourage as many participants as possible to embrace AI, a consensus about how all organizations should approach machine learning operations isn't likely or desirable. In Anbetracht dieser Vielfalt besteht ein klarer Ausgangspunkt für Ihre Organisation darin, zu verstehen, wie ihre Größe und Ressourcen sich auf ihre Herangehensweise für Machine Learning-Vorgänge auswirkt.In light of this variety, a clear starting point for your organization is to understand how its size and resources will influence its approach to machine learning operations.

Die Größe und Reife eines Unternehmens geben an, ob Data Science-Teams oder Einzelpersonen mit eindeutigen Rollen für den Machine Learning-Lebenszyklus zuständig sind und die einzelnen Phasen leiten.A company's size and maturity indicate if data science teams or individuals with unique roles will own the machine learning lifecycle and navigate each phase. Die folgenden Ansätze für den Lebenszyklus sind in jedem Szenario gängig:The following approaches to the lifecycle are the most common to each scenario:

Zentralisierter AnsatzA centralized approach

Data Science-Teams überwachen den Machine Learning-Lebenszyklus in kleinen Unternehmen wahrscheinlich mit wenigen Ressourcen und Experten.Data science teams will likely monitor the machine learning lifecycle in small companies with limited resources and specialists. Dieses Team wendet seine technischen Fachkenntnisse an, um Daten zu bereinigen und zu aggregieren, Modelle zu entwickeln und bereitzustellen und bereitgestellte Modelle zu überwachen und zu warten.This team applies their technical expertise to cleaning and aggregating data, developing and deploying models, and monitoring and maintaining deployed models.

Ein Vorteil dieser Methode besteht darin, dass das Modell schnell in die Produktion übergeht, jedoch steigen die Kosten aufgrund der spezialisierten Fachkenntnisse, über die das Data Science-Team verfügen muss.One advantage of this method is that it progresses the model quickly to production, but it increases costs because of the specialized skill levels that need to be maintained on the data science team. Die Qualität leidet darunter, wenn diese erforderlichen Fachkenntnisse nicht vorliegen.Quality suffers when those required levels of expertise aren't present.

Dezentralisierter AnsatzA decentralized approach

Einzelpersonen mit spezialisierten Rollen sind wahrscheinlich für den Machine Learning-Lebenszyklus in Unternehmen mit dedizierten Betriebsteams verantwortlich und überwachen diese.Individuals with specialized roles will likely monitor and be responsible for the machine learning lifecycle in companies with dedicated operations teams. Sobald ein Anwendungsfall genehmigt wird, wird ein Machine Learning-Experte zugewiesen, um den aktuellen Zustand und den erforderlichen Arbeitsaufwand zu bewerten, um das Modell auf ein Format zu erweitern, das unterstützt werden kann.Once a use case is approved, a machine learning engineer is assigned to assess its current state and the amount of work needed to elevate it to format that can be supported.

Der Data Scientist muss Informationen zu den folgenden Fragen erörtern:The data scientist will need to gather information for the following questions:

  • Wer ist der Geschäftsinhaber?Who will be the business owner?
  • Wie wird das Modell genutzt?How will the model be consumed?
  • Welcher Grad an Dienstverfügbarkeit ist erforderlich?What level of service availability will be needed?
  • Wie wird das Modell neu trainiert?How will the model be retrained?
  • Wie oft wird das Modell neu trainiert?How often will the model be retrained?
  • Wer legt die Bedingungen für die Höherstufung des Modells fest?Who will decide the conditions for model promotion?
  • Wie vertraulich ist der Anwendungsfall, und kann der Code freigegeben werden?How sensitive is the use case, and is the code shareable?
  • Wie werden das Modell und der Code zukünftig bearbeitet?How will the model and code be modified in the future?
  • Inwiefern ist das aktuelle Experiment wiederverwendbar?How much of the current experiment is reusable?
  • Liegen hilfreiche Projektworkflows vor?Are there existing project workflows that can assist?
  • Wie viel Arbeitsaufwand ist erforderlich, um das Modell in die Produktion zu bringen?How much work will be required to advance the model to production?

Als Nächstes entwirft ein Machine Learning-Designer den Workflow und schätzt den erforderlichen Arbeitsaufwand.Next, a machine learning engineer designs the workflow and estimates the amount of work required. Eine bewährte Methode besteht darin, Data Scientists in die Erstellung des Workflows miteinzubeziehen. Diese Zeit stellt eine wichtige Möglichkeit dar, sie mit dem endgültigen Repository vertraut zu machen, da Data Scientists häufig in der Zukunft am Anwendungsfall arbeiten.One best practice is to involve the data scientist(s) in building out the workflow; this time presents a key opportunity to cross-train and familiarize them with the final repo since it's common for the data scientist to work on the use case in the future.

Profit für Unternehmen durch Machine Learning-VorgängeHow machine learning operations benefit business

Machine Learning-Vorgänge verbinden herkömmliche Entwicklungsvorgänge, Datenvorgänge und Data Science/KI.Machine learning operations connect traditional development operations, data operations, and data science/AI. Das Verständnis, wie Machine Learning-Vorgänge Ihrem Unternehmen zugutekommen, unterstützt Sie bei Ihrer KI-Journey.Understanding how machine learning operations can benefit your business will help your AI journey.

Die Integration von Machine Learning-Vorgängen mit Ihrem Unternehmen kann die folgenden Vorteile bieten:Integrating machine learning operations with your business can create the following benefits:

  • Die Unternehmensmodellverwaltung optimiert und automatisiert den Lebenszyklus für die Modellentwicklung, das Training, die Bereitstellung und die Operationalisierung.Enterprise model management streamlines and automates the lifecycle for model development, training, deployment, and operationalization. Dadurch können Unternehmen flexibel handeln und auf wiederholbare und verwaltete Weise auf sofortige Anforderungen und Unternehmensänderungen reagieren.This allows businesses to be agile and respond to immediate needs and business changes in a repeatable and managed way.

  • Mithilfe der Modellversionsverwaltung und Datenrealisierung können Unternehmen iterierte und versionierte Modelle generieren, um die Nuancen der Daten oder des bestimmten Anwendungsfalls anzupassen.Model versioning and data realization allow the enterprise to generate iterated and versioned models to adjust to the nuances of the data or the particular use case. Dies bietet Flexibilität und Agilität für die Reaktion auf Unternehmensherausforderungen und -änderungen.This provides flexibility and agility in responding to business challenges and changes.

  • Wenn Organisationen ihre Modelle überwachen und verwalten, können sie schnell auf bedeutende Änderungen der Daten oder des Szenarios reagieren.When organizations monitoring and manage their models, this helps them to quickly respond to significant changes in the data or the scenario. Ein implementiertes Modell kann beispielsweise aufgrund von externen Faktoren oder Änderungen an den zugrunde liegenden Daten extreme Datendrifts aufweisen.For example, an implemented model might experience extreme data drift because of an external factor or a change in the underlying data. Dadurch würden vorherige Modelle unbrauchbar werden, und das aktuelle Modell muss schnellstmöglich neu trainiert werden.This would make the previous models unusable and require the current model to be retrained as soon as possible. Die Genauigkeit und Leistung von Machine Learning-Modellen muss überwacht werden.Machine learning models to be tracked for accuracy and performance. Dadurch werden Projektbeteiligte gewarnt, wenn sich Änderungen auf die Zuverlässigkeit und Leistung des Modells auswirken, was schnell zu neuem Training und zur Bereitstellung führt.It alerts stakeholders when changes impact model reliability and performance, which leads to quick retraining and deployment.

  • Angewandte Prozesse der Machine Learning-Vorgänge unterstützen Geschäftsergebnisse, indem schnelle Überprüfungen, Konformität, Governance und die Zugriffssteuerung für den gesamten Entwicklungslebenszyklus ermöglicht werden.Applied machine learning operations processes support business outcomes by allowing rapid auditing, compliance, governance, and access control throughout the development lifecycle. Die Modellgenerierung, Datennutzung und Einhaltung gesetzlicher Bestimmungen ist transparent, da Änderungen im Unternehmen stattfinden.The visibility of model generation, data usage, and regulatory compliance is clear as changes take place in the business.

Nächste SchritteNext steps