Delen via

Werkstroom van deep learning-modeldeductie

  • Artikel

Voor modeldeductie voor Deep Learning-toepassingen raadt Azure Databricks de volgende werkstroom aan. Zie voorbeelden van deep learning-modellen die gebruikmaken van TensorFlow en PyTorch, bijvoorbeeld notebooks die gebruikmaken van TensorFlow en PyTorch.

  1. Laad de gegevens in Spark DataFrames. Afhankelijk van het gegevenstype raadt Azure Databricks de volgende manieren aan om gegevens te laden:

    • Afbeeldingsbestanden (JPG, PNG): Laad de afbeeldingspaden in een Spark DataFrame. Het laden en vooraf verwerken van invoergegevens van afbeeldingen vindt plaats in een pandas UDF.
    files_df = spark.createDataFrame(map(lambda path: (path,), file_paths), ["path"])

    df = spark.read.format("tfrecords").load(image_path)
    • Gegevensbronnen zoals Parquet, CSV, JSON, JDBC en andere metagegevens: laad de gegevens met behulp van Spark-gegevensbronnen.

  2. Modeldeductie uitvoeren met pandas UDF's.Pandas UDF's gebruiken Apache Arrow om gegevens en pandas over te dragen om met de gegevens te werken. Voor modeldeductie zijn de volgende algemene stappen in de werkstroom met pandas UDF's.

    1. Laad het getrainde model: Voor efficiëntie raadt Azure Databricks aan om de gewichten van het model uit te zenden vanuit het stuurprogramma en de modelgrafiek te laden en de gewichten op te halen van de uitgezonden variabelen in een pandas UDF.
    2. Invoergegevens laden en vooraf verwerken: Als u gegevens in batches wilt laden, raadt Azure Databricks aan om de TF.data-API voor TensorFlow en de DataLoader-klasse voor PyTorch te gebruiken. Beide bieden ook ondersteuning voor prefetching en multithreaded laden om io-gebonden latentie te verbergen.
    3. Modelvoorspelling uitvoeren: modeldeductie uitvoeren op de gegevensbatch.
    4. Voorspellingen terugsturen naar Spark DataFrames: de voorspellingsresultaten verzamelen en retourneren als pd.Series.

Voorbeelden van deep learning-modeldeductie

De voorbeelden in deze sectie volgen de aanbevolen deep learning-deductiewerkstroom. In deze voorbeelden ziet u hoe u modeldeductie uitvoert met behulp van een vooraf getraind neuraal netwerkmodel (ResNets).