Referenciamegoldás képalkalmazásokhoz
Megtudhatja, hogyan következtethet elosztott képmodell-következtetésre a pandas UDF, PyTorch és TensorFlow referenciamegoldás-jegyzetfüzetekből a számos valós képalkalmazás által megosztott gyakori konfigurációban. Ez a konfiguráció feltételezi, hogy sok képet tárol egy objektumtárolóban, és opcionálisan folyamatosan érkeznek új képek.
Képmodell-következtetés munkafolyamata
Tegyük fel, hogy több betanított mélytanulási (DL) modellel rendelkezik a képbesoroláshoz és az objektumészleléshez ( például MobileNetV2 a felhasználó által feltöltött fényképek emberi objektumainak észleléséhez az adatvédelem érdekében), és ezeket a DL-modelleket a tárolt képekre szeretné alkalmazni.
Előfordulhat, hogy újratanulja a modelleket, és frissíti a korábban kiszámított előrejelzéseket. Azonban az I/O-nehéz és a számítási nehéz is sok lemezkép betöltéséhez és DL-modellek alkalmazásához. Szerencsére a következtetési számítási feladat kínosan párhuzamos, és elméletileg könnyen elosztható. Ez az útmutató végigvezeti önt egy gyakorlati megoldáson, amely két fő szakaszt tartalmaz:
- ETL-rendszerképek Delta-táblába az automatikus betöltő használatával
- Elosztott következtetés végrehajtása a pandas UDF használatával
ETL-rendszerképek Delta-táblába az automatikus betöltő használatával
Képalkalmazások esetén, beleértve a betanítási és következtetési feladatokat, a Databricks azt javasolja, hogy az automatikus betöltővel ETL-képeket helyezzen egy Delta-táblába. Az automatikus betöltő segít az adatkezelésben, és automatikusan kezeli a folyamatosan érkező új képeket.
ETL-rendszerkép adathalmaza Delta-táblajegyzetfüzetbe
Elosztott következtetés végrehajtása a pandas UDF használatával
Az alábbi jegyzetfüzetek a PyTorch és a TensorFlow tf-et használják. Keras a referenciamegoldás bemutatásához.
Elosztott következtetés Pytorch- és pandas UDF-notebookon keresztül
Elosztott következtetés Keras és pandas UDF-jegyzetfüzeten keresztül
Korlátozások: Képfájlméretek
Nagy méretű (átlagos képméret 100 MB-nál nagyobb) fájlok esetén a Databricks azt javasolja, hogy csak a Delta-tábla használatával kezelje a metaadatokat (a fájlnevek listáját), és szükség esetén töltse be a képeket az objektumtárolóból az elérési útjukkal.