Adatséma a számítógépes látásmodellek automatizált gépi tanulással történő betanítása érdekében
A KÖVETKEZŐKRE VONATKOZIK:Azure CLI ml extension v2 (aktuális)Python SDK azure-ai-ml v2 (aktuális)
Megtudhatja, hogyan formázhatja JSONL-fájljait adatfelhasználásra automatizált gépi tanulási kísérletekben a számítógépes látási feladatokhoz a betanítás és a következtetés során.
Adatséma betanításhoz
Az Azure Machine Learning AutoML for Images JSONL (JSON Lines) formátumban történő előkészítéséhez bemeneti képadatokra van szükség. Ez a szakasz a bemeneti adatformátumokat vagy sémákat ismerteti a többosztályos képbesoroláshoz, a többrétegű képbesoroláshoz, az objektumészleléshez és a példány szegmentálásához. A JSON Lines végleges betanítási vagy érvényesítési JSON-fájljának mintáját is meg fogjuk adni.
Képbesorolás (bináris/többosztályos)
Bemeneti adatformátum/séma az egyes JSON-sorokban:
{
"image_url":"azureml://subscriptions/<my-subscription-id>/resourcegroups/<my-resource-group>/workspaces/<my-workspace>/datastores/<my-datastore>/paths/<path_to_image>",
"image_details":{
"format":"image_format",
"width":"image_width",
"height":"image_height"
},
"label":"class_name",
}
Kulcs | Leírás | Példa |
---|---|---|
image_url |
Kép helye az Azure Machine Learning-adattárban. my-subscription-id a rendszerképeket tartalmazó Azure-előfizetésnek kell lecserélnie. Az Azure-előfizetésekről itt talál további információt. Hasonlóképpen my-resource-group , my-workspace a helyett my-datastore az erőforráscsoport nevét, a munkaterület nevét és az adattár nevét kell lecserélni. path_to_image a teljes elérési útnak kell lennie az adattárban lévő képhez.Required, String |
"azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg" |
image_details |
Kép részleteiOptional, Dictionary |
"image_details":{"format": "jpg", "width": "400px", "height": "258px"} |
format |
Kép típusa (a Párnatárban elérhető összes képformátum támogatott)Optional, String from {"jpg", "jpeg", "png", "jpe", "jfif","bmp", "tif", "tiff"} |
"jpg" or "jpeg" or "png" or "jpe" or "jfif" or "bmp" or "tif" or "tiff" |
width |
A kép szélességeOptional, String or Positive Integer |
"400px" or 400 |
height |
A kép magasságaOptional, String or Positive Integer |
"200px" or 200 |
label |
A kép osztálya/címkéjeRequired, String |
"cat" |
Példa egy JSONL-fájlra a többosztályos rendszerképek besorolásához:
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg", "image_details":{"format": "jpg", "width": "400px", "height": "258px"}, "label": "can"}
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_02.jpg", "image_details": {"format": "jpg", "width": "397px", "height": "296px"}, "label": "milk_bottle"}
.
.
.
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_n.jpg", "image_details": {"format": "jpg", "width": "1024px", "height": "768px"}, "label": "water_bottle"}
Képbesorolás többcímke
Az alábbiakban egy példa látható az egyes JSON-sorok bemeneti adatformátumára/sémájára a képbesoroláshoz.
{
"image_url":"azureml://subscriptions/<my-subscription-id>/resourcegroups/<my-resource-group>/workspaces/<my-workspace>/datastores/<my-datastore>/paths/<path_to_image>",
"image_details":{
"format":"image_format",
"width":"image_width",
"height":"image_height"
},
"label":[
"class_name_1",
"class_name_2",
"class_name_3",
"...",
"class_name_n"
]
}
Kulcs | Leírás | Példa |
---|---|---|
image_url |
Kép helye az Azure Machine Learning-adattárban. my-subscription-id a rendszerképeket tartalmazó Azure-előfizetésnek kell lecserélnie. Az Azure-előfizetésekről itt talál további információt. Hasonlóképpen my-resource-group , my-workspace a helyett my-datastore az erőforráscsoport nevét, a munkaterület nevét és az adattár nevét kell lecserélni. path_to_image a teljes elérési útnak kell lennie az adattárban lévő képhez.Required, String |
"azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg" |
image_details |
Kép részleteiOptional, Dictionary |
"image_details":{"format": "jpg", "width": "400px", "height": "258px"} |
format |
Kép típusa (a Párnatárban elérhető összes képformátum támogatott)Optional, String from {"jpg", "jpeg", "png", "jpe", "jfif", "bmp", "tif", "tiff"} |
"jpg" or "jpeg" or "png" or "jpe" or "jfif" or "bmp" or "tif" or "tiff" |
width |
A kép szélességeOptional, String or Positive Integer |
"400px" or 400 |
height |
A kép magasságaOptional, String or Positive Integer |
"200px" or 200 |
label |
Osztályok/címkék listája a képenRequired, List of Strings |
["cat","dog"] |
Példa egy JSONL-fájlra a többcímke képbesorolásához:
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg", "image_details":{"format": "jpg", "width": "400px", "height": "258px"}, "label": ["can"]}
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_02.jpg", "image_details": {"format": "jpg", "width": "397px", "height": "296px"}, "label": ["can","milk_bottle"]}
.
.
.
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_n.jpg", "image_details": {"format": "jpg", "width": "1024px", "height": "768px"}, "label": ["carton","milk_bottle","water_bottle"]}
Objektumészlelés
Az alábbiakban egy JSONL-példafájlt talál az objektumészleléshez.
{
"image_url":"azureml://subscriptions/<my-subscription-id>/resourcegroups/<my-resource-group>/workspaces/<my-workspace>/datastores/<my-datastore>/paths/<path_to_image>",
"image_details":{
"format":"image_format",
"width":"image_width",
"height":"image_height"
},
"label":[
{
"label":"class_name_1",
"topX":"xmin/width",
"topY":"ymin/height",
"bottomX":"xmax/width",
"bottomY":"ymax/height",
"isCrowd":"isCrowd"
},
{
"label":"class_name_2",
"topX":"xmin/width",
"topY":"ymin/height",
"bottomX":"xmax/width",
"bottomY":"ymax/height",
"isCrowd":"isCrowd"
},
"..."
]
}
Itt
xmin
= a határolókeret bal felső sarkának x koordinátájaymin
= a határolókeret bal felső sarkának y koordinátájaxmax
= a határolókeret jobb alsó sarkának x koordinátájaymax
= a határolókeret jobb alsó sarkának y koordinátája
Kulcs | Leírás | Példa |
---|---|---|
image_url |
Kép helye az Azure Machine Learning-adattárban. my-subscription-id a rendszerképeket tartalmazó Azure-előfizetésnek kell lecserélnie. Az Azure-előfizetésekről itt talál további információt. Hasonlóképpen my-resource-group , my-workspace a helyett my-datastore az erőforráscsoport nevét, a munkaterület nevét és az adattár nevét kell lecserélni. path_to_image a teljes elérési útnak kell lennie az adattárban lévő képhez.Required, String |
"azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg" |
image_details |
Kép részleteiOptional, Dictionary |
"image_details":{"format": "jpg", "width": "400px", "height": "258px"} |
format |
Kép típusa (a Párnatárban elérhető összes képformátum támogatott. A YOLO esetében azonban csak az opencv által engedélyezett képformátumok támogatottak)Optional, String from {"jpg", "jpeg", "png", "jpe", "jfif", "bmp", "tif", "tiff"} |
"jpg" or "jpeg" or "png" or "jpe" or "jfif" or "bmp" or "tif" or "tiff" |
width |
A kép szélességeOptional, String or Positive Integer |
"499px" or 499 |
height |
A kép magasságaOptional, String or Positive Integer |
"665px" or 665 |
label (külső kulcs) |
Határolókeretek listája, ahol minden mező a bal felső és a jobb alsó koordináták szótára label, topX, topY, bottomX, bottomY, isCrowd Required, List of dictionaries |
[{"label": "cat", "topX": 0.260, "topY": 0.406, "bottomX": 0.735, "bottomY": 0.701, "isCrowd": 0}] |
label (belső kulcs) |
Az objektum osztálya/címkéje a határolókeretbenRequired, String |
"cat" |
topX |
A határolókeret bal felső sarkának x koordinátájának és a kép szélességének arányaRequired, Float in the range [0,1] |
0.260 |
topY |
A határolókeret bal felső sarkának y koordinátájának és a kép magasságának arányaRequired, Float in the range [0,1] |
0.406 |
bottomX |
A határolókeret jobb alsó sarkának x koordinátájának és a kép szélességének arányaRequired, Float in the range [0,1] |
0.735 |
bottomY |
A határolókeret jobb alsó sarkának y koordinátájának és a kép magasságának arányaRequired, Float in the range [0,1] |
0.701 |
isCrowd |
Azt jelzi, hogy a határolókeret az objektumok tömegében van-e. Ha ez a speciális jelző be van állítva, kihagyjuk ezt az adott határolókeretet a metrika kiszámításakor.Optional, Bool |
0 |
Példa egy JSONL-fájlra az objektumészleléshez:
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg", "image_details": {"format": "jpg", "width": "499px", "height": "666px"}, "label": [{"label": "can", "topX": 0.260, "topY": 0.406, "bottomX": 0.735, "bottomY": 0.701, "isCrowd": 0}]}
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_02.jpg", "image_details": {"format": "jpg", "width": "499px", "height": "666px"}, "label": [{"label": "carton", "topX": 0.172, "topY": 0.153, "bottomX": 0.432, "bottomY": 0.659, "isCrowd": 0}, {"label": "milk_bottle", "topX": 0.300, "topY": 0.566, "bottomX": 0.891, "bottomY": 0.735, "isCrowd": 0}]}
.
.
.
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_n.jpg", "image_details": {"format": "jpg", "width": "499px", "height": "666px"}, "label": [{"label": "carton", "topX": 0.0180, "topY": 0.297, "bottomX": 0.380, "bottomY": 0.836, "isCrowd": 0}, {"label": "milk_bottle", "topX": 0.454, "topY": 0.348, "bottomX": 0.613, "bottomY": 0.683, "isCrowd": 0}, {"label": "water_bottle", "topX": 0.667, "topY": 0.279, "bottomX": 0.841, "bottomY": 0.615, "isCrowd": 0}]}
Példányszegmentálás
Az automatizált gépi tanulás például csak bemenetként és kimenetként támogatja a sokszöget, maszkok nélkül.
Az alábbiakban egy példa JSONL-fájlt láthat, például szegmentálást.
{
"image_url":"azureml://subscriptions/<my-subscription-id>/resourcegroups/<my-resource-group>/workspaces/<my-workspace>/datastores/<my-datastore>/paths/<path_to_image>",
"image_details":{
"format":"image_format",
"width":"image_width",
"height":"image_height"
},
"label":[
{
"label":"class_name",
"isCrowd":"isCrowd",
"polygon":[["x1", "y1", "x2", "y2", "x3", "y3", "...", "xn", "yn"]]
}
]
}
Kulcs | Leírás | Példa |
---|---|---|
image_url |
Kép helye az Azure Machine Learning-adattárban. my-subscription-id a rendszerképeket tartalmazó Azure-előfizetésnek kell lecserélnie. Az Azure-előfizetésekről itt talál további információt. Hasonlóképpen my-resource-group , my-workspace a helyett my-datastore az erőforráscsoport nevét, a munkaterület nevét és az adattár nevét kell lecserélni. path_to_image a teljes elérési útnak kell lennie az adattárban lévő képhez.Required, String |
"azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg" |
image_details |
Kép részleteiOptional, Dictionary |
"image_details":{"format": "jpg", "width": "400px", "height": "258px"} |
format |
Lemezkép típusaOptional, String from {"jpg", "jpeg", "png", "jpe", "jfif", "bmp", "tif", "tiff" } |
"jpg" or "jpeg" or "png" or "jpe" or "jfif" or "bmp" or "tif" or "tiff" |
width |
A kép szélességeOptional, String or Positive Integer |
"499px" or 499 |
height |
A kép magasságaOptional, String or Positive Integer |
"665px" or 665 |
label (külső kulcs) |
A maszkok listája, ahol az egyes maszkok a label, isCrowd, polygon coordinates Required, List of dictionaries |
[{"label": "can", "isCrowd": 0, "polygon": [[0.577, 0.689, 0.562, 0.681, 0.559, 0.686]]}] |
label (belső kulcs) |
Az objektum osztálya/címkéje a maszkbanRequired, String |
"cat" |
isCrowd |
Azt jelzi, hogy a maszk az objektumok tömegében van-eOptional, Bool |
0 |
polygon |
Az objektum sokszög koordinátáiRequired, List of list for multiple segments of the same instance. Float values in the range [0,1] |
[[0.577, 0.689, 0.567, 0.689, 0.559, 0.686]] |
Példa egy JSONL-fájlra a példányszegmentáláshoz:
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_01.jpg", "image_details": {"format": "jpg", "width": "499px", "height": "666px"}, "label": [{"label": "can", "isCrowd": 0, "polygon": [[0.577, 0.689, 0.567, 0.689, 0.559, 0.686, 0.380, 0.593, 0.304, 0.555, 0.294, 0.545, 0.290, 0.534, 0.274, 0.512, 0.2705, 0.496, 0.270, 0.478, 0.284, 0.453, 0.308, 0.432, 0.326, 0.423, 0.356, 0.415, 0.418, 0.417, 0.635, 0.493, 0.683, 0.507, 0.701, 0.518, 0.709, 0.528, 0.713, 0.545, 0.719, 0.554, 0.719, 0.579, 0.713, 0.597, 0.697, 0.621, 0.695, 0.629, 0.631, 0.678, 0.619, 0.683, 0.595, 0.683, 0.577, 0.689]]}]}
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_02.jpg", "image_details": {"format": "jpg", "width": "499px", "height": "666px"}, "label": [{"label": "carton", "isCrowd": 0, "polygon": [[0.240, 0.65, 0.234, 0.654, 0.230, 0.647, 0.210, 0.512, 0.202, 0.403, 0.182, 0.267, 0.184, 0.243, 0.180, 0.166, 0.186, 0.159, 0.198, 0.156, 0.396, 0.162, 0.408, 0.169, 0.406, 0.217, 0.414, 0.249, 0.422, 0.262, 0.422, 0.569, 0.342, 0.569, 0.334, 0.572, 0.320, 0.585, 0.308, 0.624, 0.306, 0.648, 0.240, 0.657]]}, {"label": "milk_bottle", "isCrowd": 0, "polygon": [[0.675, 0.732, 0.635, 0.731, 0.621, 0.725, 0.573, 0.717, 0.516, 0.717, 0.505, 0.720, 0.462, 0.722, 0.438, 0.719, 0.396, 0.719, 0.358, 0.714, 0.334, 0.714, 0.322, 0.711, 0.312, 0.701, 0.306, 0.687, 0.304, 0.663, 0.308, 0.630, 0.320, 0.596, 0.32, 0.588, 0.326, 0.579]]}]}
.
.
.
{"image_url": "azureml://subscriptions/my-subscription-id/resourcegroups/my-resource-group/workspaces/my-workspace/datastores/my-datastore/paths/image_data/Image_n.jpg", "image_details": {"format": "jpg", "width": "499px", "height": "666px"}, "label": [{"label": "water_bottle", "isCrowd": 0, "polygon": [[0.334, 0.626, 0.304, 0.621, 0.254, 0.603, 0.164, 0.605, 0.158, 0.602, 0.146, 0.602, 0.142, 0.608, 0.094, 0.612, 0.084, 0.599, 0.080, 0.585, 0.080, 0.539, 0.082, 0.536, 0.092, 0.533, 0.126, 0.530, 0.132, 0.533, 0.144, 0.533, 0.162, 0.525, 0.172, 0.525, 0.186, 0.521, 0.196, 0.521 ]]}, {"label": "milk_bottle", "isCrowd": 0, "polygon": [[0.392, 0.773, 0.380, 0.732, 0.379, 0.767, 0.367, 0.755, 0.362, 0.735, 0.362, 0.714, 0.352, 0.644, 0.352, 0.611, 0.362, 0.597, 0.40, 0.593, 0.444, 0.494, 0.588, 0.515, 0.585, 0.621, 0.588, 0.671, 0.582, 0.713, 0.572, 0.753 ]]}]}
Adatséma az online pontozáshoz
Ebben a szakaszban dokumentáljuk az üzembe helyezett modellel történő előrejelzéshez szükséges bemeneti adatformátumot.
Bemeneti formátum
A következő JSON a tevékenységspecifikus modellvégpont használatával történő előrejelzések létrehozásához szükséges bemeneti formátum.
{
"input_data": {
"columns": [
"image"
],
"data": [
"image_in_base64_string_format"
]
}
}
Ez a json egy külső és belső kulcsokat input_data
columns
tartalmazó szótár, data
az alábbi táblázatban leírtak szerint. A végpont elfogad egy json-sztringet a fenti formátumban, és a pontozási szkript által igényelt minta adatkeretté alakítja. A json szakasz minden request_json["input_data"]["data"]
bemeneti képe egy base64 kódolású sztring.
Kulcs | Leírás |
---|---|
input_data (külső kulcs) |
Ez egy külső kulcs a JSON-kérelemben. input_data egy olyan szótár, amely fogadja a bemeneti képmintákatRequired, Dictionary |
columns (belső kulcs) |
Adatkeret létrehozásához használandó oszlopnevek. Csak egy oszlopot image fogad el oszlopnévként.Required, List |
data (belső kulcs) |
Base64 kódolású rendszerképek listájaRequired, List |
Az mlflow-modell üzembe helyezése után az alábbi kódrészlet használatával előrejelzéseket kaphatunk az összes tevékenységhez.
# Create request json
import base64
sample_image = os.path.join(dataset_dir, "images", "1.jpg")
def read_image(image_path):
with open(image_path, "rb") as f:
return f.read()
request_json = {
"input_data": {
"columns": ["image"],
"data": [base64.encodebytes(read_image(sample_image)).decode("utf-8")],
}
}
import json
request_file_name = "sample_request_data.json"
with open(request_file_name, "w") as request_file:
json.dump(request_json, request_file)
resp = ml_client.online_endpoints.invoke(
endpoint_name=online_endpoint_name,
deployment_name=deployment.name,
request_file=request_file_name,
)
Kimeneti formátum
A modellvégpontokon végrehajtott előrejelzések a tevékenység típusától függően eltérő struktúrát követnek. Ez a szakasz a többosztályos, többcímkés képosztályozási, objektumészlelési és példányszegmentálási feladatok kimeneti adatformátumait ismerteti.
A következő sémák akkor alkalmazhatók, ha a bemeneti kérelem egy képet tartalmaz.
Képbesorolás (bináris/többosztályos)
A képbesorolás végpontja az adathalmaz összes címkéjének és a bemeneti kép valószínűségi pontszámainak értékét adja vissza az alábbi formátumban. visualizations
és attributions
a magyarázhatósághoz kapcsolódnak, és ha a kérés csak pontozásra vonatkozik, ezek a kulcsok nem lesznek belefoglalva a kimenetbe. A képbesorolás magyarázhatósági bemeneti és kimeneti sémájára vonatkozó további információkért tekintse meg a képbesorolás magyarázhatóságát ismertető szakaszt.
[
{
"probs": [
2.098e-06,
4.783e-08,
0.999,
8.637e-06
],
"labels": [
"can",
"carton",
"milk_bottle",
"water_bottle"
]
}
]
Képbesorolás többcímkés
A többcímkés képbesorolás esetén a modellvégpont a címkéket és azok valószínűségeit adja vissza. visualizations
és attributions
a magyarázhatósághoz kapcsolódnak, és ha a kérés csak pontozásra vonatkozik, ezek a kulcsok nem lesznek belefoglalva a kimenetbe. A többcímkés besorolás magyarázhatósági bemeneti és kimeneti sémájára vonatkozó további információkért lásd a képbesorolás többcímkés besorolásának magyarázhatóságát ismertető szakaszt.
[
{
"probs": [
0.997,
0.960,
0.982,
0.025
],
"labels": [
"can",
"carton",
"milk_bottle",
"water_bottle"
]
}
]
Objektumészlelés
Az objektumészlelési modell több dobozt ad vissza a skálázott bal felső és jobb alsó koordinátákkal, valamint a dobozcímkével és a megbízhatósági pontszámmal.
[
{
"boxes": [
{
"box": {
"topX": 0.224,
"topY": 0.285,
"bottomX": 0.399,
"bottomY": 0.620
},
"label": "milk_bottle",
"score": 0.937
},
{
"box": {
"topX": 0.664,
"topY": 0.484,
"bottomX": 0.959,
"bottomY": 0.812
},
"label": "can",
"score": 0.891
},
{
"box": {
"topX": 0.423,
"topY": 0.253,
"bottomX": 0.632,
"bottomY": 0.725
},
"label": "water_bottle",
"score": 0.876
}
]
}
]
Példányszegmentálás
A példányszegmentálásban a kimenet több mezőből áll, a bal felső és a jobb alsó koordinátákkal, címkékkel, megbízhatósági pontszámokkal és sokszögekkel (nem maszkokkal). Itt a sokszögértékek a sémaszakaszban ismertetett formátumban vannak.
[
{
"boxes": [
{
"box": {
"topX": 0.679,
"topY": 0.491,
"bottomX": 0.926,
"bottomY": 0.810
},
"label": "can",
"score": 0.992,
"polygon": [
[
0.82, 0.811, 0.771, 0.810, 0.758, 0.805, 0.741, 0.797, 0.735, 0.791, 0.718, 0.785, 0.715, 0.778, 0.706, 0.775, 0.696, 0.758, 0.695, 0.717, 0.698, 0.567, 0.705, 0.552, 0.706, 0.540, 0.725, 0.520, 0.735, 0.505, 0.745, 0.502, 0.755, 0.493
]
]
},
{
"box": {
"topX": 0.220,
"topY": 0.298,
"bottomX": 0.397,
"bottomY": 0.601
},
"label": "milk_bottle",
"score": 0.989,
"polygon": [
[
0.365, 0.602, 0.273, 0.602, 0.26, 0.595, 0.263, 0.588, 0.251, 0.546, 0.248, 0.501, 0.25, 0.485, 0.246, 0.478, 0.245, 0.463, 0.233, 0.442, 0.231, 0.43, 0.226, 0.423, 0.226, 0.408, 0.234, 0.385, 0.241, 0.371, 0.238, 0.345, 0.234, 0.335, 0.233, 0.325, 0.24, 0.305, 0.586, 0.38, 0.592, 0.375, 0.598, 0.365
]
]
},
{
"box": {
"topX": 0.433,
"topY": 0.280,
"bottomX": 0.621,
"bottomY": 0.679
},
"label": "water_bottle",
"score": 0.988,
"polygon": [
[
0.576, 0.680, 0.501, 0.680, 0.475, 0.675, 0.460, 0.625, 0.445, 0.630, 0.443, 0.572, 0.440, 0.560, 0.435, 0.515, 0.431, 0.501, 0.431, 0.433, 0.433, 0.426, 0.445, 0.417, 0.456, 0.407, 0.465, 0.381, 0.468, 0.327, 0.471, 0.318
]
]
}
]
}
]
Adatformátum az online pontozáshoz és magyarázhatósághoz (XAI)
Fontos
Ezek a beállítások jelenleg nyilvános előzetes verzióban érhetők el. Ezek szolgáltatásiszint-szerződés nélkül érhetők el. Előfordulhat, hogy néhány funkció nem támogatott, vagy korlátozott képességekkel rendelkezik. További információ: Kiegészítő használati feltételek a Microsoft Azure előzetes verziójú termékeihez.
Figyelmeztetés
A magyarázhatóság csak a többosztályos besoroláshoz és a többcímkés besoroláshoz támogatott. Az online végpont magyarázatainak létrehozásakor, ha időtúllépési problémákba ütközik, használjon kötegelt pontozási jegyzetfüzetet (SDK v1) a magyarázatok létrehozásához.
Ebben a szakaszban dokumentáljuk az előrejelzések készítéséhez és az előrejelzett osztály/osztályok magyarázatának létrehozásához szükséges bemeneti adatformátumot egy üzembe helyezett modell használatával. A magyarázhatósághoz nincs szükség külön üzembe helyezésre. Ugyanez a végpont használható az online pontozáshoz magyarázatok létrehozásához. Csak át kell adnunk néhány extra magyarázhatósággal kapcsolatos paramétert a bemeneti sémában, és le kell kérnünk a magyarázatok vizualizációit és/vagy a hozzárendelési pontszám mátrixait (képpontszintű magyarázatokat).
Támogatott magyarázó módszerek:
- XRAI (xrai)
- Integrált színátmenetek (integrated_gradients)
- Irányított GradCAM (guided_gradcam)
- Irányított BackPropagation (guided_backprop)
Bemeneti formátum (XAI)
A következő bemeneti formátumok támogatják az előrejelzések és magyarázatok létrehozását bármely besorolási feladathoz a feladatspecifikus modellvégpont használatával. A modell üzembe helyezése után az alábbi sémával előrejelzéseket és magyarázatokat kaphat.
{
"input_data": {
"columns": ["image"],
"data": [json.dumps({"image_base64": "image_in_base64_string_format",
"model_explainability": True,
"xai_parameters": {}
})
]
}
}
A kép mellett két további paraméterre (model_explainability
és xai_parameters
) van szükség a bemeneti sémában a magyarázatok létrehozásához.
Kulcs | Leírás | Alapértelmezett érték |
---|---|---|
image_base64 |
bemeneti kép base64 formátumbanRequired, String |
- |
model_explainability |
Akár magyarázatokat szeretne létrehozni, akár csak a pontozástOptional, Bool |
False |
xai_parameters |
Ha model_explainability igaz, akkor xai_parameters egy szótár, amely magyarázó algoritmussal kapcsolatos paramétereket tartalmaz a következővel xai_algorithm : , visualizations , attributions ask keys. Optional, Dictionary Ha xai_parameters nincs átadva, akkor a xrai magyarázó algoritmus az alapértelmezett értékkel lesz használva |
{"xai_algorithm": "xrai", "visualizations": True, "attributions": False} |
xai_algorithm |
A használandó magyarázó algoritmus neve. A támogatott XAI-algoritmusok a következők: {xrai , integrated_gradients , guided_gradcam , guided_backprop }Optional, String |
xrai |
visualizations |
A magyarázatok vizualizációinak visszaadása. Optional, Bool |
True |
attributions |
A funkció-hozzárendelések visszaadása. Optional, Bool |
False |
confidence_score_threshold_multilabel |
A megbízhatósági pontszám küszöbértéke a felső osztályok kiválasztásához, hogy magyarázatokat generáljon a többcímkés besorolásban. Optional, Float |
0.5 |
Az alábbi táblázat a magyarázhatóság támogatott sémáit ismerteti.
Típus | Séma |
---|---|
Következtetés egy képre base64 formátumban | A kulcsként és értékként használt image_base64 szótár base64 kódolású kép,model_explainability key with True or False and xai_parameters dictionary with XAI algorithm specific parametersRequired, Json String Works for one or more images |
Az alábbi kódban definiált bemeneti kép minden bemeneti képe request_json
egy base64 kódolású sztring, amely hozzá van fűzve a listához request_json["input_data"]["data"]
:
import base64
import json
# Get the details for online endpoint
endpoint = ml_client.online_endpoints.get(name=online_endpoint_name)
sample_image = "./test_image.jpg"
# Define explainability (XAI) parameters
model_explainability = True
xai_parameters = {"xai_algorithm": "xrai",
"visualizations": True,
"attributions": False}
def read_image(image_path):
with open(image_path, "rb") as f:
return f.read()
# Create request json
request_json = {
"input_data": {
"columns": ["image"],
"data": [json.dumps({"image_base64": base64.encodebytes(read_image(sample_image)).decode("utf-8"),
"model_explainability": model_explainability,
"xai_parameters": xai_parameters})],
}
}
request_file_name = "sample_request_data.json"
with open(request_file_name, "w") as request_file:
json.dump(request_json, request_file)
resp = ml_client.online_endpoints.invoke(
endpoint_name=online_endpoint_name,
deployment_name=deployment.name,
request_file=request_file_name,
)
predictions = json.loads(resp)
Kimeneti formátum (XAI)
A modellvégpontokon végrehajtott előrejelzések a tevékenység típusától függően eltérő sémát követnek. Ez a szakasz a többosztályos, többcímkés képbesorolási feladatok kimeneti adatformátumait ismerteti.
Két bemeneti lemezkép esetében az alábbi sémák vannak definiálva.
Képbesorolás (bináris/többosztályos)
A kimeneti séma megegyezik a fent leírtakkal , azzal a különbségtel, hogy visualizations
a és attributions
a kulcsértékeket is tartalmazza, ha ezek a kulcsok a kérelemben lettek beállítva True
.
Ha model_explainability
a , attributions
visualizations
értékre van állítva True
a bemeneti kérelemben, akkor a kimenet a következő leszvisualizations
: és attributions
. A paraméterekkel kapcsolatos további részleteket az alábbi táblázat ismerteti. A vizualizációk és a hozzárendelések a legnagyobb valószínűségi pontszámmal rendelkező osztályon jönnek létre.
Kimeneti kulcs | Description |
---|---|
visualizations |
Egy kép base64 sztringformátumban, típussalOptional, String |
attributions |
többdimenziós tömb képpontok alapján, alakzatok hozzárendelési pontszámaival [3, valid_crop_size, valid_crop_size] Optional, List |
[
{
"probs": [
0.006,
9.345e-05,
0.992,
0.003
],
"labels": [
"can",
"carton",
"milk_bottle",
"water_bottle"
],
"visualizations": "iVBORw0KGgoAAAAN.....",
"attributions": [[[-4.2969e-04, -1.3090e-03, 7.7791e-04, ..., 2.6677e-04,
-5.5195e-03, 1.7989e-03],
.
.
.
[-5.8236e-03, -7.9108e-04, -2.6963e-03, ..., 2.6517e-03,
1.2546e-03, 6.6507e-04]]]
}
]
Képbesorolás többcímkés
A többcímke-besorolás kimeneti sémájában az egyetlen különbség a többosztályos besoroláshoz képest, hogy minden képen több osztály is lehet, amelyek magyarázatai létrehozhatók. visualizations
Tehát a base64 képsztringek listája, és attributions
az egyes kijelölt osztályok hozzárendelési pontszámainak listája az confidence_score_threshold_multilabel
alapján (az alapértelmezett érték 0,5).
Ha model_explainability
a , attributions
visualizations
értékre van állítva True
a bemeneti kérelemben, akkor a kimenet a következő leszvisualizations
: és attributions
. A paraméterekkel kapcsolatos további részleteket az alábbi táblázat ismerteti. A vizualizációk és a hozzárendelések az összes olyan osztályhoz létrejönnek, amelyek valószínűségi pontszáma nagyobb vagy egyenlő.confidence_score_threshold_multilabel
Kimeneti kulcs | Description |
---|---|
visualizations |
A base64 típusú sztringformátumú képek listájaOptional, String |
attributions |
Többdimenziós tömbök listája az egyes osztályokhoz tartozó képpontalapú hozzárendelési pontszámokkal, ahol minden többdimenziós tömb alakzatból áll [3, valid_crop_size, valid_crop_size] Optional, List |
Figyelmeztetés
Miközben magyarázatokat hoz létre az online végponton, győződjön meg arról, hogy csak néhány osztályt választ ki a megbízhatósági pontszám alapján, hogy elkerülje az időtúllépési problémákat a végponton, vagy használja a végpontot GPU-példánytípussal. A többcímkés besorolású osztályok nagy számával kapcsolatos magyarázatok létrehozásához tekintse meg a kötegelt pontozási jegyzetfüzetet (SDK v1).
[
{
"probs": [
0.994,
0.994,
0.843,
0.166
],
"labels": [
"can",
"carton",
"milk_bottle",
"water_bottle"
],
"visualizations": ["iVBORw0KGgoAAAAN.....", "iVBORw0KGgoAAAAN......", .....],
"attributions": [
[[[-4.2969e-04, -1.3090e-03, 7.7791e-04, ..., 2.6677e-04,
-5.5195e-03, 1.7989e-03],
.
.
.
[-5.8236e-03, -7.9108e-04, -2.6963e-03, ..., 2.6517e-03,
1.2546e-03, 6.6507e-04]]],
.
.
.
]
}
]
Objektumészlelés
Figyelmeztetés
Az XAI nem támogatott. Tehát csak a pontszámok lesznek visszaadva. A pontozási példáért tekintse meg az online pontozás szakaszt.
Példányszegmentálás
Figyelmeztetés
Az XAI nem támogatott. Tehát csak a pontszámok lesznek visszaadva. A pontozási példáért tekintse meg az online pontozás szakaszt.
Megjegyzés
A cikkben használt képek a Microsoft Corporation, © a Hűtőszekrény objektumok adatkészletből származnak, és a computervision-recipes/01_training_introduction.ipynb címen érhetők el az MIT-licenc alapján.