Datastore Osztály
Tárterület-absztrakciót jelöl egy Azure Machine Learning-tárfiókon keresztül.
Az adattárak munkaterületekhez vannak csatolva, és az Azure Storage-szolgáltatások kapcsolati információinak tárolására szolgálnak, így név szerint hivatkozhat rájuk, és nem kell megjegyeznie a tárolási szolgáltatásokhoz való csatlakozáshoz használt kapcsolati adatokat és titkos kulcsokat.
Példák az adattárként regisztrálható támogatott Azure Storage-szolgáltatásokra:
Azure-blobtároló
Azure-fájlmegosztás
Azure Data Lake
Azure Data Lake Gen2
Azure SQL Database
Azure Database for PostgreSQL
Databricks fájlrendszer
Azure Database for MySQL
Ezzel az osztálysal felügyeleti műveleteket hajthat végre, beleértve az adattárak regisztrálását, listázását, lekérését és eltávolítását.
Az egyes szolgáltatásokhoz tartozó adattárak ennek az osztálynak a register* metódusaival jönnek létre. Amikor adattárat használ az adatok eléréséhez, rendelkeznie kell az adatokhoz való hozzáféréshez szükséges engedéllyel, amely az adattárban regisztrált hitelesítő adatoktól függ.
Az adattárakról és azok gépi tanulásban való használatáról az alábbi cikkekben talál további információt:
Adattár lekérése név alapján. Ez a hívás kérést küld az adattárszolgáltatásnak.
- Öröklődés
-
builtins.objectDatastore
Konstruktor
Datastore(workspace, name=None)Paraméterek
- name
- str, <xref:optional>
Az adattár neve alapértelmezés szerint Nincs, amely az alapértelmezett adattárat kapja meg.
Megjegyzések
Ha a gépi tanulási feladatokhoz , például a betanításhoz hasonló adattárolókban lévő adatokkal szeretne kommunikálni, hozzon létre egy Azure Machine Learning-adatkészletet. Az adathalmazok olyan függvényeket biztosítanak, amelyek táblázatos adatokat töltenek be egy pandasba vagy a Spark DataFrame-be. Az adatkészletek bármilyen formátumú fájl letöltését vagy csatlakoztatását is lehetővé teszik az Azure Blob Storage-ból, Azure Files, Azure Data Lake Storage Gen1-ből, Azure Data Lake Storage Gen2, Azure SQL-adatbázisból és Azure Database for PostgreSQL. További információ az adathalmazok betanítása kapcsán.
Az alábbi példa bemutatja, hogyan hozhat létre azure blobtárolóhoz csatlakoztatott adattárat.
from azureml.exceptions import UserErrorException
blob_datastore_name='MyBlobDatastore'
account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key
try:
blob_datastore = Datastore.get(ws, blob_datastore_name)
print("Found Blob Datastore with name: %s" % blob_datastore_name)
except UserErrorException:
blob_datastore = Datastore.register_azure_blob_container(
workspace=ws,
datastore_name=blob_datastore_name,
account_name=account_name, # Storage account name
container_name=container_name, # Name of Azure blob container
account_key=account_key) # Storage account key
print("Registered blob datastore with name: %s" % blob_datastore_name)
blob_data_ref = DataReference(
datastore=blob_datastore,
data_reference_name="blob_test_data",
path_on_datastore="testdata")
A teljes minta a következő forrásból érhető el: https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb
Metódusok
| get |
Adattár lekérése név alapján. Ez ugyanaz, mint a konstruktor meghívása. |
| get_default |
Szerezze be a munkaterület alapértelmezett adattárát. |
| register_azure_blob_container |
Regisztráljon egy Azure Blob-tárolót az adattárban. A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott, választhatja az SAS-jogkivonat vagy a tárfiókkulcs használatát. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítésre küldött feladatokban lesz felhasználva. További információt itt talál. |
| register_azure_data_lake |
Inicializáljon egy új Azure Data Lake DataStoret. A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. A hitelesítő adatokhoz való hozzáféréshez regisztrálhat egy adattárat a szolgáltatásnévvel. Ha az adattárban nem menti a hitelesítő adatokat, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitását az Experiment.submit által adathozzáférési hitelesítésre küldött feladatokban fogja használni. További információt itt talál. Az alábbiakban egy példát talál arra, hogyan regisztrálhat egy Azure Data Lake Gen1-et adattárként. |
| register_azure_data_lake_gen2 |
Inicializáljon egy új Azure Data Lake Gen2-adattárat. A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. A hitelesítő adatokhoz való hozzáféréshez regisztrálhat egy adattárat a szolgáltatásnévvel. Ha az adattárban nem menti a hitelesítő adatokat, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitását az Experiment.submit által adathozzáférési hitelesítésre küldött feladatokban fogja használni. További információt itt talál. |
| register_azure_file_share |
Regisztráljon egy Azure-fájlmegosztást az adattárban. Választhat, hogy SAS-jogkivonatot vagy tárfiókkulcsot használ |
| register_azure_my_sql |
Inicializáljon egy új Azure MySQL-adattárat. A MySQL-adattár csak a DataTransferStep bemeneteként és kimeneteként hozható létre az Azure Machine Learning-folyamatokban. További részletek itt találhatók. Az alábbiakban egy példát talál arra, hogyan regisztrálhat Azure MySQL-adatbázist adattárként. |
| register_azure_postgre_sql |
Inicializáljon egy új Azure PostgreSQL-adattárat. Az alábbiakban egy példát talál az Azure PostgreSQL-adatbázisok adattárként való regisztrálására. |
| register_azure_sql_database |
Inicializáljon egy új Azure SQL adatbázisadattárat. A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. Választhatja a Szolgáltatásnév vagy felhasználónév + jelszó használatát. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítésre küldött feladatokban lesz felhasználva. További információt itt talál. Alább talál egy példát arra, hogyan regisztrálhat Azure SQL adatbázist adattárként. |
| register_dbfs |
Inicializáljon egy új Databricks Fájlrendszer (DBFS) adattárat. A DBFS-adattár csak a DataReference bemenetként, a PipelineData pedig a DatabricksStep kimeneteként használható az Azure Machine Learning-folyamatokban. További részletek itt találhatók. |
| register_hdfs |
Megjegyzés Ez egy kísérleti módszer, és bármikor változhat. További információ: https://aka.ms/azuremlexperimental. Új HDFS-adattár inicializálása. |
| set_as_default |
Állítsa be az alapértelmezett adattárat. |
| unregister |
Törölje az adattár regisztrációjának törlését. a mögöttes tárolási szolgáltatás nem törlődik. |
get
Adattár lekérése név alapján. Ez ugyanaz, mint a konstruktor meghívása.
static get(workspace, datastore_name)Paraméterek
- datastore_name
- str, <xref:optional>
Az adattár neve alapértelmezés szerint Nincs, amely az alapértelmezett adattárat kapja meg.
Válaszok
A névnek megfelelő adattár.
Visszatérési típus
get_default
Szerezze be a munkaterület alapértelmezett adattárát.
static get_default(workspace)Paraméterek
Válaszok
A munkaterület alapértelmezett adattára
Visszatérési típus
register_azure_blob_container
Regisztráljon egy Azure Blob-tárolót az adattárban.
A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott, választhatja az SAS-jogkivonat vagy a tárfiókkulcs használatát. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítésre küldött feladatokban lesz felhasználva. További információt itt talál.
static register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)Paraméterek
- datastore_name
- str
Az adattár neve, a kis- és nagybetűk érzéketlenek, csak alfanumerikus karaktereket és _karaktert tartalmazhatnak.
- sas_token
- str, <xref:optional>
A fiók SAS-jogkivonata alapértelmezés szerint Nincs. Adatolvasáshoz legalább Lista & Olvasási engedélyekre van szükség a tárolókhoz & objektumokhoz, az adatíráshoz pedig írási & Engedélyek hozzáadása szükséges.
- account_key
- str, <xref:optional>
A tárfiók hozzáférési kulcsai alapértelmezés szerint Nincs értékűek.
- protocol
- str, <xref:optional>
A blobtárolóhoz való csatlakozáshoz használandó protokoll. Ha nincs, alapértelmezés szerint https.
- endpoint
- str, <xref:optional>
A tárfiók végpontja. Ha nincs, alapértelmezés szerint core.windows.net.
- overwrite
- bool, <xref:optional>
felülír egy meglévő adattárat. Ha az adattár nem létezik, akkor létrehoz egy, alapértelmezés szerint Hamis értéket.
- create_if_not_exists
- bool, <xref:optional>
blobtároló létrehozása, ha nem létezik, alapértelmezés szerint Hamis
- skip_validation
- bool, <xref:optional>
kihagyja a tárolási kulcsok érvényesítését, alapértelmezés szerint False (Hamis) értékre
- blob_cache_timeout
- int, <xref:optional>
Ha ez a blob csatlakoztatva van, állítsa a gyorsítótár időtúllépését ennyi másodpercre. Ha nincs, alapértelmezés szerint nincs időtúllépés (azaz olvasáskor a blobok a feladat időtartamára lesznek gyorsítótárazva).
- grant_workspace_access
- bool, <xref:optional>
Alapértelmezés szerint Hamis. Állítsa Igaz értékre, hogy a Machine Learning Studióból hozzáférjen a virtuális hálózat mögötti adatokhoz.Ezzel a Machine Learning Studióból származó adatokhoz való hozzáférés munkaterület által felügyelt identitást használ a hitelesítéshez, és hozzáadja a munkaterület felügyelt identitását a tár olvasójaként. A bejelentkezéshez a tárterület tulajdonosának vagy felhasználói hozzáférési rendszergazdájának kell lennie. Kérje meg a rendszergazdát, hogy konfigurálja, ha nem rendelkezik a szükséges engedélyével. További információ: "https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network"
- subscription_id
- str, <xref:optional>
A tárfiók előfizetés-azonosítója alapértelmezés szerint Nincs.
- resource_group
- str, <xref:optional>
A tárfiók erőforráscsoportja alapértelmezés szerint Nincs.
Válaszok
A blobadattár.
Visszatérési típus
Megjegyzések
Ha a tárterületet a munkaterület régiójától eltérő régióból csatlakoztatja, az nagyobb késést és további hálózati használati költségeket eredményezhet.
register_azure_data_lake
Inicializáljon egy új Azure Data Lake DataStoret.
A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. A hitelesítő adatokhoz való hozzáféréshez regisztrálhat egy adattárat a szolgáltatásnévvel. Ha az adattárban nem menti a hitelesítő adatokat, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitását az Experiment.submit által adathozzáférési hitelesítésre küldött feladatokban fogja használni. További információt itt talál.
Az alábbiakban egy példát talál arra, hogyan regisztrálhat egy Azure Data Lake Gen1-et adattárként.
adlsgen1_datastore_name='adlsgen1datastore'
store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal
adls_datastore = Datastore.register_azure_data_lake(
workspace=ws,
datastore_name=aslsgen1_datastore_name,
subscription_id=subscription_id, # subscription id of ADLS account
resource_group=resource_group, # resource group of ADLS account
store_name=store_name, # ADLS account name
tenant_id=tenant_id, # tenant id of service principal
client_id=client_id, # client id of service principal
client_secret=client_secret) # the secret of service principal
static register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)Paraméterek
- tenant_id
- str, <xref:optional>
Az adatok eléréséhez használt szolgáltatásnév címtár-azonosítója/bérlőazonosítója.
- client_id
- str, <xref:optional>
Az adatok eléréséhez használt szolgáltatásnév ügyfél-azonosítója/alkalmazásazonosítója.
- client_secret
- str, <xref:optional>
Az adatok eléréséhez használt szolgáltatásnév titkos ügyfélkódja.
- resource_url
- str, <xref:optional>
Az erőforrás URL-címe, amely meghatározza, hogy milyen műveleteket hajtanak végre a Data Lake Store-ban, ha nincs, akkor az alapértelmezett érték https://datalake.azure.net/ , amely lehetővé teszi számunkra a fájlrendszerműveletek végrehajtását.
- authority_url
- str, <xref:optional>
A felhasználó hitelesítéséhez használt szolgáltatói URL-cím alapértelmezés szerint a következő lesz https://login.microsoftonline.com: .
- subscription_id
- str, <xref:optional>
Annak az előfizetésnek az azonosítója, amelyhez az ADLS-tároló tartozik.
- overwrite
- bool, <xref:optional>
Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték Hamis.
- grant_workspace_access
- bool, <xref:optional>
Alapértelmezés szerint Hamis. Állítsa Igaz értékre, hogy a Machine Learning Studióból hozzáférjen a virtuális hálózat mögötti adatokhoz.Ezzel a Machine Learning Studióból származó adatokhoz való hozzáférés munkaterület által felügyelt identitást használ a hitelesítéshez, és hozzáadja a munkaterület felügyelt identitását a tár olvasójaként. A bejelentkezéshez a tár tulajdonosának vagy felhasználói hozzáférési rendszergazdájának kell lennie. Kérje meg a rendszergazdát, hogy konfigurálja, ha nem rendelkezik a szükséges engedélyével. További információ: "https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network"
Válaszok
Az Azure Data Lake DataStoret adja vissza.
Visszatérési típus
Megjegyzések
Ha a munkaterület régiójától eltérő régióból csatlakoztat tárolót, az nagyobb késést és további hálózati használatot eredményezhet.
Megjegyzés
Az Azure Data Lake Datastore támogatja az adatátvitelt és az U-Sql-feladatok Futtatását az Azure Machine Learning Pipelines használatával.
Adatforrásként is használhatja az Azure Machine Learning-adatkészlethez, amely bármely támogatott számításhoz letölthető vagy csatlakoztatható.
register_azure_data_lake_gen2
Inicializáljon egy új Azure Data Lake Gen2-adattárat.
A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. A hitelesítő adatokhoz való hozzáféréshez regisztrálhat egy adattárat a szolgáltatásnévvel. Ha az adattárban nem menti a hitelesítő adatokat, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitását az Experiment.submit által adathozzáférési hitelesítésre küldött feladatokban fogja használni. További információt itt talál.
static register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)Paraméterek
- tenant_id
- str, <xref:optional>
A szolgáltatásnév címtár-azonosítója/bérlőazonosítója.
- client_id
- str, <xref:optional>
A szolgáltatásnév ügyfél-azonosítója/alkalmazásazonosítója.
- resource_url
- str, <xref:optional>
Az erőforrás URL-címe, amely meghatározza, hogy milyen műveleteket hajtanak végre a Data Lake Store-ban, alapértelmezés szerint fájlrendszerműveleteket https://storage.azure.com/ hajthatunk végre.
- authority_url
- str, <xref:optional>
A felhasználó hitelesítéséhez használt szolgáltatói URL-cím alapértelmezés szerint a következő: https://login.microsoftonline.com.
- protocol
- str, <xref:optional>
A blobtárolóhoz való csatlakozáshoz használandó protokoll. Ha nincs, alapértelmezés szerint https.
- endpoint
- str, <xref:optional>
A tárfiók végpontja. Ha nincs, az alapértelmezés szerint core.windows.net.
- overwrite
- bool, <xref:optional>
Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték a Hamis.
- subscription_id
- str, <xref:optional>
Annak az előfizetésnek az azonosítója, amelyhez az ADLS-tároló tartozik.
- grant_workspace_access
- bool, <xref:optional>
Alapértelmezés szerint Hamis. Állítsa True (Igaz) értékre, hogy a Machine Learning Studióból hozzáférjen a virtuális hálózat mögötti adatokhoz.Ez lehetővé teszi, hogy a Machine Learning Studióból származó adatok a munkaterület felügyelt identitását használják a hitelesítéshez, és hozzáadja a munkaterület felügyelt identitását a tár olvasójaként. A bejelentkezéshez a tárterület tulajdonosának vagy felhasználói hozzáférési rendszergazdájának kell lennie. Kérje meg a rendszergazdát, hogy konfigurálja Önnek, ha nem rendelkezik a szükséges engedéllyel. További információ: "https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network"
Válaszok
Az Azure Data Lake Gen2-adattárat adja vissza.
Visszatérési típus
Megjegyzések
Ha a munkaterület régiójától eltérő régióból csatlakoztat tárolót, az nagyobb késést és további hálózati használatot eredményezhet.
register_azure_file_share
Regisztráljon egy Azure-fájlmegosztást az adattárban.
Választhat, hogy SAS-jogkivonatot vagy tárfiókkulcsot használ
static register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)Paraméterek
- datastore_name
- str
Az adattár neve, amely nem különbözteti meg a kis- és nagybetűket, csak alfanumerikus karaktereket és _-t tartalmazhat.
- sas_token
- str, <xref:optional>
A fiók SAS-jogkivonata alapértelmezés szerint Nincs. Az adatolvasáshoz legalább listázási & olvasási engedélyekre van szükség a tárolókhoz & objektumokhoz, az adatíráshoz pedig írási & Engedély hozzáadása szükséges.
- account_key
- str, <xref:optional>
A tárfiók hozzáférési kulcsai alapértelmezés szerint Nincs értékűek.
- protocol
- str, <xref:optional>
A fájlmegosztáshoz való csatlakozáshoz használandó protokoll. Ha nincs, alapértelmezés szerint https.
- endpoint
- str, <xref:optional>
A fájlmegosztás végpontja. Ha nincs, az alapértelmezés szerint core.windows.net.
- overwrite
- bool, <xref:optional>
Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték a Hamis.
- create_if_not_exists
- bool, <xref:optional>
A fájlmegosztás létrehozása, ha nem létezik. Az alapértelmezett érték a Hamis.
- skip_validation
- bool, <xref:optional>
Kihagyhatja-e a tárolókulcsok érvényesítését. Az alapértelmezett érték a Hamis.
Válaszok
A fájladattár.
Visszatérési típus
Megjegyzések
Ha a munkaterület régiójától eltérő régióból csatlakoztat tárolót, az nagyobb késést és további hálózati használatot eredményezhet.
register_azure_my_sql
Inicializáljon egy új Azure MySQL-adattárat.
A MySQL-adattár csak a DataTransferStep bemeneteként és kimeneteként hozható létre az Azure Machine Learning-folyamatokban. További részletek itt találhatók.
Az alábbiakban egy példát talál arra, hogyan regisztrálhat Azure MySQL-adatbázist adattárként.
static register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)Paraméterek
- endpoint
- str, <xref:optional>
A MySQL-kiszolgáló végpontja. Ha nincs, az alapértelmezés szerint mysql.database.azure.com.
- overwrite
- bool, <xref:optional>
Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték a Hamis.
Válaszok
A MySQL-adatbázis adattárát adja vissza.
Visszatérési típus
Megjegyzések
Ha a munkaterület régiójától eltérő régióból csatlakoztat tárolót, az nagyobb késést és további hálózati használatot eredményezhet.
mysql_datastore_name="mysqldatastore"
server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.
mysql_datastore = Datastore.register_azure_my_sql(
workspace=ws,
datastore_name=mysql_datastore_name,
server_name=server_name,
database_name=database_name,
user_id=user_id,
user_password=user_password)
register_azure_postgre_sql
Inicializáljon egy új Azure PostgreSQL-adattárat.
Az alábbiakban egy példát talál az Azure PostgreSQL-adatbázisok adattárként való regisztrálására.
static register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)Paraméterek
- endpoint
- str, <xref:optional>
A PostgreSQL-kiszolgáló végpontja. Ha nincs, az alapértelmezés szerint postgres.database.azure.com.
- overwrite
- bool, <xref:optional>
Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték a Hamis.
- enforce_ssl
- bool
A PostgreSQL-kiszolgáló SSL-követelményét jelzi. Alapértelmezés szerint Igaz.
Válaszok
A PostgreSQL-adatbázis adattárát adja vissza.
Visszatérési típus
Megjegyzések
Ha a munkaterület régiójától eltérő régióból csatlakoztat tárolót, az nagyobb késést és további hálózati használatot eredményezhet.
psql_datastore_name="postgresqldatastore"
server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password
psql_datastore = Datastore.register_azure_postgre_sql(
workspace=ws,
datastore_name=psql_datastore_name,
server_name=server_name,
database_name=database_name,
user_id=user_id,
user_password=user_password)
register_azure_sql_database
Inicializáljon egy új Azure SQL adatbázisadattárat.
A hitelesítő adatokon alapuló (GA) és az identitásalapú (előzetes verziójú) adathozzáférés támogatott. Választhatja a Szolgáltatásnév vagy felhasználónév + jelszó használatát. Ha nem menti a hitelesítő adatokat az adattárral, a rendszer a felhasználók AAD-jogkivonatát fogja használni a jegyzetfüzetben vagy a helyi Python-programban, ha közvetlenül meghívja a következő függvények egyikét: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a számítási cél identitása az Experiment.submit által az adatelérési hitelesítésre küldött feladatokban lesz felhasználva. További információt itt talál.
Alább talál egy példát arra, hogyan regisztrálhat Azure SQL adatbázist adattárként.
static register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)Paraméterek
- server_name
- str
Az SQL-kiszolgáló neve. Az olyan teljes tartománynév esetében, mint a "sample.database.windows.net", a server_name értéke "minta", a végpont értéke pedig "database.windows.net".
- client_id
- str
A szolgáltatásnév ügyfél-azonosítója/alkalmazásazonosítója.
- resource_url
- str, <xref:optional>
Az erőforrás URL-címe, amely meghatározza, hogy milyen műveletek lesznek végrehajtva az SQL-adatbázistárolóban( ha nincs), akkor az alapértelmezett értéke a .https://database.windows.net/
- authority_url
- str, <xref:optional>
A felhasználó hitelesítéséhez használt szolgáltatói URL-cím alapértelmezés szerint a következő lesz https://login.microsoftonline.com: .
- endpoint
- str, <xref:optional>
Az SQL Server végpontja. Ha nincs, alapértelmezés szerint database.windows.net.
- overwrite
- bool, <xref:optional>
Meglévő adattár felülírása. Ha az adattár nem létezik, létrehoz egyet. Az alapértelmezett érték Hamis.
- username
- str
Az adatbázis-felhasználó felhasználóneve az adatbázis eléréséhez.
- skip_validation
- bool, <xref:optional>
Az SQL-adatbázishoz való csatlakozás ellenőrzésének kihagyása. Alapértelmezés szerint Hamis.
- subscription_id
- str, <xref:optional>
Annak az előfizetésnek az azonosítója, amelyhez az ADLS-tároló tartozik.
- grant_workspace_access
- bool, <xref:optional>
Alapértelmezés szerint Hamis. Állítsa Igaz értékre, hogy a Machine Learning Studióból hozzáférjen a virtuális hálózat mögötti adatokhoz.Ezzel a Machine Learning Studióból származó adatokhoz való hozzáférés munkaterület által felügyelt identitást használ a hitelesítéshez, és hozzáadja a munkaterület felügyelt identitását a tár olvasójaként. A bejelentkezéshez a tárterület tulajdonosának vagy felhasználói hozzáférési rendszergazdájának kell lennie. Kérje meg a rendszergazdát, hogy konfigurálja, ha nem rendelkezik a szükséges engedélyével. További információ: "https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network"
Válaszok
Az SQL-adatbázis adattárát adja vissza.
Visszatérési típus
Megjegyzések
Ha a tárterületet a munkaterület régiójától eltérő régióból csatlakoztatja, az nagyobb késést és további hálózati használati költségeket eredményezhet.
sql_datastore_name="azuresqldatastore"
server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.
sql_datastore = Datastore.register_azure_sql_database(
workspace=ws,
datastore_name=sql_datastore_name,
server_name=server_name, # name should not contain fully qualified domain endpoint
database_name=database_name,
username=username,
password=password,
endpoint='database.windows.net')
register_dbfs
Inicializáljon egy új Databricks Fájlrendszer (DBFS) adattárat.
A DBFS-adattár csak a DataReference bemenetként, a PipelineData pedig a DatabricksStep kimeneteként használható az Azure Machine Learning-folyamatokban. További részletek itt találhatók.
static register_dbfs(workspace, datastore_name)Paraméterek
Válaszok
A DBFS-adattárat adja vissza.
Visszatérési típus
Megjegyzések
Ha a tárterületet a munkaterület régiójától eltérő régióból csatlakoztatja, az nagyobb késést és további hálózati használati költségeket eredményezhet.
register_hdfs
Megjegyzés
Ez egy kísérleti módszer, és bármikor változhat. További információ: https://aka.ms/azuremlexperimental.
Új HDFS-adattár inicializálása.
static register_hdfs(workspace, datastore_name, protocol, namenode_address, hdfs_server_certificate, kerberos_realm, kerberos_kdc_address, kerberos_principal, kerberos_keytab=None, kerberos_password=None, overwrite=False)Paraméterek
- protocol
- str vagy <xref:_restclient.models.enum>
A HDFS-fürttel való kommunikációhoz használandó protokoll. http vagy https. Lehetséges értékek: "http", "https"
- namenode_address
- str
A HDFS-névcsomópont IP-címe vagy DNS-állomásneve. Opcionálisan portot is tartalmaz.
- hdfs_server_certificate
- str, <xref:optional>
A HDFS-névcsomópont TLS-aláíró tanúsítványának elérési útja, ha a TLS-t önaláírt tanúsítványsal használja.
- kerberos_principal
- str
A Hitelesítéshez és engedélyezéshez használandó Kerberos-rendszernév.
- kerberos_keytab
- str, <xref:optional>
A Kerberos-tagnak megfelelő kulcsot tartalmazó kulcs(ok) elérési útja. Adja meg ezt vagy egy jelszót.
- kerberos_password
- str, <xref:optional>
A Kerberos-tagnak megfelelő jelszó. Adja meg ezt vagy egy keytab-fájl elérési útját.
- overwrite
- bool, <xref:optional>
felülír egy meglévő adattárat. Ha az adattár nem létezik, létrehoz egyet. Alapértelmezés szerint Hamis.
set_as_default
Állítsa be az alapértelmezett adattárat.
set_as_default()Paraméterek
unregister
Törölje az adattár regisztrációjának törlését. a mögöttes tárolási szolgáltatás nem törlődik.
unregister()Visszajelzés
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ: https://aka.ms/ContentUserFeedback.
Visszajelzés küldése és megtekintése a következőhöz: