Datastore Classe

Representa uma abstração de armazenamento sobre uma conta de armazenamento Azure Machine Learning.

As lojas de dados estão anexadas aos espaços de trabalho e são usadas para armazenar informações de ligação aos serviços de armazenamento Azure para que possa encaminhá-las pelo nome e não precise de se lembrar das informações de ligação e segredo utilizados para se ligar aos serviços de armazenamento.

Exemplos de serviços de armazenamento Azure suportados que podem ser registados como datastores são:

  • Recipiente Azure Blob

  • Partilha de Ficheiros do Azure

  • Azure Data Lake

  • Azure Data Lake Gen2

  • Base de Dados SQL do Azure

  • Base de Dados do Azure para PostgreSQL

  • Sistema de Ficheiros do Databricks

  • Base de Dados do Azure para MySQL

Utilize esta classe para realizar operações de gestão, incluindo registo, lista, obter e remover datastores. As datas-lojas para cada serviço são criadas com os register* métodos desta classe. Ao utilizar uma loja de dados para aceder aos dados, deve ter permissão para aceder a esses dados, o que depende das credenciais registadas na datastore.

Para obter mais informações sobre datastores e como podem ser utilizados na aprendizagem automática consulte os seguintes artigos:

Herança
builtins.object
Datastore

Construtor

Datastore(workspace, name=None)

Observações

Para interagir com os dados nas suas datastores para tarefas de machine learning, como formação, crie um conjunto de dados de Aprendizagem automática Azure. Os conjuntos de dados fornecem funções que carregam dados tabulares num panda ou Nodilho de Dados. Os conjuntos de dados também fornecem a capacidade de descarregar ou montar ficheiros de qualquer formato a partir do armazenamento Azure Blob, Azure Files, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure SQL Database e Azure Database for PostgreSQL. Saiba mais sobre como treinar com conjuntos de dados.

O exemplo a seguir mostra como criar uma Datastore ligada ao Recipiente Azure Blob.


   from msrest.exceptions import HttpOperationError

   blob_datastore_name='MyBlobDatastore'
   account_name=os.getenv("BLOB_ACCOUNTNAME_62", "<my-account-name>") # Storage account name
   container_name=os.getenv("BLOB_CONTAINER_62", "<my-container-name>") # Name of Azure blob container
   account_key=os.getenv("BLOB_ACCOUNT_KEY_62", "<my-account-key>") # Storage account key

   try:
       blob_datastore = Datastore.get(ws, blob_datastore_name)
       print("Found Blob Datastore with name: %s" % blob_datastore_name)
   except HttpOperationError:
       blob_datastore = Datastore.register_azure_blob_container(
           workspace=ws,
           datastore_name=blob_datastore_name,
           account_name=account_name, # Storage account name
           container_name=container_name, # Name of Azure blob container
           account_key=account_key) # Storage account key
       print("Registered blob datastore with name: %s" % blob_datastore_name)

   blob_data_ref = DataReference(
       datastore=blob_datastore,
       data_reference_name="blob_test_data",
       path_on_datastore="testdata")

A amostra completa está disponível a partir de https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-data-transfer.ipynb

Métodos

get

Obter uma datastore pelo nome. Isto é o mesmo que chamar o construtor.

get_default

Obtenha a datastore padrão para o espaço de trabalho.

register_azure_blob_container

Registe um recipiente Azure Blob na loja de dados.

O acesso de dados baseado em credenciais (GA) e identidade (Preview) é suportado, pode optar por utilizar a Chave de Ficha sas ou de conta de armazenamento. Se nenhuma credencial for guardada com a datastore, o token AAD dos utilizadores será usado no portátil ou no programa python local se ligar diretamente para uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do alvo de computação será utilizada em empregos submetidos pela Experiment.submit para autenticação de acesso a dados. Saber mais aqui

register_azure_data_lake

Inicialize uma nova Loja de Dados do Lago de Dados Azure.

O acesso de dados baseado em credenciais (GA) e identidade (Preview) é suportado, pode registar uma loja de dados com o Principal de Serviço para acesso a dados baseados em credenciais. Se nenhuma credencial for guardada com a datastore, o token AAD dos utilizadores será usado no portátil ou no programa python local se ligar diretamente para uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do alvo de computação será utilizada em empregos submetidos pela Experiment.submit para autenticação de acesso a dados. Saber mais aqui

Veja abaixo um exemplo de como registar um Azure Data Lake Gen1 como uma Datastore.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal
register_azure_data_lake_gen2

Inicialize uma nova Loja de Dados Azure Data Lake Gen2.

O acesso de dados baseado em credenciais (GA) e identidade (Preview) é suportado, pode registar uma loja de dados com o Principal de Serviço para acesso a dados baseados em credenciais. Se nenhuma credencial for guardada com a datastore, o token AAD dos utilizadores será usado no portátil ou no programa python local se ligar diretamente para uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do alvo de computação será utilizada em empregos submetidos pela Experiment.submit para autenticação de acesso a dados. Saber mais aqui

register_azure_file_share

Registe uma Partilha de Ficheiros Azure na datastore.

Pode optar por utilizar a chave de token SAS ou de armazenamento

register_azure_my_sql

Inicialize uma nova loja de dados Azure MySQL.

A loja de dados MySQL só pode ser usada para criar a DataReference como entrada e saída para dataTransferStep em pipelines de aprendizagem automática Azure. Mais detalhes podem ser encontrados aqui.

Veja abaixo um exemplo de como registar uma base de dados Azure MySQL como datastore.

register_azure_postgre_sql

Inicialize uma nova loja de dados Azure PostgreSQL.

Veja abaixo um exemplo de como registar uma base de dados Azure PostgreSQL como uma Datastore.

register_azure_sql_database

Inicialize uma nova base de dados Azure SQL Datastore.

O acesso de dados baseado em credenciais (GA) e identidade (Preview) é suportado, pode optar por utilizar o Nome principal de serviço ou o nome de utilizador + palavra-passe. Se nenhuma credencial for guardada com a datastore, o token AAD dos utilizadores será usado no portátil ou no programa python local se ligar diretamente para uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do alvo de computação será utilizada em empregos submetidos pela Experiment.submit para autenticação de acesso a dados. Saber mais aqui

Veja abaixo um exemplo de como registar uma base de dados Azure SQL como uma Datastore.

register_dbfs

Inicialize uma nova databricks file system (DBFS).

A loja de dados DBFS só pode ser usada para criar dataReference como entrada e PipelineData como saída para databricksStep em pipelines Azure Machine Learning. Mais detalhes podem ser encontrados aqui.

set_as_default

Desa estada de dados predefinidos.

unregister

Desagrega a datastore. o serviço de armazenamento subjacente não será eliminado.

get

Obter uma datastore pelo nome. Isto é o mesmo que chamar o construtor.

get(workspace, datastore_name)

Parâmetros

workspace
Workspace

O espaço de trabalho.

datastore_name
<xref:str>, <xref:optional>

O nome da loja de dados, predefinido a Nenhum, que recebe a datastore padrão.

Devoluções

A loja de dados correspondente para esse nome.

Tipo de retorno

get_default

Obtenha a datastore padrão para o espaço de trabalho.

get_default(workspace)

Parâmetros

workspace
Workspace

O espaço de trabalho.

Devoluções

A loja de dados predefinido para o espaço de trabalho

Tipo de retorno

register_azure_blob_container

Registe um recipiente Azure Blob na loja de dados.

O acesso de dados baseado em credenciais (GA) e identidade (Preview) é suportado, pode optar por utilizar a Chave de Ficha sas ou de conta de armazenamento. Se nenhuma credencial for guardada com a datastore, o token AAD dos utilizadores será usado no portátil ou no programa python local se ligar diretamente para uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do alvo de computação será utilizada em empregos submetidos pela Experiment.submit para autenticação de acesso a dados. Saber mais aqui

register_azure_blob_container(workspace, datastore_name, container_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False, blob_cache_timeout=None, grant_workspace_access=False, subscription_id=None, resource_group=None)

Parâmetros

workspace
Workspace

O espaço de trabalho.

datastore_name
<xref:str>

O nome da datastore, caso insensível, só pode conter caracteres alfanuméricos e _.

container_name
<xref:str>

O nome do recipiente de bolha azul.

account_name
<xref:str>

O nome da conta de armazenamento.

sas_token
<xref:str>, <xref:optional>
valor predefinido: None

Uma conta SAS token, incumprimento de Nenhum. Para a leitura de dados, exigimos um mínimo de permissões de Lista & Ler para Contentores & Objetos e para a escrita de dados, necessitamos adicionalmente de permissões de Escrever & Adicionar.

account_key
<xref:str>, <xref:optional>
valor predefinido: None

Chaves de acesso da sua conta de armazenamento, predefinições a Nenhuma.

protocol
<xref:str>, <xref:optional>
valor predefinido: None

Protocolo a utilizar para ligar ao recipiente blob. Se Nenhum, predefinição em https.

endpoint
<xref:str>, <xref:optional>
valor predefinido: None

O ponto final da conta de armazenamento. Se nenhum, não core.windows.net.

overwrite
<xref:bool>, <xref:optional>
valor predefinido: False

substitui uma datastore existente. Se a datastore não existir, criará uma, por defeitos de Falso

create_if_not_exists
<xref:bool>, <xref:optional>
valor predefinido: False

criar o recipiente blob se não existir, predefinições a Falso

skip_validation
<xref:bool>, <xref:optional>
valor predefinido: False

ignora validação de chaves de armazenamento, predefinições a Falso

blob_cache_timeout
<xref:int>, <xref:optional>
valor predefinido: None

Quando esta bolha estiver montada, desapedaça o tempo limite de cache para estes segundos. Se nenhum, não tiver tempo limite (isto é, as bolhas ficarão em cache durante a duração do trabalho quando lidas).

grant_workspace_access
<xref:bool>, <xref:optional>
valor predefinido: False

Incumprimentos ao Falso. Desacei-o a True para aceder a dados por trás da rede virtual a partir do Machine Learning Studio.Isto faz com que o acesso de dados a partir do Machine Learning Studio utilize a identidade gerida pelo espaço de trabalho para a autenticação, e adiciona a identidade gerida pelo espaço de trabalho como Leitor do armazenamento. Tem de ser proprietário ou administrador de acesso ao utilizador do armazenamento para o opt-in. Peça ao seu administrador que o configuure se não tiver a permissão necessária. Saiba mais https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network '

subscription_id
<xref:str>, <xref:optional>
valor predefinido: None

O id de subscrição da conta de armazenamento, predefinido a Nenhum.

resource_group
<xref:str>, <xref:optional>
valor predefinido: None

O grupo de recursos da conta de armazenamento, predefinido a Nenhum.

Devoluções

A loja de dados blob.

Tipo de retorno

Observações

Se estiver a anexar o armazenamento de diferentes regiões do que a região do espaço de trabalho, pode resultar em maiores custos de latência e utilização da rede.

register_azure_data_lake

Inicialize uma nova Loja de Dados do Lago de Dados Azure.

O acesso de dados baseado em credenciais (GA) e identidade (Preview) é suportado, pode registar uma loja de dados com o Principal de Serviço para acesso a dados baseados em credenciais. Se nenhuma credencial for guardada com a datastore, o token AAD dos utilizadores será usado no portátil ou no programa python local se ligar diretamente para uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do alvo de computação será utilizada em empregos submetidos pela Experiment.submit para autenticação de acesso a dados. Saber mais aqui

Veja abaixo um exemplo de como registar um Azure Data Lake Gen1 como uma Datastore.


   adlsgen1_datastore_name='adlsgen1datastore'

   store_name=os.getenv("ADL_STORENAME", "<my_datastore_name>") # the ADLS name
   subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of the ADLS
   resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS
   tenant_id=os.getenv("ADL_TENANT", "<my_tenant_id>") # tenant id of service principal
   client_id=os.getenv("ADL_CLIENTID", "<my_client_id>") # client id of service principal
   client_secret=os.getenv("ADL_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

   adls_datastore = Datastore.register_azure_data_lake(
       workspace=ws,
       datastore_name=aslsgen1_datastore_name,
       subscription_id=subscription_id, # subscription id of ADLS account
       resource_group=resource_group, # resource group of ADLS account
       store_name=store_name, # ADLS account name
       tenant_id=tenant_id, # tenant id of service principal
       client_id=client_id, # client id of service principal
       client_secret=client_secret) # the secret of service principal
register_azure_data_lake(workspace, datastore_name, store_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, subscription_id=None, resource_group=None, overwrite=False, grant_workspace_access=False)

Parâmetros

workspace
Workspace

O espaço de trabalho a que pertence esta datastore pertence.

datastore_name
<xref:str>

O nome da loja de dados.

store_name
<xref:str>

O nome da loja ADLS.

tenant_id
<xref:str>, <xref:optional>
valor predefinido: None

O ID do Diretório/ID do Inquilino do diretor de serviço usado para aceder aos dados.

client_id
<xref:str>, <xref:optional>
valor predefinido: None

O ID/ID do Cliente do titular do serviço utilizado para aceder aos dados.

client_secret
<xref:str>, <xref:optional>
valor predefinido: None

O Cliente Segredo do diretor do serviço usado para aceder aos dados.

resource_url
<xref:str>, <xref:optional>
valor predefinido: None

O URL de recurso, que determina quais as operações que serão realizadas na loja Data Lake, se nenhuma, não tem por defeito https://datalake.azure.net/ o que nos permite realizar operações de sistema de ficheiros.

authority_url
<xref:str>, <xref:optional>
valor predefinido: None

O URL de autoridade utilizado para autenticar o utilizador, predefinido a https://login.microsoftonline.com .

subscription_id
<xref:str>, <xref:optional>
valor predefinido: None

O ID da subscrição à loja ADLS pertence.

resource_group
<xref:str>, <xref:optional>
valor predefinido: None

Pertence ao grupo de recursos a que pertence a loja ADLS.

overwrite
<xref:bool>, <xref:optional>
valor predefinido: False

Se deve substituir uma datastore existente. Se a datastore não existir, criará uma. O padrão é falso.

grant_workspace_access
<xref:bool>, <xref:optional>
valor predefinido: False

Incumprimentos ao Falso. Desacei-o a True para aceder a dados por trás da rede virtual a partir do Machine Learning Studio.Isto faz com que o acesso de dados a partir do Machine Learning Studio utilize a identidade gerida pelo espaço de trabalho para a autenticação, e adiciona a identidade gerida pelo espaço de trabalho como Leitor do armazenamento. Tem de ser proprietário ou administrador de acesso ao utilizador do armazenamento para o opt-in. Peça ao seu administrador que o configuure se não tiver a permissão necessária. Saiba mais https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network '

Devoluções

Devolve a Azure Data Lake Datastore.

Tipo de retorno

Observações

Se estiver a anexar o armazenamento de diferentes regiões do que a região do espaço de trabalho, pode resultar em maiores custos de latência e utilização da rede.

Nota

A Azure Data Lake Datastore suporta a transferência de dados e a execução de trabalhos U-Sql usando pipelines de aprendizagem de máquinas Azure.

Também pode usá-lo como fonte de dados para o Azure Machine Learning Dataset que pode ser descarregado ou montado em qualquer computação suportada.

register_azure_data_lake_gen2

Inicialize uma nova Loja de Dados Azure Data Lake Gen2.

O acesso de dados baseado em credenciais (GA) e identidade (Preview) é suportado, pode registar uma loja de dados com o Principal de Serviço para acesso a dados baseados em credenciais. Se nenhuma credencial for guardada com a datastore, o token AAD dos utilizadores será usado no portátil ou no programa python local se ligar diretamente para uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do alvo de computação será utilizada em empregos submetidos pela Experiment.submit para autenticação de acesso a dados. Saber mais aqui

register_azure_data_lake_gen2(workspace, datastore_name, filesystem, account_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, protocol=None, endpoint=None, overwrite=False, subscription_id=None, resource_group=None, grant_workspace_access=False)

Parâmetros

workspace
Workspace

O espaço de trabalho a que pertence esta datastore pertence.

datastore_name
<xref:str>

O nome da loja de dados.

filesystem
<xref:str>

O nome do sistema de ficheiros Data Lake Gen2.

account_name
<xref:str>

O nome da conta de armazenamento.

tenant_id
<xref:str>, <xref:optional>
valor predefinido: None

Identificação do Diretório/Inquilino do diretor de serviço.

client_id
<xref:str>, <xref:optional>
valor predefinido: None

O ID/ID do cliente do principal do serviço.

client_secret
<xref:str>, <xref:optional>
valor predefinido: None

O segredo do diretor do serviço.

resource_url
<xref:str>, <xref:optional>
valor predefinido: None

O URL de recurso, que determina quais as operações que serão realizadas na loja de data lake, é um incumprimento que https://storage.azure.com/ nos permite realizar operações de sistema de ficheiros.

authority_url
<xref:str>, <xref:optional>
valor predefinido: None

O URL de autoridade utilizado para autenticar o utilizador, predefinido a https://login.microsoftonline.com .

protocol
<xref:str>, <xref:optional>
valor predefinido: None

Protocolo a utilizar para ligar ao recipiente blob. Se Nenhum, predefinição em https.

endpoint
<xref:str>, <xref:optional>
valor predefinido: None

O ponto final da conta de armazenamento. Se nenhum, não core.windows.net.

overwrite
<xref:bool>, <xref:optional>
valor predefinido: False

Se deve substituir uma datastore existente. Se a datastore não existir, criará uma. O padrão é falso.

subscription_id
<xref:str>, <xref:optional>
valor predefinido: None

O ID da subscrição à loja ADLS pertence.

resource_group
<xref:str>, <xref:optional>
valor predefinido: None

Pertence ao grupo de recursos a que pertence a loja ADLS.

grant_workspace_access
<xref:bool>, <xref:optional>
valor predefinido: False

Incumprimentos ao Falso. Desacei-o a True para aceder a dados por trás da rede virtual a partir do Machine Learning Studio.Isto faz com que o acesso de dados a partir do Machine Learning Studio utilize a identidade gerida pelo espaço de trabalho para a autenticação, e adiciona a identidade gerida pelo espaço de trabalho como Leitor do armazenamento. Tem de ser proprietário ou administrador de acesso ao utilizador do armazenamento para o opt-in. Peça ao seu administrador que o configuure se não tiver a permissão necessária. Saiba mais https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network '

Devoluções

Devolve a Loja de Dados do Lago de Dados Azure Gen2.

Tipo de retorno

Observações

Se estiver a anexar o armazenamento de diferentes regiões do que a região do espaço de trabalho, pode resultar em maiores custos de latência e utilização da rede.

register_azure_file_share

Registe uma Partilha de Ficheiros Azure na datastore.

Pode optar por utilizar a chave de token SAS ou de armazenamento

register_azure_file_share(workspace, datastore_name, file_share_name, account_name, sas_token=None, account_key=None, protocol=None, endpoint=None, overwrite=False, create_if_not_exists=False, skip_validation=False)

Parâmetros

workspace
Workspace

O espaço de trabalho a que pertence esta datastore pertence.

datastore_name
<xref:str>

O nome da datastore, caso insensível, só pode conter caracteres alfanuméricos e _.

file_share_name
<xref:str>

O nome do recipiente de arquivo azul.

account_name
<xref:str>

O nome da conta de armazenamento.

sas_token
<xref:str>, <xref:optional>
valor predefinido: None

Uma conta SAS token, incumprimento de Nenhum. Para a leitura de dados, exigimos um mínimo de permissões de Lista & Ler para Contentores & Objetos e para a escrita de dados, necessitamos adicionalmente de permissões de Escrever & Adicionar.

account_key
<xref:str>, <xref:optional>
valor predefinido: None

Chaves de acesso da sua conta de armazenamento, predefinições a Nenhuma.

protocol
<xref:str>, <xref:optional>
valor predefinido: None

O protocolo a utilizar para ligar à partilha de ficheiros. Se Nenhum, predefinição em https.

endpoint
<xref:str>, <xref:optional>
valor predefinido: None

O ponto final da partilha do ficheiro. Se nenhum, não core.windows.net.

overwrite
<xref:bool>, <xref:optional>
valor predefinido: False

Se deve substituir uma datastore existente. Se a datastore não existir, criará uma. O padrão é falso.

create_if_not_exists
<xref:bool>, <xref:optional>
valor predefinido: False

Se criar a partilha de ficheiros se não existir. O padrão é falso.

skip_validation
<xref:bool>, <xref:optional>
valor predefinido: False

Se saltar a validação das chaves de armazenamento. O padrão é falso.

Devoluções

A loja de dados do ficheiro.

Tipo de retorno

Observações

Se estiver a anexar o armazenamento de diferentes regiões do que a região do espaço de trabalho, pode resultar em maiores custos de latência e utilização da rede.

register_azure_my_sql

Inicialize uma nova loja de dados Azure MySQL.

A loja de dados MySQL só pode ser usada para criar a DataReference como entrada e saída para dataTransferStep em pipelines de aprendizagem automática Azure. Mais detalhes podem ser encontrados aqui.

Veja abaixo um exemplo de como registar uma base de dados Azure MySQL como datastore.

register_azure_my_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, **kwargs)

Parâmetros

workspace
Workspace

O espaço de trabalho a que pertence esta datastore pertence.

datastore_name
<xref:str>

O nome da loja de dados.

server_name
<xref:str>

O nome do servidor MySQL.

database_name
<xref:str>

O nome da base de dados MySQL.

user_id
<xref:str>

O ID do utilizador do servidor MySQL.

user_password
<xref:str>

A palavra-passe do utilizador do servidor MySQL.

port_number
<xref:str>
valor predefinido: None

O número da porta do servidor MySQL.

endpoint
<xref:str>, <xref:optional>
valor predefinido: None

O ponto final do servidor MySQL. Se nenhum, não mysql.database.azure.com.

overwrite
<xref:bool>, <xref:optional>
valor predefinido: False

Se deve substituir uma datastore existente. Se a datastore não existir, criará uma. O padrão é falso.

Devoluções

Devolve a base de dados MySQL Datastore.

Tipo de retorno

Observações

Se estiver a anexar o armazenamento de diferentes regiões do que a região do espaço de trabalho, pode resultar em maiores custos de latência e utilização da rede.


   mysql_datastore_name="mysqldatastore"
   server_name=os.getenv("MYSQL_SERVERNAME", "<my_server_name>") # FQDN name of the MySQL server
   database_name=os.getenv("MYSQL_DATBASENAME", "<my_database_name>") # Name of the MySQL database
   user_id=os.getenv("MYSQL_USERID", "<my_user_id>") # The User ID of the MySQL server
   user_password=os.getenv("MYSQL_USERPW", "<my_user_password>") # The user password of the MySQL server.

   mysql_datastore = Datastore.register_azure_my_sql(
       workspace=ws,
       datastore_name=mysql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_postgre_sql

Inicialize uma nova loja de dados Azure PostgreSQL.

Veja abaixo um exemplo de como registar uma base de dados Azure PostgreSQL como uma Datastore.

register_azure_postgre_sql(workspace, datastore_name, server_name, database_name, user_id, user_password, port_number=None, endpoint=None, overwrite=False, enforce_ssl=True, **kwargs)

Parâmetros

workspace
Workspace

O espaço de trabalho a que pertence esta datastore pertence.

datastore_name
<xref:str>

O nome da loja de dados.

server_name
<xref:str>

O nome do servidor PostgreSQL.

database_name
<xref:str>

O nome da base de dados PostgreSQL.

user_id
<xref:str>

O ID do utilizador do servidor PostgreSQL.

user_password
<xref:str>

A palavra-passe do utilizador do servidor PostgreSQL.

port_number
<xref:str>
valor predefinido: None

O número de porta do servidor PostgreSQL

endpoint
<xref:str>, <xref:optional>
valor predefinido: None

O ponto final do servidor PostgreSQL. Se nenhum, não postgres.database.azure.com.

overwrite
<xref:bool>, <xref:optional>
valor predefinido: False

Se deve substituir uma datastore existente. Se a datastore não existir, criará uma. O padrão é falso.

enforce_ssl
<xref:bool>
valor predefinido: True

Indica a exigência SSL do servidor PostgreSQL. Incumprimentos para verdadeiro.

Devoluções

Devolve a datas de dados da base de dados PostgreSQL.

Tipo de retorno

Observações

Se estiver a anexar o armazenamento de diferentes regiões do que a região do espaço de trabalho, pode resultar em maiores custos de latência e utilização da rede.


   psql_datastore_name="postgresqldatastore"
   server_name=os.getenv("PSQL_SERVERNAME", "<my_server_name>") # FQDN name of the PostgreSQL server
   database_name=os.getenv("PSQL_DATBASENAME", "<my_database_name>") # Name of the PostgreSQL database
   user_id=os.getenv("PSQL_USERID", "<my_user_id>") # The database user id
   user_password=os.getenv("PSQL_USERPW", "<my_user_password>") # The database user password

   psql_datastore = Datastore.register_azure_postgre_sql(
       workspace=ws,
       datastore_name=psql_datastore_name,
       server_name=server_name,
       database_name=database_name,
       user_id=user_id,
       user_password=user_password)

register_azure_sql_database

Inicialize uma nova base de dados Azure SQL Datastore.

O acesso de dados baseado em credenciais (GA) e identidade (Preview) é suportado, pode optar por utilizar o Nome principal de serviço ou o nome de utilizador + palavra-passe. Se nenhuma credencial for guardada com a datastore, o token AAD dos utilizadores será usado no portátil ou no programa python local se ligar diretamente para uma destas funções: FileDataset.mount FileDataset.download FileDataset.to_path TabularDataset.to_pandas_dataframe TabularDataset.to_dask_dataframe TabularDataset.to_spark_dataframe TabularDataset.to_parquet_files TabularDataset.to_csv_files a identidade do alvo de computação será utilizada em empregos submetidos pela Experiment.submit para autenticação de acesso a dados. Saber mais aqui

Veja abaixo um exemplo de como registar uma base de dados Azure SQL como uma Datastore.

register_azure_sql_database(workspace, datastore_name, server_name, database_name, tenant_id=None, client_id=None, client_secret=None, resource_url=None, authority_url=None, endpoint=None, overwrite=False, username=None, password=None, subscription_id=None, resource_group=None, grant_workspace_access=False, **kwargs)

Parâmetros

workspace
Workspace

O espaço de trabalho a que pertence esta datastore pertence.

datastore_name
<xref:str>

O nome da loja de dados.

server_name
<xref:str>

O nome do servidor SQL. Para o nome de domínio totalmente qualificado como "sample.database.windows.net", o valor server_name deve ser "amostra", e o valor do ponto final deve ser "database.windows.net".

database_name
<xref:str>

O nome da base de dados SQL.

tenant_id
<xref:str>
valor predefinido: None

Identificação do Diretório/Inquilino do diretor de serviço.

client_id
<xref:str>
valor predefinido: None

O ID/ID do cliente do principal do serviço.

client_secret
<xref:str>
valor predefinido: None

O segredo do diretor do serviço.

resource_url
<xref:str>, <xref:optional>
valor predefinido: None

O URL de recurso, que determina quais as operações que serão realizadas na loja de dados SQL, se nenhuma, não tem padrão para https://database.windows.net/ .

authority_url
<xref:str>, <xref:optional>
valor predefinido: None

O URL de autoridade utilizado para autenticar o utilizador, predefinido a https://login.microsoftonline.com .

endpoint
<xref:str>, <xref:optional>
valor predefinido: None

O ponto final do servidor SQL. Se nenhum, não database.windows.net.

overwrite
<xref:bool>, <xref:optional>
valor predefinido: False

Se deve substituir uma datastore existente. Se a datastore não existir, criará uma. O padrão é falso.

username
<xref:str>
valor predefinido: None

O nome de utilizador do utilizador da base de dados para aceder à base de dados.

password
<xref:str>
valor predefinido: None

A palavra-passe do utilizador da base de dados para aceder à base de dados.

skip_validation
<xref:bool>, <xref:optional>
valor predefinido: None

Se não deve ou não validar a ligação à base de dados SQL. Incumprimentos ao Falso.

subscription_id
<xref:str>, <xref:optional>
valor predefinido: None

O ID da subscrição à loja ADLS pertence.

resource_group
<xref:str>, <xref:optional>
valor predefinido: False

Pertence ao grupo de recursos a que pertence a loja ADLS.

grant_workspace_access
<xref:bool>, <xref:optional>

Incumprimentos ao Falso. Desacei-o a True para aceder a dados por trás da rede virtual a partir do Machine Learning Studio.Isto faz com que o acesso de dados a partir do Machine Learning Studio utilize a identidade gerida pelo espaço de trabalho para a autenticação, e adiciona a identidade gerida pelo espaço de trabalho como Leitor do armazenamento. Tem de ser proprietário ou administrador de acesso ao utilizador do armazenamento para o opt-in. Peça ao seu administrador que o configuure se não tiver a permissão necessária. Saiba mais https://docs.microsoft.com/azure/machine-learning/how-to-enable-studio-virtual-network '

Devoluções

Devolve a base de dados SQL Datastore.

Tipo de retorno

Observações

Se estiver a anexar o armazenamento de diferentes regiões do que a região do espaço de trabalho, pode resultar em maiores custos de latência e utilização da rede.


   sql_datastore_name="azuresqldatastore"
   server_name=os.getenv("SQL_SERVERNAME", "<my_server_name>") # Name of the Azure SQL server
   database_name=os.getenv("SQL_DATABASENAME", "<my_database_name>") # Name of the Azure SQL database
   username=os.getenv("SQL_USER_NAME", "<my_sql_user_name>") # The username of the database user.
   password=os.getenv("SQL_USER_PASSWORD", "<my_sql_user_password>") # The password of the database user.

   sql_datastore = Datastore.register_azure_sql_database(
       workspace=ws,
       datastore_name=sql_datastore_name,
       server_name=server_name,  # name should not contain fully qualified domain endpoint
       database_name=database_name,
       username=username,
       password=password,
       endpoint='database.windows.net')

register_dbfs

Inicialize uma nova databricks file system (DBFS).

A loja de dados DBFS só pode ser usada para criar dataReference como entrada e PipelineData como saída para databricksStep em pipelines Azure Machine Learning. Mais detalhes podem ser encontrados aqui.

register_dbfs(workspace, datastore_name)

Parâmetros

workspace
Workspace

O espaço de trabalho a que pertence esta datastore pertence.

datastore_name
<xref:str>

O nome da loja de dados.

Devoluções

Devolve a Loja de Dados DBFS.

Tipo de retorno

Observações

Se estiver a anexar o armazenamento de diferentes regiões do que a região do espaço de trabalho, pode resultar em maiores custos de latência e utilização da rede.

set_as_default

Desa estada de dados predefinidos.

set_as_default()

Parâmetros

datastore_name
<xref:str>

O nome da loja de dados.

unregister

Desagrega a datastore. o serviço de armazenamento subjacente não será eliminado.

unregister()