Руководство. Создание записной книжки Jupyter для анализа данных в учетной записи Azure Cosmos DB для NoSQL с помощью записных книжек Jupyter Для Visual Studio Code

Статья
10/18/2023

ОБЛАСТЬ ПРИМЕНЕНИЯ: NoSQL

В этом руководстве описывается, как использовать записные книжки Jupyter Для Visual Studio Code для взаимодействия с учетной записью Azure Cosmos DB для NoSQL. Вы увидите, как подключиться к учетной записи, импортировать данные и выполнять запросы.

Существующая учетная запись Azure Cosmos DB для NoSQL.
- Если у вас есть подписка Azure, создайте новую учетную запись.
- Нет подписки Azure? Вы можете попробовать Azure Cosmos DB бесплатно без кредитных карта.
Установите Visual Studio Code и настройте среду для использования записных книжек.

Создание записной книжки

В этом разделе описано, как создать базу данных Azure Cosmos, контейнер и импортировать данные розничной торговли в контейнер.

Python
C#

Откройте Visual Studio Code.
Выполните команду Create: New Jupyter Notebook из палитры команд (CTRL+SHIFT+P) или создайте новый IPYNB-файл в рабочей области.

Совет

Теперь, когда была создана новая записная книжка, ее можно сохранить и присвоить ему имя, например AnalyzeRetailData.ipynb.

Создание базы данных и контейнера с помощью пакета SDK

Python
C#

Начните с ячейки кода по умолчанию.
Установите пакет Azure.cosmos. Запустите эту ячейку перед продолжением.
```
%pip install azure.cosmos
```

Импортируйте все пакеты, необходимые для этого руководства.

import azure.cosmos
from azure.cosmos.partition_key import PartitionKey
from azure.cosmos import CosmosClient

Создайте новый экземпляр CosmosClient.

endpoint = "<FILL ME>"
key = "<FILL ME>"
cosmos_client = CosmosClient(url=endpoint, credential=key)

Создайте базу данных с именем RetailIngest с помощью встроенного пакета SDK.
```
database = cosmos_client.create_database_if_not_exists('RetailIngest')
```

Создайте контейнер с именем WebsiteMetrics с ключом секции /CartID.

container = database.create_container_if_not_exists(id='WebsiteMetrics', partition_key=PartitionKey(path='/CartID'))

Выберите "Выполнить" , чтобы создать базу данных и ресурс контейнера.

Начните с ячейки кода по умолчанию.
Установите пакет NuGet Microsoft.Azure.Cosmos. Запустите эту ячейку перед продолжением.
```
#r "nuget: Microsoft.Azure.Cosmos"
```
Создайте новую ячейку кода.
Импортируйте все пакеты, необходимые для этого руководства.
```
using Microsoft.Azure.Cosmos;
```
Создайте новый экземпляр типа клиента с помощью встроенного пакета SDK. Заполните конечную точку URI и ключ учетной записи Azure Cosmos DB. Эти значения можно найти на странице "Ключи" в учетной записи Azure Cosmos DB.
```
var endpoint = "<FILL ME>";
var key = "<FILL ME>";

var cosmosClient = new CosmosClient(Cosmos.Endpoint, Cosmos.Key);
```

Создайте базу данных с именем RetailIngest.

Database database = await cosmosClient.CreateDatabaseIfNotExistsAsync("RetailIngest");

Создайте контейнер с именем WebsiteMetrics с ключом секции /CartID.
```
Container container = await database.CreateContainerIfNotExistsAsync("WebsiteMetrics", "/CartID");
```
Выберите "Выполнить ячейку ", чтобы создать базу данных и ресурс контейнера.

Импорт данных в контейнер

Python
C#

Добавление новой ячейки кода

В ячейке кода добавьте следующий код для отправки данных из этого URL-адреса: https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json

    import urllib.request
    import json

    with urllib.request.urlopen("https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json") as url:
        docs = json.loads(url.read().decode())

    for doc in docs:
        container.upsert_item(doc)

Запустите ячейку. Это займет 45 секунд до 1 минуты.

Добавьте новую ячейку кода.

В ячейке кода создайте класс C# для представления элемента в контейнере. Запустите ячейку.

public class Record
{
  public string id { get; set; }
  public int CartID { get; set; }
  public string Action { get; set; }
  public decimal Price { get; set; }
  public string Country { get; set; }
  public string Item { get; set; }
}

Добавьте новую ячейку кода.

using System.Net.Http;
using System.Text.Json;
using System.IO;

var dataURL = "https://cosmosnotebooksdata.blob.core.windows.net/notebookdata/websiteData.json";
var jsonData = new HttpClient().GetStringAsync(dataURL).Result;

Record[] result = JsonSerializer.Deserialize<Record[]>(jsonData);

foreach (Record record in result) {
    await container.UpsertItemAsync<Record>(record, new PartitionKey(record.CartID)); //43 seconds
}

Запустите ячейку. Это займет 45 секунд до 1 минуты.

Анализ данных

Python
C#

Создайте другую ячейку кода.

В ячейке кода используйте SQL-запрос для заполнения кадра данных Pandas. Выполните код в этой ячейке.

import pandas as pd
from pandas import DataFrame

QUERY = "SELECT c.Action, c.Price as ItemRevenue, c.Country, c.Item FROM c"
results = container.query_items(
    query=QUERY, enable_cross_partition_query=True
)

df_cosmos = pd.DataFrame(results)

Создайте другую ячейку кода.
В ячейке кода выводится 10 элементов из кадра данных. Выполните код в этой ячейке.
```
df_cosmos.head(10)
```

Просмотрите выходные данные выполнения команды.

	Действие	ItemRevenue	Страна/регион	Позиция
0	Куплено	£9,99	Македония	Кнопка вверх рубашка
1	Просмотрено	12,00	Папуа — Новая Гвинея	Ожерелье
2	Просмотрено	25,00	Словакия (Словацкая Республика)	Кардиган Свитер
3	Куплено	14.00	Сенегал	Шлепанцы
4	Просмотрено	50.00	Панама	Деним Шорты
5	Просмотрено	14.00	Сенегал	Шлепанцы
6	Добавлено	14.00	Сенегал	Шлепанцы
7	Добавлено	50.00	Панама	Деним Шорты
8	Куплено	33,00	Палестинские территории	Красный топ
9	Просмотрено	30.00	Мальта	Зеленый свитер

Создайте другую ячейку кода.
В ячейке кода импортируйте пакет Pandas , чтобы настроить выходные данные кадра данных. Выполните код в этой ячейке.
```
import pandas as pd    
df_cosmos.groupby("Item").size().reset_index()
```
Просмотрите выходные данные выполнения команды.

Позиция Тест

0 Шлепанцы 66

1 Ожерелье 55

2 Кроссовки 111

... ... ...

45 Куртка ветрозащиты 56

	Позиция	Тест
0	Шлепанцы	66
1	Ожерелье	55
2	Кроссовки	111
...	...	...
45	Куртка ветрозащиты	56

Создайте новую ячейку кода.

В ячейке кода добавьте код для выполнения SQL-запроса с помощью пакета SDK, в котором хранятся выходные данные запроса в переменной именованных результатов типаList<T>.

using System.Collections.Generic;

var query = new QueryDefinition(
    query: "SELECT c.Action, c.Price, c.Country, c.Item FROM c"
);

FeedIterator<Record> feed = container.GetItemQueryIterator<Record>(
    queryDefinition: query
);

var results = new List<Record>();
while (feed.HasMoreResults)
{
    FeedResponse<Record> response = await feed.ReadNextAsync();
    foreach (Record result in response)
    {
        results.Add(result);
    }
}

Создайте другую ячейку кода.
В ячейке кода создайте словарь, добавив уникальные перемутации поля Item в качестве ключа и сумму поля Price в качестве значения. Это дает общее количество продаж для каждого элемента. Выполните код в этой ячейке.
```
var dictionary = new Dictionary<string, decimal>();

foreach(var result in results)
{
    if (dictionary.ContainsKey(result.Item)) {
        dictionary[result.Item] += result.Price;
    }
    else {
        dictionary.TryAdd (result.Item, result.Price); 

    }
}

dictionary
```
Просмотрите выходные данные с уникальными сочетаниями полей Item и Price .
```
...
Black Tee: 603
Flannel Shirt: 1199.40
Socks: 210.00
Rainjacket: 2695
...
```