New York City Safety Data (Данные о безопасности в Нью-Йорке)

Статья
12/06/2023

Все запросы в службу 311 города Нью-Йорка с 2010 г. до текущего момента.

Примечание.

Корпорация Майкрософт предоставляет Открытые наборы данных Azure как есть. Корпорация Майкрософт не предоставляет никаких гарантий (явных или подразумеваемых) и не определяет никаких условий в связи с использованием этих наборов данных. В рамках, допускаемых местным законодательством, корпорация Майкрософт отказывается от ответственности за ущерб и убытки (в том числе прямые, косвенные, специальные, опосредованные, случайные и штрафные), понесенные в результате использования вами этих наборов данных.

Этот набор данных предоставляется на тех же условиях, на которых корпорация Майкрософт получила исходные данные. Этот набор может включать данные, полученные от корпорации Майкрософт.

Объем данных и их хранение

Этот набор данных хранится в формате Parquet. Он ежедневно обновляется и по состоянию на 2019 г. содержит около 12 млн строк (500 МБ).

Этот набор данных содержит архивные записи, собранные с 2010 года по сегодняшний день. Вы можете использовать параметры из нашего пакета SDK, чтобы получить данные за определенный диапазон времени.

Расположение хранилища

Этот набор данных хранится в регионе Azure "Восточная часть США". Для обеспечения приближенности рекомендуется выделять вычислительные ресурсы в регионе "Восточная часть США".

Дополнительная информация:

Источником этого набора данных являются государственные организации Нью-Йорка. Дополнительные сведения см. на веб-сайте города Нью-Йорка. Ознакомьтесь с условиями использования этого набора данных.

Столбцы

Имя.	Тип данных	Уникальный	Значения (пример)	Description
address	строка	1 536 593	655 EAST 230 STREET 78-15 PARSONS BOULEVARD	Указанный отправителем сообщения номер дома по адресу, где произошел инцидент.
Категория	строка	446	Шум — ТЕПЛО- И ВОДОПРОВОД в жилых домах	Это первый уровень иерархии, определяющий тему инцидента или состояния (тип заявления). У этого параметра может быть соответствующая подкатегория (дескриптор).
dataSubtype	строка	1	311_All	“311_All”
dataType	строка	1	Безопасность	“Безопасность”
dateTime	TIMESTAMP	17 332 609	2013-01-24 00:00:00 2015-01-08 00:00:00	Дата вызова.
широта	двойной точности	1 513 691	40.89187241649303 40.72195913199264	Географическая широта места происшествия.
долгота	двойной точности	1 513 713	-73.86016845296459 -73.80969682426189	Географическая долгота места происшествия.
статус	строка	13	Закрыто, в ожидании	Состояние вызова.
подкатегория	строка	1716	Громкая музыка или вечеринка, ВСЕ ЗДАНИЕ	Столбец связан с категорией (типом заявления) и обеспечивает дополнительные сведения об инциденте и состоянии. Его значения зависят от типа заявления. Их не всегда требуется указывать в запросе на обслуживание.

Предварительная версия

dataType	dataSubtype	dateTime	Категория	подкатегория	статус	address	широта	долгота	source
Безопасность	311_All	4/25/2021 2:05:05 AM	Шум — улица или тротуар	Громкая музыка или вечеринка	Выполняется	2766 BATH AVENUE	40.5906129741766	-73.9847949011337	null
Безопасность	311_All	4/25/2021 2:04:33 AM	Шум — коммерческое помещение	Громкая музыка или вечеринка	Выполняется	1033 WEBSTER AVENUE	40.8285784533256	-73.9117746958432	null
Безопасность	311_All	4/25/2021 2:04:27 AM	Шум — жилые здания	Громкая музыка или вечеринка	Выполняется	620 WEST 141 STREET	40.8241726554395	-73.9530069547366	null
Безопасность	311_All	4/25/2021 2:04:04 AM	Шум — жилые здания	Громкая музыка или вечеринка	Выполняется	1647 64 STREET	40.6218907202382	-73.9931125332078	null
Безопасность	311_All	4/25/2021 2:04:01 AM	Шум — жилые здания	Громкая музыка или вечеринка	Выполняется	30 LENOX AVENUE	40.7991622274945	-73.9517496365803	null
Безопасность	311_All	4/25/2021 2:03:40 AM	Нарушение правил парковки	Парковка вторым рядом, заблокировано движение	Выполняется	304 WEST 148 STREET	40.8248229687124	-73.940696262361	null
Безопасность	311_All	4/25/2021 2:03:31 AM	Шум — улица или тротуар	Громкая музыка или вечеринка	Выполняется	ADEE AVENUE	40.8708386263454	-73.8382363208686	null
Безопасность	311_All	4/25/2021 2:03:18 AM	Шум — жилые здания	Громкая музыка или вечеринка	Выполняется	340 EVERGREEN AVENUE	40.6947512704197	-73.9248330229197	null
Безопасность	311_All	4/25/2021 2:03:13 AM	Шум — жилые здания	Грохот, громкие звуки	Выполняется	25 REMSEN STREET	40.6948938116483	-73.9973494607802	null

Доступ к данным

Записные книжки Azure

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=SanFrancisco"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Примеры

См. пример анализа безопасности City на GitHub.

Следующие шаги

Ознакомьтесь с другими наборами в каталоге Открытых наборов данных.