Dados de segurança da cidade de Nova Iorque

Todos os pedidos de emergência de 311 de Nova Iorque desde 2010 até hoje.

Nota

A Microsoft fornece os Conjuntos de Dados Abertos do Azure "no estado em que se encontram". A Microsoft não oferece garantias, expressas ou implícitas, garantias ou condições em relação ao seu uso dos conjuntos de dados. Na medida permitida pela legislação local, a Microsoft se isenta de qualquer responsabilidade por quaisquer danos ou perdas, incluindo diretos, consequenciais, especiais, indiretos, incidentais ou punitivos, resultantes do uso dos conjuntos de dados por parte do cliente.

Este conjunto de dados é disponibilizado de acordo com os termos originais em que a Microsoft recebeu os dados de origem. O conjunto de dados pode incluir dados obtidos junto da Microsoft.

Volume e retenção

Este conjunto de dados é armazenado no formato Parquet. É atualizado diariamente e contém cerca de 12 milhões de linhas (500 MB) no total a partir de 2019.

Este conjunto de dados contém registos históricos acumulados desde 2010 até ao presente. Pode utilizar as definições de parâmetros no nosso SDK para obter os dados num intervalo de tempo específico.

Localização do armazenamento

Este conjunto de dados é armazenado na região do Azure E.U.A. Leste. A alocação de recursos de computação nos E.U.A. Leste é recomendada por questões de afinidade.

Informações adicionais

Este conjunto de dados é proveniente do governo da cidade de Nova York, para obter mais informações, consulte o site da cidade de Nova York. Consulte os termos deste conjunto de dados.

Colunas

Name	Tipo de dados	Exclusivo	Values (sample)	Description
Endereço	string	1,536,593	655 LESTE 230 STREET 78-15 PARSONS BOULEVARD	Número de porta da morada do incidente indicado pelo autor.
category	string	446	Ruído - Residencial CALOR/ÁGUA QUENTE	Este é o primeiro nível de uma hierarquia que identifica o tópico do incidente ou condição (Tipo de Reclamação). Pode ter uma subcategoria (Descritor) correspondente ou ser único.
subtipo de dados	string	1	311_All	"311_All"
Tipo de dados	string	1	Segurança	"Segurança"
dateTime	carimbo de data/hora	17,332,609	2013-01-24 00:00:00 2015-01-08 00:00:00	A data em que o Pedido de Emergência foi criado.
latitude	duplo	1,513,691	40.89187241649303 40.72195913199264	Latitude baseada na geografia da localização do incidente.
longitude	duplo	1,513,713	-73.86016845296459 -73.80969682426189	Longitude baseada na geografia da localização do incidente.
estado	string	13	Pendente Fechado	Estado do Pedido de Emergência submetido.
Subcategoria	string	1,716	Música alta/festa TODO o EDIFÍCIO	Está associada à categoria (Complaint Type [Tipo de Queixa]) e mostra mais detalhes sobre o incidente ou o estado. Os respetivos valores dependem de Complaint Type e nem sempre são necessários no Pedido de Reparação.

Pré-visualizar

Tipo de dados	subtipo de dados	dateTime	category	Subcategoria	estado	Endereço	latitude	longitude	origem	extendedPropriedades
Segurança	311_All	25/04/2021 02:05:05	Ruído - Rua/Calçada	Música alta/Festa	Em Curso	2766 AVENIDA DO BANHO	40.5906129741766	-73.9847949011337	nulo
Segurança	311_All	25/04/2021 02:04:33	Ruído - Comercial	Música alta/Festa	Em Curso	AVENIDA WEBSTER, 1033	40.8285784533256	-73.9117746958432	nulo
Segurança	311_All	25/04/2021 02:04:27	Ruído - Residencial	Música alta/Festa	Em Curso	620 WEST 141 RUA	40.8241726554395	-73.9530069547366	nulo
Segurança	311_All	25/04/2021 02:04:04	Ruído - Residencial	Música alta/Festa	Em Curso	1647 64 RUA	40.6218907202382	-73.9931125332078	nulo
Segurança	311_All	25/04/2021 02:04:01	Ruído - Residencial	Música alta/Festa	Em Curso	AVENIDA LENOX 30	40.7991622274945	-73.9517496365803	nulo
Segurança	311_All	25/04/2021 02:03:40	Estacionamento ilegal	Estacionamento duplo bloqueando o tráfego	Em Curso	304 WEST 148 RUA	40.8248229687124	-73.940696262361	nulo
Segurança	311_All	25/04/2021 02:03:31	Ruído - Rua/Calçada	Música alta/Festa	Em Curso	AVENIDA ADEE	40.8708386263454	-73.8382363208686	nulo
Segurança	311_All	25/04/2021 02:03:18	Ruído - Residencial	Música alta/Festa	Em Curso	AVENIDA EVERGREEN, 340	40.6947512704197	-73.9248330229197	nulo
Segurança	311_All	25/04/2021 02:03:13	Ruído - Residencial	Banging/Bater	Em Curso	RUA REMSEN, 25	40.6948938116483	-73.9973494607802	nulo

Acesso a dados

Azure Notebooks

Azureml-OpenDataSets

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

azure-storage

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=SanFrancisco"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Pyspark

Amostra não disponível para esta combinação de plataforma/pacote.

Azure Databricks

Azureml-OpenDataSets

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

azure-storage

Amostra não disponível para esta combinação de plataforma/pacote.

Pyspark

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

Azureml-OpenDataSets

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

azure-storage

Amostra não disponível para esta combinação de plataforma/pacote.

Pyspark

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Exemplos

• Veja o exemplo do City Safety Analytics no GitHub.

Próximos passos

Exiba o restante dos conjuntos de dados no catálogo Open Datasets.