Dati sulla sicurezza New York

Articolo
04/16/2024

Tutte le richieste di assistenza del numero 311 della città di New York dal 2010 a oggi.

Nota

Microsoft fornisce set di dati aperti di Azure "così come sono". Microsoft non offre alcuna garanzia o condizione esplicita o implicita relativamente all'uso dei set di dati da parte dell'utente. Nella misura massima consentita dalle leggi locali, Microsoft non riconosce alcuna responsabilità relativamente a danni o perdite commerciali, inclusi i danni diretti, consequenziali, speciali, indiretti, incidentali o punitivi derivanti dall'uso dei set di dati da parte dell'utente.

Questo set di dati viene fornito in conformità con le condizioni originali in base alle quali Microsoft ha ricevuto i dati di origine. Il set di dati potrebbe includere dati provenienti da Microsoft.

Volume e conservazione

Il set di dati viene archiviato nel formato Parquet. Viene aggiornato ogni giorno e contiene circa 12 milioni di righe (500 MB) in totale a partire dal 2019.

Questo set di dati include record cronologici accumulati dal 2010 a oggi. Puoi usare le impostazioni dei parametri nell'SDK per recuperare i dati entro un intervallo di tempo specifico.

Posizione di archiviazione

Questo set di dati è archiviato nell'area Stati Uniti orientali di Azure. L'allocazione delle risorse di calcolo nell'area Stati Uniti orientali è consigliata per motivi di affinità.

Informazioni aggiuntive

Questo set di dati è fornito dal governo di New York City. Per altre informazioni, vedere il sito Web della Città di New York. Vedere le condizioni di questo set di dati.

Colonne

Nome	Tipo di dati	Unica	Valori (esempio)	Descrizione
address	string	1.536.593	655 EAST 230 STREET 78-15 PARSONS BOULEVARD	Numero civico dell'indirizzo dell'evento fornito dal richiedente.
category	string	446	Noise - Residential HEAT/HOT WATER	Si tratta del primo livello di una gerarchia che identifica l'argomento dell'evento imprevisto o della condizione (tipo di reclamo). Potrebbe avere una sottocategoria corrispondente (descrittore) o potrebbe essere una categoria autonoma.
dataSubtype	string	1	311_All	"311_All"
dataType	string	1	Sicurezza	"Sicurezza"
dateTime	timestamp	17,332,609	2013-01-24 00:00:00 2015-01-08 00:00:00	Data di creazione della richiesta di assistenza.
latitude	double	1,513,691	40.89187241649303 40.72195913199264	Latitudine basata su indicazione geografica della posizione dell'evento.
longitude	double	1,513,713	-73.86016845296459 -73.80969682426189	Longitudine basata su indicazione geografica della posizione dell'evento.
stato	string	13	Closed Pending	Stato della richiesta di assistenza inviata.
sottocategoria	string	1,716	Loud Music/Party ENTIRE BUILDING	Questa sottocategoria è associata alla categoria (tipo di reclamo) e fornisce altri dettagli sull'evento o sulla condizione. I rispettivi valori dipendono dal tipo di reclamo e non sono sempre necessari nella richiesta di assistenza.

Anteprima

dataType	dataSubtype	dateTime	category	sottocategoria	stato	address	latitude	longitude	source
Sicurezza	311_All	4/25/2021 2:05:05 AM	Noise - Street/Sidewalk	Loud Music/Party	In corso	2766 BATH AVENUE	40.5906129741766	-73.9847949011337	Null
Sicurezza	311_All	4/25/2021 2:04:33 AM	Noise - Commercial	Loud Music/Party	In corso	1033 WEBSTER AVENUE	40.8285784533256	-73.9117746958432	Null
Sicurezza	311_All	4/25/2021 2:04:27 AM	Noise - Residential	Loud Music/Party	In corso	620 WEST 141 STREET	40.8241726554395	-73.9530069547366	Null
Sicurezza	311_All	4/25/2021 2:04:04 AM	Noise - Residential	Loud Music/Party	In corso	1647 64 STREET	40.6218907202382	-73.9931125332078	Null
Sicurezza	311_All	4/25/2021 2:04:01 AM	Noise - Residential	Loud Music/Party	In corso	30 LENOX AVENUE	40.7991622274945	-73.9517496365803	Null
Sicurezza	311_All	4/25/2021 2:03:40 AM	Illegal Parking	Double Parked Blocking Traffic	In corso	304 WEST 148 STREET	40.8248229687124	-73.940696262361	Null
Sicurezza	311_All	4/25/2021 2:03:31 AM	Noise - Street/Sidewalk	Loud Music/Party	In corso	ADEE AVENUE	40.8708386263454	-73.8382363208686	Null
Sicurezza	311_All	4/25/2021 2:03:18 AM	Noise - Residential	Loud Music/Party	In corso	340 EVERGREEN AVENUE	40.6947512704197	-73.9248330229197	Null
Sicurezza	311_All	4/25/2021 2:03:13 AM	Noise - Residential	Banging/Pounding	In corso	25 REMSEN STREET	40.6948938116483	-73.9973494607802	Null

Accesso ai dati

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=SanFrancisco"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Esempi

Vedere l'esempio City Safety Analytics su GitHub.

Passaggi successivi

Visualizzare il resto dei set di dati nel catalogo di set di dati aperti.