New York City Sejf ty Data

Článek
12/06/2023

Všechny žádosti o služby 311 v New Yorku od roku 2010 až do současnosti.

Poznámka:

Microsoft poskytuje datové sady Azure Open Datasets na bázi "tak, jak je". Společnost Microsoft neposkytuje žádné záruky, výslovné ani předpokládané záruky ani podmínky týkající se vašeho používání datových sad. V rozsahu povoleném vaším místním zákonem společnost Microsoft odmítá veškerou odpovědnost za případné škody nebo ztráty, včetně přímých, následných, zvláštních, nepřímých, náhodných nebo represivních, vyplývajících z vašeho používání datových sad.

Na tuto datovou sadu se vztahují původní podmínky, které Microsoft přijal se zdrojovými daty. Datová sada může obsahovat data pocházející z Microsoftu.

Objem a uchovávání

Tato datová sada se uchovává ve formátu Parquet. Aktualizuje se každý den a k roku 2019 obsahuje celkem přibližně 12M řádků (500 MB).

Tato datová sada obsahuje historické záznamy shromážděné od roku 2010 až do současnosti. Pomocí nastavení parametrů v naší sadě SDK můžete načíst data v určitém časovém rozsahu.

Umístění úložiště

Tato datová sada se uchovává v oblasti Azure Východní USA. Kvůli přidružení se doporučuje přidělovat výpočetní prostředky v oblasti Východní USA.

Další informace

Tato datová sada je zdrojem z newyorské vlády, kde najdete další informace na webu City of New York. Podívejte se na termíny této datové sady.

Sloupce

Name	Datový typ	Jedinečný	Values (sample)	Popis
adresa	string	1,536,593	655 EAST 230 STREET 78-15 PARSONS BOULEVARD	Číslo domu na adrese incidentu uvedené odesílatelem
category	string	446	Hluk - Domácí teplo/horká voda	Toto je první úroveň hierarchie identifikující téma incidentu nebo podmínky (typ stížnosti). Může mít odpovídající podkategorii (Popisovač) nebo může zůstat samostatně.
dataSubtype	string	0	311_All	"311_All"
Datatype	string	0	Bezpečnost	"Sejf ty"
data a času.	časové razítko	17,332,609	2013-01-24 00:00:00 2015-01-08 00:00:00	Datum vytvoření žádosti o služby
zeměpisná šířka	double	1,513,691	40.89187241649303 40.72195913199264	Zeměpisná šířka místa incidentu
longitude	double	1,513,713	-73.86016845296459 -73.80969682426189	Zeměpisná délka místa incidentu
stav	string	13	Uzavřeno čeká na vyřízení	Stav odeslané žádosti o služby
Podkategorie	string	1,716	Hlasitá hudba / Oslava CELÁ BUDOVA	Tento sloupec je přidružený ke kategorii (Typ stížnosti) a obsahuje další podrobnosti o incidentu nebo podmínce. Jeho hodnoty závisí na typu stížnosti a ne vždy se v žádostech o služby vyžadují.

Ukázková

Datatype	dataSubtype	data a času.	category	Podkategorie	stav	adresa	zeměpisná šířka	longitude	zdroj
Bezpečnost	311_All	25.4.2021 2:05:05	Hluk - ulice/chodník	Hlasitá hudba/párty	Probíhající	2766 BATH AVENUE	40.5906129741766	-73.9847949011337	null
Bezpečnost	311_All	25.4.2021 2:04:33	Šum - Komerční	Hlasitá hudba/párty	Probíhající	1033 WEBSTER AVENUE	40.8285784533256	-73.9117746958432	null
Bezpečnost	311_All	25.4.2021 2:04:27	Hluk - Bydlení	Hlasitá hudba/párty	Probíhající	620 ZÁPAD 141 ULICE	40.8241726554395	-73.9530069547366	null
Bezpečnost	311_All	25.4.2021 2:04:04	Hluk - Bydlení	Hlasitá hudba/párty	Probíhající	1647 64 ULICE	40.6218907202382	-73.9931125332078	null
Bezpečnost	311_All	25.4.2021 2:04:01	Hluk - Bydlení	Hlasitá hudba/párty	Probíhající	30 LENOX AVENUE	40.7991622274945	-73.9517496365803	null
Bezpečnost	311_All	25.4.2021 2:03:40	Neplatné parkování	Dvojitě parkovaný provoz blokující provoz	Probíhající	304 ZÁPAD 148 ULICE	40.8248229687124	-73.940696262361	null
Bezpečnost	311_All	4.25.2021 2:03:31	Hluk - ulice/chodník	Hlasitá hudba/párty	Probíhající	ADEE AVENUE	40.8708386263454	-73.8382363208686	null
Bezpečnost	311_All	25.4.2021 2:03:18	Hluk - Bydlení	Hlasitá hudba/párty	Probíhající	340 EVERGREEN AVENUE	40.6947512704197	-73.9248330229197	null
Bezpečnost	311_All	25.4.2021 2:03:13	Hluk - Bydlení	Bouchání /bušení	Probíhající	25 ULICE REMSEN	40.6948938116483	-73.9973494607802	null

Přístup k datům

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=SanFrancisco"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

# This is a package in preview.
from azureml.opendatasets import SanFranciscoSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = SanFranciscoSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

# Display top 5 rows
display(safety.limit(5))

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=SanFrancisco"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Příklady

Podívejte se na příklad Analýzy města Sejf ty na GitHubu.

Další kroky

Prohlédněte si zbývající datové sady v katalogu Open Datasets.