Boston Safety Data

[アーティクル]
12/06/2023

ボストン市に報告された 311 コール。

BOS:311 の詳細については、こちらのリンク先をご覧ください。

注意

Microsoft は、Azure Open Datasets を "現状有姿" で提供します。 Microsoft は、データセットの使用に関して、明示または黙示を問わず、いかなる保証も行わないものとし、条件を定めることもありません。現地の法律の下で認められている範囲内で、Microsoft は、データセットの使用に起因する、直接的、派生的、特別、間接的、偶発的、または懲罰的なものを含めたいかなる損害または損失に対しても一切の責任を負わないものとします。

このデータセットは、Microsoft がソースデータを受け取った元の条件に基づいて提供されます。データセットには、Microsoft が提供するデータが含まれている場合があります。

ボリュームとデータ保持期間

このデータセットは Parquet 形式で保存されています。毎日更新されており、2019 年時点で合計約 10 万行 (10 MB) が含まれています。

このデータセットには、2011 年から現在までに蓄積された過去の記録が含まれます。 SDK でパラメーター設定を使用して、特定の時間範囲内のデータをフェッチできます。

保存先

このデータセットは、米国東部 Azure リージョンに保存されています。アフィニティのために、米国東部でコンピューティングリソースを割り当てることをお勧めします。

追加情報

このデータセットはボストン市政府から提供されています。詳細については、ボストンのデータセットサイトを参照してください。データセットのライセンスについては、Open Data Commons Public Domain と License (ODC PDDL) を参照してください。

[列]

Name	データ型	一意	値 (サンプル)	説明
address	string	140,612	" " 1 City Hall Plz Boston MA 02108	場所。
category	string	54	Street Cleaning Sanitation	サービス要求の理由。
dataSubtype	string	1	311_All	"311_All"
dataType	string	1	安全性	"Safety"
dateTime	timestamp	1,529,075	2015-07-23 10:51:00 2015-07-23 10:47:00	サービス要求を開いた日時。
緯度 (latitude)	double	1,622	42.3594 42.3603	これは緯度値です。緯線は赤道に平行です。
経度 (longitude)	double	1,806	-71.0587 -71.0583	これは経度値です。経線は緯線に垂直に走り、すべて両極を通ります。
ソース	string	7	Constituent Call Citizens Connect App	ケースの元のソース。
status	string	2	Closed Open	ケースの状態。
subcategory	string	209	Parking Enforcement Requests for Street Cleaning	サービス要求の種類。

プレビュー

ataType	dataSubtype	dateTime	category	subcategory	status	address	緯度 (latitude)	経度 (longitude)	source
安全性	311_All	4/27/2021 11:45:49 PM	Enforcement & Abandoned Vehicles	Parking Enforcement	[ファイル]	51 Gardner St Allston MA 02134	42.3535	-71.1285	Citizens Connect App
安全性	311_All	4/27/2021 11:43:43 PM	Sanitation	Missed Trash/Recycling/Yard Waste/Bulk Item	[ファイル]	4 putnam Pl Roxbury MA 02119	42.3298	-71.0883	Self Service
安全性	311_All	4/27/2021 11:37:19 PM	Enforcement & Abandoned Vehicles	Parking Enforcement	[ファイル]	36 Raven St Dorchester MA 02125	42.3177	-71.0546	Citizens Connect App
安全性	311_All	4/27/2021 11:30:00 PM	Sanitation	Missed Trash/Recycling/Yard Waste/Bulk Item	[ファイル]	58 Bicknell St Dorchester MA 02121	42.2984	-71.0834	Constituent Call
安全性	311_All	4/27/2021 11:10:20 PM	Enforcement & Abandoned Vehicles	Parking Enforcement	[ファイル]	2000 Commonwealth Ave Brighton MA 02135	42.3394	-71.1585	Citizens Connect App
安全性	311_All	4/27/2021 11:06:00 PM	Noise Disturbance	Loud Parties/Music/People	始	INTERSECTION of Lewis St & North St Boston MA	42.3594	-71.0587	Constituent Call
安全性	311_All	4/27/2021 11:05:00 PM	Enforcement & Abandoned Vehicles	Parking Enforcement	[ファイル]	1 Nassau St Boston MA 02111	42.3486	-71.0629	Constituent Call
安全性	311_All	4/27/2021 11:00:55 PM	Code Enforcement	Poor Conditions of Property	[ファイル]	17 Mercer St South Boston MA 02127	42.3332	-71.0492	Citizens Connect App

データアクセス

Azure Notebooks

# This is a package in preview.
from azureml.opendatasets import BostonSafety

from datetime import datetime
from dateutil import parser

end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = BostonSafety(start_date=start_date, end_date=end_date)
safety = safety.to_pandas_dataframe()

safety.info()

# Pip install packages
import os, sys

!{sys.executable} -m pip install azure-storage-blob
!{sys.executable} -m pip install pyarrow
!{sys.executable} -m pip install pandas

# Azure storage access info
azure_storage_account_name = "azureopendatastorage"
azure_storage_sas_token = r""
container_name = "citydatacontainer"
folder_name = "Safety/Release/city=Boston"

from azure.storage.blob import BlockBlobServicefrom azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient

if azure_storage_account_name is None or azure_storage_sas_token is None:
    raise Exception(
        "Provide your specific name and key for your Azure Storage account--see the Prerequisites section earlier.")

print('Looking for the first parquet under the folder ' +
      folder_name + ' in container "' + container_name + '"...')
container_url = f"https://{azure_storage_account_name}.blob.core.windows.net/"
blob_service_client = BlobServiceClient(
    container_url, azure_storage_sas_token if azure_storage_sas_token else None)

container_client = blob_service_client.get_container_client(container_name)
blobs = container_client.list_blobs(folder_name)
sorted_blobs = sorted(list(blobs), key=lambda e: e.name, reverse=True)
targetBlobName = ''
for blob in sorted_blobs:
    if blob.name.startswith(folder_name) and blob.name.endswith('.parquet'):
        targetBlobName = blob.name
        break

print('Target blob to download: ' + targetBlobName)
_, filename = os.path.split(targetBlobName)
blob_client = container_client.get_blob_client(targetBlobName)
with open(filename, 'wb') as local_file:
    blob_client.download_blob().download_to_stream(local_file)

# Read the parquet file into Pandas data frame
import pandas as pd

print('Reading the parquet file into Pandas data frame')
df = pd.read_parquet(filename)

# you can add your filter at below
print('Loaded as a Pandas data frame: ')
df

Azure Databricks

# This is a package in preview.
# You need to pip install azureml-opendatasets in Databricks cluster. https://learn.microsoft.com/azure/data-explorer/connect-from-databricks#install-the-python-library-on-your-azure-databricks-cluster
from azureml.opendatasets import BostonSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = BostonSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety)

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=Boston"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

Azure Synapse

from azureml.opendatasets import BostonSafety

from datetime import datetime
from dateutil import parser


end_date = parser.parse('2016-01-01')
start_date = parser.parse('2015-05-01')
safety = BostonSafety(start_date=start_date, end_date=end_date)
safety = safety.to_spark_dataframe()

display(safety)

# Azure storage access info
blob_account_name = "azureopendatastorage"
blob_container_name = "citydatacontainer"
blob_relative_path = "Safety/Release/city=Boston"
blob_sas_token = r""

# Allow SPARK to read from Blob remotely
wasbs_path = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, blob_relative_path)
spark.conf.set(
  'fs.azure.sas.%s.%s.blob.core.windows.net' % (blob_container_name, blob_account_name),
  blob_sas_token)
print('Remote blob path: ' + wasbs_path)

# SPARK read parquet, note that it won't load any data yet by now
df = spark.read.parquet(wasbs_path)
print('Register the DataFrame as a SQL temporary view: source')
df.createOrReplaceTempView('source')

# Display top 10 rows
print('Displaying top 10 rows: ')
display(spark.sql('SELECT * FROM source LIMIT 10'))

例

GitHub の都市の安全性分析の例を参照してください。

次のステップ

Open Datasets カタログの残りのデータセットを表示します。