I Jupyter Notebook di esempio illustrano come arricchire i dati con i set di dati aperti
I Jupyter Notebook di esempio per Azure Open Datasets illustrano come caricare set di dati aperti e usarli per arricchire i dati demo. Le tecniche includono l'uso di Apache Spark e Pandas per elaborare i dati.
Importante
Quando si lavora in un ambiente non Spark, Open Datasets consente di scaricare solo un mese di dati alla volta con determinate classi per evitare errori di memoria in caso di set di dati di grandi dimensioni.
Caricare dati ISD (Integrated Surface Database) NOAA
| Notebook | Descrizione |
|---|---|
| Caricare un mese di dati meteo recenti in un dataframe Pandas | Informazioni su come caricare dati meteo storici in un dataframe Pandas a scelta. |
| Caricare un mese di dati meteo recenti in un dataframe Spark | Informazioni su come caricare dati meteo storici in un dataframe Spark a scelta. |
Unire dati demo con dati ISD NOAA
| Notebook | Descrizione |
|---|---|
| Unire dati demo con dati meteo - Pandas | Unire un mese di dati demo di un set di dati di posizioni di sensori con le letture meteo di un dataframe Pandas. |
| Unire dati demo con dati meteo - Spark | Unire un set di dati di posizioni di sensori con le letture meteo di un dataframe Spark. |
Unire dati sui taxi di New York con dati ISD NOAA
| Notebook | Descrizione |
|---|---|
| Dati sulle corse dei taxi arricchiti con dati meteo - Pandas | Caricare più di un mese di dati sui taxi verdi di New York e arricchirli con dati meteo in un dataframe Pandas. Questo esempio esegue l'override del metodo get_pandas_limit e bilancia le prestazioni del carico di dati con la quantità di dati. |
| Dati sulle corse dei taxi arricchiti con dati meteo - Spark | Caricare i dati sui taxi verdi di New York e arricchirli con dati meteo in un dataframe Spark. |