Note sulla versione di Delta Live Tables e processo di aggiornamento della versione

Articolo
04/11/2024

Questo articolo illustra il processo di rilascio delle tabelle live Delta, il modo in cui viene gestito il runtime di Tabelle live Delta e fornisce collegamenti alle note sulla versione per ogni versione di Delta Live Tables.

Canali di runtime di Tabelle live Delta

I cluster Delta Live Tables usano runtime basati sulle versioni delle note sulla versione e sulla compatibilità di Databricks Runtime. Databricks aggiorna automaticamente i runtime di Tabelle live Delta per supportare miglioramenti e aggiornamenti alla piattaforma. È possibile usare il channel campo nelle impostazioni della pipeline delle tabelle live Delta per controllare la versione del runtime di Tabelle live Delta che esegue la pipeline. I valori supportati sono:

current per usare la versione di runtime corrente.
preview per testare la pipeline con le modifiche future alla versione di runtime.

Per impostazione predefinita, le pipeline vengono eseguite usando la versione di current runtime. Databricks consiglia di usare il current runtime per i carichi di lavoro di produzione. Per informazioni su come usare l'impostazione preview per testare le pipeline con la versione di runtime successiva, vedere Automatizzare i test delle pipeline con la versione di runtime successiva.

Per visualizzare le versioni di Databricks Runtime usate con una versione delta live tables, vedere le note sulla versione per tale versione.

Per altre informazioni sui canali delle tabelle live Delta, vedere il channel campo nelle impostazioni della pipeline delle tabelle live Delta.

Per informazioni sul modo in cui le tabelle live Delta gestiscono il processo di aggiornamento per ogni versione, vedere Come funzionano gli aggiornamenti delle tabelle live Delta?.

Ricerca per categorie trovare la versione di Databricks Runtime per un aggiornamento della pipeline?

Per trovare la versione di Databricks Runtime per un aggiornamento della pipeline, è possibile eseguire una query sul registro eventi delle tabelle live Delta. Vedere Informazioni sul runtime.

Note sulla versione delle tabelle live delta

Le note sulla versione delle Delta Live Table sono organizzate per anno e settimana. Poiché le tabelle live Delta sono senza versione, le modifiche dell'area di lavoro e di runtime vengono eseguite automaticamente. Le note sulla versione seguenti offrono una panoramica delle modifiche e delle correzioni di bug in ogni versione:

Come funzionano gli aggiornamenti delle tabelle live Delta?

Le tabelle live delta sono considerate un prodotto senza versione, il che significa che Databricks aggiorna automaticamente il runtime di Tabelle Live Delta per supportare miglioramenti e aggiornamenti alla piattaforma. Databricks consiglia di limitare le dipendenze esterne per le pipeline di tabelle live Delta.

Databricks funziona in modo proattivo per impedire agli aggiornamenti automatici di introdurre errori o problemi alle pipeline delta live di produzione. Vedere Processo di aggiornamento delle tabelle live Delta.

In particolare per gli utenti che distribuiscono pipeline di tabelle live Delta con dipendenze esterne, Databricks consiglia di testare in modo proattivo le pipeline con preview canali. Vedere Automatizzare i test delle pipeline con la versione di runtime successiva.

Processo di aggiornamento delle tabelle live delta

Databricks gestisce il runtime di Databricks usato dalle risorse di calcolo delta live tables. Le tabelle live delta aggiornano automaticamente il runtime nelle aree di lavoro di Azure Databricks e monitorano l'integrità delle pipeline dopo l'aggiornamento.

Se Delta Live Tables rileva che una pipeline non può essere avviata a causa di un aggiornamento, la versione di runtime per la pipeline viene ripristinata alla versione precedente nota per essere stabile e i passaggi seguenti vengono attivati automaticamente:

Il runtime delta delle tabelle conosciute della pipeline viene aggiunto alla versione precedente valida.
L'interfaccia utente di Delta Live Tables mostra un indicatore visivo che la pipeline è stata aggiunta a una versione precedente a causa di un errore di aggiornamento.
Il supporto di Databricks riceve una notifica del problema.
- Se il problema è correlato a una regressione nel runtime, Databricks risolve il problema.
- Se il problema è causato da una libreria personalizzata o da un pacchetto usato dalla pipeline, Databricks contatta l'utente per risolvere il problema.
Quando il problema viene risolto, Databricks avvia nuovamente l'aggiornamento.

Importante

Le tabelle live delta ripristinano solo le pipeline in esecuzione in modalità di produzione con il canale impostato su current.

Automatizzare i test delle pipeline con la versione di runtime successiva

Per assicurarsi che le modifiche nella versione successiva del runtime di Tabelle live Delta non influiscono sulle pipeline, usare la funzionalità Canali tabelle live Delta:

Creare una pipeline di staging e impostare il canale su preview.
Nell'interfaccia utente di Tabelle live Delta creare una pianificazione per l'esecuzione settimanale della pipeline e consentire agli avvisi di ricevere una notifica tramite posta elettronica per gli errori della pipeline. Databricks consiglia di pianificare le esecuzioni settimanali di test delle pipeline, soprattutto se si usano dipendenze della pipeline personalizzate.
Se si riceve una notifica di un errore e non è possibile risolverlo, aprire un ticket di supporto con Databricks.

Dipendenze della pipeline

Le tabelle live delta supportano le dipendenze esterne nelle pipeline; Ad esempio, è possibile installare qualsiasi pacchetto Python usando il %pip install comando . Le tabelle live delta supportano anche l'uso di script init con ambito cluster e globale. Tuttavia, queste dipendenze esterne, in particolare gli script init, aumentano il rischio di problemi con gli aggiornamenti di runtime. Per attenuare questi rischi, ridurre al minimo l'uso di script init nelle pipeline. Se l'elaborazione richiede script init, automatizzare i test della pipeline per rilevare i problemi in anticipo; vedere Automatizzare i test delle pipeline con la versione di runtime successiva. Se si usano script init, Databricks consiglia di aumentare la frequenza di test.

Condividi tramite