Opmerkingen bij de release van SQL Databricks

Databricks brengt regelmatig updates uit voor de gebruikersinterface van de Databricks SQL-webtoepassing, met alle gebruikers die dezelfde updates ontvangen en die gedurende een korte periode worden uitgerold.

Bovendien brengt Databricks doorgaans regelmatig nieuwe SQL rekenversies van eindpunten uit. Er zijn altijd twee kanalen beschikbaar: een preview-versie en een huidige versie.

Kanalen

Met kanalen kunt u kiezen of u de huidige versie van SQL eindpunt of de Preview-versie wilt gebruiken. Met preview-versies kunt u functionaliteit uitproberen voordat deze de Databricks-SQL wordt. Profiteer van preview-versies om uw productiequery's en dashboards te testen op toekomstige wijzigingen.

Normaal gesproken wordt een preview-versie gepromoveerd naar het huidige kanaal ongeveer twee weken nadat deze is uitgebracht in het preview-kanaal. Sommige functies, zoals beveiligingsfuncties, onderhoudsupdates en bugfixes, kunnen rechtstreeks naar het huidige kanaal worden vrijgegeven. Van tijd tot tijd kan Databricks een preview-versie volgens een ander schema naar het huidige kanaal promoveren. Elke nieuwe versie wordt aangekondigd in de volgende secties.

Zie Het preview-kanaal gebruiken SQL voor meer informatie over het overschakelen van een bestaand eindpunt naar het preview-kanaal.

Huidig

Versie 2021.5

Omdat we zojuist versieversies voor SQL eindpunten hebben uitgebracht, zijn er geen verschillen die we in een eerdere versie moeten markeren.

Preview

Versie 2021.10. Wordt uitgevoerd tussen 30 november - 2 december

In deze versie wordt standaard gebruikgemaakt van SQL ansi-standaarddialect, waardoor het eenvoudiger is om uw datawarehousingworkloads te migreren naar het Databricks Lakehouse-platform. De SQL biedt u een vertrouwde syntaxis en voorkomt onverwacht gedrag om problemen op te lossen. Zie _voor een lijst met gedragswijzigingen tussen de SQL syntaxis die wordt gebruikt in het huidige kanaal en de ANSI-standaardsyntaxis die in het preview-kanaal wordt gebruikt.

Deze versie wordt ongeveer twee weken na de release naar het preview-kanaal gepromoveerd naar het huidige kanaal. We raden u aan de preview-periode te gebruiken om uw workloads te testen op een SQL eindpunt dat gebruikmaakt van deze versie.

Updates van de gebruikersinterface van webtoepassing

De functies die in deze sectie worden vermeld, zijn onafhankelijk van de SQL-eindpuntrekenversies die worden beschreven in de sectie Kanalen van de opmerkingen bij de release.

1 december 2021

• U kunt nu SQL configuratieparameters toepassen op werkruimteniveau. Deze parameters zijn automatisch van toepassing op alle bestaande en SQL eindpunten in de werkruimte. Zie SQL configuratieparameters.

18 november 2021

• Wanneer u de geschiedenis van een query bekijkt, kunt u nu query's filteren op de service-principal die ze heeft uitgevoerd. Zie Querygeschiedenis weergeven.

• U kunt nu de SQL editor openen met behulp van een zijbalksnelkoppeling. Als u de SQL-editor wilt openen, klikt u op SQL Editor.

• Als u toestemming hebt om Data Science Engineering-clusters te maken, kunt u nu SQL-eindpunten maken door te klikken op Maken in de zijbalk en op SQL &eindpunt.&

• Beheerders kunnen nu het eigendom van een query, dashboard of waarschuwing overdragen aan een andere gebruiker via de gebruikersinterface. Zie:

  • Eigendom van een query overdragen
  • Eigendom van een dashboard overdragen
  • Eigendom van een waarschuwing overdragen

4 november 2021

• In een visualisatievisualisatie van een kaart (Ethopleth) is het maximum aantal kleurovergangen voor kleuren in de legenda verhoogd van 11 naar 20. De standaardwaarde is 5 kleurovergangen, inclusief Minimumkleur en Maximale kleur.
• De tabeditor SQL biedt nu ondersteuning voor bulksgewijs tabbladbeheer. Als u met de rechtermuisknop op een tabblad klikt, ziet u de optie Anderen sluiten,Links sluiten,Rechts sluiten en Alles sluiten. Als u met de rechtermuisknop op het eerste of laatste tabblad klikt, worden de opties voor Links sluiten of Rechts sluiten niet weergegeven.

28 oktober 2021

• Wanneer u een tabel in een Data Explorer, hebt u twee opties om de interactie met de tabel te vereenvoudigen:
  • Klik op Query maken om een query te maken die alle kolommen selecteert en de eerste 1000 rijen retourneert. Zie Een basisquery maken.
  • Klik op Snel dashboard maken om een configuratiepagina te openen waar u interessekolommen kunt selecteren en een dashboard en ondersteunende query's kunt maken die basisinformatie bieden met behulp van deze kolommen en parameters op dashboardniveau en andere mogelijkheden presenteren. Zie Een snel dashboard maken.

19 oktober 2021

• Nieuwe sneltoetsen zijn nu beschikbaar in de tabeditor:
  • Open het nieuwe tabblad:
    • Windows: Cmd+Alt+T
    • Mac: Cmd+Option+T
  • Huidig tabblad sluiten
    • Windows: Cmd+Alt+W
    • Mac: Cmd+Option+W
  • Dialoogvenster Query openen
    • Windows: Cmd+Alt+O
    • Mac: Cmd+Option+O

23 september 2021

• U kunt nu een nieuw dashboard maken door een bestaand dashboard te klonen, zolang u de machtiging Can Run, Can Edit en Can Manage hebt op het dashboard en alle upstream-query's. Zie Een dashboard klonen.
• U kunt nu gebruiken GROUP BY in een visualisatie met meerdere kolommen van de y-as. Zie Groeperen.
• U kunt nu gebruiken om {{ @@yPercent}} gegevenslabels op te maken in een niet-genormaliseerd gestapeld staafdiagram. Zie Stapelen.
• Als u SAML-verificatie gebruikt en uw SAML-referentie binnen enkele minuten verloopt, wordt u nu proactief gevraagd u opnieuw aan te melden voordat u een query uitvoert of een dashboard ververst. Dit helpt onderbrekingen te voorkomen als gevolg van een referentie die verloopt tijdens het uitvoeren van de query.

20 september 2021

• U kunt nu het eigendom van dashboards, query's en waarschuwingen overdragen met behulp van de machtigingen REST API. Zie Eigendom van Databricks-objecten SQL overdragen.

16 september 2021

• In queryresultaten worden BIGINT resultaten nu geseraliseerd als tekenreeksen wanneer deze groter zijn dan 9007199254740991. Hiermee wordt een probleem opgelost waarbij resultaten in queryresultaten kunnen worden BIGINT afgekapt. Andere resultaten van gehele getallen worden nog steeds geseraliseerd als getallen. Getalopmaak op aslabels en knopinfo is niet van toepassing op BIGINT resultaten die als tekenreeksen worden geseraliseerd. Zie BIGINT-type (Databricks SQL)voor meer informatie over gegevenstypen in Databricks SQL.

7 september 2021

Databricks rolt de wijzigingen die volgen in de loop van een week uit. Uw werkruimte is mogelijk pas na 7 september ingeschakeld voor deze wijzigingen.

• Databricks SQL is nu beschikbaar als openbare preview en is ingeschakeld voor alle gebruikers in nieuwe werkruimten.

  Notitie

  Als uw werkruimte was ingeschakeld voor Databricks SQL tijdens de gated Openbare preview(vóór de week vanaf 7 september 2021) behouden gebruikers het recht dat vóór die datum is toegewezen, tenzij u deze wijzigt. Met andere woorden, als een gebruiker geen toegang heeft tot Databricks SQL tijdens de gated openbare preview, heeft deze gebruiker deze nu niet, tenzij een beheerder deze aan hem of haar geeft.

• Beheerders kunnen beheren welke gebruikers toegang hebben tot Databricks SQL door het Databricks SQL-toegangsrechten (in de API) toe te wijzen aan gebruikers of groepen. Nieuwe gebruikers hebben dit recht standaard.

  Beheerders kunnen een gebruiker of groep beperken tot alleen toegang tot Databricks SQL en voorkomen dat ze toegang krijgen tot Data Science & Engineering of Databricks Machine Learning door het toegangsrechten voor werkruimten (in de API) te verwijderen uit de gebruiker of &workspace-access groep. Nieuwe gebruikers hebben dit recht standaard.

  Belangrijk

  Als u zich wilt aanmelden Azure Databricks toegang wilt krijgen tot Azure Databricks, moet een gebruiker het toegangsrechten voor Databricks SQL of werkruimtetoegang (of beide) hebben.

  Zie Gebruikers en groepen beheren voor meer informatie.

• Een klein klassiek SQL eindpunt met de naam Starter-eindpunt is vooraf geconfigureerd in alle werkruimten, zodat u meteen aan de slag kunt met het maken van dashboards, visualisaties en query's. Als u complexere workloads wilt verwerken, kunt u eenvoudig de grootte vergroten (om de latentie te verminderen) of het aantal onderliggende clusters (om meer gelijktijdige gebruikers te verwerken). Voor het beheren van kosten is het starter-eindpunt geconfigureerd om te worden beëindigd na 120 minuten inactief te zijn.

• Er is een nieuwe begeleide onboarding-ervaring beschikbaar voor beheerders en gebruikers, zodat u snel aan de werk kunt. Het onboardingpaneel is standaard zichtbaar en u kunt altijd zien hoeveel onboardingtaken er nog in de zijbalk staan, boven . Klik op taken links om het onboardingvenster opnieuw te openen.

• U kunt snel aan de slag met Databricks SQL met twee uitgebreide gegevenssets in een alleen-lezencatalogus met de naam , die beschikbaar SAMPLES is in alle werkruimten. Wanneer u meer te weten komt over Databricks SQL, kunt u deze databases gebruiken om query's, visualisaties en dashboards te maken. Er is geen configuratie vereist en alle gebruikers hebben toegang tot deze databases.

  • De nyctaxi database bevat taxiritgegevens in de trips tabel.
  • De tpch database bevat gegevens over de omzet van de detailhandel en de toeleveringsketen in de volgende tabellen:
    • customer
    • lineitem
    • nation
    • orders
    • part
    • partsupp
    • region
    • supplier

  Klik op Uw eerste query uitvoeren in het onboardingvenster om een nieuwe query van de database te genereren.

• Als u meer wilt weten over het visualiseren van gegevens in Databricks SQL zonder configuratie vereist, kunt u dashboards importeren uit de Galerie met voorbeelddashboards. Deze dashboards worden powered by de gegevenssets in de SAMPLES catalogus.

  Als u de galerie Voorbeelddashboard wilt weergeven, klikt u op Voorbeelddashboard importeren in het onboardingvenster.

• U kunt nu systeemeigen functies SQL maken en neerzetten met behulp van de opdrachten CREATE FUNCTION en DROP FUNCTION.

2 september 2021

• Gebruikers met de machtiging Kan bewerken op een dashboard kunnen nu het vernieuwingsschema en de lijst met abonnementen van het dashboard beheren. Voorheen was de machtiging Can Manage vereist. Zie Automatisch een dashboard vernieuwen voor meer informatie.

• Standaard wordt de grootte van visualisaties niet meer dynamisch veranderd op basis van het aantal geretourneerde resultaten, maar wordt dezelfde hoogte behouden, ongeacht het aantal resultaten. Als u wilt terugkeren naar het vorige gedrag en een visualisatie wilt configureren om de grootte dynamisch te wijzigen, moet u De hoogte van het deelvenster dynamisch wijzigen inschakelen in de instellingen van de visualisatie in het dashboard. Zie Tabellen voor meer informatie.

• Als u toegang hebt tot meer dan één werkruimte in hetzelfde account, kunt u werkruimten vanuit Databricks SQL. Klik in de linkerbenedenhoek van Azure Databricks werkruimte en selecteer vervolgens een werkruimte om naar de werkruimte over te schakelen.

12 augustus 2021

• Een beheerder kan nu de query van een andere gebruiker beëindigen terwijl deze wordt uitgevoerd. Zie Een query beëindigen voor meer informatie.

5 augustus 2021

• Verbeterde EXPLAIN resultaatopmaak
  • Verklarende resultaten zijn gemakkelijker te lezen
  • Opgemaakt als monospaced zonder regelte wrap

29 juli 2021

• Het is eenvoudiger geworden om meerdere query's te maken met ondersteuning voor meerdere tabbladen in de query-editor. Zie Enable and disable tabbed editor (Editor met tabbladen in- en uitschakelen) om de editor voor tabbladen in te schakelen. Zie Meerdere query's bewerken om de tabeditor te gebruiken.

8 juli 2021

• Visualisatiewidgets in dashboards hebben nu titels en beschrijvingen, zodat u de titel en beschrijving van visualisaties die in meerdere dashboards worden gebruikt, kunt aanpassen aan het dashboard zelf.
• De zijbalk is bijgewerkt voor verbeterde zichtbaarheid en navigatie:
  • Eindpunten zijn nu SQL en de naam Geschiedenis is gewijzigd in Querygeschiedenis.
  • Accountinstellingen (voorheen Gebruikersgenoemd) zijn verplaatst naar Account. Wanneer u Account selecteert, kunt u de Azure Databricks wijzigen en u afmelden.
  • Gebruikersinstellingen zijn verplaatst naar Instellingen zijn gesplitst in Instellingen en SQL-beheerconsole. SQL-beheerconsole is alleen zichtbaar voor beheerders.
  • Het Help-pictogram is gewijzigd Help.

1 juli 2021

• Met de nieuwe Data Explorer kunt u eenvoudig machtigingen voor databases en tabellen verkennen en beheren. Gebruikers kunnen schemadetails bekijken, voorbeeldgegevens bekijken en tabeldetails en -eigenschappen bekijken. Beheerders kunnen eigenaren van gegevensobjecten weergeven en wijzigen, en eigenaren van gegevensobjecten kunnen machtigingen verlenen en intrekken. Zie Data Explorer voor meer informatie.
• Y-assen in horizontale grafieken zijn bijgewerkt met dezelfde volgorde als in tabellen. Als u eerder omgekeerde volgorde hebt geselecteerd, kunt u de schakelknop Omgekeerde volgorde op het tabblad Y-as gebruiken om de nieuwe volgorde om te draaien.

23 juni 2021

• Configureer SQL eindpunten eenvoudig met service-principals. Er is nu een besturingselement waarmee u een service-principal kunt configureren in de instelling SQL algemene eindpunten. Zie Een service-principal configureren.
• Tijdelijke weergaven worden nu ondersteund.

17 juni 2021

• Photon, de nieuwe engine voor het uitvoeren van vectoren van Databricks, is nu standaard ingeschakeld voor nieuw gemaakte SQL-eindpunten (zowel de gebruikersinterface als REST API). Foton versnelt transparant
  • Schrijft naar Parquet- en Delta-tabellen.
  • Veel SQL query's. Zie Beperkingen.
• U kunt eenvoudig gebruikers en groepen beheren met de opdrachten CREATE GROUP , , , en DROP GROUPALTER GROUPSHOW GROUPSSHOW USERS . Zie Beveiligingsverklaringen en Show-instructiesvoor meer informatie.
• De queryeditor-schemabrowser is snappier en sneller op databases met meer dan 100 tabellen. Op dergelijke databases worden niet alle kolommen automatisch geladen in de schemabrowser; de lijst met tabellen wordt nog steeds weergegeven zoals gebruikelijk, maar kolommen worden alleen geladen wanneer u op een tabel klikt. Deze wijziging is van invloed op het automatisch aanvullen van query's in de queryeditor, omdat deze afhankelijk is van deze informatie om suggesties weer te geven. Totdat u een tabel uitv expandt en de kolommen ervan laadt, zijn deze suggesties niet beschikbaar.

3 juni 2021

• Beheerders van nieuw ingeschakelde Azure Databricks-werkruimten ontvangen nu standaard het Databricks SQL-recht en zijn niet langer verplicht om zichzelf het Databricks SQL-toegangsrechten te geven met behulp van de beheerconsole.
• Photon is nu in openbare preview en standaard ingeschakeld voor nieuwe SQL eindpunten.
• Taakverdeling voor meerdere clusters is nu beschikbaar als openbare preview.
• U kunt nu samenwerking inschakelen op dashboards en query's met andere leden van uw organisatie met behulp van de machtiging Can Edit. Zie Toegangsbeheer voor dashboards en Querytoegangsbeheer.

26 mei 2021

• SQL Analytics is gewijzigd in Databricks SQL. Deze wijziging heeft de volgende klantgerichte gevolgen:

  • Verwijzingen in de webinterface zijn bijgewerkt.

  • De naam van het recht om toegang te verlenen tot Databricks-SQL is gewijzigd:

    • Gebruikersinterface:Databricks SQL toegang(voorheen SQL Analytics-toegang)
    • SCIM API: (eerder sql-analytics-access )

    Gebruikers, groepen en service-principals met het vorige recht zijn gemigreerd naar het nieuwe recht.

  • Tags voor auditlogboekgebeurtenissen met betrekking tot Databricks-SQL gewijzigd:

    • Het voorvoegsel voor Databricks SQL gebeurtenissen is nu databrickssql .
    • changeSqlAnalyticsAcl is nu changeDatabricksSqlAcl .
• Dashboardupdates
  • De bestandsnaam van de dashboardexport is bijgewerkt als de naam van het dashboard + tijdstempel, in plaats van een UUID.
  • De limiet voor exportrecords is verhoogd van 22.000 tot 64.000.

20 mei 2021

• U kunt nu uw eigen sleutel uit Azure Key Vault om de Databricks-SQL-query's en querygeschiedenis te versleutelen die zijn opgeslagen in Azure Databricks. Als u al uw eigen sleutel voor een werkruimte hebt geconfigureerd voor het versleutelen van gegevens voor beheerde services (notebooks en geheimen), is er geen verdere actie vereist. Dezelfde door de klant beheerde sleutel voor beheerde services versleutelt nu ook de Databricks-sleutel SQL query's en querygeschiedenis. Zie Door de klant beheerde sleutels inschakelen voor beheerde services. Deze wijziging is alleen van invloed op nieuwe gegevens die at-rest worden opgeslagen. Databricks SQL query's en querygeschiedenis die vóór vandaag zijn opgeslagen, worden niet gegarandeerd versleuteld met deze sleutel.

  Databricks SQL queryresultaten worden opgeslagen in uw Azure Blob Storage-hoofd-exemplaar dat Azure Databricks gemaakt tijdens de installatie van de werkruimte, en ze worden niet versleuteld met uw beheerde services-sleutel. U kunt echter uw eigen sleutel gebruiken om ze te versleutelen. Zie Door de klant beheerde sleutels configureren voor DBFS-hoofdmap.

  Deze functie is beschikbaar in Azure Databricks Premium abonnement.

• Op het tabblad Eerdere uitvoeringen wordt nu relatieve tijd weergegeven.

13 mei 2021

• Databricks SQL niet langer kolomtypen te raden. Voorheen werd een kolom met de indeling automatisch behandeld als een datum, zelfs xxxx-yy-dd als het een identificatiecode was. Nu wordt kolom niet meer automatisch behandeld als een datum. U moet dit desgewenst opgeven in de query. Deze wijziging kan ertoe leiden dat sommige visualisaties die afhankelijk waren van het vorige gedrag, niet meer werken. In deze release kunt u het pictogram Instellingen Instellingen optie Achterwaartse compatibiliteit om terug te keren naar het vorige gedrag. In een toekomstige release wordt die mogelijkheid verwijderd.

• De queryeditor heeft nu een voortgangsindicator voor de query. Statuswijzigingen zijn nu zichtbaar in een voortdurend bijgewerkte voortgangsbalk.

  

6 mei 2021

• U kunt nu de inhoud van het dashboard als PDF downloaden. Zie Downloaden als PDF.
• Een gebruiker met beheerdersrechten heeft nu toegang tot alle query's en dashboards. In deze weergave kan een beheerder query's of dashboards bekijken en verwijderen. De beheerder kan de query of het dashboard echter niet bewerken als deze niet wordt gedeeld met de beheerder. Zie Querybeheerdersweergave enDashboardbeheerdersweergave.
• De mogelijkheid om de gelijktijdigheid van eindpunten te verhogen met taakverdeling voor meerdere clusters is nu beschikbaar voor alle accounts. U kunt eindpunten maken die automatisch schalen tussen opgegeven minimum- en maximumaantal clusters. Overbelaste eindpunten worden omhoog geschaald en onderbelaste eindpunten worden omlaag geschaald.

29 april 2021

• Queryopties en -details zijn nu geordend in een set tabbladen links van de query-editor:

  • Gegevensbronnen:selecteer een van de beschikbare gegevensbronnen en het schema. Zie Een query maken.

    

  • Eerdere uitvoeringen:bekijk eerdere uitvoeringen die zijn uitgevoerd in de SQL-editor. Er worden geen geplande uitvoeringen weer geven. Zie Eerdere uitvoeringen van een query weergeven.

    

  • Querygegevens:stel de querybeschrijving in, bekijk informatie over de query en stel het vernieuwingsschema in. Zie Querybeschrijving instellen,Querygegevens weergevenen Een query plannen.

    

22 april 2021

• Er is een probleem opgelost waarbij eindpunten niet toegankelijk waren en vanwege een interne fout werden verwijderd.

16 april 2021

Databricks SQL compatibiliteit met Apache Spark SQL semantiek. In deze release wordt de semantiek bijgewerkt die Apache Spark 3.1. Voorheen was Databricks SQL afgestemd op Apache Spark 3.0-semantiek.

• Statistische aggregatiefuncties, waaronder , , , , , , , en , retourneren in plaats van wanneer plaatsvindt tijdens de expressie-evaluatie, bijvoorbeeld wanneer deze worden toegepast op een stdstddev set met stddev_sampvariance één var_sampskewnesskurtosiscovar_sampcorrNULLDouble.NaNDivideByZerostddev_samp element. Vóór deze release zou deze Double.NaN retourneren.
• grouping_id() retourneert lange waarden. Vóór deze release heeft deze functie int-waarden geretourneerd.
• De uitleg van de resultaten van het queryplan is nu opgemaakt.
• from_unixtime, unix_timestamp , , en to_unix_timestampto_timestampto_date mislukken als het opgegeven datum/tijd-patroon ongeldig is. Vóór deze release hebben ze NULL geretourneerd.
• De Parquet-, ORC-, Avro- en JSON-gegevensbronnen geven de uitzondering : "Er zijn dubbele kolommen in het gegevensschema in leesgegevens gevonden als ze dubbele namen in kolommen op het hoogste niveau en in geneste structuren org.apache.spark.sql.AnalysisException detecteren."
• Structs en kaarten worden omgepakt door de haakjes {} om ze naar tekenreeksen te casten. De actie en show() de expressie gebruiken bijvoorbeeld dergelijke CAST haakjes. Vóór deze release werden de d-haakjes voor hetzelfde doel gebruikt.
• NULL-elementen van structuren, matrices en kaarten worden geconverteerd naar 'null' bij het casten van deze elementen naar tekenreeksen. Vóór deze release NULL werden elementen geconverteerd naar lege tekenreeksen.
• De som van de kolomoverloop van het decimale type retourneert null. Vóór deze release kan in het geval van de som van de kolom van het type decimaal null of onjuist resultaat worden geretourneerd, of zelfs mislukt tijdens runtime (afhankelijk van de daadwerkelijke uitvoering van het queryplan).
• IllegalArgumentException wordt geretourneerd voor de letterlijke waarde van het onvolledige interval, bijvoorbeeld INTERVAL '1' , , die ongeldig INTERVAL '1 DAY 2' zijn. Vóór deze release resulteren deze letterlijke letterlijke cijfers in NULL's.
• Het laden en opslaan van tijdstempels van en naar Parquet-bestanden mislukt als de tijdstempels vóór zijn en worden geladen 1900-01-01 00:00:00Z (opgeslagen) als INT96 het type. Vóór deze release mislukken de acties niet, maar kunnen leiden tot een verschuiving van de invoertijdstempels als gevolg van het opnieuw inbaseren van/naar Hebtoop naar/van de Prolius-agenda in Het- en Andere.
• De schema_of_json functies schema_of_csv en retourneren het schema in SQL indeling waarin veldnamen worden aangehaald. Vóór deze release retourneert de functie een catalogusreeks zonder veld-quoting en in kleine gevallen.
• CHARDe CHARACTER typen , en worden ondersteund in het VARCHAR tabelschema. Tabelscan en invoeging respecteert de semantische waarde char/varchar. Als char/varchar wordt gebruikt op andere plaatsen dan het tabelschema, wordt er een uitzondering weergegeven (CAST is een uitzondering die gewoon char/varchar behandelt als tekenreeks zoals voorheen).
• De volgende uitzonderingen worden voor tabellen uit de externe Hive-catalogus gemaakt:
  • ALTER TABLE .. ADD PARTITION geeft weer PartitionsAlreadyExistException als er al een nieuwe partitie bestaat.
  • ALTER TABLE .. DROP PARTITION throws NoSuchPartitionsException voor niet-bestaande partities.

13 april 2021

• Verbeterde querydoorvoer met SQL eindpunt in wachtrij. Query's die worden verzonden SQL eindpunt nu in de wachtrij wanneer het eindpunt al is vol met het uitvoeren van query's. Dit verbetert de querydoorvoer door het eindpunt niet te overbelasten met aanvragen. U kunt de verbeterde prestaties bekijken in het scherm voor eindpuntbewaking.

1 april 2021

• Snel de tijd vinden die is besteed aan compilatie, uitvoering en het ophalen van resultaten voor een query in Querygeschiedenis. Zie Querytijd weergeven. Voorheen was deze informatie alleen beschikbaar door op een query te klikken en het tabblad Uitvoeringsdetails te openen.
• SQL eindpunten niet langer schalen dan de maximaal opgegeven clusters. Alle clusters die zijn toegewezen aan SQL eindpunt worden na 24 uur gerecycled, waardoor er een kort venster kan worden gemaakt waarin er één extra cluster is.

18 maart 2021

• Automatisch aanvullen in de queryeditor ondersteunt nu Databricks SQL syntaxis en is context- en aliasbewust. Zie Een query maken.
• JDBC- en ODBC-aanvragen mislukken niet meer met ongeldige sessiefouten nadat er een tijdsfout is gemaakt in de sessie op de server. BI-clients kunnen nu probleemloos herstellen wanneer er sessie-time-outs optreden.

11 maart 2021

• Beheerders en gebruikers in werkruimten die nieuw zijn ingeschakeld voor Databricks SQL hebben niet meer automatisch toegang tot Databricks-SQL. Om toegang tot Databricks-SQL, moet de beheerder het volgende doen:
  1. Ga naar de beheerconsole.
  2. Klik op het tabblad Gebruikers.
  3. Klik in de rij voor hun account op het selectievakje Databricks SQL toegang.
  4. Klik op Bevestigen.
  5. Herhaal stap 3 en 4 om gebruikers toegang te verlenen tot Databricks SQL of volg de instructies in Een groep toegang verlenen tot Databricks SQL toegang te verlenen tot groepen.
• Maak eenvoudig query's, dashboards en waarschuwingen door maken teselecteren [Query maken | Dashboard | Waarschuwing] bovenaan de zijbalk.
• Query-editor slaat nu concepten op en u kunt terugkeren naar een opgeslagen query. Zie Terugkeren naar een opgeslagen query.
• U kunt geen externe gegevensbronnen meer maken.
• De betrouwbaarheid van de grafiek SQL eindpuntbewaking is verbeterd. De grafiek toont niet meer af en toe foutberichten.

4 maart 2021

• De api-documentatie Query's en dashboards is nu beschikbaar. Zie Query's en Dashboards-API 2.0.
• Geplande dashboardvernieuwingen worden nu altijd uitgevoerd. De vernieuwingen worden uitgevoerd in de webtoepassing, zodat u het dashboard niet langer open hoeft te houden in een browser. Zie Automatisch een dashboard vernieuwen.
• Voor SQL eindpunten die zijn gemaakt met behulp van de API SQL-eindpunten is automatisch stoppen ingeschakeld met een standaard time-out van twee uur.
• Tableau Online-gebruikers kunnen nu verbinding maken met SQL eindpunten. Zie de nieuwe Snelstartvoor Tableau Online.

26 februari 2021

De nieuwe Power BI-connector voor Azure Databricks, uitgebracht in de openbare preview in september 2020, is nu algemeen beschikbaar. De oplossing biedt het volgende:

• Eenvoudige verbindingsconfiguratie: de nieuwe Power BI Azure Databricks-connector is geïntegreerd in Power BI en u configureert deze met behulp van een eenvoudig dialoogvenster met een paar klikken.
• Verificatie op basis van Azure Active Directory referenties: beheerders hoeven geen PAT-tokens meer te configureren.
• Snellere import- en geoptimaliseerde aanroepen van metagegevens, dankzij het nieuwe odbc Azure Databricks odbc-stuurprogramma, dat aanzienlijke prestatieverbeteringen bevat.
• Toegang tot Azure Databricks gegevens via Power BI respecteert Azure Databricks machtigingen voor tabeltoegang en machtigingen voor Azure Storage-account die zijn gekoppeld aan uw Azure AD-identiteit.

Zie voor meer informatie Power BI.

25 februari 2021

• Het instellen van machtigingen op SQL eindpunt gaat nu sneller. Het is een stap direct nadat u een nieuw eindpunt SQL en gemakkelijk toegankelijk wanneer u een bestaand eindpunt bewerkt. Zie Create a SQL endpoint (Een SQL eindpunt maken) en Configure SQL endpoint permissions (Eindpuntmachtigingen configureren).
• Als u de visualisatie-instellingen opnieuw wilt gebruiken, kunt u nu een visualisatie dupliceren. Zie Een visualisatie dupliceren.
• Queryresultaten worden nu opgeslagen in uw account in plaats van het Azure Databricks account.
• Als u wilt voorkomen dat informatie wordt gelekt door alle gedefinieerde machtigingen voor een object weer te geven, moet u het SHOW GRANTS [<user>] <object> volgende doen:
  • Een Databricks SQL beheerder of de eigenaar van <object> .
  • De gebruiker die is opgegeven in [<user>] .

7 januari 2021

• Om de uitgaven voor inactieve eindpunten te verminderen, is bij nieuwe SQL-eindpunten nu automatisch stoppen ingeschakeld met een standaard time-out van twee uur. Na de time-out wordt het eindpunt gestopt. Het is te allen tijde mogelijk om de time-outperiode te bewerken of automatisch stoppen uit te schakelen.
• Met uitzondering van TEXT-queryparameters worden geen aanhalingstekens meer toegevoegd aan queryparameters. Als u Dropdown List-, Query Based Dropdown List- of Date-queryparameters hebt gebruikt, moet u aanhalingstekens toevoegen voordat de query werkt. Als uw query bijvoorbeeld SELECT {{ d }} is, moet deze query nu SELECT '{{ d }}' zijn.

18 november 2020

Databricks introduceert de openbare preview van Databricks SQL, een intuïtieve omgeving voor het uitvoeren van ad-hocquery's en het maken van dashboards op gegevens die zijn opgeslagen in uw data lake. Met Databricks SQL uw organisatie een lakehousearchitectuur met meerdere cloudomgevingen gebruiken die datawarehousingprestaties biedt met data lake economie. Databricks SQL:

• Kan worden geïntegreerd met de BI-tools die u nu gebruikt, zoals Tableau en Microsoft Power BI, om een query uit te voeren op de meest complete en recente gegevens in uw data lake.
• Vormt een aanvulling op bestaande BI-tools met een SQL-native interface waarmee gegevensanalisten en gegevenswetenschappers rechtstreeks vanuit Azure Databricks gegevens kunnen opvragen.
• Stelt u in staat om queryinzichten te delen via rijke visualisaties en dashboards met ondersteuning voor slepen en neerzetten, met automatische waarschuwingen voor belangrijke wijzigingen van gegevens.
• Maakt gebruik van SQL-eindpunten om uw data lake te voorzien van betrouwbaarheid, kwaliteit, schaal, beveiliging en prestaties, zodat u traditionele analytische workloads kunt uitvoeren met uw meest recente en volledige gegevens.
• Introduceert de bevoegdheid USAGE om het beheer van gegevenstoegang te vereenvoudigen. Als u een object in een database wilt gebruiken, moet u naast de bevoegdheid USAGE voor die database beschikken over eventuele bevoegdheden die nodig zijn om de actie uit te voeren. De bevoegdheid USAGE kan worden verleend aan afzonderlijke databases of aan de catalogus als geheel. Voor werkruimten die al gebruikmaken van toegangsbeheer voor tabellen wordt de USAGE bevoegdheid automatisch verleend aan de gebruikersgroep in de hoofd-CATALOG. Zie Data Access Control (Beheer van gegevenstoegang) voor meer informatie.

Zie de Databricks SQL voor meer informatie. Neem contact op met uw accountmanager van Databricks om toegang te vragen.

Opgeloste problemen

• U kunt nu MySQL 8.0 gebruiken als een externe metastore.
• DESCRIBE DETAIL opdrachten in Delta-tabellen mislukken niet meer met java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant.
• Het lezen van Parquet-bestanden INT96 met tijdstempels mislukt niet meer.
• Wanneer een gebruiker de machtiging Kan uitvoeren heeft voor een query en deze uitvoert, wordt in de querygeschiedenis de runner van de query weergegeven als de gebruiker als de query is gemaakt.

Bekende problemen

• Als u een externe metastore wilt gebruiken, moet u spark.hadoop.javax.jdo.option.ConnectionDriverName instellen in de configuratie voor spark.hadoop.javax.jdo.option.ConnectionDriverName
• Leesbewerkingen uit gegevensbronnen anders dan Delta Lake in SQL-eindpunten met taakverdeling en meerdere clusters kunnen inconsistent zijn.
• Delta-tabellen die in Databricks worden SQL schema- en tabeleigenschappen uploaden naar de geconfigureerde metastore. Als u een externe metastore gebruikt, kunt u gegevens van Delta Lake zien in de metastore. Delta Lake probeert deze gegevens zo actueel mogelijk te houden op basis best effort. U kunt ook de opdracht DESCRIBE <table> gebruiken om ervoor te zorgen dat de gegevens worden bijgewerkt in uw metastore.
• Foton is uitgeschakeld voor schrijfbewerkingen (bijvoorbeeld ).

Veelgestelde vragen

• Hoe worden databricks-SQL in rekening gebracht?
• Wordt de Openbare preview van Databricks SQL in productie ondersteund?
• Waar worden SQL uitgevoerd?
• Kan ik SQL eindpunten uit de Data Science Engineering-werkruimte gebruiken SQL notebooks?
• Ik heb toegang gekregen tot gegevens met behulp van de referenties van een cloudprovider. Waarom heb ik geen toegang tot deze gegevens in Databricks SQL?

Hoe worden databricks-SQL in rekening gebracht?

Databricks SQL workloads worden in rekening gebracht volgens de Standard Jobs Compute SKU.

Wordt de Openbare preview van Databricks SQL in productie ondersteund?

Ja, dit wordt volledig ondersteund. Zie Azure Databricks previewversies.

Waar worden SQL uitgevoerd?

.. Azure:

Like <Databricks> clusters, SQL endpoints are created and managed in your <cloud> account. SQL endpoints manage SQL-optimized clusters automatically in your account and scale to match end-user demand.

Kan ik SQL eindpunten uit de Data Science & Engineering-werkruimte gebruiken SQL notebooks?

Nee. U kunt SQL eindpunten van Databricks gebruiken SQL query's, BI-hulpprogramma's en andere JDBC- en ODBC-clients.

Ik heb toegang gekregen tot gegevens met behulp van de referenties van een cloudprovider. Waarom heb ik geen toegang tot deze gegevens in Databricks SQL?

In Databricks SQL is alle toegang tot gegevens onderhevig aan gegevenstoegangsbeheer en moet een beheerder of gegevenseigenaar u eerst de juiste bevoegdheden verlenen.