Databricks Runtime 13.3 LTS

  • Artykuł

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 13.3 LTS obsługiwanym przez platformę Apache Spark 3.4.1.

Usługa Databricks opublikowała te obrazy w sierpniu 2023 roku.

Nowe funkcje i ulepszenia

Obsługa języka Scala dla udostępnionych klastrów

Udostępnione klastry z obsługą wykazu aparatu Unity obsługują teraz środowisko Scala w przypadku korzystania z środowiska Databricks Runtime 13.3 lub nowszego.

Lista dozwolonych dla skryptów inicjowania, współrzędnych JAR i Maven w udostępnionych klastrach wykazu aparatu Unity jest dostępna w publicznej wersji zapoznawczej

Teraz możesz użyć wykazu allowlist aparatu Unity do kontrolowania instalacji skryptów inicjowania, współrzędnych JAR i Maven na obliczeniach z trybem dostępu współużytkowanego z uruchomionym środowiskiem Databricks Runtime 13.3 lub nowszym. Zobacz Allowlist libraries and init scripts on shared compute (Biblioteki dozwolonych i skrypty inicjowania w udostępnionych obliczeniach).

Obsługa woluminów dla skryptów inicjowania i reguł JARs jest dostępna w publicznej wersji zapoznawczej

Teraz można używać woluminów wykazu aparatu Unity do przechowywania skryptów inicjowania i reguł JAR na obliczeniach z przypisanymi lub udostępnionymi trybami dostępu z uruchomionym środowiskiem Databricks Runtime 13.3 lub nowszym. Zobacz Gdzie można zainstalować skrypty inicjowania? i Biblioteki o zakresie klastra.

Bezpieczne rzutowania są domyślnie włączone dla operacji usługi Delta Lake

Funkcja Delta UPDATE i MERGE operacje powodują teraz błąd, gdy nie można bezpiecznie rzutować wartości na typ w schemacie tabeli docelowej. Wszystkie niejawne rzutowania w funkcji Delta są teraz zgodne spark.sql.storeAssignmentPolicy zamiast spark.sql.ansi.enabled. Zobacz Zgodność ANSI w środowisku Databricks Runtime.

Wprowadzenie do tagów za pomocą wykazu aparatu Unity

W środowisku Databricks Runtime 13.3 LTS i nowszym można zastosować tagi do zabezpieczanych obiektów. Tagi ułatwiają organizowanie zabezpieczanych obiektów oraz upraszczanie wyszukiwania i odnajdywania zasobów danych. Zobacz Stosowanie tagów.

Środowisko Uruchomieniowe usługi Databricks zwraca błąd, jeśli plik jest modyfikowany między planowaniem zapytań a wywołaniem

Zapytania środowiska Databricks Runtime zwracają teraz błąd, jeśli plik jest aktualizowany między planowaniem zapytań a wywołaniem. Przed tą zmianą środowisko Databricks Runtime odczytuje plik między tymi etapami, co czasami prowadzi do nieprzewidywalnych wyników.

Blokuj zastępowanie schematu podczas używania zastępowania partycji dynamicznej

Nie można ustawić overwriteSchematrue wartości w połączeniu z zastępowania partycji dynamicznej w usłudze Delta Lake. Zapobiega to możliwemu uszkodzeniu tabeli z powodu niezgodności schematu. Zobacz Zastępowanie partycji dynamicznej.

Integrowanie interfejsu API copyFile z bazą danych dbutils.fs.cp

Polecenie dbutils.fs.cp dbutils copy jest teraz zoptymalizowane pod kątem szybszego kopiowania. Dzięki temu ulepszeniu operacje kopiowania mogą być do 100 razy szybsze, w zależności od rozmiaru pliku. Ta funkcja jest dostępna we wszystkich systemach plików dostępnych w usłudze Azure Databricks, w tym w przypadku woluminów wykazu aparatu Unity i instalacji systemu plików usługi Databricks.

Obsługa sterowników ODBC/JDBC usługi Databricks

Usługa Azure Databricks obsługuje sterowniki ODBC i JDBC wydane w ciągu ostatnich 2 lat. Pobierz najnowszy sterownik na stronie Pobierz sterownik ODBC i pobierz sterownik JDBC.

Obsługa nienazwanych (pozycyjnych) znaczników parametrów

Interfejs SparkSession.sql() API obsługuje teraz sparametryzowane zapytania przy użyciu ? składni oprócz sparametryzowanych zapytań przy użyciu :parm składni. Zobacz znaczniki parametrów.

Włączanie etykietowania kolumn szeregów czasowych

Teraz można oznaczyć kolumny szeregów czasowych podczas tworzenia ograniczeń klucza podstawowego.

Nowe funkcje mapy bitowej SQL

Usługa Azure Databricks udostępnia teraz zestaw funkcji, które mogą służyć do mapowania całkowitych wartości liczbowych na mapę bitową i agregowania ich. Może to służyć do wstępnego obliczenia liczby unikatowych wartości.

Ulepszone funkcje szyfrowania

Funkcje aes_encrypt, aes_decrypt i try_aes_decrypt zostały ulepszone dzięki obsłudze wektorów inicjalizacji (IV) i uwierzytelnionych dodatkowych danych (AAD).

Obsługa wykazu aparatu Unity dla funkcji REFRESH FOREIGN

Teraz można aktualizować katalogi obce, schematy i tabele w wykazie aparatu Unity przy użyciu poleceń REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMAi REFRESH FOREIGN TABLE. Zobacz ODŚWIEŻANIE OBCYCH (WYKAZ, SCHEMAT i TABELA).

WSTAW WEDŁUG NAZWY

Podczas wstawiania wierszy do tabeli można teraz zezwolić usłudze Azure Databricks na mapowanie kolumn i pól w zapytaniu źródłowym automatycznie do kolumn tabeli według ich nazwy. Zobacz INSERT INTO (WSTAW DO).

Udostępnianie zmaterializowanych widoków przy użyciu funkcji udostępniania różnicowego

Instrukcja ALTER SHARE obsługuje teraz zmaterializowane widoki.

Zmiany powodujące niezgodność

Zmiany w niejawnym rzutowaniu podczas przechowywania wierszy w tabeli za pomocą funkcji MERGE INTO i UPDATE

Usługa Azure Databricks jest teraz zgodna z konfiguracją spark.sql.storeAssignmentPolicy niejawnego rzutowania podczas przechowywania wierszy w tabeli. Wartość ANSI domyślna zgłasza błąd podczas przechowywania wartości, które przepełnią się. Wcześniej wartości były przechowywane jako NULL domyślne.

Tak jak w poniższym przykładzie, możesz rozwiązać przepełnienia, zapisując ponownie tabelę, aby użyć szerszego typu dla kolumny powodującej błąd.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • debugpy z wersji 1.5.1 do 1.6.0
    • distlib z 0.3.6 do 0.3.7
    • fastjsonschema z wersji 2.16.3 do 2.18.0
    • filelock z wersji 3.12.0 do 3.12.2
  • Uaktualnione biblioteki języka R:
    • SparkR z wersji 3.4.0 do 3.4.1
  • Uaktualnione biblioteki Java:
    • org.apache.orc.orc-core z wersji 1.8.3-shaded-protobuf do wersji 1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce from 1.8.3-shaded-protobuf to 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims z wersji 1.8.3 do 1.8.4
    • org.eclipse.jetty.jetty-client z wersji 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-continuation z wersji 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http from 9.4.50.v202121201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io z 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi z 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus z wersji 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy z wersji 9.4.50.v202121201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security from 9.4.50.v202121201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server from 9.4.50.v202121201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet z 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets from 9.4.50.v2021201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util z wersji 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax z wersji 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp z wersji 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml z wersji 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api from 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client from 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common from 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server from 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet z 9.4.50.v20221201 do 9.4.51.v20230217
    • org.xerial.snappy.snappy-java z wersji 1.1.8.4 do 1.1.10.1

Apache Spark

Środowisko Databricks Runtime 13.3 obejmuje platformę Apache Spark 3.4.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 13.2 (nieobsługiwane), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • Teraz możesz ustawić zmienną środowiskową klastra SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 , aby użyć łącznika Spark-snowflake w wersji 2.12.0.
  • [SPARK-43380] [DBRRM-383] Przywróć "[SC-133100][SQL] Fix Avro data type conver...
  • [SPARK-44504] [Backport] [13.2] [13.x] [13.3] Zwalnianie dostawcy, co wymusza zamknięcie wystąpienia bazy danych i zwolnienie zasobów podczas błędu zadania konserwacji
  • [SPARK-44059] [SC-137023] Dodawanie obsługi nazwanych argumentów analizatora dla wbudowanych funkcji
  • [SPARK-44485] [SC-137653] [SQL] Optymalizowanie elementu TreeNode.generateTreeString
  • [SPARK-42944] [SC-137164] [SS] [PYTHON] Przesyłanie strumieniowe foreachBatch w języku Python
  • [SPARK-44446] [SC-136994] [PYTHON] Dodawanie testów dla oczekiwanych przypadków specjalnych typu listy
  • [SPARK-44439] [SC-136973] [CONNECT] [SS] Naprawiono element listListeners do wysyłania tylko identyfikatorów z powrotem do klienta
  • [SPARK-44216] [SC-136941] [PYTHON] Upublicznij interfejs API assertSchemaEqual
  • [SPARK-44201] [SC-136778] [CONNECT] [SS] Dodawanie obsługi odbiornika przesyłania strumieniowego w języku Scala dla platformy Spark Połączenie
  • [SPARK-43915] [SC-134766] [SQL] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43798] Przywracanie "[SC-133990][SQL][PYTHON] Obsługa funkcji tabel zdefiniowanych przez użytkownika języka Python"
  • [SPARK-44398] [SC-136720] [CONNECT] Scala foreachBatch API
  • [SPARK-44476] [SC-137169] [CORE] [CONNECT] Naprawianie populacji artefaktów dla elementu JobArtifactState bez skojarzonych artefaktów
  • [SPARK-44269] [SC-135817] [SQL] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[2310-2314]
  • [SPARK-44395] [SC-136744] [SQL] Zaktualizuj argumenty TVF, aby wymagać nawiasów wokół identyfikatora po słowie kluczowym TABLE
  • [SPARK-43915] [SC-134766] [SQL] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43995] [SC-136794] [SPARK-43996] [CONNECT] Dodawanie obsługi funkcji UDFRegistration do klienta Połączenie Scala
  • [SPARK-44109] [SC-134755] [CORE] Usuwanie zduplikowanych preferowanych lokalizacji każdej partycji RDD
  • [SPARK-44169] [SC-135497] [SQL] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-41487] [SC-135636] [SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720] [CONNECT] Scala foreachBatch API
  • [SPARK-44153] [SC-134977] [CORE] [Interfejs użytkownika] Kolumna pomocy technicznej Heap Histogram na Executors karcie
  • [SPARK-44044] [SC-135695] [SS] Ulepszanie komunikatu o błędzie dla funkcji okna za pomocą przesyłania strumieniowego
  • [SPARK-43914] [SC-135414] [SQL] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[2433-2437]
  • [SPARK-44217] [SC-136805] [PYTHON] Zezwalaj na niestandardową precyzję dla wartości fp ok.
  • [SPARK-44370] [SC-136575] [CONNECT] Migrowanie zdalnego generowania Buf alfa do wtyczek zdalnych
  • [SPARK-44410] [SC-136930] [PYTHON] [CONNECT] Ustawianie aktywnej sesji w środowisku tworzenia, a nie tylko getOrCreate
  • [SPARK-44348] [SAS-1910] [SC-136644] [13.X] [CORE] [CONNECT] [PYTHON] Ponowne zmienianie test_artifact z odpowiednimi zmianami
  • [SPARK-44145] [SC-136698] [SQL] Wywołanie zwrotne, gdy jest gotowe do wykonania
  • [SPARK-44264] [SC-136870] [PYTHON] [ML] FunctionPickler, klasa
  • [SPARK-43986] [SC-135623] [SQL] Tworzenie klas błędów dla niepowodzeń wywołań funkcji HyperLogLog
  • [SPARK-44139] [SC-134967] [SQL] Odrzucanie całkowicie wypychanych filtrów w operacjach SCAL opartych na grupach
  • [SPARK-44338] [SC-136718] [SQL] Naprawianie komunikatu o błędzie niezgodności schematu widoku
  • [SPARK-44208] [SC-135505] [CORE] [SQL] Przypisz jasne nazwy klas błędów dla logiki, która bezpośrednio używa wyjątków
  • [SPARK-44364] [SC-136773] [PYTHON] Dodano obsługę typu danych List[Row] dla oczekiwanego
  • [SPARK-44180] [SC-136792] [SQL] DistributionAndOrderingUtils powinna mieć zastosowanie resolveTimeZone
  • [SPARK-43389] [SC-136772] [SQL] Dodano sprawdzanie wartości null dla opcji lineSep
  • [SPARK-44388] [SC-136695] [CONNECT] Rozwiązano problem z rzutowaniem protobuf podczas aktualizowania wystąpienia funkcji UDF
  • [SPARK-44352] [SC-136373] [CONNECT] Umieść ten sam typ i znajomi w typie danych.
  • [SPARK-43975] [SC-134265] [SQL] DataSource V2: Obsługa poleceń UPDATE dla źródeł opartych na grupach
  • [SPARK-44360] [SC-136461] [SQL] Obsługa oczyszczania schematu w operacjach SCAL opartych na różnicach
  • [SPARK-44138] [SC-134907] [SQL] Zakaz wyrażeń niedeterministycznych, podzapytania i agregacji w warunkach SCAL
  • [SPARK-43321] [SC-136678] [Połączenie][Kontynuacja] Lepsze nazwy interfejsów API używanych w dołączaniu klienta ScalaWith
  • [SPARK-44263] [SC-136447] [CONNECT] Obsługa niestandardowych przechwytywania
  • [SPARK-39851] [SC-123383] [SQL] Zwiększanie szacowania statystyk sprzężenia, jeśli jedna strona może zachować unikatowość
  • [SPARK-44390] [SC-136677] [CORE] [SQL] Zmień nazwę SparkSerDerseUtils na SparkSerDeUtils
  • [SPARK-44004] [SC-134751] [SQL] Przypisz nazwę i popraw komunikat o błędzie w przypadku częstych błędów STARSZYCH.
  • [SPARK-44322] [SC-136204] [CONNECT] Użyj analizatora SqlApiConf zamiast sqlConf.
  • [SPARK-44271] [SC-136347] [SQL] Przenoszenie funkcji wartości domyślnych z StructType do ResolveDefaultColumns
  • [SPARK-44332] [SC-136413] [CORE] [WEBUI] Naprawianie błędu sortowania kolumny identyfikatora wykonawcy na stronie interfejsu użytkownika funkcji wykonawczej
  • [SPARK-44282] [SC-135948] [CONNECT] Przygotowywanie analizy typu danych do użycia w kliencie Spark Połączenie Scala
  • [SPARK-44349] [SC-136581] [R] Dodawanie funkcji matematycznych do aparatu SparkR
  • [SPARK-44397] [SC-136647] [PYTHON] Uwidacznianie elementu assertDataFrameEqual w pliku pyspark.testing.utils
  • [SPARK-42981] [SC-136620] [CONNECT] Dodawanie serializacji strzałek bezpośrednich
  • [SPARK-44373] [SC-136577] [SQL] Zawijanie za pomocą funkcjiActive for Dataset API w/ analizowania logiki w celu wykonania pracy związanej z konfiguracją analizatora
  • [SPARK-44340] [SC-136574] [SQL] Definiowanie logiki obliczeniowej za pomocą interfejsu API partitionEvaluator i używanie jej w oknie WindowGroupLimitExec
  • [SPARK-43665] [SC-136573] [CONNECT] [PS] Włączanie formatu PandasSQLStringFormatter.vformat do pracy z platformą Spark Połączenie
  • [SPARK-44325] [SC-136572] [SQL] Używanie interfejsu API PartitionEvaluator w elemecie SortMergeJoinExec
  • [SPARK-44315] [SC-136171] [SQL] [CONNECT] Move DefinedByConstructorParams to sql/api (Przenieś element DefinedByConstructorParams do sql/api)
  • [SPARK-44275] [SC-136184] [CONNECT] Dodawanie konfigurowalnego mechanizmu ponawiania prób w usłudze Scala Spark Połączenie
  • [SPARK-44326] [SC-136208] [SQL] [CONNECT] Przenoszenie utils używanych z klienta Scala do typowych modułów
  • [SPARK-43321] [SC-136156] [Połączenie] Dataset#Joinwith
  • [SPARK-44343] [SC-136372] [CONNECT] Przygotowanie języka Scala Emocje ion do przejścia do języka SQL/interfejsu API
  • [SPARK-44313] [SC-136081] [SQL] Naprawiono walidację wygenerowanego wyrażenia kolumny, gdy w schemacie znajduje się kolumna char/varchar
  • [SPARK-43963] [SC-134145] [SQL] DataSource V2: Obsługa poleceń MERGE dla źródeł opartych na grupach
  • [SPARK-44363] [SC-136433] [PYTHON] Wyświetlanie procentu nierównych wierszy w porównaniu do ramek danych
  • [SPARK-44251] [SC-136432] [SQL] Ustaw poprawnie dopuszczanie wartości null dla klucza sprzężenia połączonego w pełnym zewnętrznym sprzężeniu USING
  • [SPARK-43948] [SC-133366] [SQL] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326] [CONNECT] [PYTHON] Dodawanie hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt do języków Scala i Python
  • [SPARK-44351] [SC-136353] [SQL] Uproszczenie składni
  • [SPARK-44281] [SC-135963] [SQL] Błąd move QueryCompilation używany przez element DataType do sql/api jako DataTypeErrors
  • [SPARK-44283] [SC-136109] [CONNECT] Przenoszenie źródła do języka SQL/interfejsu API
  • [SPARK-43926] [SC-135590] [CONNECT] [PYTHON] Dodawanie array_agg, array_size, kardynalności, count_min_sketch,maski,named_struct,json_* do języków Scala i Python
  • [SPARK-44327] [SC-136187] [SQL] [CONNECT] Dodawanie funkcji any i len do języka Scala
  • [SPARK-44290] [SC-136300] [CONNECT] Pliki i archiwa oparte na sesji na platformie Spark Połączenie
  • [SPARK-44061] [SC-136299] [PYTHON] Dodawanie funkcji assertDataFrameEqual util
  • [SPARK-44331] [SC-136324] [CONNECT] [PYTHON] Dodawanie funkcji mapy bitowej do języków Scala i Python
  • [SPARK-44342] [SC-136334] [SQL] Zastąp element SQLContext ciągiem SparkSession for GenTPCDSData
  • [SPARK-42583] [SC-124190] [SQL] Usuń sprzężenia zewnętrzne, jeśli wszystkie są odrębnymi funkcjami agregacji
  • [SPARK-44333] [SC-136206] [CONNECT] [SQL] Move EnhancedLogicalPlan out of ParserUtils
  • [SPARK-43824] [SC-132655] [SPARK-43825] [SQL] Przypisywanie nazw do klasy błędów _LEGACY_ERROR_TEMP_128[1–2]
  • [SPARK-43939] [SC-134602] [CONNECT] [PYTHON] Dodawanie funkcji try_* do języków Scala i Python
  • [SPARK-44193] [SC-135886] [CONNECT] Implementowanie przechwytywania wyjątków GRPC na potrzeby konwersji
  • [SPARK-44284] [SC-136107] [CONNECT] Tworzenie prostego systemu conf dla bazy danych SQL/api
  • [SPARK-43913] [SC-133368] [SQL] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[2426-2432]
  • [SPARK-44291] Przywróć "[SC-135924][SPARK-43416][CONNECT] Poprawka nieprawidłowego schematu dla zapytania zakresu"
  • [SPARK-44312] [SC-136185] [CONNECT] [PYTHON] Zezwalaj na ustawianie agenta użytkownika za pomocą zmiennej środowiskowej
  • [SPARK-44154] [SC-136060] Implementowanie funkcji mapy bitowej
  • [SPARK-43885] [SC-133996] [SQL] DataSource V2: Obsługa poleceń MERGE dla źródeł opartych na różnicach
  • [SPARK-43924] [SC-135161] [CONNECT] [PYTHON] Dodawanie funkcji misc do języków Scala i Python
  • [SPARK-43969] [SC-134556] [SQL] Refaktoryzacja i przypisywanie nazw do klasy błędów _LEGACY_ERROR_TEMP_1170
  • [SPARK-44185] [SC-135730] [SQL] Naprawianie niespójnej ścieżki kwalifikującej się między operacjami wykazu i danych
  • [SPARK-44073] [SC-134562] [SQL] [PYTHON] [CONNECT] Dodawanie funkcji daty i godziny do języków Scala, Python i Połączenie — część 2
  • [SPARK-43942] [SC-134527] [CONNECT] [PYTHON] Dodawanie funkcji ciągów do języków Scala i Python — część 1
  • [SPARK-44266] [SC-135813] [SQL] Przenieś element Util.truncatedString do pliku sql/api
  • [SPARK-44195] [SC-135722] [R] Dodawanie interfejsów API elementu JobTag do platformy SparkContext w usłudze SparkR
  • [SPARK-44200] [SC-135736] [SQL] Obsługa reguły analizatora argumentów TABLE dla funkcji TableValuedFunction
  • [SPARK-44254] [SC-135709] [SQL] Przenoszenie błędu QueryExecutionErrors używanego przez element DataType do sql/api jako wartości DataTypeErrors
  • [SPARK-44291] [SC-135924] [SPARK-43416] [CONNECT] Naprawianie nieprawidłowego schematu dla zapytania zakresu
  • [SPARK-43922] [SC-135612] [SQL] Dodawanie obsługi nazwanych parametrów w analizatorze dla wywołań funkcji
  • [SPARK-44300] [SC-135882] [CONNECT] Naprawianie oczyszczania artefaktów w celu ograniczenia zakresu usuwania do artefaktów specyficznych dla sesji
  • [SPARK-44293] [SC-135849] [CONNECT] Naprawianie nieprawidłowego identyfikatora URI dla niestandardowych reguł JAR na platformie Spark Połączenie
  • [SPARK-44215] [SC-135850] [SHUFFLE] Jeśli liczba fragmentów to 0, serwer powinien zgłosić wyjątek RuntimeException
  • [SPARK-44245] [SC-135851] [PYTHON] pyspark.sql.dataframe sample() doctests powinny być tylko ilustracyjne
  • [SPARK-44274] [SC-135814] [CONNECT] Wyprowadzanie funkcji util używanych przez artifactmanager do typowych/utils
  • [SPARK-44194] [SC-135815] [PYTHON] [CORE] Dodawanie interfejsów API elementu JobTag do rozwiązania PySpark SparkContext
  • [SPARK-42828] [SC-135733] [PYTHON] [SQL] Bardziej jawne adnotacje typów języka Python dla groupedData
  • [SPARK-44079] [SC-135486] [SQL] Poprawka ArrayIndexOutOfBoundsException podczas analizowania tablicy jako struktury przy użyciu trybu PERMISSIVE z uszkodzonym rekordem
  • [SPARK-44255] [SC-135809] [SQL] Przenoszenie elementu StorageLevel do typowych/utils
  • [SPARK-42169] [SC-135795] [SQL] Implementowanie generowania kodu dla funkcji to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719] [SQL] [PYTHON] Refaktoryzacja modułu PythonUDTFRunner w celu oddzielnego wysłania zwracanego typu
  • [SPARK-43353] [SC-132734] [PYTHON] Migrowanie pozostałych błędów sesji do klasy błędów
  • [SPARK-44211] [SC-135718] [PYTHON] [CONNECT] Implementowanie SparkSession.is_stopped
  • [SPARK-42784] [SC-135691] powinien nadal tworzyć subDir, gdy liczba subDir w dir scalania jest mniejsza niż conf
  • [SPARK-41599] [SC-135616] Wyciek pamięci w funkcji FileSystem.CACHE podczas przesyłania aplikacji do bezpiecznego klastra przy użyciu metody InProcessLauncher
  • [SPARK-44241] [SC-135613] [Core] Błędnie ustawiono parametr io.connectionTimeout/connectionCreationTimeout na zero lub ujemny spowoduje, że nieużywane wady/zniszczenia funkcji wykonawczej
  • [SPARK-44133] [SC-134795] [13.X] [PYTHON] Uaktualnianie oprogramowania MyPy z wersji 0.920 do 0.982
  • [SPARK-42941] [SC-134707] [SS] [CONNECT] [1/2] StreamingQueryListener — serde zdarzeń w formacie JSON
  • [SPARK-44188] [SC-135173] [CORE] Usuń bezużyteczną resetAllPartitions metodę w pliku ActiveJob
  • [SPARK-43757] [SC-135418] [CONNECT] Zmienianie zgodności klienta z listy dozwolonych na listę odmowy
  • [SPARK-43474] [SC-135521] [SS] [CONNECT] Dodaj dostęp spark connect do ramek danych środowiska uruchomieniowego według identyfikatora.
  • [SPARK-44183] [SC-135209] [PYTHON] Utwórz PyArrow minimalną wersję do wersji 4.0.0
  • [SPARK-44248] [SC-135554] [SS] [SQL] [Kafka] Dodawanie preferowanej lokalizacji w źródle platformy Kafka w wersji 2
  • [SPARK-43929] [SC-134510] [SQL] [PYTHON] [CONNECT] Dodawanie funkcji daty i godziny do interfejsu API Scala, Python i Połączenie — część 1
  • [SPARK-44161] [SC-135326] [Połączenie] Obsługa danych wejściowych wierszy dla funkcji zdefiniowanych przez użytkownika
  • [SPARK-44227] [SC-135520] [SQL] Wyodrębnianie narzędzia SchemaUtils z pola struktury
  • [SPARK-44064] [SC-135116] [CORE] [SQL] Dodawanie nowej apply funkcji do NonFateSharingCache
  • [SPARK-44171] [SC-135269] [SQL] Przypisz nazwy do klasy błędów LEGACY_ERROR_TEMP[2279-2282] i usuń niektóre nieużywane klasy błędów
  • [SPARK-44056] [SC-134758] [SQL] Uwzględnij nazwę UDF w komunikacie o błędzie niepowodzenia wykonywania funkcji zdefiniowanej przez użytkownika, jeśli jest dostępny
  • [SPARK-44205] [SC-135422] [SQL] Wyodrębnianie kodu katalizatora z typu dziesiętnego
  • [SPARK-44220] [SC-135484] [SQL] Przenoszenie elementu StringConcat do bazy danych SQL/api
  • [SPARK-44146] [SC-135230] [CONNECT] Izolowanie plików jar sesji i plików klas platformy Spark Połączenie
  • [SPARK-44206] [SC-135411] [SQL] DataSet.selectExpr scope Session.active
  • [SPARK-40850] [SC-135417] [SQL] Naprawianie zapytań interpretowanych przypadek testowy może wykonywać codegen
  • [SPARK-44204] [SC-135253] [SQL] [HIVE] Dodawanie brakującego rekorduHiveCall dla polecenia getPartitionNames
  • [SPARK-44237] [SC-135485] [CORE] Uproszczenie logiki wyszukiwania konstruktora DirectByteBuffer
  • [SPARK-44189] [SC-135170] [CONNECT] [PYTHON] Obsługa parametrów pozycyjnych według sql()
  • [SPARK-44140] [SC-134893] [SQL] [PYTHON] Obsługa parametrów pozycyjnych w języku Python sql()
  • [SPARK-44164] [SC-135158] [SQL] Wyodrębnianie metody toAttribute z klasy StructField do Util
  • [SPARK-44178] [SC-135113] [CONNECT] Obsługa parametrów pozycyjnych w programie sql()
  • [SPARK-43208] [SC-128955] [SQL] [HIVE] Klasa IsolatedClassLoader powinna zamknąć klasę bariery InputStream po przeczytaniu
  • [SPARK-43063] [SC-128382] [SQL] df.show obsługa wartości null powinna wyświetlać wartość NULL zamiast wartości null
  • [SPARK-42539] [SC-124464] [SQL] [HIVE] Eliminowanie oddzielnego modułu ładującego klasy podczas korzystania z wersji "builtin" programu Hive dla klienta metadanych
  • [SPARK-43992] [SC-133645] [SQL] [PYTHON] [CONNECT] Dodawanie opcjonalnego wzorca dla elementu Catalog.listFunctions
  • [SPARK-44066] [SC-134878] [SQL] Obsługa parametrów pozycyjnych w języku Scala/Java sql()
  • [SPARK-44078] [SC-134869] [CONNECT] [CORE] Dodawanie obsługi izolacji klasyloader/zasobu
  • [SPARK-43470] [SC-135187] [CORE] Dodawanie informacji o wersji systemu operacyjnego, Java i Python do dziennika aplikacji
  • [SPARK-43136] [SC-135238] [CONNECT] [Kontynuacja] Dodawanie testów dla kluczy
  • [SPARK-39740] [SC-135093] [Interfejs użytkownika]: Uaktualnienie do osi czasu do wersji 7.7.2 w celu rozwiązania problemu CVE-2020-28487
  • [SPARK-42298] [SC-133952] [SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459] [SQL] [PYTHON] [CONNECT] Dodawanie opcjonalnego wzorca dla elementu Catalog.listTables
  • [SPARK-44026] [SC-135181] Zezwalaj na podawanie wartości początkowej dla usługi SQLMetrics
  • [SPARK-44202] [SC-135244] [CORE] Dodawanie interfejsów API elementu JobTag do środowiska JavaSparkContext
  • [SPARK-44030] [SC-135237] [SQL] Implementowanie elementu DataTypeExpression w celu zaoferowania funkcji Unapply dla wyrażenia
  • [SPARK-43876] Przywróć "[SC-134603][SQL] Włączanie szybkiej mapy skrótu dla odrębnych zapytań"
  • [SPARK-40082] [SC-126437] Zaplanuj scalanieFinalize podczas wypychania operacji shuffleMapStage ponawiania próby, ale bez uruchomionych zadań
  • [SPARK-43888] [SC-132893] [CORE] Przenoszenie rejestrowania do typowych/utils
  • [SPARK-43474] [SC-134400] [SS] [CONNECT] Dodawanie symbolu sesji do platformy Spark Połączenie Planner
  • [SPARK-43944] [SC-134490] [CONNECT] [PYTHON] Dodawanie funkcji ciągów do języków Scala i Python — część 2
  • [SPARK-44134] [SC-134954] [CORE] Napraw ustawienie zasobów (GPU/FPGA) na 0, gdy są one ustawione w pliku spark-defaults.conf
  • [SPARK-44142] [SC-134947] [PYTHON] Zamień typ na tpe w narzędziu, aby przekonwertować typy języka Python na typy platformy Spark
  • [SPARK-43952] [SC-134695] [CORE] [CONNECT] [SQL] Dodawanie interfejsów API sparkContext na potrzeby anulowania zapytań według tagu
  • [SPARK-44000] [SC-133634] [SQL] Dodaj wskazówkę, aby wyłączyć nadawanie i replikowanie jednej strony sprzężenia
  • [SPARK-43937] [SC-134362] [CONNECT] [PYTHON] Dodaj ifnull,isnotnull,equal_null,nullif,nvl,nvl2 do języków Scala i Python
  • [SPARK-43624] [13.x] [SC-134557] [PS] [CONNECT] Dodaj EWM do platformy Spark Połączenie Planner.
  • [SPARK-44040] [SC-134366] [SQL] Naprawianie statystyk obliczeniowych, gdy węzeł AggregateExec powyżej elementu QueryStageExec
  • [SPARK-43485] [SC-131264] [SQL] Naprawianie komunikatu unit o błędzie dla argumentu funkcji dodawania/różnic daty/godziny
  • [SPARK-43794] [SC-132561] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1335
  • [SPARK-43511] [SC-134749] [CONNECT] [SS] Zaimplementowano interfejsy API MapGroupsWithState i FlatMapGroupsWithState dla platformy Spark Połączenie
  • [SPARK-43529] [SQL] Obsługa wyrażeń CREATE/REPLACE TABLE OPTIONS + oczyszczanie kodu
  • [SPARK-44106] [SC-134750] [PYTHON] [CONNECT] Dodaj __repr__ dla GroupedData
  • [SPARK-42299] [SC-133190] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [SC-134388] [SQL] Dodaje obsługę aes_encrypt IV i AAD
  • [SPARK-43932] [SC-134138] [SQL] [PYTHON] [CONNECT] Dodawanie current funkcji takich jak w języku Scala i Python
  • [SPARK-43934] [SC-134108] [SQL] [PYTHON] [CONNECT] Dodawanie funkcji regexp_* do języków Scala i Python
  • [SPARK-44107] [SC-134746] [CONNECT] [PYTHON] Ukryj nieobsługiwane metody kolumny przed automatycznym uzupełnianiem
  • [SPARK-42941] [SC-134707] [SS] [CONNECT] [1/2] StreamingQueryListener — serde zdarzeń w formacie JSON
  • [SPARK-43773] [SC-132659] [CONNECT] [PYTHON] Implementowanie funkcji "levenshtein(str1, str2[, threshold])" w kliencie języka Python
  • [SPARK-44125] [SC-134745] [R] Obsługa języka Java 21 w usłudze SparkR
  • [SPARK-43919] [SC-133374] [SQL] Wyodrębnianie funkcji JSON z wiersza
  • [SPARK-43769] [SC-132520] [CONNECT] Implementowanie funkcji "levenshtein(str1, str2[, threshold])"
  • [SPARK-44012] [SC-134662] [SS] KafkaDataConsumer w celu wydrukowania stanu odczytu
  • [SPARK-43876] [SC-134603] [SQL] Włączanie szybkiej mapy skrótu dla odrębnych zapytań
  • [SPARK-44024] [SC-134497] [SQL] Zmień wartość do użycia map , gdy unzip jest używana tylko do wyodrębniania pojedynczego elementu
  • [SPARK-43928] [SC-134467] [SQL] [PYTHON] [CONNECT] Dodawanie operacji bitowych do interfejsu API Scala, Python i Połączenie
  • [SPARK-44092] [SC-134506] [CORE] Dodawanie Utils.isJavaVersionAtLeast21 i przekazywanie core modułu za pomocą języka Java 21
  • [SPARK-44018] [SC-134512] [SQL] Ulepszanie funkcji hashCode i toString dla niektórych wyrażeń DS w wersji 2
  • [SPARK-44105] [SC-134582] [SQL] LastNonNull należy rozwiązać z opóźnieniem
  • [SPARK-44081] [SC-134434] Uproszczenie interfejsu API PartitionedFileUtil nieco
  • [SPARK-43791] [SC-132531] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1336
  • [SPARK-44071] [SC-134435] Definiowanie i używanie nierozwiązanych[Leaf|Jednoargumentowe]Cechy węzłów.
  • [SPARK-43852] [SC-132890] [SPARK-43853] [SPARK-43854] [SPARK-43855] [SPARK-43856] Przypisywanie nazw do klasy błędów _LEGACY_ERROR_TEMP_2418-2425
  • [SPARK-43742] [SC-132684] [SQL] Refaktoryzacja domyślnego rozpoznawania wartości kolumny
  • [SPARK-43493] [SC-132063] [SQL] Dodawanie argumentu maksymalnej odległości do funkcji levenshtein()
  • [SPARK-44075] [SC-134382] [CONNECT] Zrób transformStatCorr leniwy
  • [SPARK-43925] [SC-134381] [SQL] [PYTHON] [CONNECT] Dodaj niektóre, bool_or,bool_and,co do języka Scala, Python i Połączenie
  • [SPARK-43931] [SC-134158] [SQL] [PYTHON] [CONNECT] Dodawanie funkcji make_* do języków Scala i Python
  • [SPARK-43762] [SC-132602] [SPARK-43763] [SPARK-43764] [SPARK-43765] [SPARK-43766] [SQL] Przypisywanie nazw do klasy błędów _LEGACY_ERROR_TEMP_24[06-10]
  • [SPARK-43962] [SC-133367] [SQL] Ulepszanie komunikatów o błędach: CANNOT_DECODE_URL, , CANNOT_MERGE_INCOMPATIBLE_DATA_TYPECANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
  • [SPARK-43938] [SC-133887] [CONNECT] [PYTHON] Dodawanie funkcji to_* do języków Scala i Python
  • [SPARK-44055] [SC-134321] [CORE] Usuwanie nadmiarowych override funkcji z CheckpointRDD
  • [SPARK-43802] [SC-132597] [SQL] Naprawiono generowanie kodu dla funkcji unhex i unbase64 z błędem failOnError=true
  • [SPARK-43798] [SC-133990] [SQL] [PYTHON] Obsługa funkcji tabeli zdefiniowanych przez użytkownika w języku Python
  • [SPARK-43941] [SC-134286] [SQL] [PYTHON] [CONNECT] Dodawanie any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, redukcji do języka Scala, Python i interfejsu API Połączenie
  • [SPARK-43380] [SC-133100] [SQL] Rozwiązywanie problemów z konwersją typu danych Avro, aby uniknąć generowania nieprawidłowych wyników
  • [SPARK-43803] [SC-133729] [SS] [CONNECT] Ulepszanie funkcji awaitTermination() w celu obsługi rozłączeń klientów
  • [SPARK-43179] [SC-129070] [SHUFFLE] Zezwalanie aplikacjom na kontrolowanie, czy metadane są zapisywane w bazie danych przez zewnętrzną usługę shuffle

Obsługa sterowników ODBC/JDBC usługi Databricks

Usługa Databricks obsługuje sterowniki ODBC/JDBC wydane w ciągu ostatnich 2 lat. Pobierz ostatnio wydane sterowniki i uaktualnij (pobierz plik ODBC, pobierz plik JDBC).

Środowisko systemu

  • System operacyjny: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black (czarny) 22.6.0 Bleach 4.1.0
migacz 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknięcie 8.0.4 Kryptografii 37.0.1
Cycler 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 debugpy 1.6.0 Dekorator 5.1.1
defusedxml 0.7.1 distlib 0.3.7 docstring-to-markdown 0,12
punkty wejścia 0,4 Wykonywanie 1.2.0 aspekty — omówienie 1.0.3
fastjsonschema 2.18.0 filelock 3.12.2 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 stan obiektu grpcio 1.48.1
httplib2 0.20.2 Idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 Ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Brelok 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 Znaczniki Sejf 2.0.1 matplotlib 3.5.2
biblioteka matplotlib-inline 0.1.6 Mccabe 0.7.0 mistune 0.8.4
więcej itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 notes 6.4.12 Numpy 1.21.5
oauthlib 3.2.0 Opakowania 21,3 Pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
Patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Poduszkę 9.2.0 Pip 22.2.2 platformdirs 2.5.2
kreślenie 5.9.0 wtyczka 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pirstent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 żądania 2.28.1
Liny 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 Sześć 1.16.0
zupy 2.3.1 ssh-import-id 5,11 stack-data 0.6.2
statsmodels 0.13.2 Wytrzymałość 8.1.0 terminado 0.13.1
ścieżka testowa 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 Tornado 6.1 traitlety 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 nienadzorowane uaktualnienia 0.1
urllib3 1.26.11 Virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
Koła 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2023-02-10.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
strzałkę 10.0.1 askpass 1.1 assertthat 0.2.1
Backports 1.4.1 base 4.2.2 base64enc 0.1-3
bitowe 4.0.5 bit64 4.0.5 blob 1.2.3
rozruch 1.3-28 Napar 1.0-8 Brio 1.1.3
Miotła 1.0.3 bslib 0.4.2 cachem 1.0.6
obiekt wywołujący 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 zegar 0.6.1 cluster 2.1.4
codetools 0.2-19 Kolorów 2.1-0 commonmark 1.8.1
— kompilator 4.2.2 config 0.3.1 cpp11 0.4.3
Pastel 1.5.2 poświadczenia 1.3.2 Curl 5.0.0
data.table 1.14.6 usługi Power BI 4.2.2 DBI 1.1.3
dbplyr 2.3.0 Desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 Szyfrowane 0.6.31 downlit (wyłączony) 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
wielokropek 0.3.2 evaluate 0,20 fani 1.0.4
farver 2.1.1 szybka mapa 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 Zagranicznych 0.8-82
Forge 0.2.0 Fs 1.6.1 Przyszłości 1.31.0
future.apply 1.10.0 Płukać 1.3.0 Generyczne 0.1.3
Gert 1.9.2 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 Globals 0.16.2
Kleju 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 grafika 4.2.2 grDevices 4.2.2
Siatki 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 Haven 2.5.1
wysoki 0.10 Hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
Identyfikatory 1.0.1 Ini 0.3.1 ipred 0.9-13
isoband 0.2.7 Iteratory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
Etykietowania 0.4.2 Później 1.3.0 Kraty 0.20-45
Lawy 1.7.1 cykl życia 1.0.3 nasłuchiwanie 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1.5
MASSACHUSETTS 7.3-58.2 Macierz 1.5-1 zapamiętywanie 2.0.1
metody 4.2.2 mgcv 1.8-41 Mime 0,12
miniUI 0.1.1.1 Metryki modelu 1.2.2.2 modeler 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
równolegle 1.34.0 Filar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 Pochwały 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Postęp 1.2.2
progressr 0.13.0 Obietnice 1.2.0.1 Proto 1.0.0
Serwera proxy 0.4-27 Ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 przepisy 1.0.4
Rewanżu 1.0.1 rewanż2 2.1.2 Piloty 2.4.2
reprex 2.0.2 zmień kształt2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversions (rversions) 2.1.2
rvest 1.0.3 Sass 0.4.5 Skale 1.2.1
selektor 0.4-2 sessioninfo 1.2.2 Kształt 1.4.6
Błyszczące 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 Przestrzennej 7.3-15 Splajnów 4.2.2
sqldf 0.4-11 KWADRAT 2021.1 Statystyki 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
Przetrwanie 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 zmiana czasu 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
narzędzia 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 Vroom 1.6.1 Waldo 0.4.0
wąs 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
Yaml 2.3.7 Zip 2.2.2

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-klej 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Kolega 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.kofeina Kofeiny 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metryki —rdzeń 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics serwlety metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty transport netto 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolektor 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine Pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow format strzałki 11.0.0
org.apache.arrow strzałka-pamięć-rdzeń 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow wektor strzałki 11.0.0
org.apache.avro Avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator przepisy kuratora 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Bluszcz 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos Mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.4-shaded-protobuf
org.apache.orc podkładki orc-shim 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-cieniowane 4.22
org.apache.yetus adnotacje odbiorców 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper jute dozorców 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-kontynuacja 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket —wspólne 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Podkładki 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest zgodny ze standardem scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten trzydostępne dodatkowe 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1.33
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1