Databricks Runtime 14.2

  • Artykuł

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 14.2 obsługiwanym przez platformę Apache Spark 3.5.0.

Usługa Databricks opublikowała te obrazy w listopadzie 2023 roku.

Nowe funkcje i ulepszenia

CACHE SELECT jest teraz ignorowany

Polecenie CACHE SELECT SQL jest teraz ignorowane na rzecz ulepszonego algorytmu buforowania. Zobacz Optymalizowanie wydajności za pomocą buforowania w usłudze Azure Databricks.

Naprawiono uszkodzoną obsługę plików w poleceniach DML

Polecenia DELETEDML , UPDATEi MERGE INTO nie są już zgodne z opcjami ignoreCorruptFiles odczytu i ignoreMissingFiles. W przypadku napotkania nieczytelnego pliku w tabeli te polecenia kończą się teraz niepowodzeniem, nawet jeśli określono te opcje.

Teraz możesz używać from_avrofunkcji , to_avro, from_protobufi to_protobuf Python z rejestrem schematów w udostępnionych klastrach.

foreachBatch i StreamingListener pomoc techniczna

Teraz możesz używać foreachBatch() interfejsów API i StreamingListener ze strukturą przesyłania strumieniowego w udostępnionych klastrach. Zobacz Używanie narzędzia foreachBatch do zapisywania w dowolnych ujściach danych i monitorowania zapytań przesyłania strumieniowego ze strukturą w usłudze Azure Databricks.

Współbieżność na poziomie wiersza jest ogólnie dostępna i domyślnie włączona

Współbieżność na poziomie wiersza zmniejsza konflikty między współbieżnych operacji zapisu, wykrywając zmiany na poziomie wiersza. Współbieżność na poziomie wiersza jest obsługiwana tylko w tabelach bez partycjonowania, w tym tabele z klastrowaniem płynnym. Współbieżność na poziomie wiersza jest domyślnie włączona w tabelach delty z włączonymi wektorami usuwania. Zobacz Konflikty zapisu ze współbieżnością na poziomie wiersza.

Udostępnianie różnicowe: adresaci mogą wykonywać zapytania wsadowe, CDF i przesyłane strumieniowo w udostępnionych tabelach z wektorami usuwania (publiczna wersja zapoznawcza)

Adresaci udostępniania różnicowego mogą teraz wykonywać zapytania wsadowe, CDF i przesyłane strumieniowo na udostępnionych tabelach, które używają wektorów usuwania. W środowisku Databricks Runtime 14.1 mogą wykonywać tylko zapytania wsadowe. Zobacz Dodawanie tabel z wektorami usuwania lub mapowaniem kolumn do udziału, Odczyt tabel z włączonymi wektorami usuwania lub mapowaniem kolumn oraz Odczyt tabel z włączonymi wektorami usuwania lub mapowaniem kolumn.

Płytkie klonowanie tabel zewnętrznych wykazu aparatu Unity (publiczna wersja zapoznawcza)

Teraz można używać płytkiego klonowania z tabelami zewnętrznymi wykazu aparatu Unity. Zobacz Płytkie klonowanie tabel wykazu aparatu Unity.

Nowy algorytm przypisywania buforowania dysku

Harmonogram platformy Spark używa teraz nowego algorytmu buforowania dysku. Algorytm poprawia użycie dysku i przypisywanie partycji między węzłami przy szybszym przypisaniu zarówno początkowo, jak i po zdarzeniach skalowania klastra. Przypisywanie pamięci podręcznej stickier poprawia spójność przebiegów i zmniejsza ilość danych przenoszonych podczas ponownego równoważenia operacji.

from_avro z łącznikiem rejestru schematów dodano obsługę ewolucji schematu

Teraz możesz zezwolić potokom na ponowne uruchomienie po wykryciu ewoluowanych rekordów. Wcześniej, jeśli w łączniku wystąpiła ewolucja schematu from_avro , nowe kolumny będą zwracać wartość null. Zobacz Odczytywanie i zapisywanie danych avro przesyłanych strumieniowo.

Szybsze zbieranie statystyk wielowątowych

Zbieranie statystyk jest do 10 razy szybsze w przypadku małych klastrów podczas uruchamiania polecenia KONWERTUJ NA DELTA lub klonowania z tabel Iceberg i Parquet. Zobacz Konwertowanie na tabele Delta Lake i Clone Parquet i Iceberg.

Filtry wypychania w usłudze DeltaSource w plikach delty

Aby uzyskać lepsze wykorzystanie, filtry partycji w zapytaniach przesyłanych strumieniowo tabel delty są teraz wypychane do funkcji Delta przed ograniczeniem szybkości.

Obsługa funkcji skalarnych zdefiniowanych przez użytkownika w udostępnionych klastrach (publiczna wersja zapoznawcza)

Teraz można używać funkcji zdefiniowanych przez użytkownika scala w klastrach z obsługą wykazu aparatu Unity skonfigurowanych z trybem dostępu współdzielonego. Zobacz Funkcje skalarne zdefiniowane przez użytkownika — Scala.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • fastjsonschema z wersji 2.18.0 do 2.19.0
    • filelock z wersji 3.12.3 do 3.12.4
    • googleapis-common-protos z 1.60.0 do 1.61.0
  • Uaktualnione biblioteki języka R:
  • Uaktualnione biblioteki Java:

Apache Spark

Środowisko Databricks Runtime 14.2 obejmuje platformę Apache Spark 3.5.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 14.1, a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-45592] [DBRRM-624] Przywróć błąd "[SC-146977][SQL] Problem z poprawnością w usłudze AQE z elementem InMemoryTableScanExec"
  • [SPARK-45524] [DBRRM-625] Przywróć "[SC-146319][PYTHON][SQL] Początkowa obsługa f...
  • [SPARK-45433] [DBRRM-621] Przywróć "[SC-145163][SQL] Poprawiono wnioskowanie schematu CSV/JSON...
  • [SPARK-45592] [SC-146977] [SQL] Problem z poprawnością w usłudze AQE z elementem InMemoryTableScanExec
  • [SPARK-45354] Przywróć "[SC-143991][SQL] Resolve functions bottom-up"
  • [SPARK-45680] [TYLKO TEST] [SASP-2347] [CONNECT] Naprawianie testów
  • [SPARK-45680] [CONNECT] Sesja wydania
  • [SPARK-43380] [SC-146726] [ES-897115] [SQL] Naprawianie spowolnienia odczytu w usłudze Avro
  • [SPARK-45649] [SC-146742] [SQL] Ujednolicenie struktury przygotowania do OffsetWindowFunctionFrame
  • [SPARK-40820] [SC-146727] [PYTHON] [SQL] Tworzenie typu struktury na podstawie kodu Json
  • [SPARK-45620] [SC-146225] [PYTHON] Naprawianie interfejsów API przeznaczonych dla użytkowników związanych z funkcją UDTF języka Python w celu używania biblioteki camelCase
  • [SPARK-45727] [SC-146978] [SS] Usuwanie nieużywanej mapy w symulacji propagacji znaku wodnego
  • [SPARK-45723] [SC-146890] [PYTHON] [CONNECT] Metody katalogu unikają konwersji biblioteki pandas
  • [SPARK-45574] [SC-146106] [SQL] Dodaj :: składnia jako skrót do rzutu
  • [SPARK-45670] [SC-146725] [CORE] [3.5] Usługa SparkSubmit nie obsługuje --total-executor-cores wdrażania w K8s
  • [SPARK-45661] [SC-146594] [SQL] [PYTHON] Dodaj element toNullable w StructType, MapType i ArrayType
  • [SPARK-45524] [SC-146319] [PYTHON] [SQL] Początkowa obsługa interfejsu API odczytu źródła danych języka Python
  • [SPARK-45542] [SC-145892] [CORE] Zastąp ciąg setSafeMode(HdfsConstants.SafeModeAction, boolean) ciągiem setSafeMode(SafeModeAction, boolean)
  • [SPARK-45652] [SC-146641] [SQL] SPJ: Obsługa pustych partycji wejściowych po filtrowaniu dynamicznym
  • [SPARK-45454] [SC-144846] [SQL] Ustaw domyślnego właściciela tabeli na current_user
  • [SPARK-45554] [SC-146875] [PYTHON] Wprowadzenie parametru elastycznego do assertSchemaEqual
  • [SPARK-45242] [SC-143410] [SQL] Używanie identyfikatora ramki danych do semantycznie weryfikowania danych CollectMetrics
  • [SPARK-45674] [SC-146862] [CONNECT] [PYTHON] Popraw komunikat o błędzie dla atrybutów zależnych od maszyny JVM na platformie Spark Połączenie.
  • [SPARK-45646] [SC-146276] [SQL] Usuń zmienne czasu kodowania twardego przed hive 2.0
  • [SPARK-43380] [SC-146726] [ES-897115] [SQL] Naprawianie spowolnienia odczytu w usłudze Avro
  • [SPARK-45545] [SC-146484] [CORE] Przekazywanie protokołu SSLOptions wszędzie tam, gdzie tworzymy sparkTransportConf
  • [SPARK-45641] [SC-146260] [Interfejs użytkownika] Wyświetlanie godziny rozpoczęcia aplikacji na stronie AllJobsPage
  • [SPARK-40154] [SC-146491] [Python] [Docs] Poprawny poziom magazynu w dokumentach Dataframe.cache
  • [SPARK-45626] [SC-146259] [SQL] Konwertowanie _LEGACY_ERROR_TEMP_1055 na REQUIRES_SINGLE_PART_NAMESPACE
  • [SPARK-45507] [SC-145900] [SQL] Poprawka poprawności dla zagnieżdżonych skorelowanych podzapytań skalarnych z agregacjami COUNT
  • [SPARK-45619] [SC-146226] [CONNECT] [PYTHON] Stosowanie obserwowanych metryk do obiektu obserwacji
  • [SPARK-45588] [SC-145909] [PROTOBUF] [CONNECT] [DROBNE] Ulepszenie języka Scaladoc dla elementu StreamingForeachBatchHelper
  • [SPARK-45616] [SC-146120] [CORE] Unikaj parvectora, który nie propaguje threadLocals lub SparkSession
  • [SPARK-45604] [SC-146105] [SQL] Dodawanie sprawdzania typu logicznego dla funkcji INT64 —> konwersja daty/godziny na czytniku wektoryzowanym Parquet
  • [SPARK-44649] [SC-145891] [SQL] Filtr środowiska uruchomieniowego obsługuje przekazywanie równoważnych wyrażeń bocznych tworzenia
  • [SPARK-41674] [SC-128408] [SQL] Filtr środowiska uruchomieniowego powinien obsługiwać stronę sprzężenia wielopoziomowego jako stronę tworzenia filtru
  • [SPARK-45547] [SC-146228] [ML] Weryfikowanie wektorów za pomocą wbudowanej funkcji
  • [SPARK-45558] [SC-145890] [SS] Wprowadzenie pliku metadanych dla operatora stanowego przesyłania strumieniowego
  • [SPARK-45618] [SC-146252] [CORE] Usuń program BaseErrorHandler
  • [SPARK-45638] [SC-146251] [SQL] [Avro] Ulepszanie pokrycia testowego konwersji dziesiętnej
  • [SPARK-44837] [SC-146020] [SQL] Zmienianie komunikatu o błędzie w kolumnie ALTER TABLE ALTER PARTITION
  • [SPARK-45561] [SC-146264] [SQL] Dodawanie prawidłowych konwersji dla narzędzia TINYINT w narzędziu MySQLDialect
  • [SPARK-45632] [SC-146255] [SQL] Pamięć podręczna tabel powinna unikać niepotrzebnego elementu ColumnarToRow po włączeniu usługi AQE
  • [SPARK-45569] [SC-145932] [SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2152 błędu
  • [SPARK-44784] [SC-141015] [CONNECT] Wykonaj testy SBT hermetyczne.
  • [SPARK-45452] [SC-144836] [SQL] Ulepszanie InMemoryFileIndex korzystania z interfejsu FileSystem.listFiles API
  • [SPARK-44735] [SC-146186] [SQL] Dodaj bibliotekę ostrzegawczą podczas wstawiania kolumn o tej samej nazwie według wiersza, które nie są zgodne
  • [SPARK-45351] [SC-144791] [CORE] Zmień spark.shuffle.service.db.backend wartość domyślną na ROCKSDB
  • [SPARK-45553] [SC-145906] [PS] Oznaczanie jako przestarzałe assertPandasOnSparkEqual
  • [SPARK-45613] [SC-146022] [CORE] Uwidaczniaj element DeterministicLevel jako developerApi
  • [SPARK-45549] [SC-145895] [CORE] Usuń nieużywane numExistingExecutors w CoarseGrainedSchedulerBackend
  • [SPARK-45609] [SC-146030] [CONNECT] Uwzględnij element SqlState w komunikacie SparkThrowable proto
  • [SPARK-45595] [SC-146037] uwidaczniać sqlstate w komunikacie o błędzie
  • [SPARK-45628] [SC-146123] [ML] Ulepszanie vector_to_array dla .mllib.linalg.SparseVector
  • [SPARK-45009] [SC-145884] [SQL] [KONTYNUACJA] Wyłączanie dekorrelacji w warunkach sprzężenia dla testu AQE InSubquery
  • [SPARK-45576] [SC-145883] [CORE] Usuwanie niepotrzebnych dzienników debugowania w przeładowaniuX509TrustManagerSuite
  • [SPARK-45485] [SC-145719] [CONNECT] Ulepszenia agenta użytkownika: użyj zmiennej SPARK_CONNECT_USER_AGENT env i uwzględnij atrybuty specyficzne dla środowiska
  • [SPARK-45508] [SC-145513] [CORE] Dodaj "-add-opens=java.base/jdk.internal.ref=ALL-UNNAMED", aby platforma mogła uzyskać dostęp do narzędzia Cleaner w środowisku Java 9+
  • [SPARK-45595] Przywróć "[SC-146037] Uwidacznij sqlSTATE w komunikacie o błędzie"
  • [SPARK-45595] [SC-146037] Uwidaczniaj element SQLSTATE w komunikacie o błędzie
  • [SPARK-45112] Przywróć "[SC-143259][SQL] Użyj polecenia UnresolvedFunction ba...
  • [SPARK-45257] [SC-143411] [CORE] Włącz spark.eventLog.compress domyślnie
  • [SPARK-45586] [SC-145899] [SQL] Zmniejszanie opóźnienia kompilatora dla planów przy użyciu dużych drzew wyrażeń
  • [SPARK-45517] [SC-145691] [CONNECT] [14.x] Rozwiń więcej konstruktorów wyjątków, aby obsługiwać parametry struktury błędów
  • [SPARK-45581] [SC-145896] Ustaw parametr SQLSTATE na obowiązkowy.
  • [SPARK-45427] [SC-145590] [CORE] Dodawanie ustawień protokołu SSL protokołu RPC do protokołów SSLOptions i SparkTransportConf
  • [SPARK-45261] [SC-143357] [CORE] Poprawka EventLogFileWriters do obsługi none jako koder-dekoder
  • [SPARK-45582] [SC-145897] [SS] Upewnij się, że wystąpienie magazynu nie jest używane po wywołaniu zatwierdzenia w trybie wyjściowym agregacji przesyłania strumieniowego
  • [SPARK-45562] [SC-145720] [SC-144650] [SQL] XML: Ustaw element "rowTag" jako wymaganą opcję
  • [SPARK-45392] [SC-144362] [CORE] [SQL] [SS] Zastąp ciąg Class.newInstance() ciągiem Class.getDeclaredConstructor().newInstance()
  • [SPARK-45433] [SC-145163] [SQL] Naprawiono wnioskowanie schematu CSV/JSON, gdy znaczniki czasu nie są zgodne z określonym znacznikiem czasuFormat
  • [SPARK-45458] [SC-145011] [SQL] Konwertowanie elementu IllegalArgumentException na SparkIllegalArgumentException w bitoweExpressions
  • [SPARK-45564] [SC-145735] [SQL] Uproszczenie wyrażenia "DataFrameStatFunctions.bloomFilter" za pomocą wyrażenia "BloomFilterAggregate"
  • [SPARK-45566] [SC-145777] [PS] Obsługa narzędzia do testowania przypominającego bibliotekę Pandas dla interfejsu API biblioteki Pandas na platformie Spark
  • [SPARK-45498] [SC-145509] [CORE] Obserwowanie: Ignoruj ukończenie zadania ze starego etapu...
  • [SPARK-45483] [SC-145152] [CONNECT] Poprawianie grup funkcji w pliku connect.functions
  • [SPARK-45577] [SC-145781] [PYTHON] Poprawka userDefinedPythonTableFunctionAnalyzeRunner w celu przekazania złożonych wartości z nazwanych argumentów
  • [SPARK-45009] [SC-138223] [KONTYNUACJA] Wyłączanie dekorrelacji w warunkach sprzężenia dla aplikacji AetherSQLQuerySuite
  • [SPARK-45415] [SC-145344] Zezwalaj na selektywne wyłączanie "fallocate" w magazynie stanów bazy danych RocksDB
  • [SPARK-45500] [SC-145134] [CORE] [WEBUI] Pokaż liczbę nienormalnie ukończonych sterowników w programie MasterPage
  • [SPARK-44120] [SC-144349] [PYTHON] Obsługa języka Python 3.12
  • [SPARK-45439] [SC-145589] [SQL] [Interfejs użytkownika] Zmniejszenie użycia pamięci elementu LiveStageMetrics.accumIdsToMetricType
  • [SPARK-45565] [SC-145717] [Interfejs użytkownika] Niepotrzebna pętla JSON.stringify i JSON.parse dla listy zadań w szczegółach etapu
  • [SPARK-45567] [SC-145718] [CONNECT] Usuń nadmiarowy, jeśli w pliku org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
  • [SPARK-45112] [SC-143259] [SQL] Korzystanie z nierozwiązanego rozpoznawania opartego na funkcjach zestawu danych SQL
  • [SPARK-45486] [SASP-2457] [SC-145612] [CONNECT] Wysyłanie add_artifact żądania idempotentnego
  • [SPARK-44913] [SC-144326] [SQL] Ds V2 obsługuje wypychanie funkcji zdefiniowanej przez użytkownika w wersji 2, która ma metodę magic
  • [SPARK-45538] [SC-145635] [PYTHON] [CONNECT]pyspark connect overwrite_partitions usterka
  • [SPARK-45491] [SC-145622] Dodawanie brakującego elementu SQLSTATES 2/2
  • [SPARK-45009] [SC-145620] [SC-138223] [SQL] Decorrelate predykate subqueries in join condition (Decorrelate predykate subqueries in join condition) (Decorrelate predykate subqueries in join
  • [SPARK-45377] [SC-144377] [CORE] Obsługa elementu InputStream w nettyLogger
  • [SPARK-45248] [SC-143759] [CORE] Ustawianie limitu czasu dla serwera interfejsu użytkownika platformy Spark
  • [SPARK-44594] [SC-145611] [SS] Usuwanie nadmiarowego parametru metody w łączniku platformy Kafka
  • [SPARK-45539] [SC-145621] [SS] Dodawanie asertywnej i dziennika w celu wskazania definicji limitu jest wymagane w przypadku zapytań agregacji przesyłania strumieniowego w trybie dołączania
  • [SPARK-44262] [SC-145639] [SQL] Dodawanie dropTable i getInsertStatement do JdbcDialect
  • [SPARK-45516] [SC-145480] [CONNECT] Uwzględnij element QueryContext w komunikacie SparkThrowable proto
  • [SPARK-45310] [SC-145127] [CORE] Stan bloku mieszania raportów powinien uwzględniać usługę mieszania podczas migracji likwidowania
  • [SPARK-45521] [SC-145487] [ML] Unikaj ponownego obliczania nnz w VectorAssembler
  • [SPARK-45418] [SC-145485] [SQL] [PYTHON] [CONNECT] Zmień alias kolumny current_database() na current_schema()
  • [SPARK-45116] [SC-145142] [SQL] Dodaj komentarz dotyczący parametru JdbcDialect createTable
  • [SPARK-45495] [SC-145529] [core] Obsługa profilu zasobu zadania na poziomie etapu dla klastra k8s, gdy alokacja dynamiczna jest wyłączona
  • [SPARK-45487] [SC-145559] Naprawianie błędów SQLSTATEs i tymczasowych
  • [SPARK-45505] [SC-145550] [PYTHON] Refaktoryzacja funkcji analyzeInPython w celu ponownego użycia
  • [SPARK-45132] [SC-145425] [SQL] Poprawiono identyfikator wywołania funkcji
  • [SPARK-45213] [SC-145020] [SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2151 błędu
  • [SPARK-45416] [SC-145126] [CONNECT] Spójność sprawdzania kondycji wyników strzałki
  • [SPARK-45163] [SC-143386] [SQL] Scalanie UNSUPPORTED_VIEW_OPERATION i UNSUPPORTED_TABLE_OPERATION i rozwiązywanie niektórych problemów
  • [SPARK-45421] [SC-144814] [SQL] Catch AnalysisException over InlineCTE
  • [SPARK-43664] [SC-145404] [CONNECT] [PS] Zgłoś wyjątek dla obiektu ps.sql Pandas-on-Spark na platformie Spark Połączenie.
  • [SPARK-45402] [SC-145371] [SQL] [PYTHON] Dodawanie interfejsu API UDTF dla metod "eval" i "terminate" w celu korzystania z poprzedniego wyniku "analyze"
  • [SPARK-36112] [SC-67885] [SQL] Obsługa skorelowanych podzapytań EXISTS i IN przy użyciu struktury DecorrelateInnerQuery
  • [SPARK-45383] [SC-144929] [SQL] Naprawianie komunikatu o błędzie dotyczącego podróży w czasie z nieistnieną tabelą
  • [SPARK-43254] [SC-143318] [SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2018 błędu
  • [SPARK-45204] [SC-145167] [CONNECT] Dodaj opcjonalny symbol executeholder do platformy Spark Połączenie Planner
  • [SPARK-45451] [SC-145144] [SQL] Konfigurowanie domyślnego poziomu magazynu pamięci podręcznej zestawu danych
  • [SPARK-45192] [SC-143194] [Interfejs użytkownika] Naprawiono zaległy parametr lineInterpolate dla elementu graphviz edge
  • [SPARK-45467] [SC-145146] [CORE] Zastąp ciąg Proxy.getProxyClass() ciągiem Proxy.newProxyInstance().getClass
  • [SPARK-45397] [SC-145139] [ML] [CONNECT] Dodawanie funkcji asemblera tablicowego
  • [SPARK-44855] [SC-145226] [CONNECT] Małe poprawki dotyczące dołączania elementu ExecuteGrpcResponseSender do elementu ExecuteResponseObserver
  • [SPARK-45398] [SC-144796] [SQL] Dołączanie ESCAPE w wyrażeniu sql()Like
  • [SPARK-45494] [SC-145129] [CORE] [PYTHON] Wprowadzenie funkcji util do odczytu/zapisu tablicy bajtów dla języka PythonWorkerUtils
  • [SPARK-45464] [SC-145125] [CORE] Naprawianie kompilacji dystrybucji przędzy sieciowej
  • [SPARK-45461] [SC-144851] [CORE] [SQL] [MLLIB] Wprowadzenie mapatora dla usługi StorageLevel
  • [SPARK-45450] [SC-145009] [PYTHON] Napraw import zgodnie z PEP8: pyspark.pandas i pyspark (core)
  • [SPARK-45475] [SC-145018] [SQL] Używa elementu DataFrame.foreachPartition zamiast rdD.foreachPartition w narzędziu JdbcUtils
  • [SPARK-45271] [SC-143778] [SQL] Scal _LEGACY_ERROR_TEMP_1113 z TABLE_OPERATION i usuń nieużywaną metodę w funkcji QueryCompilationErrors
  • [SPARK-45449] [SC-145013] [SQL] Problem z unieważnieniem pamięci podręcznej z tabelą JDBC
  • [SPARK-45473] [SC-145017] [SQL] Naprawianie nieprawidłowego komunikatu o błędzie dla elementu RoundBase
  • [SPARK-43299] [SC-145022] [SS] [CONNECT] Konwertowanie elementu StreamingQueryException w kliencie Scala
  • [SPARK-45474] [SC-145014] [CORE] [WEBUI] Obsługa filtrowania najwyższego poziomu w interfejsie API JSON programu MasterPage
  • [SPARK-45205] [SC-145012] [SQL] CommandResultExec zastąpić metody iteracyjne, aby uniknąć wyzwalania wielu zadań.
  • [SPARK-45472] [SC-145004] [SS] Magazyn stanów bazy danych RocksDB nie musi ponownie sprawdzać istnienia ścieżki punktu kontrolnego
  • [SPARK-45470] [SC-145010] [SQL] Unikaj wklejania wartości ciągu typu kompresji hive orc
  • [SPARK-45448] [SC-144829] [PYTHON] Napraw import zgodnie z PEP8: pyspark.testing, pyspark.mllib, pyspark.resource i pyspark.streaming
  • [SPARK-45446] [SC-144828] [PYTHON] Napraw import zgodnie z PEP8: pyspark.errors i pyspark.ml
  • [SPARK-45239] [SC-144832] [CONNECT] Zmniejsz domyślną wartość spark.connect.jvmStacktrace.maxSize
  • [SPARK-45436] [SC-144831] [PYTHON] [CONNECT] Metody ramki danych sprawdzają tę samą sesję
  • [SPARK-45413] [SC-144847] [CORE] Dodawanie ostrzeżenia dotyczącego przygotowania obsługi bazy danych LevelDB
  • [SPARK-45462] [SC-144848] [CORE] [WEBUI] Pokaż Duration w ApplicationPage
  • [SPARK-44527] [SC-144855] [SQL] Zastąp wartość ScalarSubquery wartością null, jeśli jej wartość maxRows wynosi 0
  • [SPARK-45401] [SC-144854] [PYTHON] Dodawanie nowej metody cleanup w interfejsie UDTF
  • [SPARK-43704] [SC-144849] [CONNECT] [PS] Obsługa MultiIndexto_series()
  • [SPARK-45424] [SC-144888] [SQL] Poprawka timestampFormatter zwraca opcjonalne wyniki analizy, gdy tylko prefiks jest zgodny
  • [SPARK-45441] [SC-144833] [PYTHON] Wprowadzenie większej liczby funkcji util dla środowiska PythonWorkerUtils
  • [SPARK-45412] [SC-144803] [PYTHON] [CONNECT] Weryfikowanie planu i sesji w programie DataFrame.__init__
  • [SPARK-45408] [SC-144810] [CORE] Dodawanie ustawień protokołu SSL protokołu RPC do usługi TransportConf
  • [SPARK-45432] [SC-144818] [CORE] Usuwanie przestarzałego konstruktora hadoop-2 LocatedFileStatus
  • [SPARK-45434] [SC-144819] [ML] [CONNECT] Usługa LogisticsRegression sprawdza etykiety treningowe
  • [SPARK-45420] [SC-144808] [SQL] [PYTHON] [CONNECT] Dodawanie elementu DataType.fromDDL do programu PySpark
  • [SPARK-45406] [SC-144793] [PYTHON] [CONNECT] Usuwanie schema z konstruktora ramki danych
  • [SPARK-45404] [SC-144799] [CORE] Obsługa AWS_ENDPOINT_URL zmiennej env
  • [SPARK-43620] [SC-144792] [CONNECT] [PS] Naprawianie interfejsów API biblioteki Pandas zależy od nieobsługiwanych funkcji
  • [SPARK-45354] [SC-143991] [SQL] Rozwiązywanie problemów z funkcjami dolnymi
  • [SPARK-45394] [SASP-1480] [SC-144712] [PYTHON] [CONNECT] Dodaj ponawianie prób dla interfejsu API artefaktu. Ulepszanie obsługi błędów (kontynuacja do [SPARK-45093]).
  • [SPARK-45120] [SC-142780] [SPARK-45150] [Interfejs użytkownika] Uaktualnij program d3 z wersji 3 do wersji 7(7.8.5) i zastosuj zmiany interfejsu API w interfejsie użytkownika
  • [SPARK-44838] [SC-143983] [SQL] raise_error ulepszenie
  • [SPARK-45312] [SC-143754] [SQL] [Interfejs użytkownika] Obsługa przełączania wyświetlania/ukrywania svg planu na stronie wykonywania
  • [SPARK-45378] [SC-144448] [CORE] Dodawanie elementu convertToNettyForSsl do elementu ManagedBuffer
  • [SPARK-44762] [SC-144338] [CONNECT] [CORE] Dokument dla platformy Spark Połączenie.addJobTag i Połączenie SparkSession.addTag
  • [SPARK-45383] Obsługa nierozwiązanego elementu RelationTimeTravel z wdziękiem
  • [SPARK-45347] [SC-144512] [SQL] [CONNECT] Uwzględnij element SparkThrowable w FetchErrorDetailsResponse
  • [SPARK-45012] [SC-141512] [SQL] CheckAnalysis powinna zgłaszać wbudowany plan w analizieException
  • [SPARK-45359] [SC-144336] [PYTHON] [CONNECT] DataFrame.{columns, colRegex, explain} powinien zgłaszać wyjątki, gdy plan jest nieprawidłowy
  • [SPARK-45227] [SC-144233] [CORE] Rozwiązywanie subtelnego problemu z bezpieczeństwem wątków w przypadku elementu CoarseGrainedExecutorBackend
  • [SPARK-45266] [SC-144171] [PYTHON] Refaktoryzacja reguły analizatora ResolveFunctions w celu opóźnienia łączenia bocznego, gdy argumenty tabeli są używane
  • [SPARK-45266] Przywróć regułę "[SC-144171][PYTHON] Refactor ResolveFunctions analyzer rule (Reguła refaktoryzacji funkcji) w celu opóźnienia łączenia bocznego w przypadku użycia argumentów tabeli"
  • [SPARK-45371] [SC-144389] [CONNECT] Rozwiązywanie problemów z cieniowaniem w kliencie Platformy Spark Połączenie Scala
  • [SPARK-45057] [SC-144214] [CORE] Unikaj uzyskiwania blokady odczytu, gdy parametr keepReadLock ma wartość false
  • [SPARK-45385] [SC-144357] [SQL] Oznaczanie jako przestarzałe spark.sql.parser.escapedStringLiterals
  • [SPARK-45340] [SC-143917] [SQL] Usuwanie konfiguracji SQL spark.sql.hive.verifyPartitionPath
  • [SPARK-45266] [SC-144171] [PYTHON] Refaktoryzacja reguły analizatora ResolveFunctions w celu opóźnienia łączenia bocznego, gdy argumenty tabeli są używane
  • [SPARK-45362] [SC-144198] [PYTHON] Project out PARTITION BY expressions before Python UDTF 'eval' method consumes them
  • [SPARK-45346] [SC-143925] [SQL] Wnioskowanie schematu Parquet powinno uwzględniać flagę wrażliwą na wielkość liter podczas scalania schematu
  • [SPARK-45341] [SC-143933] [CORE] Popraw poziom tytułu w komentarzach KVStore.java, aby sbt doc pomyślnie uruchomić środowisko Java 17
  • [SPARK-45334] [SC-143914] [SQL] Usuwanie wprowadzającego w błąd komentarza w parquetSchemaConverter
  • [SPARK-45337] [SC-143932] [CORE] Refaktoryzacja AbstractCommandBuilder#getScalaVersion w celu usunięcia sprawdzania języka Scala 2.12
  • [SPARK-45329] [SC-143918] [PYTHON] [CONNECT] Metody ramki danych pomijają konwersję biblioteki pandas
  • [SPARK-43662] [SC-143923] [PS] [CONNECT] Obsługa merge_asof w usłudze Spark Połączenie
  • [SPARK-44126] [SC-143751] [CORE] Liczba niepowodzeń migracji nie powinna być zwiększana, gdy docelowa funkcja wykonawcza została zlikwidowana
  • [SPARK-44550] [SC-119768] [SQL] Włączanie poprawek poprawek w null IN (empty list) obszarze ANSI
  • [SPARK-45316] [SC-143783] [CORE] [SQL] Dodawanie nowych parametrów ignoreCorruptFiles/ignoreMissingFiles do i HadoopRDDNewHadoopRDD
  • [SPARK-45093] [SC-143414] [CONNECT] [PYTHON] Raportowanie błędów dla zapytania addArtifacts
  • [SPARK-44756] [SC-143787] [CORE] Funkcja wykonawcza zawiesza się, gdy polecenie RetryingBlockTransferor nie może zainicjować ponawiania próby
  • [SPARK-45333] [SC-143768] [CORE] Napraw jeden błąd jednostki związany z elementem spark.eventLog.buffer.kb
  • [SPARK-45317] [SC-143750] [SQL] [CONNECT] Obsługa nazwy pliku o wartości null w śladach stosu wyjątków
  • [SPARK-45191] [SC-143407] [SQL] InMemoryTableScanExec simpleStringWithNodeId dodaje informacje kolumnowe
  • [SPARK-45235] [SC-143314] [CONNECT] [PYTHON] Obsługa parametrów mapy i tablicy według sql()
  • [SPARK-45138] [SC-143309] [SS] Zdefiniuj nową klasę błędów i zastosuj ją w przypadku niepowodzenia tworzenia punktów kontrolnych w systemie plików DFS
  • [SPARK-45297] [SC-143644] [SQL] Usuń obejście problemu dla elementu dateformatter dodanego w programie SPARK-31827
  • [SPARK-44345] [SC-143593] [CORE] Niższy unknown shuffle map output poziom dziennika ostrzegający, jeśli migracja mieszania jest włączona
  • [SPARK-44463] [SC-143251] [SS] [CONNECT] Ulepszanie obsługi błędów w przypadku procesu roboczego Połączenie parowania języka Python
  • [SPARK-45207] [SC-143603] [SQL] [CONNECT] Implementowanie wzbogacania błędów dla klienta Scala
  • [SPARK-45240] [SC-143602] [SQL] [CONNECT] Implementowanie wzbogacania błędów dla klienta języka Python
  • [SPARK-45216] [SC-143288] [SQL] Naprawianie niedeterministycznych interfejsów API zestawów danych inicjowanych
  • [SPARK-45251] [SC-143419] [CONNECT] Dodawanie pola client_type dla FetchErrorDetails
  • [SPARK-45137] [SC-143001] [CONNECT] Obsługa parametrów mapy/tablicy w sparametryzowanym sql()
  • [SPARK-45224] [SC-143257] [PYTHON] Dodawanie przykładów w/map i tablicy jako parametrów sql()
  • [SPARK-44622] [SC-143205] [SQL] [CONNECT] Implementowanie FetchErrorDetails RPC
  • [SPARK-45178] [SC-136089] Powrót do wykonania pojedynczej partii wyzwalacza.AvailableNow z nieobsługiwanymi źródłami, a nie przy użyciu otoki
  • [SPARK-44823] [14.x] [SC-142979] [PYTHON] Zaktualizuj czarny do wersji 23.9.1 i sprawdzanie poprawek
  • [SPARK-45078] [SC-142954] [SQL] Naprawianie błędu array_insert ImplicitCastInputTypes nie działa
  • [SPARK-44579] [SC-138428] [SQL] Anulowanie przerwania pomocy technicznej w programie SQLExecution
  • [SPARK-45252] [SC-143371] [CORE] Ucieczka przed symbolami większymi/mniejszymi w komentarzach w celu sbt doc pomyślnego wykonania
  • [SPARK-45189] [SC-142973] [SQL] Tworzenie nierozwiązanejrelacji z tabeliIdentifier powinno zawierać pole wykazu
  • [SPARK-45229] [SC-143254] [CORE] [Interfejs użytkownika] Pokaż liczbę sterowników oczekujących w stanie PRZESŁANO W programie MasterPage
  • [SPARK-43453] Przywróć wartość "[SC-143135][PS] Ignoruj wartość names "axis=1concatMultiIndex

Obsługa sterowników ODBC/JDBC usługi Databricks

Usługa Databricks obsługuje sterowniki ODBC/JDBC wydane w ciągu ostatnich 2 lat. Pobierz ostatnio wydane sterowniki i uaktualnij (pobierz plik ODBC, pobierz plik JDBC).

Środowisko systemu

  • System operacyjny: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.0.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black (czarny) 22.6.0 Bleach 4.1.0
migacz 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknięcie 8.0.4 Comm 0.1.2
konturowy 1.0.5 Kryptografii 39.0.1 Cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 Dekorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 punkty wejścia 0,4
Wykonywanie 0.8.3 aspekty — omówienie 1.1.1 fastjsonschema 2.19.0
filelock 3.12.4 fonttools 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 stan obiektu grpcio 1.48.1 httplib2 0.20.2
Idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
Ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Brelok 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 Lxml 4.9.1 Znaczniki Sejf 2.1.1
matplotlib 3.7.0 biblioteka matplotlib-inline 0.1.6 Mccabe 0.7.0
mistune 0.8.4 więcej itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notes 6.5.2 notebook_shim 0.2.2 Numpy 1.23.5
oauthlib 3.2.0 Opakowania 22,0 Pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Poduszkę 9.4.0 Pip 22.3.1 platformdirs 2.5.2
kreślenie 5.9.0 wtyczka 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,4 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pirstent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
żądania 2.28.1 Liny 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
Sześć 1.16.0 wąchanie 1.2.0 zupy 2.3.2.post1
ssh-import-id 5,11 stack-data 0.2.0 statsmodels 0.13.5
Wytrzymałość 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
Tornado 6.1 traitlety 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.14
Virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
Koła 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN posit Menedżer pakietów 2023-02-10.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
strzałkę 12.0.1 askpass 1.1 assertthat 0.2.1
Backports 1.4.1 base 4.3.1 base64enc 0.1-3
bitowe 4.0.5 bit64 4.0.5 blob 1.2.4
rozruch 1.3-28 Napar 1.0-8 Brio 1.1.3
Miotła 1.0.5 bslib 0.5.0 cachem 1.0.8
obiekt wywołujący 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 zegar 0.7.0 cluster 2.1.4
codetools 0.2-19 Kolorów 2.1-0 commonmark 1.9.0
— kompilator 4.3.1 config 0.3.1 Konflikt 1.2.0
cpp11 0.4.4 Pastel 1.5.2 poświadczenia 1.3.2
Curl 5.0.1 data.table 1.14.8 usługi Power BI 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Desc 1.4.2
devtools 2.4.5 Diagram 1.6.5 diffobj 0.3.5
Szyfrowane 0.6.33 downlit (wyłączony) 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 wielokropek 0.3.2
evaluate 0.21 fani 1.0.4 farver 2.1.1
szybka mapa 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 Zagranicznych 0.8-82 Forge 0.2.0
Fs 1.6.2 Przyszłości 1.33.0 future.apply 1.11.0
Płukać 1.5.1 Generyczne 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Globals 0.16.2 Kleju 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.3.1 grDevices 4.3.1 Siatki 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 Haven 2.5.3 wysoki 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Identyfikatory 1.0.1 Ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Iteratory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
Etykietowania 0.4.2 Później 1.3.1 Kraty 0.21-8
Lawy 1.7.2.1 cykl życia 1.0.3 nasłuchiwanie 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASSACHUSETTS 7.3-60 Macierz 1.5-4.1 zapamiętywanie 2.0.1
metody 4.3.1 mgcv 1.8-42 Mime 0,12
miniUI 0.1.1.1 Metryki modelu 1.2.2.2 modeler 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
równolegle 1.36.0 Filar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 Pochwały 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Postęp 1.2.2
progressr 0.13.0 Obietnice 1.2.0.1 Proto 1.0.0
Serwera proxy 0.4-27 Ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 przepisy 1.0.6
Rewanżu 1.0.1 rewanż2 2.1.2 Piloty 2.4.2
reprex 2.0.2 zmień kształt2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions (rversions) 2.1.2
rvest 1.0.3 Sass 0.4.6 Skale 1.2.1
selektor 0.4-2 sessioninfo 1.2.2 Kształt 1.4.6
Błyszczące 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
Przestrzennej 7.3-15 Splajnów 4.3.1 sqldf 0.4-11
KWADRAT 2021.1 Statystyki 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 Przetrwanie 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
zmiana czasu 0.2.0 timeDate 4022.108 tinytex 0,45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 narzędzia 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
Vroom 1.6.3 Waldo 0.5.1 wąs 0.4.1
withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 Yaml 2.3.7
Zip 2.3.0

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-klej 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Kolega 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofeina Kofeiny 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics adnotacja metryk 4.2.19
io.dropwizard.metrics metryki —rdzeń 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics serwlety metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty transport netto 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolektor 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow format strzałki 12.0.1
org.apache.arrow strzałka-pamięć-rdzeń 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow wektor strzałki 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator przepisy kuratora 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Bluszcz 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc podkładki orc-shim 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-cieniowane 4.23
org.apache.yetus adnotacje odbiorców 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper jute dozorców 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-kontynuacja 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket —wspólne 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Podkładki 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest zgodny ze standardem scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten trzydostępne dodatkowe 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1