Databricks Runtime 14.3 LTS

  • Artykuł

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 14.3 LTS obsługiwanym przez platformę Apache Spark 3.5.0.

Usługa Databricks opublikowała te obrazy w lutym 2024 roku.

Nowe funkcje i ulepszenia

Obsługa optymalizacji wektorów MERGE usuwania bez funkcji Photon

Funkcja Photon nie jest już wymagana do MERGE wykonywania operacji w celu wykorzystania optymalizacji wektorów usuwania. Zobacz Co to są wektory usuwania?.

Interfejsy API wykazu platformy Spark są teraz w pełni obsługiwane w trybie dostępu współdzielonego

Teraz można używać wszystkich funkcji w interfejsie spark.catalog API zarówno w języku Python, jak i w języku Scala na obliczeniach skonfigurowanych z trybem dostępu współdzielonego.

Funkcja Delta UniForm jest teraz ogólnie dostępna

Aplikacja UniForm jest teraz ogólnie dostępna i używa IcebergCompatV2 funkcji tabeli. Teraz można włączyć lub uaktualnić aplikację UniForm w istniejących tabelach. Zobacz Format uniwersalny (UniForm), aby uzyskać zgodność góry lodowej z tabelami delty.

Nowa funkcja SQL EXECUTE IMMEDIATE

Teraz możesz użyć składni EXECUTE IMMEDIATE do obsługi sparametryzowanych zapytań w języku SQL. Zobacz WYKONYWANIE NATYCHMIASTOWE.

Ponowne obliczanie statystyk pomijania danych dla tabel delty

Teraz możesz ponownie skompilować statystyki przechowywane w dzienniku delty po zmianie kolumn używanych do pomijania danych. Zobacz Określanie kolumn statystyk różnicowych.

Wykonywanie zapytań dotyczących stanu dla stanowych zapytań przesyłania strumieniowego

Teraz możesz wykonywać zapytania dotyczące danych stanu przesyłania strumieniowego ze strukturą i metadanych. Zobacz Odczytywanie informacji o stanie przesyłania strumieniowego ze strukturą.

Użyj identyfikatora Entra firmy Microsoft (dawniej Azure Active Directory) na potrzeby uwierzytelniania platformy Kafka w udostępnionych klastrach

Usługi Event Hubs można teraz uwierzytelniać za pomocą protokołu OAuth przy użyciu identyfikatora Entra firmy Microsoft na obliczeniach skonfigurowanych w trybie dostępu współdzielonego. Zobacz Uwierzytelnianie jednostki usługi za pomocą identyfikatora Entra firmy Microsoft (dawniej Azure Active Directory) i usługi Azure Event Hubs.

Dodano obsługę oczyszczania plików i partycji w celu zwiększenia wydajności zapytań

Aby przyspieszyć niektóre zapytania, które opierają się na równości odpornej na wartość null w warunkach JOIN, obsługujemy DynamicFilePruning teraz operator i DynamicPartitionPruning operator EqualNullSafe w jednostkach JOIN.

Deklarowanie zmiennych tymczasowych w sesji SQL

W tej wersji wprowadzono możliwość deklarowania zmiennych tymczasowych w sesji, którą można ustawić, a następnie odwoływać się z poziomu zapytań. Zobacz Zmienne.

Aktualizacje thriftserver w celu usunięcia nieużywanych funkcji

Kod Thriftserver został zaktualizowany w celu usunięcia kodu dla przestarzałych funkcji. Ze względu na te zmiany następujące konfiguracje nie są już obsługiwane:

  • Pomocnicze elementy JAR programu Hive skonfigurowane przy użyciu hive.aux.jars.path właściwości nie są już obsługiwane dla hive-thriftserver połączeń.
  • Globalny plik inicjowania programu Hive (.hiverc), którego lokalizacja jest skonfigurowana przy użyciu hive.server2.global.init.file.location właściwości lub zmiennej środowiskowej HIVE_CONF_DIR , nie jest już obsługiwana dla hive-thriftserver połączeń.

Używanie plików magazynu zaufania i magazynu kluczy w woluminach wykazu aparatu Unity

Teraz można używać plików magazynu zaufania i magazynu kluczy w woluminach wykazu aparatu Unity do uwierzytelniania w rejestrze schematów platformy Confluent na potrzeby danych buforu avro lub protokołu. Zobacz dokumentację buforów avro lub protokołu.

Obsługa natywnego formatu pliku XML (publiczna wersja zapoznawcza)

Natywna obsługa formatu pliku XML jest teraz dostępna w publicznej wersji zapoznawczej. Obsługa formatu pliku XML umożliwia pozyskiwanie, wykonywanie zapytań i analizowanie danych XML na potrzeby przetwarzania wsadowego lub przesyłania strumieniowego. Może automatycznie wnioskować i rozwijać schemat i typy danych, obsługuje wyrażenia SQL, takie jak from_xml, i może generować dokumenty XML. Nie wymaga on zewnętrznych plików JAR i bezproblemowo współpracuje z tabelami dynamicznymi automatycznego modułu ładującego, read_files, COPY INTOi delty. Zobacz Odczytywanie i zapisywanie plików XML.

Obsługa magazynu Cloudflare R2 (publiczna wersja zapoznawcza)

Teraz możesz użyć usługi Cloudflare R2 jako magazynu w chmurze dla danych zarejestrowanych w wykazie aparatu Unity. Rozwiązanie Cloudflare R2 jest przeznaczone głównie dla przypadków użycia funkcji Delta Sharing, w których chcesz uniknąć opłat za ruch wychodzący danych pobieranych przez dostawców usług w chmurze, gdy dane przejdą między regionami. Magazyn R2 obsługuje wszystkie zasoby danych i sztucznej inteligencji usługi Databricks obsługiwane w usługach AWS S3, Azure Data Lake Storage Gen2 i Google Cloud Storage. Zobacz Use Cloudflare R2 replicas or migrate storage to R2 (Używanie replik Cloudflare R2 lub migrowanie magazynu do wersji R2 ) i Create a storage credential for connecting to Cloudflare R2 (Tworzenie poświadczeń magazynu na potrzeby nawiązywania połączenia z usługą Cloudflare R2).

Dostęp platformy Spark i dbutils do plików obszaru roboczego w klastrach wykazu aparatu Unity z dostępem współdzielonego

Platforma Spark i dostęp do odczytu i dbutils zapisu do plików obszaru roboczego jest teraz obsługiwany w klastrach wykazu aparatu Unity w trybie dostępu współdzielonego. Zobacz Praca z plikami obszaru roboczego.

Obsługa skryptów inicjowania i biblioteki klastrów w klastrach wykazu unity dostępu współdzielonego

Instalacja skryptów inicjowania o zakresie klastra oraz biblioteki PYTHON i JAR w klastrach wykazu aparatu Unity w trybie dostępu współdzielonego, w tym instalacja przy użyciu zasad klastra, jest teraz ogólnie dostępna. Usługa Databricks zaleca instalowanie skryptów inicjowania i bibliotek z woluminów wykazu aparatu Unity.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • fastjsonschema z wersji 2.19.0 do 2.19.1
    • filelock z wersji 3.12.4 do 3.13.1
    • googleapis-common-protos z 1.61.0 do 1.62.0
    • opakowanie z 22.0 do 23.2
  • Uaktualnione biblioteki języka R:
    • obce od 0,8-82 do 0,8-85
    • nlme z 3.1-162 do 3.1-163
    • rpart z 4.1.19 do 4.1.21
  • Uaktualnione biblioteki Java:
    • com.databricks.databricks-sdk-java z zakresu od 0.7.0 do 0.13.0
    • org.apache.orc.orc-core z wersji 1.9.1-shaded-protobuf do wersji 1.9.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce from 1.9.1-shaded-protobuf to 1.9.2-shaded-protobuf
    • org.apache.orc.orc-shims z wersji 1.9.1 do 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12 z wersji 2.9.0 do 2.11.0

Apache Spark

Środowisko Databricks Runtime 14.3 obejmuje platformę Apache Spark 3.5.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 14.2, a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-46541] [SC-153546] [SQL] [CONNECT] Naprawianie niejednoznacznego odwołania do kolumny w samosprzężeniu
  • [SPARK-45433] Przywróć "[SC-145163][SQL] Poprawiono wnioskowanie schematu CSV/JSON...
  • [SPARK-46723] [14.3] [SASP-2792] [SC-153425] [CONNECT] [SCALA] Utwórz polecenie addArtifact z możliwością ponawiania próby
  • [SPARK-46660] [SC-153391] [CONNECT] ReattachExecute żąda aktualizacji aktywności elementu SessionHolder
  • [SPARK-46670] [SC-153273] [PYTHON] [SQL] Samodzielne klonowanie elementu DataSourceManager przez oddzielenie statycznych i środowiska uruchomieniowego źródeł danych języka Python
  • [SPARK-46720] [SC-153410] [SQL] [PYTHON] Refaktoryzacja źródła danych języka Python w celu dopasowania do innych wbudowanych źródeł danych DSv2
  • [SPARK-46684] [SC-153275] [PYTHON] [CONNECT] Napraw funkcję CoGroup.applyInPandas/Arrow, aby prawidłowo przekazać argumenty
  • [SPARK-46667] [SC-153271] [SC-153263] [SQL] XML: zgłaszanie błędu w wielu źródłach danych XML
  • [SPARK-46382] [SC-151881] [SQL] XML: Wartość domyślna ignoruj wartościSurroundingSpaces na true
  • [SPARK-46382] [SC-153178] [SQL] XML: Aktualizowanie dokumentu dla ignoreSurroundingSpaces
  • [SPARK-45292] Przywróć "[SC-151609][SQL][HIVE] Usuń Guava z klas udostępnionych z IsolatedClientLoader"
  • [SPARK-45292] [SC-151609] [SQL] [HIVE] Usuń Guava z klas udostępnionych z elementu IsolatedClientLoader
  • [SPARK-46311] [SC-150137] [CORE] Rejestrowanie końcowego stanu sterowników podczas Master.removeDriver
  • [SPARK-46413] [SC-151052] [PYTHON] Sprawdzanie poprawności zwracanego typu strzałki w funkcji zdefiniowanej przez użytkownika języka Python
  • [SPARK-46633] [WARMFIX] [SC-153092] [SQL] Naprawianie czytnika Avro w celu obsługi bloków o zerowej długości
  • [SPARK-46537] [SC-151286] [SQL] Konwertowanie serwera NPE i asercyjnie z poleceń na błędy wewnętrzne
  • [SPARK-46179] [SC-151678] [SQL] Dodawanie aplikacji CrossDbmsQueryTestSuites, która uruchamia inne maszyny DBMS względem złotych plików z innymi systemami DBMS, począwszy od bazy danych Postgres
  • [SPARK-44001] [SC-151413] [PROTOBUF] Dodaj opcję zezwalającą na rozpasanie znanych typów otoki protobuf
  • [SPARK-40876] [SC-151786] [SQL] Rozszerzanie promocji typu dla miejsc dziesiętnych o większej skali w czytnikach Parquet
  • [SPARK-46605] [SC-151769] [CONNECT] Obsługa funkcji Make lit/typedLit w module connect s.c.immutable.ArraySeq
  • [SPARK-46634] [SC-153005] Sprawdzanie poprawności literału [SQL] nie powinno przechodzić do szczegółów pól o wartości null
  • [SPARK-37039] [SC-153094] [PS] Poprawka w Series.astype celu poprawnego działania z brakującą wartością
  • [SPARK-46312] [SC-150163] [CORE] Użyj lower_camel_case w store_types.proto
  • [SPARK-46630] [SC-153084] [SQL] XML: Weryfikowanie nazwy elementu XML podczas zapisu
  • [SPARK-46627] [SC-152981] [SS] [Interfejs użytkownika] Naprawianie zawartości etykietki narzędzia osi czasu w interfejsie użytkownika przesyłania strumieniowego
  • [SPARK-46248] [SC-151774] [SQL] XML: Obsługa opcji ignoreCorruptFiles i ignoreMissingFiles
  • [SPARK-46386] [SC-150766] [PYTHON] Poprawianie asercji obserwacji (pyspark.sql.obserwacja)
  • [SPARK-46581] [SC-151789] [CORE] Aktualizacja komentarza na isZero w akumulacjęV2
  • [SPARK-46601] [SC-151785] [CORE] Naprawianie błędu dziennika w handleStatusMessage
  • [SPARK-46568] [SC-151685] [PYTHON] Ustaw opcje źródła danych języka Python jako słownik bez uwzględniania wielkości liter
  • [SPARK-46611] [SC-151783] [CORE] Usuń ThreadLocal przez zastąpienie SimpleDateFormat elementem DateTimeFormat
  • [SPARK-46604] [SC-151768] [SQL] Tworzenie Literal.apply pomocy technicznej s.c.immuable.ArraySeq
  • [SPARK-46324] [SC-150223] [SQL] [PYTHON] Poprawiono nazwę danych wyjściowych pyspark.sql.functions.user i session_user
  • [SPARK-46621] [SC-151794] [PYTHON] Adres null z exception.getMessage w przechwyconym wyjątku Py4J
  • [SPARK-46598] [SC-151767] [SQL] OrcColumnarBatchReader powinien uwzględniać tryb pamięci podczas tworzenia wektorów kolumn dla brakującej kolumny
  • [SPARK-46613] [SC-151778] [SQL] [PYTHON] Rejestrowanie pełnego wyjątku, gdy nie można wyszukać źródeł danych języka Python
  • [SPARK-46559] [SC-151364] [MLLIB] Zawijanie export w nazwie pakietu za pomocą zaplecza
  • [SPARK-46522] [SC-151784] [PYTHON] Blokuj rejestrację źródła danych języka Python z konfliktami nazw
  • [SPARK-45580] [SC-149956] [SQL] Obsługa przypadku, w którym zagnieżdżone podzapytanie staje się sprzężenia istnienia
  • [SPARK-46609] [SC-151714] [SQL] Unikaj eksplozji wykładniczej w partycjonowaniuPreservingUnaryExecNode
  • [SPARK-46535] [SC-151288] [SQL] Naprawianie npE podczas opisywania rozszerzonej kolumny bez statystyk kolumny
  • [SPARK-46599] [SC-147661] [SC-151770] [SQL] XML: Użyj typeCoercion.findTightestCommonType w celu sprawdzenia zgodności
  • [SPARK-40876] [SC-151129] [SQL] Rozszerzanie promocji typów w czytnikach Parquet
  • [SPARK-46179] [SC-151069] [SQL] Wyciąganie kodu do funkcji wielokrotnego użytku w programie SQLQueryTestSuite
  • [SPARK-46586] [SC-151679] [SQL] Obsługa s.c.immutable.ArraySeq w następujący sposób customCollectionCls : MapObjects
  • [SPARK-46585] [SC-151622] [CORE] Bezpośrednio skonstruowany metricPeaks jako element immutable.ArraySeq zamiast używany mutable.ArraySeq.toSeq w programie Executor
  • [SPARK-46488] [SC-151173] [SQL] Pomijanie wywołania trimAll podczas analizowania znacznika czasu
  • [SPARK-46231] [SC-149724] [PYTHON] Migrowanie wszystkich pozostałych NotImplementedError elementów i TypeError do struktury błędów PySpark
  • [SPARK-46348] [SC-150281] [CORE] Wsparcie spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164] [CORE] Czas trwania odzyskiwania dziennika Spark HA
  • [SPARK-46358] [SC-150307] [CONNECT] Uproszczenie sprawdzania warunku ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078] [SQL] Zastąp bieżącą godzinę/datę przed oceną wyrażeń tabeli wbudowanej.
  • [SPARK-46563] [SC-151441] [SQL] Wyświetlanie parametru simpleString nie jest zgodne z spark.sql.debug.maxToStringFields
  • [SPARK-46101] [SC-149211] [CORE] [SQL] [MLLIB] [SS] [R] [CONNCT] [GRAPHX] Zmniejsz głębokość stosu, zastępując element (ciąg|tablica).size ciągiem (ciąg|tablica).length
  • [SPARK-46539] [SC-151469] [SQL] SELECT * EXCEPT(wszystkie pola z struktury) powoduje niepowodzenie asercji
  • [SPARK-46565] [SC-151414] [PYTHON] Uściślij klasy błędów i komunikaty o błędach dla źródeł danych języka Python
  • [SPARK-46576] [SC-151614] [SQL] Ulepszanie komunikatów o błędach dla nieobsługiwanego trybu zapisywania źródła danych
  • [SPARK-46540] [SC-151355] [PYTHON] Uwzględnianie nazw kolumn, gdy dane wyjściowe funkcji odczytu źródła danych języka Python mają nazwę Obiekty wiersza
  • [SPARK-46577] [SC-151448] [SQL] HiveMetastoreLazyInitializationSuite wycieka stanu SessionState hive
  • [SPARK-44556] [SC-151562] [SQL] Ponowne użycie OrcTail w przypadku włączenia wektoryzowanegoreadera
  • [SPARK-46587] [SC-151618] [SQL] XML: Naprawianie konwersji dużej liczby całkowitej XSD
  • [SPARK-46382] [SC-151297] [SQL] XML: Przechwyć wartości przeplatane między elementami
  • [SPARK-46567] [SC-151447] [CORE] Usuń threadLocal dla readAheadInputStream
  • [SPARK-45917] [SC-151269] [PYTHON] [SQL] Automatyczna rejestracja źródła danych języka Python podczas uruchamiania
  • [SPARK-28386] [SC-151014] [SQL] Nie można rozpoznać kolumn ORDER BY z kolumnami GROUP BY i HAVING
  • [SPARK-46524] [SC-151446] [SQL] Ulepszanie komunikatów o błędach dla nieprawidłowego trybu zapisywania
  • [SPARK-46294] [SC-150672] [SQL] Czyszczenie semantyki init a zero wartości
  • [SPARK-46301] [SC-150100] [CORE] Wsparcie spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324] [SQL] Usuń sprawdzanie c>=0 z ExternalCatalogUtils#needsEscaping elementu , ponieważ jest ono zawsze prawdziwe
  • [SPARK-46553] [SC-151360] [PS] FutureWarning for interpolate with object dtype
  • [SPARK-45914] [SC-151312] [PYTHON] Obsługa zatwierdzania i przerywania interfejsu API dla zapisu źródła danych języka Python
  • [SPARK-46543] [SC-151350] [PYTHON] [CONNECT] Utwórz json_tuple wyjątek PySparkValueError dla pustych pól
  • [SPARK-46520] [SC-151227] [PYTHON] Obsługa trybu zastępowania dla zapisu w źródle danych języka Python
  • [SPARK-46502] [SC-151235] [SQL] Obsługa typów sygnatur czasowych w unwrapCastInBinaryComparison
  • [SPARK-46532] [SC-151279] [CONNECT] Przekazywanie parametrów komunikatu w metadanych ErrorInfo
  • [SPARK-46397] Przywróć funkcję "[SC-151311][PYTHON][CONNECT] Powinna zostać zgłoszona PySparkValueError nieprawidłowa numBitsfunkcja sha2 "
  • [SPARK-46170] [SC-149472] [SQL] Obsługa wstrzykiwania reguł strategii planisty zapytania adaptacyjnego w usłudze SparkSessionExtensions
  • [SPARK-46444] [SC-151195] [SQL] Tabela V2SessionCatalog#createTable nie powinna ładować tabeli
  • [SPARK-46397] [SC-151311] [PYTHON] [CONNECT] Funkcja sha2 powinna zgłaszać PySparkValueError nieprawidłowe numBits
  • [SPARK-46145] [SC-149471] [SQL] spark.catalog.listTables nie zgłasza wyjątku, gdy tabela lub widok nie zostanie znaleziony
  • [SPARK-46272] [SC-151012] [SQL] Obsługa funkcji CTAS przy użyciu źródeł DSv2
  • [SPARK-46480] [SC-151127] [CORE] [SQL] Naprawianie serwera NPE podczas próby zadania pamięci podręcznej tabeli
  • [SPARK-46100] [SC-149051] [CORE] [PYTHON] Zmniejsz głębokość stosu, zastępując element (ciąg|tablica).size ciągiem (ciąg|tablica).length
  • [SPARK-45795] [SC-150764] [SQL] Wersja DS v2 obsługuje tryb wypychania
  • [SPARK-46485] [SC-151133] [SQL] Polecenie V1Write nie powinno dodawać sortowania, jeśli nie jest to konieczne
  • [SPARK-46468] [SC-151121] [SQL] Obsługa usterki COUNT dla podzapytania EXISTS z agregacją bez grupowania kluczy
  • [SPARK-46246] [SC-150927] [SQL] OBSŁUGA NATYCHMIASTOWEGO WYKONYWANIA SQL
  • [SPARK-46498] [SC-151199] [CORE] Usuń shuffleServiceEnabled z o.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807] [SQL] Ustaw konfigurację rebase na CORRECTED tryb domyślnie
  • [SPARK-45525] [SC-151120] [SQL] [PYTHON] Obsługa zapisu źródła danych języka Python przy użyciu języka DSv2
  • [SPARK-46505] [SC-151187] [CONNECT] Umożliwia skonfigurowanie progu bajtów w programie ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025] [SQL] Usuń starsze konfiguracje sql data/godzina ponownego łączenia
  • [SPARK-46443] [SC-151123] [SQL] Precyzja i skala dziesiętna powinny być ustalane przez dialekt H2.
  • [SPARK-46384] [SC-150694] [SPARK-46404] [SS] [Interfejs użytkownika] Naprawianie wykresu stosu czasu trwania operacji na stronie przesyłania strumieniowego ze strukturą
  • [SPARK-46207] [SC-151068] [SQL] Obsługa funkcji MergeInto w elemecie DataFrameWriterV2
  • [SPARK-46452] [SC-151018] [SQL] Dodawanie nowego interfejsu API w usłudze DataWriter w celu zapisania iteratora rekordów
  • [SPARK-46273] [SC-150313] [SQL] Obsługa funkcji INSERT INTO/OVERWRITE przy użyciu źródeł DSv2
  • [SPARK-46344] [SC-150267] [CORE] Ostrzegaj prawidłowo, gdy sterownik istnieje pomyślnie, ale serwer główny jest odłączony
  • [SPARK-46284] [SC-149944] [PYTHON] [CONNECT] Dodawanie session_user funkcji do języka Python
  • [SPARK-46043] [SC-149786] [SQL] Obsługa tworzenia tabeli przy użyciu źródeł DSv2
  • [SPARK-46323] [SC-150191] [PYTHON] Napraw nazwę danych wyjściowych pyspark.sql.functions.now
  • [SPARK-46465] [SC-151059] [PYTHON] [CONNECT] Dodaj Column.isNaN w narzędziu PySpark
  • [SPARK-46456] [SC-151050] [CORE] Dodaj spark.ui.jettyStopTimeout , aby ustawić limit czasu zatrzymania serwera Jetty w celu odblokowania zamknięcia aparatu SparkContext
  • [SPARK-43427] [SC-150356] [PROTOBUF] spark protobuf: zezwalaj na emisję niepodpisanych typów liczb całkowitych
  • [SPARK-46399] [SC-151013] [14.x] [Core] Dodawanie stanu zakończenia do zdarzenia Koniec aplikacji na potrzeby korzystania z odbiornika platformy Spark
  • [SPARK-46423] [SC-150752] [PYTHON] [SQL] Utwórz wystąpienie źródła danych języka Python na stronie DataSource.lookupDataSourceV2
  • [SPARK-46424] [SC-150765] [PYTHON] [SQL] Obsługa metryk języka Python w źródle danych języka Python
  • [SPARK-46330] [SC-151015] Ładowanie bloków interfejsu użytkownika platformy Spark przez długi czas po włączeniu magazynu hybrydowego
  • [SPARK-46378] [SC-150397] [SQL] Nadal usuń sortowanie po przekonwertowaniu agregacji na projekt
  • [SPARK-45506] [SC-146959] [CONNECT] Dodawanie obsługi identyfikatora URI ivy do platformy Spark Połączenie addArtifact
  • [SPARK-45814] [SC-147871] [CONNECT] [SQL] Utwórz metodę ArrowConverters.createEmptyArrowBatch call close(), aby uniknąć przecieku pamięci
  • [SPARK-46427] [SC-150759] [PYTHON] [SQL] Zmień opis źródła danych języka Python, aby był dość objaśnienia
  • [SPARK-45597] [SC-150730] [PYTHON] [SQL] Obsługa tworzenia tabeli przy użyciu źródła danych języka Python w programie SQL (DSv2 exec)
  • [SPARK-46402] [SC-150700] [PYTHON] Dodawanie parametrów getMessageParameters i obsługa polecenia getQueryContext
  • [SPARK-46453] [SC-150897] [CONNECT] Zgłaszanie wyjątku z internalError() in SessionHolder
  • [SPARK-45758] [SC-147454] [SQL] Wprowadzenie mapera dla koderów kompresji hadoop
  • [SPARK-46213] [PYTHON] Wprowadzenie PySparkImportError do struktury błędów
  • [SPARK-46230] [SC-149960] [PYTHON] Migrowanie RetriesExceeded do błędu PySpark
  • [SPARK-45035] [SC-145887] [SQL] Poprawka ignoreCorruptFiles/ignoreMissingFiles z wielowierszowymi plikami CSV/JSON zgłasza błąd
  • [SPARK-46289] [SC-150846] [SQL] Obsługa porządkowania tras zdefiniowanych przez użytkownika w trybie interpretowanym
  • [SPARK-46229] [SC-150798] [PYTHON] [CONNECT] Dodawanie aplikacji applyInArrow do grupowania i cogroup na platformie Spark Połączenie
  • [SPARK-46420] [SC-150847] [SQL] Usuwanie nieużywanego transportu w usłudze SparkSQLCLIDriver
  • [SPARK-46226] [PYTHON] Migrowanie wszystkich pozostałych RuntimeError do platformy błędów PySpark
  • [SPARK-45796] [SC-150613] [SQL] Tryb obsługi () W GRUPIE (ORDER BY col)
  • [SPARK-40559] [SC-149686] [PYTHON] [14.X] Dodawanie elementu applyInArrow do grupowania i cogroup
  • [SPARK-46069] [SC-149672] [SQL] Obsługa typu znacznika czasu odpakowania do typu daty
  • [SPARK-46406] [SC-150770] [SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782] [SS] Konwertowanie IllegalStateException na internalError w iteratorach sesji
  • [SPARK-45807] [SC-150751] [SQL] Ulepszanie interfejsu API viewCatalog
  • [SPARK-46009] [SC-149771] [SQL] [CONNECT] Scal regułę analizowania wartości PercentileCont i PercentileDisc z funkcjąCall
  • [SPARK-46403] [SC-150756] [SQL] Dekoduj plik binarny parquet za pomocą metody getBytesUnsafe
  • [SPARK-46389] [SC-150779] [CORE] Ręczne zamykanie wystąpienia podczas checkVersion zgłaszania wyjątku RocksDB/LevelDB
  • [SPARK-46360] [SC-150376] [PYTHON] Ulepszanie debugowania komunikatów o błędach za pomocą nowego getMessage interfejsu API
  • [SPARK-46233] [SC-149766] [PYTHON] Migrowanie wszystkich pozostałych AttributeError do platformy błędów PySpark
  • [SPARK-46394] [SC-150599] [SQL] Rozwiązywanie problemów ze schematami spark.catalog.listDatabases() ze schematami ze znakami specjalnymi po spark.sql.legacy.keepCommandOutputSchema ustawieniu wartości true
  • [SPARK-45964] [SC-148484] [SQL] Usuwanie prywatnego dostępu sql w pakiecie XML i JSON w pakiecie katalizatora
  • [SPARK-45856] [SC-148691] Przenoszenie elementu ArtifactManager z platformy Spark Połączenie do usługi SparkSession (sql/core)
  • [SPARK-46409] [SC-150714] [CONNECT] Naprawianie skryptu uruchamiania klienta spark-connect-scala-client
  • [SPARK-46416] [SC-150699] [CORE] Dodaj @tailrec do HadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154] [SQL] Ogranicz zestawy znaków w encode()
  • [SPARK-46253] [SC-150416] [PYTHON] Planowanie odczytu źródła danych języka Python przy użyciu narzędzia MapInArrow
  • [SPARK-46339] [SC-150266] [SS] Katalog o nazwie numeru partii nie powinien być traktowany jako dziennik metadanych
  • [SPARK-46353] [SC-150396] [CORE] Refaktoryzacja w celu poprawy RegisterWorker pokrycia testów jednostkowych
  • [SPARK-45826] [SC-149061] [SQL] Dodawanie konfiguracji SQL dla śladów stosu w kontekście zapytania ramki danych
  • [SPARK-45649] [SC-150300] [SQL] Ujednolicenie struktury przygotowania do elementu OffsetWindowFunctionFrame
  • [SPARK-46346] [SC-150282] [CORE] Naprawianie wzorca w celu zaktualizowania procesu roboczego z UNKNOWN do ALIVE w usłudze RegisterWorker msg
  • [SPARK-46388] [SC-150496] [SQL] HiveAnalysis pomija strażnika wzorca query.resolved
  • [SPARK-46401] [SC-150609] [CORE] Użyj !isEmpty() polecenia RoaringBitmap zamiast getCardinality() > 0 w RemoteBlockPushResolver
  • [SPARK-46393] [SC-150603] [SQL] Klasyfikowanie wyjątków w wykazie tabel JDBC
  • [SPARK-45798] [SC-150513] [CONNECT] Obserwowanie: dodawanie parametru serverSessionId do elementu SessionHolderInfo
  • [SPARK-46153] [SC-146564] [SC-150508] [SQL] XML: Dodano obsługę atrybutu TimestampNTZType
  • [SPARK-46075] [SC-150393] [CONNECT] Ulepszenia platformy Spark Połączenie SessionManager
  • [SPARK-46357] [SC-150596] Zamień niepoprawne użycie dokumentacji setConf na conf.set
  • [SPARK-46202] [SC-150420] [CONNECT] Uwidaczniaj nowe interfejsy API artifactManager w celu obsługi niestandardowych katalogów docelowych
  • [SPARK-45824] [SC-147648] [SQL] Wymuszanie klasy błędów w pliku ParseException
  • [SPARK-45845] [SC-148163] [SS] [Interfejs użytkownika] Dodawanie liczby eksmitowanych wierszy stanu do interfejsu użytkownika przesyłania strumieniowego
  • [SPARK-46316] [SC-150181] [CORE] Włącz buf-lint-action w core module
  • [SPARK-45816] [SC-147656] [SQL] Zwracanie NULL podczas przepełnienia podczas rzutowania z znacznika czasu do liczb całkowitych
  • [SPARK-46333] [SC-150263] [SQL] Zastąp elementem IllegalStateExceptionSparkException.internalError w katalizatorze
  • [SPARK-45762] [SC-148486] [CORE] Obsługa menedżerów mieszania zdefiniowanych w plikach jar użytkowników przez zmianę kolejności uruchamiania
  • [SPARK-46239] [SC-149752] [CORE] Ukryj Jetty informacje
  • [SPARK-45886] [SC-148089] [SQL] Wyprowadzanie pełnego śledzenia stosu w callSite kontekście ramki danych
  • [SPARK-46290] [SC-150059] [PYTHON] Zmienianie elementu saveMode na flagę logiczną elementu DataSourceWriter
  • [SPARK-45899] [SC-148097] [CONNECT] Ustawianie klasy errorClass w błędzieInfoToThrowable
  • [SPARK-45841] [SC-147657] [SQL] Uwidaczniaj ślad stosu według DataFrameQueryContext
  • [SPARK-45843] [SC-147721] [CORE] Obsługa killall interfejsu API przesyłania REST
  • [SPARK-46234] [SC-149711] [PYTHON] Wprowadzenie PySparkKeyError do struktury błędów PySpark
  • [SPARK-45606] [SC-147655] [SQL] Ograniczenia wydania filtru środowiska uruchomieniowego wielowarstwowego
  • [SPARK-45725] [SC-147006] [SQL] Usuwanie domyślnego filtru środowiska uruchomieniowego w podzapytaniu IN
  • [SPARK-45694] [SC-147314] [SPARK-45695] [SQL] Czyszczenie przestarzałego użycia View.force interfejsu API i ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488] [SQL] Wprowadzanie withOrigin większej liczby ogólnych
  • [SPARK-46292] [SC-150086] [CORE] [Interfejs użytkownika] Pokaż podsumowanie procesów roboczych w programie MasterPage
  • [SPARK-45685] [SC-146881] [CORE] [SQL] Użyj LazyList zamiast Stream
  • [SPARK-45888] [SC-149945] [SS] Stosowanie struktury klas błędów do źródła danych stanu (metadanych)
  • [SPARK-46261] [SC-150111] [CONNECT] DataFrame.withColumnsRenamed powinna zachować kolejność dykt/mapy
  • [SPARK-46263] [SC-149933] [SQL] [SS] [ML] [MLLIB] [Interfejs użytkownika] SeqOps.view Czyszczenie i ArrayOps.view konwersje
  • [SPARK-46029] [SC-149255] [SQL] Ucieczka pojedynczego cudzysłowu _ i % wypychania ds w wersji 2
  • [SPARK-46275] [SC-150189] Protobuf: Zwraca wartość null w trybie permissive, gdy deserializacja kończy się niepowodzeniem.
  • [SPARK-46320] [SC-150187] [CORE] Wsparcie spark.master.rest.host
  • [SPARK-46092] [SC-149658] [SQL] Nie wypychaj filtrów grup wierszy Parquet, które przepełniają się
  • [SPARK-46300] [SC-150097] [PYTHON] [CONNECT] Dopasowanie drobnego zachowania w kolumnie z pełnym pokryciem testu
  • [SPARK-46298] [SC-150092] [PYTHON] [CONNECT] Dopasuj ostrzeżenie o wycofaniu, przypadek testowy i błąd Catalog.createExternalTable
  • [SPARK-45689] [SC-146898] [SPARK-45690] [SPARK-45691] [CORE] [SQL] Czyszczenie przestarzałego użycia interfejsu API związanego z StringContext/StringOps/RightProjection/LeftProjection/Either użyciem i typem BufferedIterator/CanBuildFrom/Traversable
  • [SPARK-33393] [SC-148407] [SQL] Obsługa FUNKCJI SHOW TABLE EXTENDED w wersji 2
  • [SPARK-45737] [SC-147011] [SQL] Usuń niepotrzebne .toArray[InternalRow]SparkPlan#executeTake
  • [SPARK-46249] [SC-149797] [SS] Wymagaj blokady wystąpienia na potrzeby uzyskiwania metryk bazy danych RocksDB, aby zapobiec wyścigowi z operacjami w tle
  • [SPARK-46260] [SC-149940] [PYTHON] [SQL] DataFrame.withColumnsRenamed powinien przestrzegać nakazującego dyktowania
  • [SPARK-46274] [SC-150043] [SQL] Napraw operator zakresu computeStats() w celu sprawdzenia długiej ważności przed przekonwertowaniem
  • [SPARK-46040] [SC-149767] [SQL] [Python] Aktualizowanie interfejsu API UDTF na potrzeby partycjonowania/porządkowania kolumn w celu obsługi wyrażeń ogólnych
  • [SPARK-46287] [SC-149949] [PYTHON] [CONNECT] DataFrame.isEmpty powinna współpracować ze wszystkimi typami danych
  • [SPARK-45678] [SC-146825] [CORE] Cover BufferReleasingInputStream.available/reset w obszarze tryOrFetchFailedException
  • [SPARK-45667] [SC-146716] [CORE] [SQL] [CONNECT] Wyczyść przestarzałe użycie interfejsu API związane z usługą IterableOnceExtensionMethods.
  • [SPARK-43980] [SC-148992] [SQL] wprowadzenie select * except do składni
  • [SPARK-46269] [SC-149816] [PS] Włączanie większej liczby testów funkcji zgodności NumPy
  • [SPARK-45807] [SC-149851] [SQL] Dodaj element createOrReplaceView(..) / replaceView(..) do elementu ViewCatalog
  • [SPARK-45742] [SC-147212] [CORE] [CONNECT] [MLLIB] [PYTHON] Wprowadzenie niejawnej funkcji dla tablicy Scala do zawijania do immutable.ArraySeqelementu .
  • [SPARK-46205] [SC-149655] [CORE] Zwiększanie PersistenceEngine wydajności za pomocą polecenia KryoSerializer
  • [SPARK-45746] [SC-149359] [Python] Zwraca określone komunikaty o błędach, jeśli metoda udTF "analyze" lub "eval" akceptuje lub zwraca nieprawidłowe wartości
  • [SPARK-46186] [SC-149707] [CONNECT] Naprawianie nielegalnego przejścia stanu po przerwaniu działania elementu ExecuteThreadRunner przed rozpoczęciem
  • [SPARK-46262] [SC-149803] [PS] Włącz test dla np.left_shift obiektu Pandas-on-Spark.
  • [SPARK-45093] [SC-149679] [CONNECT] [PYTHON] Prawidłowo obsługują obsługę błędów i konwersję dla programu AddArtifactHandler
  • [SPARK-46188] [SC-149571] [Doc] [3.5] Naprawianie arkuszy CSS wygenerowanych tabel dokumentu platformy Spark
  • [SPARK-45940] [SC-149549] [PYTHON] Dodawanie elementu InputPartition do interfejsu DataSourceReader
  • [SPARK-43393] [SC-148301] [SQL] Usterka przepełnienia wyrażenia sekwencji adresów.
  • [SPARK-46144] [SC-149466] [SQL] Nie można WSTAWIĆ DO ... Instrukcja REPLACE, jeśli warunek zawiera podzapytywanie
  • [SPARK-46118] [SC-149096] [SQL] [SS] [CONNECT] Użyj SparkSession.sessionState.conf zamiast SQLContext.conf i oznacz SQLContext.conf jako przestarzałe
  • [SPARK-45760] [SC-147550] [SQL] Dodaj wyrażenie With, aby uniknąć duplikowania wyrażeń
  • [SPARK-43228] [SC-149670] [SQL] Klucze sprzężenia są również zgodne z parametrem PartitioningCollection w aplikacji CoalesceBucketsInJoin
  • [SPARK-46223] [SC-149691] [PS] Testowanie błędu SparkPandasNotImplementedError z czyszczeniem nieużywanego kodu
  • [SPARK-46119] [SC-149205] [SQL] Zastąpić toString metodę dla elementu UnresolvedAlias
  • [SPARK-46206] [SC-149674] [PS] Używanie węższego wyjątku zakresu dla procesora SQL
  • [SPARK-46191] [SC-149565] [CORE] Popraw FileSystemPersistenceEngine.persist błąd msg w przypadku istniejącego pliku
  • [SPARK-46036] [SC-149356] [SQL] Usuwanie klasy error z funkcji raise_error
  • [SPARK-46055] [SC-149254] [SQL] Ponowne zapisywanie implementacji interfejsów API bazy danych wykazu
  • [SPARK-46152] [SC-149454] [SQL] XML: Dodano obsługę typu dziesiętnego w wnioskowaniu schematu XML
  • [SPARK-45943] [SC-149452] [SQL] Przenoszenie funkcji DeterminTableStats do reguł rozwiązywania
  • [SPARK-45887] [SC-148994] [SQL] Dopasowywanie implementacji kodu i innej niż codegen Encode
  • [SPARK-45022] [SC-147158] [SQL] Podaj kontekst błędów interfejsu API zestawu danych
  • [SPARK-45469] [SC-145135] [CORE] [SQL] [CONNECT] [PYTHON] Zastąp toIterator ciąg ciągiem iterator dla IterableOnce
  • [SPARK-46141] [SC-149357] [SQL] Zmień ustawienie domyślne dla spark.sql.legacy.ctePrecedencePolicy na POPRAWIONE
  • [SPARK-45663] [SC-146617] [CORE] [MLLIB] Zastąp ciąg IterableOnceOps#aggregate ciągiem IterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493] [SQL] Ponowne używanie obiektów literału w regule ComputeCurrentTime
  • [SPARK-45803] [SC-147489] [CORE] Usuń nieużytne RpcAbortException
  • [SPARK-46148] [SC-149350] [PS] Poprawka testu pyspark.pandas.mlflow.load_model (Python 3.12)
  • [SPARK-46110] [SC-149090] [PYTHON] Używanie klas błędów w katalogu, conf, connect, obserwacji, modułach pandas
  • [SPARK-45827] [SC-149203] [SQL] Poprawki wariantów z wyłączoną funkcją codegen i czytnikiem wektoryzowanym
  • [SPARK-46080] Przywróć plik "[SC-149012][PYTHON] Upgrade Cloudpickle do wersji 3.0.0"
  • [SPARK-45460] [SC-144852] [SQL] Zamień scala.collection.convert.ImplicitConversions na scala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019] [SQL] Usuń specjalną rozdzielczość polecenia UnresolvedNamespace dla niektórych poleceń
  • [SPARK-45600] [SC-148976] [PYTHON] Ustaw poziom sesji rejestracji źródła danych języka Python
  • [SPARK-46074] [SC-149063] [CONNECT] [SCALA] Niewystarczające szczegóły w komunikacie o błędzie w przypadku niepowodzenia funkcji zdefiniowanej przez użytkownika
  • [SPARK-46114] [SC-149076] [PYTHON] Dodawanie błędu PySparkIndexError dla struktury błędów
  • [SPARK-46120] [SC-149083] [CONNECT] [PYTHON] Usuń funkcję pomocnika DataFrame.withPlan
  • [SPARK-45927] [SC-148660] [PYTHON] Obsługa ścieżki aktualizacji dla źródła danych języka Python
  • [SPARK-46062] [14.x] [SC-148991] [SQL] Synchronizowanie flagi isStreaming między definicją CTE i odwołaniem
  • [SPARK-45698] [SC-146736] [CORE] [SQL] [SS] Czyszczenie przestarzałego użycia interfejsu API związanego z Buffer
  • [SPARK-46064] [SC-148984] [SQL] [SS] Wyjmij element EliminateEventTimeWatermark do analizatora i zmień wartość, aby obowiązywać tylko w przypadku rozpoznanego elementu podrzędnego
  • [SPARK-45922] [SC-149038] [CONNECT] [KLIENT] Refaktoryzacja drobnych ponownych prób (kontynuacja wielu zasad)
  • [SPARK-45851] [SC-148419] [CONNECT] [SCALA] Obsługa wielu zasad w kliencie scala
  • [SPARK-45974] [SC-149062] [SQL] Dodawanie oceny scan.filterAttributes niepustej dla elementu RowLevelOperationRuntimeGroupFiltering
  • [SPARK-46085] [SC-149049] [CONNECT] Dataset.groupingSets w kliencie platformy Scala Spark Połączenie
  • [SPARK-45136] [SC-146607] [CONNECT] Ulepszanie narzędzia ClosureCleaner dzięki obsłudze ammonite
  • [SPARK-46084] [SC-149020] [PS] Refaktoryzacja operacji rzutowania typu danych dla typu kategorii.
  • [SPARK-46083] [SC-149018] [PYTHON] Tworzenie elementu SparkNoSuchElementException jako kanonicznego interfejsu API błędu
  • [SPARK-46048] [SC-148982] [PYTHON] [CONNECT] Obsługa zestawu DataFrame.groupingSets w środowisku Python Spark Połączenie
  • [SPARK-46080] [SC-149012] [PYTHON] Uaktualnianie pakietu Cloudpickle do wersji 3.0.0
  • [SPARK-46082] [SC-149015] [PYTHON] [CONNECT] Naprawianie reprezentacji ciągu protobuf dla interfejsu API usługi Pandas Functions za pomocą platformy Spark Połączenie
  • [SPARK-46065] [SC-148985] [PS] Refaktoryzacja (DataFrame|Series).factorize() w celu użycia polecenia create_map.
  • [SPARK-46070] [SC-148993] [SQL] Skompiluj wzorzec wyrażenia regularnego w pliku SparkDateTimeUtils.getZoneId poza pętlą gorącą
  • [SPARK-46063] [SC-148981] [PYTHON] [CONNECT] Ulepszanie komunikatów o błędach związanych z typami argumentów w cute, rollup, groupby i pivot
  • [SPARK-44442] [SC-144120] [MESOS] Usuwanie obsługi systemu Mesos
  • [SPARK-45555] [SC-147620] [PYTHON] Zawiera obiekt z możliwością debugowania dla asercji, która zakończyła się niepowodzeniem
  • [SPARK-46048] [SC-148871] [PYTHON] [SQL] Obsługa elementu DataFrame.groupingSets w narzędziu PySpark
  • [SPARK-45768] [SC-147304] [SQL] [PYTHON] Tworzenie konfiguracji środowiska uruchomieniowego obsługi błędów na potrzeby wykonywania języka Python w języku SQL
  • [SPARK-45996] [SC-148586] [PYTHON] [CONNECT] Pokaż odpowiednie komunikaty dotyczące wymagań dotyczących zależności dla platformy Spark Połączenie
  • [SPARK-45681] [SC-146893] [Interfejs użytkownika] Klonowanie wersji js interfejsu użytkownika UIUtils.errorMessageCell w celu zapewnienia spójnego renderowania błędów w interfejsie użytkownika
  • [SPARK-45767] [SC-147225] [CORE] Usuwanie TimeStampedHashMap i jego ut
  • [SPARK-45696] [SC-148864] [CORE] Naprawiono metodę tryCompleteWith z cechą Promise jest przestarzała
  • [SPARK-45503] [SC-146338] [SS] Dodawanie rozszerzenia Conf do ustawiania kompresji bazy danych RocksDB
  • [SPARK-45338] [SC-143934] [CORE] [SQL] Zamień scala.collection.JavaConverters na scala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804] [SQL] Poprawka ArrayIndexOutOfBoundsException w conv()
  • [SPARK-45912] [SC-144982] [SC-148467] [SQL] Ulepszenie interfejsu API XSDToSchema: zmiana interfejsu API systemu plików HDFS na ułatwienia dostępu do magazynu w chmurze
  • [SPARK-45819] [SC-147570] [CORE] Obsługa clear interfejsu API przesyłania REST
  • [SPARK-45552] [14.x] [SC-146874] [PS] Wprowadzenie parametrów elastycznych do assertDataFrameEqual
  • [SPARK-45815] [SC-147877] [SQL] [Przesyłanie strumieniowe] [14.x] [CHERRY-PICK] Udostępnianie interfejsu dla innych źródeł przesyłania strumieniowego w celu dodania _metadata kolumn
  • [SPARK-45929] [SC-148692] [SQL] Obsługa operacji grupowaniaSets w interfejsie API ramki danych
  • [SPARK-46012] [SC-148693] [CORE] EventLogFileReader nie powinien odczytywać dzienników stopniowych, jeśli brakuje pliku stanu aplikacji
  • [SPARK-45965] [SC-148575] [SQL] Przenoszenie wyrażeń partycjonowania DSv2 do funkcji.partitioning
  • [SPARK-45971] [SC-148541] [CORE] [SQL] Popraw nazwę pakietu do SparkCollectionUtilsorg.apache.spark.util
  • [SPARK-45688] [SC-147356] [SPARK-45693] [CORE] Czyszczenie przestarzałego użycia interfejsu API związanego z poprawką i poprawką MapOpsmethod += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645] [SC-148497] [SQL] Usuń treatEmptyValuesAsNulls i użyj nullValue opcji zamiast tego w pliku XML
  • [SPARK-45988] [SC-148580] [SPARK-45989] [PYTHON] Naprawianie parametrów typehints do obsługi list elementów GenericAlias w języku Python w wersji 3.11 lub nowszej
  • [SPARK-45999] [SC-148595] [PS] Używanie dedykowanej PandasProduct w programie cumprod
  • [SPARK-45986] [SC-148583] [ML] [PYTHON] Poprawka pyspark.ml.torch.tests.test_distributor w języku Python 3.11
  • [SPARK-45994] [SC-148581] [PYTHON] Zmień description-file na description_file
  • [SPARK-45575] [SC-146713] [SQL] Opcje podróży czasu pomocy technicznej dla interfejsu API odczytu df
  • [SPARK-45747] [SC-148404] [SS] Używanie informacji o kluczu prefiksu w metadanych stanu do obsługi stanu odczytu dla agregacji okna sesji
  • [SPARK-45898] [SC-148213] [SQL] Ponowne zapisywanie interfejsów API tabel wykazu w celu korzystania z nierozwiązanego planu logicznego
  • [SPARK-45828] [SC-147663] [SQL] Usuń przestarzałą metodę w języku dsl
  • [SPARK-45990] [SC-148576] [SPARK-45987] [PYTHON] [CONNECT] Uaktualnianie protobuf do wersji 4.25.1 w celu obsługi Python 3.11
  • [SPARK-45911] [SC-148226] [CORE] Ustaw protokół TLS1.3 jako domyślny dla protokołu RPC SSL
  • [SPARK-45955] [SC-148429] [Interfejs użytkownika] Zwiń obsługę szczegółów zrzutu płomieni i wątku
  • [SPARK-45936] [SC-148392] [PS] Optymalizacji Index.symmetric_difference
  • [SPARK-45389] [SC-144834] [SQL] [3.5] Poprawna reguła dopasowywania MetaException podczas pobierania metadanych partycji
  • [SPARK-45655] [SC-148085] [SQL] [SS] Zezwalaj na wyrażenia niedeterministyczne wewnątrz funkcji AggregateFunctions w kolekcji CollectMetrics
  • [SPARK-45946] [SC-148448] [SS] Naprawiono użycie przestarzałego zapisu FileUtils w celu przekazania domyślnego zestawu znaków w aplikacji RocksDBSuite
  • [SPARK-45511] [SC-148285] [SS] Źródło danych stanu — czytelnik
  • [SPARK-45918] [SC-148293] [PS] Optymalizacji MultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288] [CONNECT] [PYTHON] Zwraca obserwowane metryki z poleceń
  • [SPARK-45867] [SC-147916] [CORE] Wsparcie spark.worker.idPattern
  • [SPARK-45945] [SC-148418] [CONNECT] Dodawanie funkcji pomocniczej dla polecenia parser
  • [SPARK-45930] [SC-148399] [SQL] Obsługa niedeterministycznych funkcji zdefiniowanych przez użytkownika w usłudze MapInPandas/MapInArrow
  • [SPARK-45810] [SC-148356] [Python] Tworzenie interfejsu API UDTF języka Python w celu zaprzestania korzystania z wierszy z tabeli wejściowej
  • [SPARK-45731] [SC-147929] [SQL] Zaktualizuj również statystyki partycji za pomocą ANALYZE TABLE polecenia
  • [SPARK-45868] [SC-148355] [CONNECT] Upewnij się, że spark.table używasz tego samego analizatora z wanilią spark
  • [SPARK-45882] [SC-148161] [SQL] BroadcastHashJoinExec propagacja partycjonowania powinna być zgodna z funkcją CoalescedHashPartitioning
  • [SPARK-45710] [SC-147428] [SQL] Przypisywanie nazw do _LEGACY_ERROR_TEMP_21 błędu[59,60,61,62]
  • [SPARK-45915] [SC-148306] [SQL] Traktuj wartość dziesiętną (x, 0) taką samą jak typ całkowitolicztny w PromoteStrings
  • [SPARK-45786] [SC-147552] [SQL] Naprawianie niedokładnych mnożenia dziesiętnego i wyników dzielenia
  • [SPARK-45871] [SC-148084] [CONNECT] Konwersja kolekcji optymalizacji powiązana z .toBuffer modułami connect
  • [SPARK-45822] [SC-147546] [CONNECT] Spark Połączenie SessionManager może wyszukać zatrzymany element sparkcontext
  • [SPARK-45913] [SC-148289] [PYTHON] Utwórz prywatne atrybuty wewnętrzne z błędów PySpark.
  • [SPARK-45827] [SC-148201] [SQL] Dodaj typ danych wariantu na platformie Spark.
  • [SPARK-44886] [SC-147876] [SQL] Wprowadzenie klauzuli CLUSTER BY dla polecenia CREATE/REPLACE TABLE
  • [SPARK-45756] [SC-147959] [CORE] Wsparcie spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956] [CONNECT] Identyfikator sesji po stronie serwera
  • [SPARK-45896] [SC-148091] [SQL] Konstruowanie ValidateExternalType z poprawnym oczekiwanym typem
  • [SPARK-45902] [SC-148123] [SQL] Usuń nieużywaną funkcję resolvePartitionColumns z DataSource
  • [SPARK-45909] [SC-148137] [SQL] Usuń NumericType rzutowanie, jeśli może bezpiecznie rzutować IsNotNull
  • [SPARK-42821] [SC-147715] [SQL] Usuwanie nieużywanych parametrów w metodach splitFiles
  • [SPARK-45875] [SC-148088] [CORE] Usuń MissingStageTableRowData z core modułu
  • [SPARK-45783] [SC-148120] [PYTHON] [CONNECT] Poprawianie komunikatów o błędach, gdy tryb Połączenie platformy Spark jest włączony, ale nie ustawiono zdalnego adresu URL
  • [SPARK-45804] [SC-147529] [Interfejs użytkownika] Dodaj element spark.ui.threadDump.flamegraphEnabled config, aby włączyć/wyłączyć wykres płomieniowy
  • [SPARK-45664] [SC-146878] [SQL] Wprowadzenie mapera dla koderów kompresji orc
  • [SPARK-45481] [SC-146715] [SQL] Wprowadzenie mapera dla koderów kompresji parquet
  • [SPARK-45752] [SC-148005] [SQL] Uprość kod sprawdzania nieużywanych relacji CTE
  • [SPARK-44752] [SC-146262] [SQL] XML: Aktualizowanie witryny Spark Docs
  • [SPARK-45752] [SC-147869] [SQL] Nieużywane CTE powinny być sprawdzane przez checkAnalysis0
  • [SPARK-45842] [SC-147853] [SQL] Refaktoryzacja interfejsów API funkcji wykazu do korzystania z analizatora
  • [SPARK-45639] [SC-147676] [SQL] [PYTHON] Obsługa ładowania źródeł danych języka Python w elementach DataFrameReader
  • [SPARK-45592] [SC-146977] [SQL] Problem z poprawnością w usłudze AQE z elementem InMemoryTableScanExec
  • [SPARK-45794] [SC-147646] [SS] Wprowadzenie źródła metadanych stanu w celu wykonywania zapytań dotyczących informacji o metadanych stanu przesyłania strumieniowego
  • [SPARK-45739] [SC-147059] [PYTHON] Catch IOException zamiast EOFException sam dla obsługi błędów
  • [SPARK-45677] [SC-146700] Lepsze rejestrowanie błędów dla interfejsu API obserwacji
  • [SPARK-45544] [SC-146873] [CORE] Integracja obsługi protokołu SSL z protokołem TransportContext
  • [SPARK-45654] [SC-147152] [PYTHON] Dodawanie interfejsu API zapisu źródła danych języka Python
  • [SPARK-45771] [SC-147270] [CORE] Włącz spark.eventLog.rolling.enabled domyślnie
  • [SPARK-45713] [SC-146986] [PYTHON] Obsługa rejestrowania źródeł danych języka Python
  • [SPARK-45656] [SC-146488] [SQL] Naprawianie obserwacji w przypadku nazwanych obserwacji o tej samej nazwie w różnych zestawach danych
  • [SPARK-45808] [SC-147571] [CONNECT] [PYTHON] Lepsza obsługa błędów dla wyjątków SQL
  • [SPARK-45774] [SC-147353] [CORE] [Interfejs użytkownika] Obsługa spark.master.ui.historyServerUrl w programie ApplicationPage
  • [SPARK-45776] [SC-147327] [CORE] Usuwanie defensywnego sprawdzania wartości null dla MapOutputTrackerMaster#unregisterShuffle dodania w rozwiązaniu SPARK-39553
  • [SPARK-45780] [SC-147410] [CONNECT] Propagacja wszystkich wątków klienta platformy Spark Połączenie locals w pliku InheritableThread
  • [SPARK-45785] [SC-147419] [CORE] Obsługa spark.deploy.appNumberModulo rotacji numeru aplikacji
  • [SPARK-45793] [SC-147456] [CORE] Ulepszanie wbudowanych koderów koderów kompresji
  • [SPARK-45757] [SC-147282] [ML] Unikaj ponownego obliczania NNZ w binarizerze
  • [SPARK-45209] [SC-146490] [CORE] [Interfejs użytkownika] Obsługa wykresu płomieniowego dla strony zrzutu wątku wykonawczego
  • [SPARK-45777] [SC-147319] [CORE] Obsługa spark.test.appId w programie LocalSchedulerBackend
  • [SPARK-45523] [SC-146331] [PYTHON] Refaktoryzacja sprawdzania wartości null w celu tworzenia skrótów
  • [SPARK-45711] [SC-146854] [SQL] Wprowadzenie mapera dla koderów kompresji avro
  • [SPARK-45523] [SC-146077] [Python] Zwraca przydatny komunikat o błędzie, jeśli funkcja UDTF zwraca wartość None dla żadnej kolumny bez wartości null
  • [SPARK-45614] [SC-146729] [SQL] Przypisywanie nazw do _LEGACY_ERROR_TEMP_215 błędu[6,7,8]
  • [SPARK-45755] [SC-147164] [SQL] Ulepszanie Dataset.isEmpty() przez zastosowanie limitu globalnego 1
  • [SPARK-45569] [SC-145915] [SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2153 błędu
  • [SPARK-45749] [SC-147153] [CORE] [WEBUI] Poprawka Spark History Server prawidłowego sortowania Duration kolumny
  • [SPARK-45754] [SC-147169] [CORE] Wsparcie spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880] [SQL] Uproszczenie za pomocą DataFrameStatFunctions.countMinSketch polecenia CountMinSketchAgg
  • [SPARK-45753] [SC-147167] [CORE] Wsparcie spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177] [CORE] [Interfejs użytkownika] Ulepszanie MasterPage wyświetlania Resource kolumny tylko wtedy, gdy istnieje
  • [SPARK-45112] [SC-143259] [SQL] Korzystanie z nierozwiązanego rozpoznawania opartego na funkcjach zestawu danych SQL

Obsługa sterowników ODBC/JDBC usługi Databricks

Usługa Databricks obsługuje sterowniki ODBC/JDBC wydane w ciągu ostatnich 2 lat. Pobierz ostatnio wydane sterowniki i uaktualnij (pobierz plik ODBC, pobierz plik JDBC).

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 14.3. Jest to komentowane w początkowej wersji.

Środowisko systemu

  • System operacyjny: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.1.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black (czarny) 22.6.0 Bleach 4.1.0
migacz 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknięcie 8.0.4 Comm 0.1.2
konturowy 1.0.5 Kryptografii 39.0.1 Cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 Dekorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 punkty wejścia 0,4
Wykonywanie 0.8.3 aspekty — omówienie 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 fonttools 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 stan obiektu grpcio 1.48.1 httplib2 0.20.2
Idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
Ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Brelok 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 Lxml 4.9.1 Znaczniki Sejf 2.1.1
matplotlib 3.7.0 biblioteka matplotlib-inline 0.1.6 Mccabe 0.7.0
mistune 0.8.4 więcej itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notes 6.5.2 notebook_shim 0.2.2 Numpy 1.23.5
oauthlib 3.2.0 Opakowania 23.2 Pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Poduszkę 9.4.0 Pip 22.3.1 platformdirs 2.5.2
kreślenie 5.9.0 wtyczka 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0.5 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pirstent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
żądania 2.28.1 Liny 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
Sześć 1.16.0 wąchanie 1.2.0 zupy 2.3.2.post1
ssh-import-id 5,11 stack-data 0.2.0 statsmodels 0.13.5
Wytrzymałość 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
Tornado 6.1 traitlety 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 nienadzorowane uaktualnienia 0.1 urllib3 1.26.14
Virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
Koła 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN posit Menedżer pakietów 2023-02-10.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
strzałkę 12.0.1 askpass 1.1 assertthat 0.2.1
Backports 1.4.1 base 4.3.1 base64enc 0.1-3
bitowe 4.0.5 bit64 4.0.5 blob 1.2.4
rozruch 1.3-28 Napar 1.0-8 Brio 1.1.3
Miotła 1.0.5 bslib 0.5.0 cachem 1.0.8
obiekt wywołujący 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 zegar 0.7.0 cluster 2.1.4
codetools 0.2-19 Kolorów 2.1-0 commonmark 1.9.0
— kompilator 4.3.1 config 0.3.1 Konflikt 1.2.0
cpp11 0.4.4 Pastel 1.5.2 poświadczenia 1.3.2
Curl 5.0.1 data.table 1.14.8 usługi Power BI 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Desc 1.4.2
devtools 2.4.5 Diagram 1.6.5 diffobj 0.3.5
Szyfrowane 0.6.33 downlit (wyłączony) 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 wielokropek 0.3.2
evaluate 0.21 fani 1.0.4 farver 2.1.1
szybka mapa 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 Zagranicznych 0.8-85 Forge 0.2.0
Fs 1.6.2 Przyszłości 1.33.0 future.apply 1.11.0
Płukać 1.5.1 Generyczne 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 Globals 0.16.2 Kleju 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.3.1 grDevices 4.3.1 Siatki 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 Haven 2.5.3 wysoki 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
Identyfikatory 1.0.1 Ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Iteratory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1,43
Etykietowania 0.4.2 Później 1.3.1 Kraty 0.21-8
Lawy 1.7.2.1 cykl życia 1.0.3 nasłuchiwanie 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASSACHUSETTS 7.3-60 Macierz 1.5-4.1 zapamiętywanie 2.0.1
metody 4.3.1 mgcv 1.8-42 Mime 0,12
miniUI 0.1.1.1 Metryki modelu 1.2.2.2 modeler 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
równolegle 1.36.0 Filar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 Pochwały 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Postęp 1.2.2
progressr 0.13.0 Obietnice 1.2.0.1 Proto 1.0.0
Serwera proxy 0.4-27 Ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 przepisy 1.0.6
Rewanżu 1.0.1 rewanż2 2.1.2 Piloty 2.4.2
reprex 2.0.2 zmień kształt2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions (rversions) 2.1.2
rvest 1.0.3 Sass 0.4.6 Skale 1.2.1
selektor 0.4-2 sessioninfo 1.2.2 Kształt 1.4.6
Błyszczące 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
Przestrzennej 7.3-15 Splajnów 4.3.1 sqldf 0.4-11
KWADRAT 2021.1 Statystyki 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 Przetrwanie 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
zmiana czasu 0.2.0 timeDate 4022.108 tinytex 0,45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 narzędzia 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
Vroom 1.6.3 Waldo 0.5.1 wąs 0.4.1
withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 Yaml 2.3.7
Zip 2.3.0

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
Antlr Antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-klej 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml Kolega 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofeina Kofeiny 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava Guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.3
io.dropwizard.metrics adnotacja metryk 4.2.19
io.dropwizard.metrics metryki —rdzeń 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics serwlety metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty transport netto 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Kolektor 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow format strzałki 12.0.1
org.apache.arrow strzałka-pamięć-rdzeń 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow wektor strzałki 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator przepisy kuratora 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy Bluszcz 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc podkładki orc-shim 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-cieniowane 4.23
org.apache.yetus adnotacje odbiorców 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper jute dozorców 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-kontynuacja 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket —wspólne 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Podkładki 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest zgodny ze standardem scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten trzydostępne dodatkowe 1.7.1
org.tukaani Xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
Oro Oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1