Partager via

Databricks Runtime 13.2 (non pris en charge)

  • Article

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 13.2 optimisé par Apache Spark 3.4.0.

Databricks a publié ces images en juillet 2023.

Améliorations et nouvelles fonctionnalités

Points de contrôle du journal des modifications pour le magasin d’état RocksDB

Vous pouvez activer le point de contrôle du journal des modifications pour réduire la durée des points de contrôle et la latence de bout en bout pour les charges de travail de flux structuré. Databricks recommande d’activer le point de contrôle du journal des modifications pour toutes les requêtes avec état Flux structuré. Voir Activer le point de contrôle du journal des modifications.

Fiabilité améliorée pour VACUUM avec clone superficiel dans Unity Catalog.

Lorsque vous utilisez des tables gérées Unity Catalog pour la source et la cible d’une opération de clonage superficiel, Unity Catalog gère les fichiers de données sous-jacents pour améliorer la fiabilité de la source et de la cible de l’opération de clonage. L’exécution de VACUUM sur la source d’un clone superficiel n’interrompt pas la table clonée. Consultez Clones superficiels vides et Unity Catalog.

Prise en charge des fonctions UDF de Python dans SQL

Vous pouvez maintenant déclarer des fonctions définies par l’utilisateur à l’aide de Python dans des instructions SQL CREATE FUNCTION dans Unity Catalog. Consultez les Fonctions définies par l’utilisateur (UDF) dans Unity Catalog.

Delta Lake UniForm pour Iceberg est en préversion publique

Le format universel Delta Lake (UniForm) vous permet de lire des tables Delta avec des clients Iceberg. Consultez Utiliser UniForm pour lire les tables Delta avec les clients Iceberg.

Le clustering liquide Delta Lake est en préversion publique

Le clustering liquide Delta Lake remplace le partitionnement des tables et ZORDER pour simplifier les décisions de disposition des données et optimiser les performances des requêtes. Consultez Utilisation des clustering liquides pour les tableaux Delta.

Prise en charge de l’archivage dans Azure Databricks

La prise en charge de l’archivage dans Azure Databricks introduit une collection de fonctionnalités qui vous permettent d’utiliser des stratégies de cycle de vie basées sur le cloud sur le stockage d’objets cloud contenant des tables Delta pour transférer des fichiers vers les niveaux de stockage d’archivage. Si vous souhaitez en savoir plus, veuillez consulter la rubrique Prise en charge de l’archivage dans Azure Databricks.

Prise en charge de la clause IDENTIFICATEUR

Utilisez IDENTIFIER(:mytable) pour paramétrer en toute sécurité les noms de tableaux, de colonnes, de fonctions et de schémas dans de nombreuses instructions SQL.

Prise en charge d’Unity Catalog pour les fonctions définies par l’utilisateur (UDF) Python et Pandas

Sur Databricks Runtime 13.2 et versions inférieures, les fonctions définies par l’utilisateur (UDF) écrites en langage Python sont prises en charge sur des clusters utilisant un mode d’accès partagé dans un espace de travail compatible avec Unity Catalog. Cela inclut les fonctions définies par l’utilisateur Python et Pandas. Si vous souhaitez en savoir plus sur les fonctions définies par l’utilisateur en langage Python, veuillez consulter la rubrique Fonctions scalaires définies par l’utilisateur - Python.

Partager des schémas à l’aide du partage Delta

Databricks Runtime 13.2 ajoute la capacité d’utiliser ALTER SHARE <share-name> ADD SCHEMA <schema-name> pour partager un schéma entier à l’aid du partage de données, en donnant au destinataire l'accès à toutes les tables et vues du schéma au moment où vous le partagez, ainsi qu'à toutes les tables et vues ajoutées au schéma à l’avenir. Si vous souhaitez en savoir plus, veuillez consulter les rubriques Ajouter des schémas à un partage et ALTER SHARE.

Résolution des bogues

  • Nous avons corrigé un bogue avec le lecteur JSON, où les enregistrements étaient analysés en PERMISSIVE mode si failOnUnknownFieldsmode était activé. Les enregistrements sont maintenant déposés en mode DROPMALFORMEDparser ou sont écrits vers badRecordsPathsi l’une de ces options est définie. FAILFAST génère une erreur si un type de colonne ne correspond pas.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • nodeenv de la version 1.7.0 à la version 1.8.0
  • Bibliothèques R mises à niveau :
  • Bibliothèques Java mises à niveau :
    • io.delta.delta-sharing-spark_2.12 de la version 0.6.7 vers la version 0.7.0

Apache Spark

Databricks Runtime 13.2 comprend Apache Spark 3.4.0. Cette version inclut tous les correctifs et améliorations Spark inclus dans Databricks Runtime 13.1 (non pris en charge), ainsi que les corrections de bogues supplémentaires et les améliorations apportées à Spark qui suivent :

  • [SPARK-42750] [SC-133452][DBRRM-273] Prise en charge de l’instruction Insert By Name
  • [SPARK-43133] [SC-133728] Prise en charge de Scala Client DataStreamWriter Foreach
  • [SPARK-43663] [SC-134135][CONNECT][PS] Activation de SeriesParityTests.test_compare
  • [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Correctif (NullOps|NumOps).(eq|ne) pour Spark Connect.
  • [SPARK-44021] [SC-134109][SQL] Ajouter spark.sql.files.maxPartitionNum
  • [SPARK-43910] [SC-132936][SQL] Supprimer __auto_generated_subquery_name des ID dans les erreurs
  • [SPARK-43976] [SC-133375][CORE] Gérer le cas où modifiedConfigs n’existe pas dans les journaux des événements
  • [SPARK-32559] [SC-133992][SQL] La correction de la logique de découpage n’a pas correctement géré les caractères de contrôle ASCII
  • [SPARK-43421] [SC-132930][SS] Implémenter des points de contrôle basés sur le journal des modifications pour le fournisseur de Store d’état RocksDB
  • [SPARK-43594] [SC-133851][SQL] Ajouter LocalDateTime à anyToMicros
  • [SPARK-43884] [SC-133867] Marqueurs de paramètres dans DDL
  • [SPARK-43398] [SC-133894][CORE] Le délai d’expiration de l’exécuteur doit être le maximum entre la lecture aléatoire inactive et le délai d’expiration rdd
  • [SPARK-43610] [SC-133892][CONNECT][PS] Activer InternalFrame.attach_distributed_column dans Spark Connect.
  • [SPARK-43971] [SC-133826][CONNECT][PYTHON] Prise en charge de createDataFrame de Python en mode streaming
  • [SPARK-44006] [SC-133652][CONNECT][PYTHON] Prise en charge des artefacts de cache
  • [SPARK-43790] [SC-133468][PYTHON][CONNECT] Ajouter l’API copyFromLocalToFs
  • [SPARK-43921] [SC-133461][PROTOBUF] Générer des fichiers de descripteur Protobuf au moment de la génération
  • [SPARK-43906] [SC-133638][SC-133404][PYTHON][CONNECT] Implémenter la prise en charge des fichiers dans SparkSession.addArtifacts
  • [SPARK-44010] [SC-133744][PYTHON][SS][MINOR] Correctif de type Python StreamingQueryProgress rowsPerSecond
  • [SPARK-43768] [SC-132398][PYTHON][CONNECT] Prise en charge de la gestion des dépendances Python dans Python Spark Connect
  • [SPARK-43979] [13.X] Rétablir « [SC-133456][SQL] CollectedMetrics doit être traité de la même manière pour la jointure réflexive »
  • [SPARK-42290] [SC-133696][SQL] La correction de l’erreur OOM ne peut pas être signalée quand AQE est activé
  • [SPARK-43943] [SC-133648][SQL][PYTHON][CONNECT] Ajout des fonctions SQL math à Scala et Python
  • [SPARK-43747] [SC-132047][SC-133404][PYTHON][CONNECT] Implémenter la prise en charge des fichiers Python dans SparkSession.addArtifacts
  • [SPARK-43700] [SC-133726][SPARK-43701][CONNECT][PS] Activer TimedeltaOps.(sub|rsub) avec Spark Connect
  • [SPARK-43712] [SC-133641][SPARK-43713][CONNECT][PS] Activer le test de parité : test_line_plot, test_pie_plot.
  • [SPARK-43867] [SC-132895][SQL] Amélioration des candidats suggérés pour l’attribut non résolu
  • [SPARK-43901] [SC-133454][SQL] Avro pour prendre en charge le type décimal personnalisé soutenu par Long
  • [SPARK-43267] [SC-133024][JDBC] Gérer la colonne définie par l’utilisateur inconnue postgres en tant que chaîne dans un tableau
  • [SPARK-43935] [SC-133637][SQL][PYTHON][CONNECT] Ajout des fonctions xpath_* à Scala et Python
  • [SPARK-43916] [SC-133647][SQL][PYTHON][CONNECT] Ajout d’un percentile aux API Scala et Python
  • [SPARK-43717] [SC-133455][CONNECT] Le client Scala ne peut pas gérer les partitions nulles pour les entrées primitives scala
  • [SPARK-43984] [SC-133469] [SQL][PROTOBUF] Modification pour utiliser foreach quand map ne produit pas de résultats
  • [SPARK-43612] [SC-132011][CONNECT][PYTHON] Implémenter SparkSession.addArtifact(s) dans le client Python
  • [SPARK-44002] [SC-133606][CONNECT] Corriger le gestionnaire d’états des artefacts
  • [SPARK-43933] [SC-133470][SQL][PYTHON][CONNECT] Ajouter des fonctions d’agrégation de régression linéaire à Scala et Python
  • [SPARK-43920] [SC-133614][SQL][CONNECT] Créer un module sql/api
  • [SPARK-43979] [SC-133456][SQL] CollectedMetrics doit être traité de la même manière pour la jointure réflexive
  • [SPARK-43977] [SC-133373][CONNECT] Corriger le résultat de contrôle inattendu de dev/connect-jvm-client-mima-check
  • [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf : corriger les énumérations comme des bogues ints
  • [SPARK-43930] [SC-133406][SQL][PYTHON][CONNECT] Ajouter des fonctions unix_* à Scala et Python
  • [SPARK-43807] [SC-132545][SQL] Migrer les _LEGACY_ERROR_TEMP_1269 vers PARTITION_SCHEMA_IS_EMPTY
  • [SPARK-43956] [SC-133123][SQL] La correction du bogue n’affiche pas le sql de la colonne pour le percentile[Cont|Disc]
  • [SPARK-42626] [SC-133248][CONNECT] Ajouter un itérateur destructeur pour SparkResult
  • [SPARK-43333] [SC-132898][SQL] Autoriser Avro à convertir le type d’union en SQL avec un nom de champ stable avec type
  • [SPARK-43953] [SC-133134][CONNECT] Supprimer pass
  • [SPARK-43970] [SC-133403][PYTHON][CONNECT] Masquer les méthodes de cadre de données non prises en charge de la saisie semi-automatique
  • [SPARK-43973][SS][IU] L’IU de flux structuré doit afficher correctement les requêtes ayant échoué.
  • [SPARK-42577] [SC-125445][CORE] Ajouter une limitation maximale des tentatives pour les étapes pour éviter les nouvelles tentatives infinies potentielles
  • [SPARK-43841] [SC-132699][SQL] Gérer les attributs candidats sans préfixe dans StringUtils#orderSuggestedIdentifiersBySimilarity
  • [SPARK-41497] [SC-124795][CORE][Suivre]Modifier la version de prise en charge de la configuration spark.rdd.cache.visibilityTracking.enabled vers la version 3.5.0
  • [SPARK-37942] [SC-130983][CORE][SQL] Migrer des classes d’erreur
  • [SPARK-43898] [SC-132926][CORE] Inscrire automatiquement immutable.ArraySeq$ofRef à KryoSerializer pour Scala 2.13
  • [SPARK-43775] [SC-132891][SQL] DataSource V2 : autoriser la représentation des mises à jour sous forme de suppressions et d’insertions
  • [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] Prendre en charge UserDefinedType dans createDataFrame depuis Pandas DataFrame et toPandas
  • [SPARK-43418] [SC-132753][SC-130685][CONNECT] Ajouter SparkSession.Builder.getOrCreate
  • [SPARK-43549] [SC-132383][SQL] Convertir _LEGACY_ERROR_TEMP_0036 en INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
  • [SPARK-41497] [SC-124644][CORE] Correction du sous-dénombrement d’accumulateurs dans le cas de la tâche de nouvelle tentative avec cache rdd
  • [SPARK-43892] [SC-133006][PYTHON] Ajouter la prise en charge de la saisie semi-automatique pour df[|] dans pyspark.sql.dataframe.DataFrame
  • [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Ajouter un modèle facultatif pour Catalog.listDatabases
  • [SPARK-43205] [SC-132623] Clause IDENTIFICATEUR
  • [SPARK-43545] [SC-132378][SQL][PYTHON] Prise en charge du type de timestamp imbriqué
  • [SPARK-43949] [SC-133048][PYTHON] Mettre à niveau cloudpickle vers la version 2.2.1
  • [SPARK-43760] [SC-132809][SQL] Possibilité de valeur nulle des résultats de la sous-requête scalaire
  • [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS] Corriger TimedeltaOps pour Spark Connect
  • [SPARK-43895] [SC-132897][CONNECT][GO] Préparer le chemin du package Go
  • [SPARK-43894] [SC-132892][PYTHON] Corriger un bogue dans df.cache()
  • [SPARK-43509] [SC-131625][CONNECT] Prendre en charge la création de plusieurs sessions Spark Connect
  • [SPARK-43882] [SC-132888][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2122
  • [SPARK-43687] [SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][PS] Corriger NumOps pour Spark Connect
  • [SPARK-43604] [SC-132165][SQL] Refactoriser INVALID_SQL_SYNTAX pour éviter d’incorporer le texte de l’erreur dans le code source
  • [SPARK-43859] [SC-132883][SQL] Remplacer toString dans LateralColumnAliasReference
  • [SPARK-43792] [SC-132939][SQL][PYTHON][CONNECT] Ajouter un modèle facultatif pour Catalog.listCatalogs
  • [SPARK-43353] Rétablir « [SC-132734][PYTHON] Migrer les erreurs de session restantes dans la classe d’erreur »
  • [SPARK-43375] [SC-130309][CONNECT] Améliorer les messages d’erreur pour INVALID_CONNECT_URL
  • [SPARK-43863] [SC-132721][CONNECT] Supprimer l’élément redondant toSeq de SparkConnectPlanner pour Scala 2.13
  • [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS] Corriger DatetimeOps pour Spark Connect
  • [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS] Corriger BinaryOps pour Spark Connect
  • [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS] Corriger NullOps pour Spark Connect
  • [SPARK-43782] [SC-132885][CORE] Prendre en charge la configuration au niveau du journal avec une conf Spark statique
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] API Python Client DataStreamWriter foreach()
  • [SPARK-43290] [SC-131961][SQL] Ajoute la prise en charge DS IV et AAD à ExpressionImplUtils
  • [SPARK-43795] [SC-132532][CONNECT] Supprimer les paramètres non utilisés pour SparkConnectPlanner
  • [SPARK-42317] [SC-129194][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2247 : CANNOT_MERGE_SCHEMAS
  • [SPARK-43597] [SC-131960][SQL] Attribution d’un nom à la classe d’erreur _LEGACY_ERROR_TEMP_0017
  • [SPARK-43834] [SC-132679][SQL] Utiliser les classes d’erreur dans les erreurs de compilation de forçage de type ResolveDefaultColumns
  • [SPARK-43749] [SC-132423][SPARK-43750] [SQL] Attribuer des noms à la classe d’erreur _LEGACY_ERROR_TEMP_240[4-5]
  • [SPARK-43576] [SC-132533][CORE] Supprimer les déclarations inutilisées du module Core
  • [SPARK-43314] [SC-129970][CONNECT][PYTHON] Migrer les erreurs de client Spark Connect vers la classe d’erreur
  • [SPARK-43799] [SC-132715][PYTHON] Ajouter une option binaire de descripteur à l’API Pyspark Protobuf
  • [SPARK-43837] [SC-132678][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_103[1-2]
  • [SPARK-43862] [SC-132750][SQL] Attribuer un nom à la classe d’erreur LEGACY_ERROR_TEMP(1254 et 1315)
  • [SPARK-43886] [SC-132808][PYTHON] Accepter les tuples génériques comme indicateurs de saisie de Pandas UDF
  • [SPARK-43530] [SC-132653][PROTOBUF] Lire le fichier descripteur une seule fois
  • [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] Attribuer des noms à la classe d’erreur _LEGACY_ERROR_TEMP_241[1-7]
  • [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS] Corriger CategoricalOps pour Spark Connect
  • [SPARK-39979] [SC-132685][SQL] Ajouter une option pour utiliser des vecteurs de grande largeur variable pour les opérations UDF d’Arrow
  • [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS] Corriger StringOps pour Spark Connect
  • [SPARK-43353] [SC-132734][PYTHON] Migrer les erreurs de session restantes dans la classe d’erreur
  • [SPARK-43815] [SC-132781][SQL] Ajouter un alias to_varchar pour to_char
  • [SPARK-43543] [13.x][SC-131839][PYTHON] Corriger le comportement mapType imbriqué dans la fonction UDF Pandas
  • [SPARK-43361] [SC-131789][PROTOBUF] Mettre à jour la documentation pour les erreurs liées à la sérialisation d’énumération
  • [SPARK-43740] [SC-132035][PYTHON][CONNECT] Masquer les méthodes session non prises en charge de la saisie semi-automatique
  • [SPARK-43022] [SC-131681][CONNECT] Prendre en charge les fonctions protobuf pour le client Scala
  • [SPARK-43304] [13.x][SC-129969][CONNECT][PYTHON] Migrer NotImplementedError dans PySparkNotImplementedError
  • [SPARK-43860] [SC-132713][SQL] Activer la récursivité de la fin dans la mesure du possible
  • [SPARK-42421] [SC-132695][CORE] Utiliser les utils pour obtenir le commutateur d’allocation dynamique utilisé dans le point de contrôle local
  • [SPARK-43590] [SC-132012][CONNECT] Créer connect-jvm-client-mima-check pour prendre en charge la vérification mima avec le module protobuf
  • [SPARK-43315] [13.x][CONNECT][PYTHON][SS] Migrer les erreurs restantes de DataFrame(Reader|Writer) dans la classe d’erreur
  • [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf : autoriser serde avec enum comme ints
  • [SPARK-43789] [SC-132397][R] Utilise « spark.sql.execution.arrow.maxRecordsPerBatch » dans R createDataFrame avec Arrow par défaut
  • [SPARK-43596] [SC-126994][SQL] Gérer le prédicat IsNull dans rewriteDomainJoins
  • [SPARK-42249] [SC-122565][SQL] Affinement du lien html pour la documentation dans les messages d’erreur.
  • [SPARK-43128] [SC-131628][CONNECT][SS] Rendre recentProgress, puis lastProgress retourner StreamingQueryProgress cohérent avec l’API Scala native
  • [SPARK-43387] [SC-130448][SQL] Fournir un code d’erreur lisible pour _LEGACY_ERROR_TEMP_1168.
  • [SPARK-43334] [SC-132358] [UI] Corriger l’erreur lors de la sérialisation d’ExecutorPeakMetricsDistributions dans une réponse d’API
  • [SPARK-42958] [SC-131475][CONNECT] Refactoriser connect-jvm-client-mima-check pour prendre en charge la vérification mima avec le module avro
  • [SPARK-43591] [SC-131977][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_0013
  • [SPARK-38464] [SC-132211][CORE] Utiliser la classe d’erreur dans org.apache.spark.io
  • [SPARK-43759] [SC-132189][SQL][PYTHON] Exposer TimestampNTZType dans pyspark.sql.types
  • [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] Attribuer des noms à la classe d’erreur _LEGACY_ERROR_TEMP_240[1-3]
  • [SPARK-43719] [SC-132016][WEBUI] Gérer le champ missing row.excludedInStages
  • [SPARK-42956] [SC-127257][CONNECT] Prendre en charge les fonctions avro pour le client Scala
  • [SPARK-43487] [SC-131975][SQL] Corriger le message d’erreur CTE imbriqué
  • [SPARK-43265] [SC-129653] Déplacer l’infrastructure d’erreur vers un module utils commun
  • [SPARK-40912] [SC-131547][CORE]Surcharge d’exceptions dans KryoDeserializationStream
  • [SPARK-43583] [SC-131976][CORE] obtenir MergedBlockedMetaReqHandler depuis le délégué au lieu de l’instance saslRpcHandler
  • [SPARK-42996] [SC-131997][CONNECT][PS][ML] Créer et attribuer des tickets JIRA appropriés pour tous les tests ayant échoué.
  • [SPARK-38469] [SC-131425][CORE] Utiliser la classe d’erreur dans org.apache.spark.shuffle
  • [SPARK-43718] [SC-132014][SQL] Définir correctement la possibilité d’accepter la valeur Null pour les clés dans les jointures USING
  • [SPARK-43502] [SC-131419][PYTHON][CONNECT] DataFrame.drop doit accepter la colonne vide
  • [SPARK-43743] [SC-132038][SQL] Port HIVE-12188(DoAs ne fonctionne pas correctement dans HS2 sécurisé non kerberos)
  • [SPARK-43598] [SC-131929][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_2400
  • [SPARK-43138] [SC-131031][CORE] Corriger ClassNotFoundException pendant la migration
  • [SPARK-43360] [SC-131526][SS][CONNECT] Client Scala StreamingQueryManager
  • [SPARK-38467] [SC-131025][CORE] Utiliser la classe d’erreur dans org.apache.spark.memory
  • [SPARK-43345] [SC-131790][SPARK-43346][SQL] Renommer les classes d’erreur LEGACY_ERROR_TEMP[0041|1206]
  • [SPARK-42815] [SC-126450][SQL] L’élimination des sous-expressions prend en charge l’expression de raccourci
  • [SPARK-38462] [SC-130449][CORE] Ajouter une classe d’erreur INTERNAL_ERROR_EXECUTOR
  • [SPARK-43589] [SC-131798][SQL] Corriger cannotBroadcastTableOverMaxTableBytesError pour utiliser bytesToString
  • [SPARK-43539] [SC-131830][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_0003
  • [SPARK-43157] [SC-131688][SQL] Cloner le plan mis en cache InMemoryRelation pour empêcher le plan cloné de référencer les mêmes objets
  • [SPARK-43309] [SC-129746][SPARK-38461][CORE] Étendre INTERNAL_ERROR avec des catégories et ajouter la classe d’erreur INTERNAL_ERROR_BROADCAST
  • [SPARK-43281] [SC-131370][SQL] Corrigé : l’enregistreur simultané ne met pas à jour les métriques de fichier
  • [SPARK-43383] [SC-130660][SQL] Ajouter des statistiques rowCount à LocalRelation
  • [SPARK-43574] [SC-131739][PYTHON][SQL] Prise en charge de la définition de l’exécutable Python pour les API de fonction UDF et pandas dans workers pendant l’exécution (runtime)
  • [SPARK-43569] [SC-131694][SQL] Supprimer la solution de contournement pour HADOOP-14067
  • [SPARK-43183] [SC-128938][SS][13.x] Introduire un nouveau rappel « onQueryIdle » dans StreamingQueryListener
  • [SPARK-43528] [SC-131531][SQL][PYTHON] Prise en charge des noms de champs dupliqués dans createDataFrame avec pandas DataFrame
  • [SPARK-43548] [SC-131686][SS] Supprimer la solution de contournement pour HADOOP-16255
  • [SPARK-43494] [SC-131272][CORE] Appeler directement replicate() pour HdfsDataOutputStreamBuilder au lieu de la réflexion dans SparkHadoopUtil#createFile
  • [SPARK-43471] [SC-131063][CORE] Gérer les propriétés hadoopProperties et les metricsProperties manquantes
  • [SPARK-42899] [SC-126456][SQL] Corriger DataFrame.to(schéma) pour gérer le cas où il existe un champ imbriqué non-nullable dans un champ pouvant accepter la valeur Null
  • [SPARK-43302] [SC-129747][SQL] Faire de Python UDAF une fonction AggregateFunction
  • [SPARK-43223] [SC-131270][Connect] Typed-agg, réduire les fonctions, RelationalGroupedDataset#as
  • [SPARK-43482] [SC-131375][SS] Développer QueryTerminatedEvent pour contenir la classe d’erreur si elle existe dans l’exception
  • [SPARK-43359] [SC-131463][SQL] La suppression depuis la table Hive doit générer « UNSUPPORTED_FEATURE. TABLE_OPERATION »
  • [SPARK-43284] [SC-130313] Revenir aux chaînes encodées par URL
  • [SPARK-43492] [SC-131227][SQL] Ajouter des alias de fonction de 3 arguments DATE_ADD et DATE_DIFF
  • [SPARK-43473] [SC-131372][PYTHON] Prise en charge du type struct dans createDataFrame à partir du DataFrame pandas
  • [SPARK-43386] [SC-131110][SQL] Améliorer la liste des colonnes/attributs suggérés dans UNRESOLVED_COLUMN.WITH_SUGGESTION la classe d’erreur
  • [SPARK-43443] [SC-131332][SQL] Ajouter un point de référence pour l’inférence de type Timestamp en cas d’utilisation d’une valeur non valide
  • [SPARK-43518] [SC-131420][SQL] Convertir _LEGACY_ERROR_TEMP_2029 en INTERNAL_ERROR
  • [SPARK-42604] [SC-130648][CONNECT][PYTHON] Implémenter functions.typedlit
  • [SPARK-42323] [ES-669513] Rétablir « [SC-123479][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2332 »
  • [SPARK-43357] [SC-130649][SQL] Lors du filtrage par type de date, la date doit être entre guillemets
  • [SPARK-43410] [SC-130526][SQL] Améliorer la boucle vectorisée pour les valeurs skipValues Packed
  • [SPARK-43441] [SC-130995][CORE] makeDotNode ne doit pas échouer lorsque DéterministicLevel est absent
  • [SPARK-43324] [SC-130455][SQL] Gérer les commandes UPDATE pour les sources delta
  • [SPARK-43272] [SC-131168][CORE] Appeler directement createFile au lieu de la réflexion
  • [SPARK-43296] [13.x][SC-130627][CONNECT][PYTHON] Migrer les erreurs de session Spark Connect dans la classe d’erreur
  • [SPARK-43405] [SC-130987][SQL] Supprimer la méthode getRowFormatSQL, inputRowFormatSQL, outputRowFormatSQL inutile
  • [SPARK-43447] [SC-131017][R] Prendre en charge R 4.3.0
  • [SPARK-43425] [SC-130981][SQL] Ajouter TimestampNTZType to ColumnarBatchRow
  • [SPARK-41532] [SC-130523][CONNECT][CLIENT] Ajouter des vérifications pour les opérations impliquant plusieurs trames de données
  • [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON] Migrer les erreurs de flux structuré Spark Connect dans la classe d’erreur
  • [SPARK-42992] [13.x][SC-129465][PYTHON] Présentation de PySparkRuntimeError
  • [SPARK-43422] [SC-130982][SQL] Conserver les balises sur LogicalRelation avec sortie des métadonnées
  • [SPARK-43390] [SC-130646][SQL] DSv2 permet à CTAS/RTAS de réserver la possibilité de valeur nulle du schéma
  • [SPARK-43430] [SC-130989][CONNECT][PROTO] ExecutePlanRequest prend en charge les options de requêtes arbitraires.
  • [SPARK-43313] [SC-130254][SQL] Ajout de valeurs DEFAULT de colonne manquantes pour les actions MERGE INSERT
  • [SPARK-42842] [SC-130438][SQL] Fusionner la classe d’erreur _LEGACY_ERROR_TEMP_2006 dans REGEX_GROUP_INDEX
  • [SPARK-43377] [SC-130405][SQL] Activer spark.sql.thriftServer.interruptOnCancel par défaut
  • [SPARK-43292] [SC-130525][CORE][CONNECT] Passer ExecutorClassLoader au core module et simplifier Executor#addReplClassLoaderIfNeeded
  • [SPARK-43040] [SC-130310][SQL] Améliorer la prise en charge du type TimestampNTZ dans la source de données JDBC
  • [SPARK-43343] [SC-130629][SS] FileStreamSource doit désactiver une vérification glob de fichier supplémentaire lors de la création de DataSource
  • [SPARK-43312] [SC-130294][PROTOBUF] Option de conversion de tous les champs au format JSON
  • [SPARK-43404] [SC-130586][SS] Ignorer la réutilisation du fichier sst pour la même version du magasin d’état RocksDB afin d’éviter une erreur de non-correspondance d’ID
  • [SPARK-43397] [SC-130614][CORE] Durée de mise hors service de l’exécuteur de journal dans la méthode executorLost
  • [SPARK-42388] [SC-128568][SQL] Éviter les lectures de pied de page de parquet deux fois dans le lecteur vectorisé
  • [SPARK-43306] [13.x][SC-130320][PYTHON] Migrer ValueError des types Spark SQL vers la classe d’erreur
  • [SPARK-43337] [SC-130353][UI][3.4] Les icônes de flèche asc/desc pour trier la colonne ne s’affichent pas dans la colonne de table
  • [SPARK-43279] [SC-130351][CORE] Nettoyage des membres inutilisés depuis SparkHadoopUtil
  • [SPARK-43250] [SC-130147][SQL] Remplacer la classe d’erreur _LEGACY_ERROR_TEMP_2014 par une erreur interne
  • [SPARK-43363] [SC-130299][SQL][PYTHON] Forcer l’appel astype au type de catégorie uniquement lorsque le type Arrow n’est pas fourni
  • [SPARK-43261] [SC-130154][PYTHON] Migrer TypeError des types Spark SQL vers la classe d’erreur
  • [SPARK-41971] [SC-130230][SQL][PYTHON] Ajouter une configuration pour la conversion pandas ; comment ce système doit gérer les types struct
  • [SPARK-43381] [SC-130464][CONNECT] Rendre « transformStatCov » paresseux
  • [SPARK-43362] [SC-130481][SQL] Gestion spéciale du type JSON pour le connecteur MySQL
  • [SPARK-42843] [SC-130196][SQL] Mettre à jour la classe d’erreur _LEGACY_ERROR_TEMP_2007 vers REGEX_GROUP_INDEX
  • [SPARK-42585] [SC-129968][CONNECT] Diffusion en continu des relations locales
  • [SPARK-43181] [SC-130476][SQL] Afficher l’URL web de l’interface utilisateur dans l’interpréteur de commandes spark-sql
  • [SPARK-43051] [SC-130194][CONNECT] Ajouter une option pour émettre des valeurs par défaut
  • [SPARK-43204] [SC-129296][SQL] Aligner les affectations MERGE avec les attributs de table
  • [SPARK-43348] [SC-130082][PYTHON] Prendre en charge Python 3.8 dans PyPy3
  • [SPARK-42845] [SC-130078][SQL] Mettre à jour la classe d’erreur _LEGACY_ERROR_TEMP_2010 vers REGEX_GROUP_INDEX sur InternalError
  • [SPARK-43211] [SC-128978][HIVE] Supprimer la prise en charge Hadoop2 dans IsolatedClientLoader

Environnement du système

  • Système d’exploitation : Ubuntu 22.04.2 LTS
  • Java : Zulu 8.70.0.23-CA-linux64
  • Scala : 2.12.15
  • Python : 3.10.12
  • R: 4.2.2
  • Delta Lake : 2.4.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 chiffrement 37.0.1
cycler 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 debugpy 1.5.1 decorator 5.1.1
defusedxml 0.7.1 distlib 0.3.6 docstring-to-markdown 0,12
entrypoints 0,4 en cours d’exécution 1.2.0 facets-overview 1.0.3
fastjsonschema 2.16.3 filelock 3.12.0 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 notebook 6.4.12 numpy 1.21.5
oauthlib 3.2.0 empaquetage 21,3 pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.2.0 pip 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 requêtes 2.28.1
rope 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 six 1.16.0
soupsieve 2.3.1 ssh-import-id 5.11 stack-data 0.6.2
statsmodels 0.13.2 tenacity 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 unattended-upgrades 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 02/10/2023.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
flèche 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 objet BLOB 1.2.3
boot 1.3-28 brew 1,0-8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 horloge 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 5.0.0
data.table 1.14.6 jeux de données 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
ellipsis 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 generics 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.1 cycle de vie 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 Matrice 1.5-1 memoise 2.0.1
methods 4.2.2 mgcv 1.8-41 mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 progress 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 natifs
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 natifs
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 natifs
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 natifs
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.7.0
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.3-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.3-shaded-protobuf
org.apache.orc orc-shims 1.8.3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,36
org.glassfish.jersey.containers jersey-container-servlet-core 2,36
org.glassfish.jersey.core jersey-client 2,36
org.glassfish.jersey.core jersey-common 2,36
org.glassfish.jersey.core jersey-server 2,36
org.glassfish.jersey.inject jersey-hk2 2,36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1