Databricks Runtime 12.1 (non pris en charge)
Les notes de publication suivantes fournissent des informations sur Databricks Runtime 12.1 optimisé par Apache Spark 3.3.1.
Databricks a publié ces images en janvier 2023.
Améliorations et nouvelles fonctionnalités
- Fonctionnalités de table Delta Lake prises en charge pour la gestion des protocoles
- Les E/S prédictives pour les mises à jour sont en préversion publique
- Catalog Explorer est désormais disponible pour tous les personnages
- Prise en charge de plusieurs opérateurs avec état dans une seule requête de streaming
- La prise en charge des mémoires tampons de protocole est en préversion publique
- Prise en charge de l’authentification de registre de schémas confluent
- Prise en charge du partage de l’historique des tables avec les partages Delta Sharing
- Prise en charge de la diffusion en continu avec les partages Delta Sharing
- Version de table utilisant timestamp désormais prise en charge pour les tables Delta Sharing dans les catalogues
- Prise en charge de WHEN NOT MATCHED BY SOURCE pour MERGE INTO
- Collecte de statistiques optimisée pour CONVERT TO DELTA
- Prise en charge du catalogue Unity pour les tables sans écoute
Fonctionnalités de table Delta Lake prises en charge pour la gestion des protocoles
Azure Databricks a introduit la prise en charge des fonctionnalités de table Delta Lake, qui introduisent des indicateurs granulaires spécifiant les fonctionnalités prises en charge par une table donnée. Consultez Comment Azure Databricks gère-t-il la compatibilité des fonctionnalités Delta Lake ?.
Les E/S prédictives pour les mises à jour sont en préversion publique
Les E/S prédictives accélèrent désormais les opérations DELETE, MERGE et UPDATE pour les tables Delta avec des vecteurs de suppression activés sur le calcul compatible avec Photon. Consultez Qu’est-ce que les E/S prédictives ?.
Catalog Explorer est désormais disponible pour tous les personnages
Catalog Explorer est désormais disponible pour tous les personnages Azure Databricks lors de l’utilisation de Databricks Runtime 7.3 LTS et versions ultérieures.
Prise en charge de plusieurs opérateurs avec état dans une seule requête de streaming
Les utilisateurs peuvent désormais chaîner des opérateurs avec état avec le mode d’ajout dans la requête de streaming. Tous les opérateurs ne sont pas entièrement pris en charge. La jointure à l’intervalle de temps de flux à flux et flatMapGroupsWithState ne permettent pas à d’autres opérateurs avec état d’être chaînés.
La prise en charge des mémoires tampons de protocole est en préversion publique
Vous pouvez utiliser les fonctions from_protobuf et to_protobuf pour échanger des données entre des types binaires et struct. Consultez Tampons de protocole de lecture et d’écriture.
Prise en charge de l’authentification de registre de schémas confluent
L’intégration d’Azure Databricks à Registre de schémas confluent prend désormais en charge les adresses de registre de schémas externes avec l’authentification. Cette fonctionnalité est disponible pour les fonctions from_avro,to_avro, from_protobufet to_protobuf . Consultez Protobuf ou Avro.
Prise en charge du partage de l’historique des tables avec les partages Delta Sharing
Vous pouvez désormais partager une table avec un historique complet à l’aide de Delta Sharing, ce qui permet aux destinataires d’effectuer des requêtes de voyage dans le temps et d’interroger la table à l’aide de Spark Structured Streaming. WITH HISTORY est recommandé au lieu de CHANGE DATA FEED, bien que ce dernier continue d’être pris en charge. Consultez ALTER SHARE et Ajouter des tables à un partage.
Prise en charge de la diffusion en continu avec les partages Delta Sharing
Spark Structured Streaming fonctionne désormais avec le format deltasharing d’une table de Delta Sharing source qui a été partagée à l’aide de WITH HISTORY.
Version de table utilisant timestamp désormais prise en charge pour les tables Delta Sharing dans les catalogues
Vous pouvez maintenant utiliser la syntaxe TIMESTAMP AS OF SQL dans les instructions SELECTpour spécifier la version d’une table Delta Sharing montée dans un catalogue. Les tables doivent être partagées à l’aide de WITH HISTORY.
Prise en charge de WHEN NOT MATCHED BY SOURCE pour MERGE INTO
Vous pouvez maintenant ajouter des clausesWHEN NOT MATCHED BY SOURCE à MERGE INTO pour mettre à jour ou supprimer les lignes de la table choisie qui n’ont pas de correspondances dans la table source en fonction de la condition de fusion. La nouvelle clause est disponible dans SQL, Python, Scala et Java. Voir MERGE INTO.
Collecte de statistiques optimisée pour CONVERT TO DELTA
La collecte de statistiques pour l’opération CONVERT TO DELTA est désormais beaucoup plus rapide. Cela réduit le nombre de charges de travail qui peuvent utiliser NO STATISTICS pour plus d’efficacité.
Prise en charge du catalogue Unity pour les tables sans écoute
Cette fonctionnalité a été initialement publiée en préversion publique. Il est en disponibilité générale à compter du 25 octobre 2023.
Vous pouvez maintenant annuler la suppression d’une table managée ou externe dans un schéma existant dans les sept jours suivant la suppression. Consultez UNDROP TABLE et AFFICHER LES TABLES SUPPRIMÉES.
Mises à niveau de la bibliothèque
- Bibliothèques Python mises à niveau :
- filelock de la version 3.8.0 vers la version 3.8.2
- platformdirs de 2.5.4 vers 2.6.0
- setuptools de 58.0.4 à 61.2.0
- Bibliothèques R mises à niveau :
- Bibliothèques Java mises à niveau :
- io.delta.delta-sharing-spark_2.12 de la version 0.5.2 vers la version 0.6.2
- org.apache.hive.hive-storage-api de 2.7.2 to 2.8.1
- org.apache.parquet.parquet-column de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
- org.apache.parquet.parquet-common de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
- org.apache.parquet.parquet-encoding de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
- org.apache.parquet.parquet-format-structures de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
- org.apache.parquet.parquet-hadoop de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
- org.apache.parquet.parquet-jackson de la version 1.12.3-databricks-0001 vers la version 1.12.3-databricks-0002
- org.tukaani.xz de 1.8 à 1.9
Apache Spark
Databricks Runtime 12.1 comprend Apache Spark 3.3.1. Cette version inclut tous les améliorations et correctifs de Spark, figurant dans Databricks Runtime 12.0 (Non pris en charge), ainsi que les améliorations et correctifs de bogues supplémentaires suivants apportés à Spark :
- [SPARK-41405] [SC-119769][12.1.0] Rétablir « [SC-119411][SQL] Centraliser la logique de résolution de colonne » et « [SC-117170][SPARK-41338][SQL] Résoudre les références externes et les colonnes normales dans le même lot d’analyseurs »
- [SPARK-41405] [SC-119411][SQL] Centraliser la logique de résolution de colonne
- [SPARK-41859] [SC-119514][SQL] CreateHiveTableAsSelectCommand doit définir correctement l’indicateur de remplacement
- [SPARK-41659] [SC-119526][CONNECT][12.X] Activer doctests dans pyspark.sql.connect.readwriter
- [SPARK-41858] [SC-119427][SQL] Correction de la régression des performances du lecteur ORC en raison de la fonctionnalité de valeur DEFAULT
- [SPARK-41807] [SC-119399][CORE] Supprimer la classe d’erreur inexistante : UNSUPPORTED_FEATURE. DISTRIBUTE_BY
- [SPARK-41578] [12.x][SC-119273][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2141
- [SPARK-41571] [SC-119362][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_2310
- [SPARK-41810] [SC-119373][CONNECT] Déduire des noms à partir d’une liste de dictionnaires dans SparkSession.createDataFrame
- [SPARK-40993] [SC-119504][SPARK-41705][CONNECT][12.X] Déplacer la documentation et le script Spark Connect vers la documentation dev/ et Python
- [SPARK-41534] [SC-119456][CONNECT][SQL][12.x] Configurer le module client initial pour Spark Connect
- [SPARK-41365] [SC-118498][UI][3.3] La page d’interface utilisateur de phases ne peut pas être chargée pour le proxy dans un environnement yarn spécifique
- [SPARK-41481] [SC-118150][CORE][SQL] Réutiliser
INVALID_TYPED_LITERALau lieu de_LEGACY_ERROR_TEMP_0020 - [SPARK-41049] [SC-119305][SQL] Revisiter la gestion des expressions avec état
- [SPARK-41726] [SC-119248][SQL] Supprimer
OptimizedCreateHiveTableAsSelectCommand - [SPARK-41271] [SC-118648][SC-118348][SQL] Prise en charge des requêtes SQL paramétrables par
sql() - [SPARK-41066] [SC-119344][CONNECT][PYTHON] Implémenter
DataFrame.sampleByetDataFrame.stat.sampleBy - [SPARK-41407] [SC-119402][SC-119012][SQL][ALL TESTS] Extraction de l’écriture v1 dans WriteFiles
- [SPARK-41565] [SC-118868][SQL] Ajouter la classe d’erreur
UNRESOLVED_ROUTINE - [SPARK-41668] [SC-118925][SQL] La fonction DECODE retourne des résultats incorrects lors de la transmission de la valeur NULL
- [SPARK-41554] [SC-119274] correction de la modification de l’échelle décimale lorsque l’échelle a diminué de m...
- [SPARK-41065] [SC-119324][CONNECT][PYTHON] Implémenter
DataFrame.freqItemsetDataFrame.stat.freqItems - [SPARK-41742] [SC-119404][SPARK-41745][CONNECT][12.X] Réactiver les tests de documents et ajouter l’alias de colonne manquant à count()
- [SPARK-41069] [SC-119310][CONNECT][PYTHON] Implémenter
DataFrame.approxQuantileetDataFrame.stat.approxQuantile - [SPARK-41809] [SC-119367][CONNECT][PYTHON] Rendre la fonction
from_jsonprise en charge du schéma DataType - [SPARK-41804] [SC-119382][SQL] Choisir la taille d’élément correcte dans
InterpretedUnsafeProjectionpour le tableau de types définis par l’utilisateur - [SPARK-41786] [SC-119308][CONNECT][PYTHON] Dédupliquer les fonctions d’assistance
- [SPARK-41745] [SC-119378][SPARK-41789][12.X] Liste
createDataFramede lignes de prise en charge - [SPARK-41344] [SC-119217][SQL] Rendre l’erreur plus claire lorsque la table est introuvable dans le catalogue SupportsCatalogOptions
- [SPARK-41803] [SC-119380][CONNECT][PYTHON] Ajout d’une fonction manquante
log(arg1, arg2) - [SPARK-41808] [SC-119356][CONNECT][PYTHON] Rendre les options de prise en charge des fonctions JSON
- [SPARK-41779] [SC-119275][SPARK-41771][CONNECT][PYTHON] Rendre
__getitem__le filtre de prise en charge et sélectionner - [SPARK-41783] [SC-119288][SPARK-41770][CONNECT][PYTHON] Faire le support de la colonne op Aucun
- [SPARK-41440] [SC-119279][CONNECT][PYTHON] Éviter l’opérateur de cache pour l’exemple général.
- [SPARK-41785] [SC-119290][CONNECT][PYTHON] Implémenter
GroupedData.mean - [SPARK-41629] [SC-119276][CONNECT] Prise en charge des extensions de protocole dans la relation et l’expression
- [SPARK-41417] [SC-118000][CORE][SQL] Renommer en
_LEGACY_ERROR_TEMP_0019INVALID_TYPED_LITERAL - [SPARK-41533] [SC-119342][CONNECT][12.X] Gestion correcte des erreurs pour le serveur/le client Spark Connect
- [SPARK-41292] [SC-119357][CONNECT][12.X] Fenêtre de prise en charge dans l’espace de noms pyspark.sql.window
- [SPARK-41493] [SC-119339][CONNECT][PYTHON] Rendre les options de prise en charge des fonctions csv
- [SPARK-39591] [SC-118675][SS] Suivi de la progression asynchrone
- [SPARK-41767] [SC-119337][CONNECT][PYTHON][12.X] Implémenter
Column.{withField, dropFields} - [SPARK-41068] [SC-119268][CONNECT][PYTHON] Implémenter
DataFrame.stat.corr - [SPARK-41655] [SC-119323][CONNECT][12.X] Activer doctests dans pyspark.sql.connect.column
- [SPARK-41738] [SC-119170][CONNECT] Mixer ClientId dans le cache SparkSession
- [SPARK-41354] [SC-119194][CONNECT] Ajouter
RepartitionByExpressionau proto - [SPARK-41784] [SC-119289][CONNECT][PYTHON] Ajout de
__rmod__manquant dans colonne - [SPARK-41778] [SC-119262][SQL] Ajouter un alias « reduce » à ArrayAggregate
- [SPARK-41067] [SC-119171][CONNECT][PYTHON] Implémenter
DataFrame.stat.cov - [SPARK-41764] [SC-119216][CONNECT][PYTHON] Rendre le nom de l’opération de chaîne interne cohérent avec FunctionRegistry
- [SPARK-41734] [SC-119160][CONNECT] Ajouter un message parent pour catalogue
- [SPARK-41742] [SC-119263] Prendre en charge df.groupBy().agg({“*”:”count”})
- [SPARK-41761] [SC-119213][CONNECT][PYTHON] Correction des opérations arithmétiques :
__neg__,__pow__, ,__rpow__ - [SPARK-41062] [SC-118182][SQL] Renommer en
UNSUPPORTED_CORRELATED_REFERENCECORRELATED_REFERENCE - [SPARK-41751] [SC-119211][CONNECT][PYTHON] Correctif
Column.{isNull, isNotNull, eqNullSafe} - [SPARK-41728] [SC-119164][CONNECT][PYTHON][12.X] Implémenter la fonction
unwrap_udt - [SPARK-41333] [SC-119195][SPARK-41737] Implémenter
GroupedData.{min, max, avg, sum} - [SPARK-41751] [SC-119206][CONNECT][PYTHON] Correctif
Column.{bitwiseAND, bitwiseOR, bitwiseXOR} - [SPARK-41631] [SC-101081][SQL] Prise en charge de la résolution d’alias de colonne latérale implicite sur l’agrégation
- [SPARK-41529] [SC-119207][CONNECT][12.X] Implémenter SparkSession.stop
- [SPARK-41729] [SC-119205][CORE][SQL][12.X] Renommer
_LEGACY_ERROR_TEMP_0011enUNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES - [SPARK-41717] [SC-119078][CONNECT][12.X] Dédupliquer l’impression et la repr_html sur LogicalPlan
- [SPARK-41740] [SC-119169][CONNECT][PYTHON] Implémenter
Column.name - [SPARK-41733] [SC-119163][SQL][SS] Appliquer l’élagage basé sur un modèle d’arborescence pour la règle ResolveWindowTime
- [SPARK-41732] [SC-119157][SQL][SS] Appliquer la taille basée sur un modèle d’arborescence pour la règle SessionWindowing
- [SPARK-41498] [SC-119018] Propager des métadonnées via Union
- [SPARK-41731] [SC-119166][CONNECT][PYTHON][12.X] Implémenter l’accesseur de colonne
- [SPARK-41736] [SC-119161][CONNECT][PYTHON]
pyspark_types_to_proto_typesdoit prendre en chargeArrayType - [SPARK-41473] [SC-119092][CONNECT][PYTHON] Implémenter la fonction
format_number - [SPARK-41707] [SC-119141][CONNECT][12.X] Implémenter l’API catalogue dans Spark Connect
- [SPARK-41710] [SC-119062][CONNECT][PYTHON] Implémenter
Column.between - [SPARK-41235] [SC-119088][SQL][PYTHON]Fonction d’ordre élevé : implémentation array_compact
- [SPARK-41518] [SC-118453][SQL] Attribuer un nom à la classe d’erreur
_LEGACY_ERROR_TEMP_2422 - [SPARK-41723] [SC-119091][CONNECT][PYTHON] Implémenter la fonction
sequence - [SPARK-41703] [SC-119060][CONNECT][PYTHON] Combiner NullType et typed_null dans Literal
- [SPARK-41722] [SC-119090][CONNECT][PYTHON] Implémenter 3 fonctions de fenêtre de temps manquantes
- [SPARK-41503] [SC-119043][CONNECT][PYTHON] Implémenter des fonctions de transformation de partition
- [SPARK-41413] [SC-118968][SQL] Éviter la lecture aléatoire dans Storage-Partitioned Join lorsque les clés de partition ne correspondent pas, mais que les expressions de jointure sont compatibles
- [SPARK-41700] [SC-119046][CONNECT][PYTHON] Supprimer
FunctionBuilder - [SPARK-41706] [SC-119094][CONNECT][PYTHON]
pyspark_types_to_proto_typesdoit prendre en chargeMapType - [SPARK-41702] [SC-119049][CONNECT][PYTHON] Ajouter des opérations de colonne non valides
- [SPARK-41660] [SC-118866][SQL] Propager uniquement les colonnes de métadonnées si elles sont utilisées
- [SPARK-41637] [SC-119003][SQL] ORDER BY ALL
- [SPARK-41513] [SC-118945][SQL] Implémenter un accumulateur pour collecter les métriques du nombre de lignes par mappeur
- [SPARK-41647] [SC-119064][CONNECT][12.X] Dédupliquer les docstrings dans pyspark.sql.connect.functions
- [SPARK-41701] [SC-119048][CONNECT][PYTHON] Prise en charge des opérations de colonne
decimal - [SPARK-41383] [SC-119015][SPARK-41692][SPARK-41693] Implémenter
rollupetcubepivot - [SPARK-41635] [SC-118944][SQL] GROUP BY ALL
- [SPARK-41645] [SC-119057][CONNECT][12.X] Dédupliquer les docstrings dans pyspark.sql.connect.dataframe
- [SPARK-41688] [SC-118951][CONNECT][PYTHON] Déplacer des expressions vers expressions.py
- [SPARK-41687] [SC-118949][CONNECT] Dédupliquer les docstrings dans pyspark.sql.connect.group
- [SPARK-41649] [SC-118950][CONNECT] Dédupliquer les docstrings dans pyspark.sql.connect.window
- [SPARK-41681] [SC-118939][CONNECT] Éliminer GroupdData de group.py
- [SPARK-41292] [SC-119038][SPARK-41640][SPARK-41641][CONNECT][PYTHON][12.X] Implémenter des fonctions
Window - [SPARK-41675] [SC-119031][SC-118934][CONNECT][PYTHON][12.X] Prise en charge de l’opération Make Column
datetime - [SPARK-41672] [SC-118929][CONNECT][PYTHON] Activer les fonctions dépréciées
- [SPARK-41673] [SC-118932][CONNECT][PYTHON] Implémenter
Column.astype - [SPARK-41364] [SC-118865][CONNECT][PYTHON] Implémenter la fonction
broadcast - [SPARK-41648] [SC-118914][CONNECT][12.X] Dédupliquer les docstrings dans pyspark.sql.connect.readwriter
- [SPARK-41646] [SC-118915][CONNECT][12.X] Dédupliquer les docstrings dans pyspark.sql.connect.session
- [SPARK-41643] [SC-118862][CONNECT][12.X] Dédupliquer les docstrings dans pyspark.sql.connect.column
- [SPARK-41663] [SC-118936][CONNECT][PYTHON][12.X] Implémenter le reste des fonctions Lambda
- [SPARK-41441] [SC-118557][SQL] Prise en charge de la génération sans sortie enfant requise vers les références externes de l'hôte
- [SPARK-41669] [SC-118923][SQL] Taille précoce dans canCollapseExpressions
- [SPARK-41639] [SC-118927][SQL][PROTOBUF] : Supprimer ScalaReflectionLock de SchemaConverters
- [SPARK-41464] [SC-118861][CONNECT][PYTHON] Implémenter
DataFrame.to - [SPARK-41434] [SC-118857][CONNECT][PYTHON] Implémentation initiale
LambdaFunction - [SPARK-41539] [SC-118802][SQL] Remappage des statistiques et des contraintes par rapport à la sortie dans le plan logique pour LogicalRDD
- [SPARK-41396] [SC-118786][SQL][PROTOBUF] Prise en charge des champs oneOf et vérifications de récursivité
- [SPARK-41528] [SC-118769][CONNECT][12.X] Fusionner l’espace de noms de Spark Connect et de l’API PySpark
- [SPARK-41568] [SC-118715][SQL] Attribuer un nom à _LEGACY_ERROR_TEMP_1236
- [SPARK-41440] [SC-118788][CONNECT][PYTHON] Implémenter
DataFrame.randomSplit - [SPARK-41583] [SC-118718][SC-118642][CONNECT][PROTOBUF] Ajouter Spark Connect et protobuf dans setup.py avec spécification de dépendances
- [SPARK-27561] [SC-101081][12.x][SQL] Prise en charge de la résolution d’alias de colonne latérale implicite sur Project
- [SPARK-41535] [SC-118645][SQL] Définir la valeur null correctement pour les champs d’intervalle de calendrier dans
InterpretedUnsafeProjectionetInterpretedMutableProjection - [SPARK-40687] [SC-118439][SQL] Prise en charge de la fonction intégrée de masquage des données 'mask'
- [SPARK-41520] [SC-118440][SQL] Fractionner AND_OR TreePattern pour séparer les treePatterns AND et OR
- [SPARK-41349] [SC-118668][CONNECT][PYTHON] Implémenter DataFrame.hint
- [SPARK-41546] [SC-118541][CONNECT][PYTHON]
pyspark_types_to_proto_typesdoit prendre en charge StructType. - [SPARK-41334] [SC-118549][CONNECT][PYTHON] Déplacer le proto
SortOrderdes relations vers les expressions - [SPARK-41387] [SC-118450][SS] Affirmer le décalage de fin actuel de la source de données Kafka pour Trigger.AvailableNow
- [SPARK-41508] [SC-118445][CORE][SQL] Renommer
_LEGACY_ERROR_TEMP_1180enUNEXPECTED_INPUT_TYPEet supprimer_LEGACY_ERROR_TEMP_1179 - [SPARK-41319] [SC-118441][CONNECT][PYTHON] Implémenter la colonne. {when, otherwise} et fonction
whenavecUnresolvedFunction - [SPARK-41541] [SC-118460][SQL] Correction de l’appel à une méthode enfant incorrecte dans SQLShuffleWriteMetricsReporter.decRecordsWritten()
- [SPARK-41453] [SC-118458][CONNECT][PYTHON] Implémenter
DataFrame.subtract - [SPARK-41248] [SC-118436][SC-118303][SQL] Ajout de « spark.sql.json.enablePartialResults » pour activer/désactiver les résultats partiels JSON
- [SPARK-41437] Rétablir « [SC-117601][SQL] Ne pas optimiser la requête d’entrée deux fois pour le secours en écriture v1 »
- [SPARK-41472] [SC-118352][CONNECT][PYTHON] Implémenter le reste des fonctions string/binary
- [SPARK-41526] [SC-118355][CONNECT][PYTHON] Implémenter
Column.isin - [SPARK-32170] [SC-118384] [CORE] Améliorer la spéculation par le biais des métriques de tâche d’étape.
- [SPARK-41524] [SC-118399][SS] Différencier SQLConf et extraOptions dans StateStoreConf pour son utilisation dans RocksDBConf
- [SPARK-41465] [SC-118381][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1235
- [SPARK-41511] [SC-118365][SQL] LongToUnsafeRowMap prise en charge ignoresDuplicatedKey
- [SPARK-41409] [SC-118302][CORE][SQL] Renommer
_LEGACY_ERROR_TEMP_1043enWRONG_NUM_ARGS.WITHOUT_SUGGESTION - [SPARK-41438] [SC-118344][CONNECT][PYTHON] Implémenter
DataFrame.colRegex - [SPARK-41437] [SC-117601][SQL] N’optimisez pas la requête d’entrée deux fois pour le secours en écriture v1
- [SPARK-41314] [SC-117172][SQL] Attribuer un nom à la classe d’erreur
_LEGACY_ERROR_TEMP_1094 - [SPARK-41443] [SC-118004][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1061
- [SPARK-41506] [SC-118241][CONNECT][PYTHON] Refactoriser LiteralExpression pour prendre en charge DataType
- [SPARK-41448] [SC-118046] Créer des ID de travail MR cohérents dans FileBatchWriter et FileFormatWriter
- [SPARK-41456] [SC-117970][SQL] Améliorer les performances de try_cast
- [SPARK-41495] [SC-118125][CONNECT][PYTHON] Implémenter des fonctions
collection: P~Z - [SPARK-41478] [SC-118167][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1234
- [SPARK-41406] [SC-118161][SQL] Refactoriser le message d’erreur pour
NUM_COLUMNS_MISMATCHpour le rendre plus générique - [SPARK-41404] [SC-118016][SQL] Refactoriser
ColumnVectorUtils#toBatchpour rendre le testColumnarBatchSuite#testRandomRowsplus primitif - [SPARK-41468] [SC-118044][SQL] Correction de la gestion de PlanExpression dans EquivalentExpressions
- [SPARK-40775] [SC-118045][SQL] Correction des entrées de description en double pour les analyses de fichiers V2
- [SPARK-41492] [SC-118042][CONNECT][PYTHON] Implémenter des fonctions MISC
- [SPARK-41459] [SC-118005][SQL] Correction de la sortie du journal des opérations du serveur thrift vide
- [SPARK-41395] [SC-117899][SQL]
InterpretedMutableProjectiondoit utilisersetDecimalpour définir des valeurs Null pour les décimales dans une ligne non sécurisée - [SPARK-41376] [SC-117840][CORE][3.3] Correction de la logique de vérification Netty preferDirectBufs au démarrage de l’exécuteur
- [SPARK-41484] [SC-118159][SC-118036][CONNECT][PYTHON][12.x] Implémenter
collectiondes fonctions : E~M - [SPARK-41389] [SC-117426][CORE][SQL] Réutilisation
WRONG_NUM_ARGSau lieu de_LEGACY_ERROR_TEMP_1044 - [SPARK-41462] [SC-117920][SQL] Les types de date et d’horodatage peuvent être convertis en TimestampNTZ
- [SPARK-41435] [SC-117810][SQL] Modification pour appeler
invalidFunctionArgumentsErrorpourcurdate()quandexpressionsn’est pas vide - [SPARK-41187] [SC-118030][CORE] LiveExecutor MemoryLeak dans AppStatusListener quand ExecutorLost se produit
- [SPARK-41360] [SC-118083][CORE] Éviter la réinscription de BlockManager si l’exécuteur a été perdu
- [SPARK-41378] [SC-117686][SQL] Statistiques de colonne de prise en charge dans DS v2
- [SPARK-41402] [SC-117910][SQL][CONNECT][12.X] Remplacer prettyName de StringDecode
- [SPARK-41414] [SC-118041][CONNECT][PYTHON][12.x] Implémenter des fonctions de date/timestamp
- [SPARK-41329] [SC-117975][CONNECT] Résoudre les importations circulaires dans Spark Connect
- [SPARK-41477] [SC-118025][CONNECT][PYTHON] Déduire correctement le type de données des entiers littéraux
- [SPARK-41446] [SC-118024][CONNECT][PYTHON][12.x] Prise en charge du schéma
createDataFrameet d’autres types de jeux de données d’entrée - [SPARK-41475] [SC-117997][CONNECT] Correction de l’erreur de commande lint-scala et de la faute de frappe
- [SPARK-38277] [SC-117799][SS] Effacer le lot d’écriture après la validation du magasin d’états RocksDB
- [SPARK-41375] [SC-117801][SS] Éviter les derniers KafkaSourceOffset vides
- [SPARK-41412] [SC-118015][CONNECT] Implémenter
Column.cast - [SPARK-41439] [SC-117893][CONNECT][PYTHON] Implémenter
DataFrame.meltetDataFrame.unpivot - [SPARK-41399] [SC-118007][SC-117474][CONNECT] Refactoriser les tests liés à la colonne pour test_connect_column
- [SPARK-41351] [SC-117957][SC-117412][CONNECT][12.x] La colonne doit prendre en charge l’opérateur !=
- [SPARK-40697] [SC-117806][SC-112787][SQL] Ajout d’un remplissage de caractères en lecture pour couvrir les fichiers de données externes
- [SPARK-41349][SC-117594][CONNECT][12.X] Implémenter DataFrame.hint
- [SPARK-41338] [SC-117170][SQL] Résoudre les références externes et les colonnes normales dans le même lot d’analyseurs
- [SPARK-41436] [SC-117805][CONNECT][PYTHON] Implémenter des fonctions
collection: A~C - [SPARK-41445] [SC-117802][CONNECT] Implémenter DataFrameReader.parquet
- [SPARK-41452] [SC-117865][SQL]
to_chardoit retourner null lorsque le format est null - [SPARK-41444] [SC-117796][CONNECT] Prise en charge de read.json()
- [SPARK-41398] [SC-117508][SQL] Assouplir les contraintes sur Storage-Partitioned Join lorsque les clés de partition après le filtrage de l’exécution ne correspondent pas
- [SPARK-41228] [SC-117169][SQL] Renommer & Améliorer le message d’erreur pour
COLUMN_NOT_IN_GROUP_BY_CLAUSE. - [SPARK-41381] [SC-117593][CONNECT][PYTHON] Implémenter les fonctions
count_distinctetsum_distinct - [SPARK-41433] [SC-117596][CONNECT] Rendre max Arrow BatchSize configurable
- [SPARK-41397] [SC-117590][CONNECT][PYTHON] Implémenter une partie des fonctions string/binary
- [SPARK-41382] [SC-117588][CONNECT][PYTHON] Implémenter la fonction
product - [SPARK-41403] [SC-117595][CONNECT][PYTHON] Implémenter
DataFrame.describe - [SPARK-41366] [SC-117580][CONNECT] DF.groupby.agg() doit être compatible
- [SPARK-41369] [SC-117584][CONNECT] Ajouter la connexion commune au fichier jar ombré des serveurs
- [SPARK-41411] [SC-117562][SS] Correctif de bogue de prise en charge de l’opérateur multi-état
- [SPARK-41176] [SC-116630][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1042
- [SPARK-41380] [SC-117476][CONNECT][PYTHON][12.X] Implémenter des fonctions d’agrégation
- [SPARK-41363] [SC-117470][CONNECT][PYTHON][12.X] Implémenter des fonctions normales
- [SPARK-41305] [SC-117411][CONNECT] Amélioration de la documentation pour le proto de commande
- [SPARK-41372] [SC-117427][CONNECT][PYTHON] Implémenter DataFrame TempView
- [SPARK-41379] [SC-117420][SS][PYTHON] Fournir une session Spark cloné dans DataFrame dans la fonction utilisateur pour le récepteur foreachBatch dans PySpark
- [SPARK-41373] [SC-117405][SQL][ERROR] Renommer CAST_WITH_FUN_SUGGESTION en CAST_WITH_FUNC_SUGGESTION
- [SPARK-41358] [SC-117417][SQL] Refactoriser la méthode
ColumnVectorUtils#populateà utiliserPhysicalDataTypeau lieu deDataType - [SPARK-41355] [SC-117423][SQL] Problème de validation de nom de table hive de contournement
- [SPARK-41390] [SC-117429][SQL] Mettre à jour le script utilisé pour générer la fonction
registerdansUDFRegistration - [SPARK-41206] [SC-117233][SC-116381][SQL] Renommer la classe d’erreur
_LEGACY_ERROR_TEMP_1233enCOLUMN_ALREADY_EXISTS - [SPARK-41357] [SC-117310][CONNECT][PYTHON][12.X] Implémenter des fonctions mathématiques
- [SPARK-40970] [SC-117308][CONNECT][PYTHON] Liste de prise en charge[Colonne] pour l’argument on de Join
- [SPARK-41345] [SC-117178][CONNECT] Ajouter un indicateur à Connect Proto
- [SPARK-41226] [SC-117194][SQL][12.x] Refactoriser les types Spark en introduisant des types physiques
- [SPARK-41317] [SC-116902][CONNECT][PYTHON][12.X] Ajout de la prise en charge de base pour DataFrameWriter
- [SPARK-41347] [SC-117173][CONNECT] Ajout du cast au proto d’expression
- [SPARK-41323] [SC-117128][SQL] Prise en charge current_schema
- [SPARK-41339] [SC-117171][SQL] Fermer et recréer le lot d’écriture RocksDB au lieu de simplement effacer
- [SPARK-41227] [SC-117165][CONNECT][PYTHON] Implémenter la jointure croisée DataFrame
- [SPARK-41346] [SC-117176][CONNECT][PYTHON] Implémenter les fonctions
ascetdesc - [SPARK-41343] [SC-117166][CONNECT] Déplacer l’analyse FunctionName côté serveur
- [SPARK-41321] [SC-117163][CONNECT] Prise en charge du champ cible pour UnresolvedStar
- [SPARK-41237] [SC-117167][SQL] Réutiliser la classe d’erreur
UNSUPPORTED_DATATYPEpour_LEGACY_ERROR_TEMP_0030 - [SPARK-41309] [SC-116916][SQL] Réutilisation
INVALID_SCHEMA.NON_STRING_LITERALau lieu de_LEGACY_ERROR_TEMP_1093 - [SPARK-41276] [SC-117136][SQL][ML][MLLIB][PROTOBUF][PYTHON][R][SS][AVRO] Optimiser l’utilisation du constructeur de
StructType - [SPARK-41335] [SC-117135][CONNECT][PYTHON] Prise en charge de IsNull et IsNotNull dans la colonne
- [SPARK-41332] [SC-117131][CONNECT][PYTHON] Correction
nullOrderingdansSortOrder - [SPARK-41325] [SC-117132][CONNECT][12.X] Correction d’avg() manquant pour GroupBy sur DF
- [SPARK-41327] [SC-117137][CORE] Correction
SparkStatusTracker.getExecutorInfospar le commutateur On/OffHeapStorageMemory info - [SPARK-41315] [SC-117129][CONNECT][PYTHON] Implémenter
DataFrame.replaceetDataFrame.na.replace - [SPARK-41328] [SC-117125][CONNECT][PYTHON] Ajouter une API logique et une API de chaîne à column
- [SPARK-41331] [SC-117127][CONNECT][PYTHON] Ajouter
orderByetdrop_duplicates - [SPARK-40987] [SC-117124][CORE]
BlockManager#removeBlockInternaldoit s’assurer que le verrou est déverrouillé correctement - [SPARK-41268] [SC-117102][SC-116970][CONNECT][PYTHON] Refactoriser « Column » pour la compatibilité des API
- [SPARK-41312] [SC-116881][CONNECT][PYTHON][12.X] Implémenter DataFrame.withColumnRenamed
- [SPARK-41221] [SC-116607][SQL] Ajouter la classe d’erreur
INVALID_FORMAT - [SPARK-41272] [SC-116742][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_2019
- [SPARK-41180] [SC-116760][SQL] Réutilisation
INVALID_SCHEMAau lieu de_LEGACY_ERROR_TEMP_1227 - [SPARK-41260] [SC-116880][PYTHON][SS][12.X] Cast d’instances NumPy en types primitifs Python dans la mise à jour GroupState
- [SPARK-41174] [SC-116609][CORE][SQL] Propager une classe d’erreur aux utilisateurs pour
formatdeto_binary()non valide - [SPARK-41264] [SC-116971][CONNECT][PYTHON] Prise en charge d’autres types de données par littéral
- [SPARK-41326] [SC-116972] [CONNECT] Correction de l’entrée Dédupliquer manquant
- [SPARK-41316] [SC-116900][SQL] Activer la récursivité de la fin dans la mesure du possible
- [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] Prise en charge des expressions de chaîne dans le filtre.
- [SPARK-41256] [SC-116932][SC-116883][CONNECT] Implémenter DataFrame.withColumn(s)
- [SPARK-41182] [SC-116632][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1102
- [SPARK-41181] [SC-116680][SQL] Migrer les erreurs d’options de mappage vers des classes d’erreur
- [SPARK-40940] [SC-115993][12.x] Supprimer les vérificateurs d’opérateurs à plusieurs états pour les requêtes de streaming.
- [SPARK-41310] [SC-116885][CONNECT][PYTHON] Implémenter DataFrame.toDF
- [SPARK-41179] [SC-116631][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1092
- [SPARK-41003] [SC-116741][SQL] BHJ LeftAnti ne met pas à jour numOutputRows lorsque codegen est désactivé
- [SPARK-41148] [SC-116878][CONNECT][PYTHON] Implémenter
DataFrame.dropnaetDataFrame.na.drop - [SPARK-41217] [SC-116380][SQL] Ajouter la classe d’erreur
FAILED_FUNCTION_CALL - [SPARK-41308] [SC-116875][CONNECT][PYTHON] Améliorer DataFrame.count()
- [SPARK-41301] [SC-116786] [CONNECT] Homogénéiser le comportement pour SparkSession.range()
- [SPARK-41306] [SC-116860][CONNECT] Amélioration de la documentation proto d’expression connect
- [SPARK-41280] [SC-116733][CONNECT] Implémenter DataFrame.tail
- [SPARK-41300] [SC-116751] [CONNECT] Le schéma non défini est interprété comme un schéma
- [SPARK-41255] [SC-116730][SC-116695] [CONNECT] Renommer RemoteSparkSession
- [SPARK-41250] [SC-116788][SC-116633][CONNECT][PYTHON] DataFrame. toPandas ne doit pas retourner le dataframe pandas facultatif
- [SPARK-41291] [SC-116738][CONNECT][PYTHON]
DataFrame.explaindoit imprimer et renvoyer Aucun - [SPARK-41278] [SC-116732][CONNECT] Nettoyer l’attribut QualifiedAttribute inutilisé dans Expression.proto
- [SPARK-41097] [SC-116653][CORE][SQL][SS][PROTOBUF] Suppression de la base de conversion de collection redondante sur le code Scala 2.13
- [SPARK-41261] [SC-116718][PYTHON][SS] Correction du problème pour applyInPandasWithState lorsque les colonnes de clés de regroupement ne sont pas placées dans l’ordre depuis le plus tôt
- [SPARK-40872] [SC-116717][3.3] Secours au bloc de lecture aléatoire d’origine lorsqu’un bloc aléatoire fusionné par push est de taille nulle
- [SPARK-41114] [SC-116628][CONNECT] Prise en charge des données locales pour LocalRelation
- [SPARK-41216] [SC-116678][CONNECT][PYTHON] Implémenter
DataFrame.{isLocal, isStreaming, printSchema, inputFiles} - [SPARK-41238] [SC-116670][CONNECT][PYTHON] Prise en charge d’autres types de données intégrés
- [SPARK-41230] [SC-116674][CONNECT][PYTHON] Supprimer
strdu type d’expression d’agrégation - [SPARK-41224] [SC-116652][SPARK-41165][SPARK-41184][CONNECT] Implémentation optimisée de la collecte basée sur les flèches pour diffuser en continu du serveur au client
- [SPARK-41222] [SC-116625][CONNECT][PYTHON] Unifier les définitions de frappe
- [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] Désactiver les fonctions non prises en charge.
- [SPARK-41201] [SC-116526][CONNECT][PYTHON] Implémenter
DataFrame.SelectExprdans le client Python - [SPARK-41203] [SC-116258] [CONNECT] Prise en charge de Dataframe.tansform dans le client Python.
- [SPARK-41213] [SC-116375][CONNECT][PYTHON] Implémenter
DataFrame.__repr__etDataFrame.dtypes - [SPARK-41169] [SC-116378][CONNECT][PYTHON] Implémenter
DataFrame.drop - [SPARK-41172] [SC-116245][SQL] Migrer l’erreur de référence ambiguë vers une classe d’erreur
- [SPARK-41122] [SC-116141][CONNECT] Expliquer que l’API peut prendre en charge différents modes
- [SPARK-41209] [SC-116584][SC-116376][PYTHON] Amélioration de l’inférence de type PySpark dans la méthode _merge_type
- [SPARK-41196] [SC-116555][SC-116179] [CONNECT] Homogénéiser la version protobuf sur le serveur Spark Connect pour utiliser la même version principale.
- [SPARK-35531] [SC-116409][SQL] Mettre à jour les statistiques des tables Hive sans conversion inutile
- [SPARK-41154] [SC-116289][SQL] Mise en cache de relation incorrecte pour les requêtes avec spécification de voyage dans le temps
- [SPARK-41212] [SC-116554][SC-116389][CONNECT][PYTHON] Implémenter
DataFrame.isEmpty - [SPARK-41135] [SC-116400][SQL] Renommer
UNSUPPORTED_EMPTY_LOCATIONenINVALID_EMPTY_LOCATION - [SPARK-41183] [SC-116265][SQL] Ajouter une API d’extension pour effectuer la normalisation du plan pour la mise en cache
- [SPARK-41054] [SC-116447][UI][CORE] Prise en charge de RocksDB en tant que KVStore dans l’interface utilisateur dynamique
- [SPARK-38550] [SC-115223]Rétablir « [SQL][CORE] Utiliser un magasin sur disque pour enregistrer plus d’informations de débogage pour l’interface utilisateur dynamique »
- [SPARK-41173] [SC-116185][SQL] Sortir
require()des constructeurs d’expressions de chaîne - [SPARK-41188] [SC-116242][CORE][ML] Définir executorEnv OMP_NUM_THREADS sur spark.task.cpus par défaut pour les processus JVM de l’exécuteur spark
- [SPARK-41130] [SC-116155][SQL] Renommer
OUT_OF_DECIMAL_TYPE_RANGEenNUMERIC_OUT_OF_SUPPORTED_RANGE - [SPARK-41175] [SC-116238][SQL] Attribuer un nom à la classe d’erreur _LEGACY_ERROR_TEMP_1078
- [SPARK-41106] [SC-116073][SQL] Réduire la conversion de collection lors de la création d’AttributeMap
- [SPARK-41139] [SC-115983][SQL] Amélioration de la classe d’erreur :
PYTHON_UDF_IN_ON_CLAUSE - [SPARK-40657] [SC-115997][PROTOBUF] Exiger l’ombrage pour le fichier jar de classe Java, améliorer la gestion des erreurs
- [SPARK-40999] [SC-116168] Propagation d’indicateurs vers des sous-requêtes
- [SPARK-41017] [SC-116054][SQL] Prise en charge de l’élagage de colonnes avec plusieurs filtres non déterministes
- [SPARK-40834] [SC-114773][SQL] Utiliser SparkListenerSQLExecutionEnd pour suivre l’état final de SQL dans l’interface utilisateur
- [SPARK-41118] [SC-116027][SQL]
to_number/try_to_numberdoit retournernulllorsque le format estnull - [SPARK-39799] [SC-115984][SQL] DataSourceV2 : Afficher l’interface du catalogue
- [SPARK-40665] [SC-116210][SC-112300][CONNECT] Éviter d’incorporer Spark Connect dans la version binaire Apache Spark
- [SPARK-41048] [SC-116043][SQL] Améliorer le partitionnement et le classement de sortie avec le cache AQE
- [SPARK-41198] [SC-116256][SS] Correction des métriques dans la requête de streaming ayant une source de streaming CTE et DSv1
- [SPARK-41199] [SC-116244][SS] Correction du problème de métriques lorsque la source de streaming DSv1 et la source de streaming DSv2 sont co-utilisées
- [SPARK-40957] [SC-116261][SC-114706] Ajouter le cache de mémoire dans HDFSMetadataLog
- [SPARK-40940] Rétablir « [SC-115993] Supprimer les vérificateurs d’opérateurs à plusieurs états pour les requêtes de diffusion en continu ».
- [SPARK-41090] [SC-116040][SQL] Lever une exception pour
db_name.view_namelors de la création d’une vue temporaire par l’API de jeu de données - [SPARK-41133] [SC-116085][SQL] Intégration
UNSCALED_VALUE_TOO_LARGE_FOR_PRECISIONàNUMERIC_VALUE_OUT_OF_RANGE - [SPARK-40557] [SC-116182][SC-111442][CONNECT] Code Dump 9 Commits
- [SPARK-40448] [SC-114447][SC-111314][CONNECT] Spark Connect construit en tant que plugin de pilote avec des dépendances ombrées
- [SPARK-41096] [SC-115812][SQL] Prise en charge de la lecture du type FIXED_LEN_BYTE_ARRAY parquet
- [SPARK-41140] [SC-115879][SQL] Renommez la classe d’erreur
_LEGACY_ERROR_TEMP_2440enINVALID_WHERE_CONDITION - [SPARK-40918] [SC-114438][SQL] Incompatibilité entre FileSourceScanExec et Orc et ParquetFileFormat lors de la production d’une sortie en colonnes
- [SPARK-41155] [SC-115991][SQL] Ajouter un message d’erreur à SchemaColumnConvertNotSupportedException
- [SPARK-40940] [SC-115993] Supprimer les vérificateurs d’opérateurs à plusieurs états pour les requêtes de streaming.
- [SPARK-41098] [SC-115790][SQL] Renommer
GROUP_BY_POS_REFERS_AGG_EXPRenGROUP_BY_POS_AGGREGATE - [SPARK-40755] [SC-115912][SQL] Migrer les échecs de vérification de type de la mise en forme des nombres vers les classes d’erreur
- [SPARK-41059] [SC-115658][SQL] Renommer
_LEGACY_ERROR_TEMP_2420enNESTED_AGGREGATE_FUNCTION - [SPARK-41044] [SC-115662][SQL] Convertir DATATYPE_MISMATCH. UNSPECIFIED_FRAME à INTERNAL_ERROR
- [SPARK-40973] [SC-115132][SQL] Renommer
_LEGACY_ERROR_TEMP_0055enUNCLOSED_BRACKETED_COMMENT
Mises à jour de maintenance
Consultez Mises à jour de maintenance de Databricks Runtime 12.1.
Environnement du système
- Système d’exploitation : Ubuntu 20.04.5 LTS
- Java: Zulu 8.64.0.19-CA-linux64
- Scala : 2.12.14
- Python : 3.9.5
- R: 4.2.2
- Delta Lake: 2.2.0
Bibliothèques Python installées
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | asttokens | 2.0.5 |
| attrs | 21.4.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.3.0 | bleach | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
| cffi | 1.15.0 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| click | 8.0.4 | chiffrement | 3.4.8 | cycler | 0.11.0 |
| Cython | 0.29.28 | dbus-python | 1.2.16 | debugpy | 1.5.1 |
| decorator | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
| docstring-to-markdown | 0.11 | entrypoints | 0,4 | en cours d’exécution | 0.8.3 |
| facets-overview | 1.0.0 | fastjsonschema | 2.16.2 | filelock | 3.8.2 |
| fonttools | 4.25.0 | idna | 3.3 | ipykernel | 6.15.3 |
| ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.1.0 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
| jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
| matplotlib-inline | 0.1.2 | mccabe | 0.7.0 | mistune | 0.8.4 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| notebook | 6.4.8 | numpy | 1.21.5 | empaquetage | 21,3 |
| pandas | 1.4.2 | pandocfilters | 1.5.0 | parso | 0.8.3 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 9.0.1 | pip | 21.2.4 |
| platformdirs | 2.6.0 | plotly | 5.6.0 | pluggy | 1.0.0 |
| prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 7.0.0 | pycparser | 2.21 |
| pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
| pyodbc | 4.0.32 | pyparsing | 3.0.4 | pyright | 1.1.283 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
| requêtes | 2.27.1 | requests-unixsocket | 0.2.0 | rope | 0.22.0 |
| s3transfer | 0.5.0 | scikit-learn | 1.0.2 | scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 61.2.0 |
| six | 1.16.0 | soupsieve | 2.3.1 | ssh-import-id | 5.10 |
| stack-data | 0.2.0 | statsmodels | 0.13.2 | tenacity | 8.0.1 |
| terminado | 0.13.1 | testpath | 0.5.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 1.2.2 | tornado | 6.1 |
| traitlets | 5.1.1 | typing_extensions | 4.1.1 | ujson | 5.1.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.3 |
| wheel | 0.37.0 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
Bibliothèques R installées
Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 11/11/2022.
| Bibliothèque | Version | Bibliothèque | Version | Bibliothèque | Version |
|---|---|---|---|---|---|
| flèche | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | objet BLOB | 1.2.3 |
| boot | 1.3-28 | brew | 1,0-8 | brio | 1.1.3 |
| broom | 1.0.1 | bslib | 0.4.1 | cachem | 1.0.6 |
| callr | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-58 | class | 7.3-20 | cli | 3.4.1 |
| clipr | 0.8.0 | horloge | 0.6.1 | cluster | 2.1.4 |
| codetools | 0.2-18 | colorspace | 2.0-3 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | credentials | 1.3.2 | curl | 4.3.3 |
| data.table | 1.14.4 | jeux de données | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.2.1 | desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.30 | downlit | 0.4.2 |
| dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
| ellipsis | 0.3.2 | evaluate | 0,18 | fansi | 1.0.3 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.4.0 |
| forcats | 0.5.2 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.5.2 | future | 1.29.0 |
| future.apply | 1.10.0 | gargle | 1.2.1 | generics | 0.1.3 |
| gert | 1.9.1 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4-1-4 | globals | 0.16.1 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.0 | graphics | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0.9 | hms | 1.1.2 | htmltools | 0.5.3 |
| htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.6 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | KernSmooth | 2.23-20 | knitr | 1.40 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| lava | 1.7.0 | cycle de vie | 1.0.3 | listenv | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | markdown | 1.3 |
| MASS | 7.3-58 | Matrice | 1.5-1 | memoise | 2.0.1 |
| methods | 4.2.2 | mgcv | 1.8-41 | mime | 0,12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.9 |
| munsell | 0.5.0 | nlme | 3.1-160 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
| parallelly | 1.32.1 | pillar | 1.8.1 | pkgbuild | 1.3.1 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| plogr | 0.2.0 | plyr | 1.8.7 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | progress | 1.2.2 |
| progressr | 0.11.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.2 | purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.4 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.1 | recipes | 1.0.3 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.2.18 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.2 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.1 | spatial | 7.3-11 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
| survival | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.5 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.1.1 | timeDate | 4021.106 |
| tinytex | 0.42 | tools | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
| viridisLite | 0.4.1 | vroom | 1.6.0 | waldo | 0.4.0 |
| whisker | 0,4 | withr | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.6 | zip | 2.2.2 |
Bibliothèques Java et Scala installées (version de cluster Scala 2.12)
| ID de groupe | ID d’artefact | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | flux | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.2 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | collecteur | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-encoding | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-format-structures | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0002 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,36 |
| org.glassfish.jersey.core | jersey-client | 2,36 |
| org.glassfish.jersey.core | jersey-common | 2,36 |
| org.glassfish.jersey.core | jersey-server | 2,36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | unused | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |