Databricks Runtime 7.5 (サポート対象外)
Databricks は、2020 年 12 月にこのイメージをリリースしました。
以下のリリース ノートには、Apache Spark 3.0 で稼働する Databricks Runtime 7.5 に関する情報が記載されています。
新機能
Delta Lake の機能と機能強化
このリリースでは、次の Delta Lake の機能と機能強化が提供されています。
- 非同期チェックポイント処理による、ストリーミング マイクロバッチ期間のスパイクの排除
- カタログへの最新テーブル情報の反映
MERGE INTO操作での、入れ子になった列のスキーマ展開のサポートMERGE INTO操作での、最適化された書き込みの自動的な使用MERGE INTOおよびUPDATE操作での、入れ子になった構造体列の名前による解決CLONEが GA になり、テーブル プロパティのオーバーライドが可能RESTOREが一般提供- Scala implicits による Spark 読み取りおよび書き込み API の簡略化
fetchParallelismコネクタ オプションによるストリーミング スループットの向上- 新しい自動ローダー メトリックによるストリーム進行状況の追跡
非同期チェックポイント処理による、ストリーミング マイクロバッチ期間のスパイクの排除
Delta Lake では、既定で 10 回のコミットごとにチェックポイントが実行されます。 ストリーミング ワークロードでは、チェックポイント処理によって、10 回のコミットごとにマイクロバッチ期間にわずかなスパイクが発生する可能性があります。 非同期チェックポイント処理を使用すると、これらのスパイクが排除されます。
非同期チェックポイント処理は、Trigger Once 以外のすべてのストリーミング ワークロードに対して既定で有効になっています。 非同期チェックポイント処理では、ストリーミング ライターによる拡張チェックポイントの書き込みも行われます。そのため、拡張チェックポイントに明示的にオプトインする必要はありません。
非同期チェックポイント処理を無効にするには、SQL 構成 spark.databricks.delta.checkpoint.async.enabled false を設定します。
バッチ ワークロードは継続して同期的にチェックポイントを書き込むので、バッチ ワークロードに対して非同期チェックポイント処理を有効にすることはお勧めしません。
カタログへの最新テーブル情報の反映
Delta Lake では、スキーマやテーブルのプロパティなどの最新のテーブル情報が、Hive メタストアなどのカタログにベスト エフォート ベースで伝達されます。 このような情報は、カタログ化ツールを利用して Delta テーブルのスキーマを理解するのに役立ちます。
Delta Lake は内部的にこの情報に依存していませんが、それを最新の状態に保とうとします。 さらに、Delta Lake では、テーブル プロパティ delta.lastUpdateVersion と delta.lastCommitTimestamp を格納して、変更を最後にメタストアにプッシュしたコミットのバージョンとタイムスタンプを示します。 メタストアは、テーブルのスキーマまたはテーブル内のプロパティが一致しない場合にのみ更新されます。
したがって、前述のテーブル プロパティには、必ずしもテーブルの最新バージョンが反映されているとは限りません。
テーブル情報とメタストア情報が同期されていない場合は、DESCRIBE <table> などのコマンドを実行してメタストアを更新できます。
注意
Hive ではパーティションを変更する列は使用できませんが、Delta テーブルではパーティションを変更できます。そのため、Delta テーブルは Hive でパーティション分割されたテーブルとして表示されません。
MERGE INTO 操作での、入れ子になった列のスキーマ展開のサポート
入れ子になった列のスキーマの展開は、最上位レベルの列のセマンティクスと同じになります。 たとえば、新しい入れ子になった列を StructType 列に自動的に追加できます。 詳細については、マージでのスキーマの自動展開に関するページを参照してください。
MERGE INTO 操作での、最適化された書き込みの自動的な使用
最適化された書き込みによって、既定の MERGE INTO のパフォーマンスの大幅な向上が可能になります。パーティション分割されたテーブルに対する MERGE INTO では特にそうです。 最適化された書き込みを無効にするには、Spark 構成 spark.databricks.delta.optimizeWrite.enabled を false に設定します。
MERGE INTO および UPDATE 操作での、入れ子になった構造体列の名前による解決
更新操作 UPDATE と MERGE INTO コマンドで、入れ子になった構造体の列が名前で解決されるようになりました。 つまり、StructType 型の列を比較または代入する場合、入れ子になった列の順序は重要ではありません (最上位レベルの列の順序とまったく同じです)。 位置による解決に戻すには、Spark 構成 spark.databricks.delta.resolveMergeUpdateStructsByName.enabled を false に設定します。
CLONE が GA になり、テーブル プロパティのオーバーライドが可能
CLONE コマンドが一般提供になりました。 「CREATE TABLE CLONE」を参照してください。 さらに、CLONE を使用するときに、テーブル プロパティのオーバーライドを指定できます。 例については、「Azure Databricks でテーブルを複製する」を参照してください。
RESTORE の GA
RESTORE コマンドが一般提供になりました。 RESTOREを参照してください。
Scala implicits による Spark 読み取りおよび書き込み API の簡略化
io.delta.implicits._ をインポートして、Spark 読み取りおよび書き込み API で delta メソッドを使用できます。
import io.delta.implicits._
spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")
fetchParallelism コネクタ オプションによるストリーミング スループットの向上
AQS コネクタで、キュー サービスからメッセージをフェッチする並列処理を指定する新しいオプション fetchParallelism がサポートされました。
新しい自動ローダー メトリックによるストリーム進行状況の追跡
自動ローダーで、バックログに存在するファイルの数と、各バッチの後のバックログのサイズが報告されます。 これらのメトリックを使用して、ストリームの進行状況を追跡できます。 メトリックを表示する方法の詳細については、「自動ローダー」を参照してください。
機能強化
%pip および %conda マジック コマンドを使用したノートブック スコープ ライブラリのより広範なサポート
テーブル ACL または資格情報パススルーが有効になっている高コンカレンシー クラスターで、%pip および %conda マジック コマンドを使用して、ノートブック スコープのライブラリをインストールできるようになりました。
正確な Spark SQL DECIMAL 表示
Spark SQL DECIMAL データ型が、有効桁数とスケールを失わずにテーブルに表示されるようになりました。
ABFS 用 Hadoop 3.3 に基づく ADLS Gen 2 ストレージ コネクタ
ADLS Gen 2 ストレージ コネクタのアップグレードされたバージョンは、ABFS 用 Hadoop 3.3 に基づいています。 アップグレードされたコネクタには、安定性の向上が多数含まれています (Hadoop の安定性に関するページを参照)。また、SAS トークン認証のサポートが含まれています。
その他の修正
Spark Streaming 用 Databricks Kafka コネクタは削除されました。 Apache Spark コネクタを使用してください。
ライブラリのアップグレード
- アップグレードされた Python ライブラリ:
- koalas が 1.3.0 から 1.4.0 にアップグレード。
- インストールされているいくつかの R ライブラリがアップグレードされました。 「インストールされている R ライブラリ」を参照してください。
- OpenJDK 8 ビルドが Zulu 8.50.0.51-CA-linux64 (ビルド 1.8.0_275-b01) にアップグレード。
Apache Spark
Databricks Runtime 7.5 には、Apache Spark 3.0.1 が含まれています。 このリリースには、Databricks Runtime 7.4 (サポート対象外) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。
- [SPARK-33611] [UI] 書き換えられたプロキシ URL のクエリ パラメーターで 2 回エンコードしないようにする
- [SPARK-33587] [CORE] 入れ子になった致命的なエラーで Executor をキルする (7.x)
- [SPARK-33140] [SQL] 渡された SparkSession を使用しないコードを元に戻して SQLConf を取得する
- [SPARK-33472] [SQL] RemoveRedundantSorts ルールの順序を調整する
- [SPARK-33422] [DOC] 左側のメニュー項目の正しい表示を修正
- [SPARK-27421] [SQL] パーティション列を削除するときの int 列と値クラス java.lang.String のフィルターを修正
- [SPARK-33483] [INFRA][TESTS] rat の除外パターンを修正し、LICENSE を追加
- [SPARK-33464] [INFRA] (不) 必要なキャッシュを追加または削除し、GitHub Actions yaml を再構築する
- [SPARK-33407] [PYTHON][7.X] Python UDF からの例外メッセージの簡略化 (既定では無効)
- [SPARK-33435] [SQL] DSv2: REFRESH TABLE はテーブルを参照するキャッシュを無効にする必要がある
- [SPARK-33358] [SQL] コマンド プロセスが失敗した場合にコードを返す
- [SPARK-33183] [DBCONNECT] RemoveRedundantSorts.scala を ALLOW_LIST.txt に追加
- [SPARK-33290] [SQL] REFRESH TABLE はテーブル自体がキャッシュされない場合でもキャッシュを無効にする必要がある
- [SPARK-33140] [SQL] 差分コンパイルを修正
- [SPARK-33316] [SQL] スキーマ レジストリとユーザー指定の Null 許容 Avro スキーマを使用して from_avro と to_avro の単体テストを追加する
- [SPARK-33404] [SQL]
date_trunc式の正しくない結果を修正 - [SPARK-33339] [PYTHON] Pyspark アプリケーションが例外以外のエラーにより停止
- [SPARK-33412] [SQL] OverwriteByExpression は、入力クエリではなくテーブルの関係に基づいて削除条件を解決する必要がある
- [SPARK-33391] [SQL] CreateArray を使用する element_at が、1 から始まるインデックスを考慮していない。
- [SPARK-33316] [SQL] Avro の書き込みで Null 非許容の Catalyst スキーマに対し、ユーザーが指定した Null 許容の Avro スキーマをサポート
- [SPARK-33372] [SQL] InSet バケットの削除を修正
- [SPARK-33371] [PYTHON] Python 3.9 setup.py とテストの更新
- [SPARK-33140] [SQL] Rule[QueryPlan] のすべてのサブクラスで SQLConf と SparkSession を削除
- [SPARK-33338] [SQL] リテラル マップを使用する GROUP BY が失敗しないこと
- [SPARK-33306] [SQL] 日付を文字列にキャストするときにタイムゾーンが必要
- [SPARK-33284] [WEB-UI] Storage UI ページで、テーブルを並べ替えるために任意のフィールドをクリックすると、ヘッダー コンテンツが失われる
- [SPARK-33362] [SQL] skipSchemaResolution であってもクエリを解決する必要がある
- [SPARK-32257] [SQL] SET または RESET コマンドの無効な使用に関する明示的なエラーを報告する
- [SPARK-32406] [SQL] RESET 構文で単一の構成リセットをサポートする
- [SPARK-32376] [SQL] unionByName の null 値入力動作を構造体列で機能させる
- [SPARK-32308] [SQL] unionByName の名前による解決ロジックを API コードから分析フェーズに移動する
- [SPARK-20044] [UI] パス プレフィックス Revert プロキシ URL を使用して、フロントエンド リバース プロキシの背後にある Spark UI をサポート
- [SPARK-33268] [SQL][PYTHON] PythonUserDefinedType からの (または PythonUserDefinedType への) データのキャストに関するバグを修正
- [SPARK-33292] [SQL] リテラル ArrayBasedMapData 文字列表現のあいまいさを解消する
- [SPARK-33183] [SQL] オプティマイザー ルール EliminateSorts を修正し、冗長な並べ替えを削除するための物理ルールを追加
- [SPARK-33272] [SQL] QueryPlan.transformUpWithNewOutput で属性マッピングを削除する
- [SPARK-32090] [SQL] UserDefinedType.equal() を改善して対称型にする
- [SPARK-33267] [SQL] 値の 1 つが Null を含む場合の 'In' フィルターでの NPE の問題を修正
- [SPARK-33208] [SQL] SparkSession#sql のドキュメントを更新
- [SPARK-33260] [SQL] sortOrder が Stream のときの SortExec の正しくない結果を修正
- [SPARK-33230] [SQL] "spark.sql.sources.writeJobUUID" で一意のジョブ ID を取得する Hadoop コミッター
- [SPARK-33197] [SQL] spark.sql.analyzer.maxIterations への変更が実行時に有効になるようにする
- [SPARK-33228] [SQL] 同じ論理プランを持つビューを置き換えるときにデータをキャッシュ解除しない
- [SPARK-32557] [CORE] 履歴サーバーでのエントリごとの例外のログ記録と処理
- [SPARK-32436] [CORE] HighlyCompressedMapStatus.readExternal で numNonEmptyBlocks を初期化する
- [SPARK-33131] [SQL] having 句を使用したグループ化セットで、修飾された列名を解決できないのを修正
- [SPARK-32761] [SQL] 複数のフォールド可能な個別の式の集計を許可する
- [SPARK-33094] [SQL] ORC 形式で Hadoop 構成を DS オプションから基になる HDFS ファイル システムに伝達する
メンテナンスの更新
Databricks Runtime 7.5 メンテナンス更新プログラムに関するページを参照してください。
システム環境
- オペレーティング システム: Ubuntu 18.04.5 LTS
- Java: Zulu 8.50.0.51-CA-linux64 (ビルド 1.8.0_275-b01)
- Scala: 2.12.10
- Python: 3.7.5
- R: R バージョン 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.6.20 | cffi | 1.14.0 |
| chardet | 3.0.4 | cryptography | 2.8 | cycler | 0.10.0 |
| Cython | 0.29.15 | decorator | 4.4.1 | docutils | 0.15.2 |
| entrypoints | 0.3 | idna | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | jedi | 0.17.2 |
| jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | koalas | 1.4.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | pandas | 1.0.1 |
| parso | 0.7.0 | patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | requests | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | 6 | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | tornado | 6.0.3 | traitlets | 4.3.3 |
| unattended-upgrades | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | wheel | 0.34.2 |
インストールされている R ライブラリ
R ライブラリは、2020 年 11 月 2 日の Microsoft CRAN スナップショットからインストールされています。
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.1.10 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob (blob) | 1.2.1 |
| boot | 1.3-25 | brew | 1.0-6 | brio | 1.1.0 |
| broom | 0.7.2 | callr | 3.5.1 | キャレット | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-17 |
| cli | 2.1.0 | clipr | 0.7.1 | cluster | 2.1.0 |
| codetools | 0.2-18 | colorspace | 1.4-1 | commonmark | 1.7 |
| compiler | 3.6.3 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.3 | crayon | 1.3.4 | crosstalk | 1.1.0.1 |
| curl | 4.3 | data.table | 1.13.2 | datasets | 3.6.3 |
| DBI | 1.1.0 | dbplyr | 1.4.4 | desc | 1.2.0 |
| devtools | 2.3.2 | diffobj | 0.3.2 | digest | 0.6.27 |
| dplyr | 0.8.5 | DT | 0.16 | ellipsis | 0.3.1 |
| evaluate | 0.14 | fansi | 0.4.1 | farver | 2.0.3 |
| fastmap | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.1 |
| foreign | 0.8-76 | forge | 0.2.0 | fs | 1.5.0 |
| generics | 0.1.0 | ggplot2 | 3.3.2 | gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | globals | 0.13.1 |
| glue | 1.4.2 | gower | 0.2.2 | graphics | 3.6.3 |
| grDevices | 3.6.3 | grid | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0.8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.2 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.2 | iterators | 1.0.13 |
| jsonlite | 1.7.1 | KernSmooth | 2.23-18 | knitr | 1.30 |
| labeling | 0.4.2 | later | 1.1.0.1 | lattice | 0.20-41 |
| lava | 1.6.8 | lazyeval | 0.2.2 | ライフサイクル | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | markdown | 1.1 |
| MASS | 7.3-53 | Matrix | 1.2-18 | memoise | 1.1.0 |
| methods | 3.6.3 | mgcv | 1.8-33 | mime | 0.9 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-150 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.3 | parallel | 3.6.3 | pillar | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.16.2 | processx | 3.4.4 |
| prodlim | 2019.11.13 | progress | 1.2.2 | promises | 1.1.1 |
| proto | 1.0.0 | ps | 1.4.0 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.5.0 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | readr | 1.4.0 | readxl | 1.3.1 |
| recipes | 0.1.14 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.2.0 | reprex | 0.3.0 | reshape2 | 1.4.4 |
| rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.8 |
| rmarkdown | 2.5 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.1 | rstudioapi | 0.11 | rversions | 2.0.2 |
| rvest | 0.3.6 | scales | 1.1.1 | selectr | 0.4-2 |
| sessioninfo | 1.1.1 | shape | 1.4.4 | shiny | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.4.0 | SparkR | 3.0.0 |
| spatial | 7.3-11 | splines | 3.6.3 | sqldf | 0.4-11 |
| SQUAREM | 2020.5 | stats | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.5.3 | stringr | 1.4.0 | survival | 3.2-7 |
| sys | 3.4 | tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testthat | 3.0.0 | tibble | 3.0.4 | tidyr | 1.1.2 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | timeDate | 3043.102 |
| tinytex | 0.27 | tools | 3.6.3 | usethis | 1.6.3 |
| utf8 | 1.1.4 | utils | 3.6.3 | uuid | 0.1-4 |
| vctrs | 0.3.4 | viridisLite | 0.3.0 | waldo | 0.2.2 |
| whisker | 0.4 | withr | 2.3.0 | xfun | 0.19 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 |
インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | ストリーム (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | コレクタ | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.15.1 |
| org.apache.arrow | arrow-memory | 0.15.1 |
| org.apache.arrow | arrow-vector | 0.15.1 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks6 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | velocity | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-continuation | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |