Databricks Runtime 4.1 (サポート対象外)
Databricks は、2018 年 5 月にこのイメージをリリースしました。
重要
このリリースは、2019 年 1 月 17 日に非推奨となりました。 Databricks Runtime の非推奨ポリシーとスケジュールの詳細については、「Databricks ランタイムのサポート ライフサイクル」を参照してください。
次のリリース ノートには、Apache Spark で稼働する Databricks Runtime 4.1 に関する情報が記載されています。
Delta Lake
Databricks Runtime バージョン 4.1 では、Delta Lake に大幅な品質向上と機能が追加されています。 Databricks では、すべての Delta Lake のお客様が新しいランタイムにアップグレードすることを強くお勧めします。 このリリースはプライベート プレビューのままですが、今後の一般提供 (GA) リリースを想定したリリース候補です。
Delta Lake は、Azure Databricks ユーザーからもプライベート プレビューで使用できるようになりました。 アカウント マネージャーに問い合わせるか、https://databricks.com/product/databricks-delta でサインアップしてください。
重大な変更
Databricks Runtime 4.1 には、検証などの新機能を有効にするためのトランザクション プロトコルの変更が含まれています。 Databricks Runtime 4.1 で作成されたテーブルは、新しいバージョンを自動的に使用し、以前のバージョンの Databricks Runtime で書き込むことはできません。 これらの機能強化を活用するには、既存のテーブルをアップグレードする必要があります。 既存のテーブルをアップグレードするには、まず、そのテーブルに書き込んでいるすべてのジョブをアップグレードします。 次に、以下を実行します。
com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")詳細については、「Azure Databricks で Delta Lake 機能の互換性を管理する方法は?」を参照してください。
以前と同様に、宛先テーブルに欠落している列を自動的に追加するのではなく、テーブルの現在のスキーマに対して書き込みが検証されるようになりました。 以前の動作を有効にするには、
mergeSchemaオプションをtrueに設定します。 「Delta Lake のスキーマ検証」を参照してください。以前のバージョンの Databricks Delta を実行している場合は、Databricks Runtime 4.1 を使用する前にすべてのジョブをアップグレードしておく必要があります。 これらのエラーのいずれかが表示される場合は、Databricks Runtime 4.1 にアップグレードしてください。
java.lang.NumberFormatException: For input string: "00000000000000....crc" scala.MatchErrorテーブルには、大文字小文字のみが異なる列を含めることができなくなりました。
Delta 固有のテーブル構成には、
delta.を先頭に付けることが必要になりました。
新機能
スキーマ管理 - Databricks Delta は、書き込まれるスキーマがスキーマに一致することを確認するために、既存のテーブルへの追加と上書きを検証するようになりました。
- Databricks Delta では、引き続き自動スキーマ移行をサポートします。
- Databricks Delta では、スキーマを明示的に変更するために次の DDL がサポートされるようになりました。
- テーブルに列を追加するための
ALTER TABLE ADD COLUMN - 列の順序を変更するための
ALTER TABLE CHANGE COLUMNS ALTER TABLE [SET|UNSET] TBLPROPERTIES
- テーブルに列を追加するための
詳細については、「Delta Lake のスキーマ検証」を参照してください。
DDL とテーブル サポートの強化
- テーブル DDL と
saveAsTable()の完全なサポート。save()とsaveAsTable()のセマンティクスが同じになりました。 - すべての DDL および DML コマンドでは、テーブル名と
delta.`<path-to-table>`の両方をサポートします。 SHOW PARTITIONSSHOW COLUMNSDESC TABLE- 詳細なテーブル情報 -
DESCRIBE DETAILを実行すると、テーブルの現在のリーダーとライターのバージョンを表示できます。 「Azure Databricks で Delta Lake 機能の互換性を管理する方法は?」を参照してください。 - テーブルの詳細 - テーブルへの書き込みごとに来歴情報を使用できるようになりました。 また、[データ] サイドバーにも、Databricks Delta テーブルの詳細なテーブル情報と履歴が表示されます。 「describe detail を使用して Delta Lake テーブルの詳細を確認する」を参照してください。
- ストリーミング テーブル -
spark.readStream.format("delta").table("<table-name>")を使用して Streaming DataFrames を作成できます。 - 追加専用テーブル - Databricks Delta で基本的なデータ ガバナンスがサポートされるようになりました。 テーブル プロパティ
delta.appendOnly=trueを設定すると、テーブルに対する削除や変更をブロックできます。 MERGE INTOソース -MERGEのソース クエリ仕様により包括的なサポートを追加します。 たとえば、ソースでLIMIT、ORDER BY、およびINLINE TABLEを指定できます。- テーブル ACL の完全なサポート。
- テーブル DDL と
パフォーマンスの向上
- 統計コレクションのオーバーヘッドの削減 - 統計コレクションの効率が向上し、統計は、構成可能な数の列 (既定では、32 に設定) に対してのみ収集されるようになりました。 Databricks Delta の書き込みパフォーマンスは、統計 コレクションのオーバーヘッドが減少したため、最大 2 倍向上しました。 列の数を構成するには、テーブルのプロパティ
delta.dataSkippingNumIndexedCols=<number-of-columns>を設定します。 - 制限プッシュダウンのサポート - 統計は、パーティション列を超える
LIMITと述語を持つクエリがスキャンされるファイルの数を制限するために使用されます。 これは、すべてのノートブック コマンドに対して暗黙的にlimit=1000が有効になっているため、ノートブックのクエリに適用されます。 - ストリーミング ソースのフィルター プッシュダウン - ストリーミング クエリでは、新しいストリームを開始するときにパーティション分割を使用して、無関係なデータをスキップするようになりました。
OPTIMIZEの並列処理の向上 -OPTIMIZEは、1 つの Spark タスクとして実行されるようになり、クラスターで使用可能なすべての並列処理を使用します (以前は、一度に 100 個の圧縮ファイルが制限されました)。- DML でのデータのスキップ -
UPDATE、DELETE、およびMERGEでは、書き直す必要があるファイルを特定するときに統計が使用されるようになりました。 - チェックポイントの保持期間の短縮 - トランザクション ログのストレージ コストを削減するために、チェックポイントが 2 日間保持されるようになりました (履歴は引き続き 30 日保持されます)。
API の動作
- Databricks Delta での
insertInto(<table-name>)の動作は、他のデータ ソースと同じです。- モードが指定されていないか、
modeがErrorIfExists、IgnoreまたはAppendの場合、DataFrame 内のデータを Databricks Delta テーブルに追加します。 modeがOverwriteの場合、既存のテーブル内のすべてのデータを削除し、DataFrame から Databricks Delta テーブルにデータを挿入します。
- モードが指定されていないか、
- キャッシュされている場合は、
MERGEの宛先テーブルを手動でキャッシュ解除する必要があります。
操作性の向上
- ワークロード移行の検証 - ワークロードを Databricks Delta に移行するときに発生する一般的な間違いが、失敗ではなく、例外をスローするようになりました。
format("parquet")を使用したテーブルの読み取りまたは書き込み。- パーティションに対する直接の読み取りまたは書き込み (つまり、
/path/to/delta/part=1)。 - テーブルのサブディレクトリのバキューム。
- テーブルで Parquet を使用した
INSERT OVERWRITE DIRECTORY。
- 大文字と小文字を区別しない構成 - DataFrame Reader/Writer のオプションとテーブル プロパティでは、大文字と小文字の区別がなくなりました (読み取りパスと書き込みパスの両方を含む)。
- 列名 - テーブルの列名にドットを含めることができるようになりました。
既知の問題
- multi-insert ステートメントの挿入は、同じトランザクションではなく、別々の作業単位になります。
バグの修正
- 高速更新テーブルで新しいストリームを開始するときの無限ループが修正されました。
非推奨事項
構造化ストリーミングでは、ソースとして使用されているテーブルに変更が発生した場合、追加ではない入力は処理せず、例外をスローします。 以前は、ignoreFileDeletion フラグを使用してこの動作をオーバーライドできましたが、現在は非推奨になりました。 代わりに、ignoreDeletes または ignoreChanges を使用します。 「ソースとしての Delta テーブル」を参照してください。
その他の変更と機能強化
- Query Watchdog は、UI を使用して作成されたすべての汎用クラスターに対して有効になります。
- DBIO キャッシュのドライバー側のパフォーマンスの向上
- 新しいネイティブ Parquet デコーダーによる Parquet デコードのパフォーマンスの向上
- 共通部分式の削除のパフォーマンスの向上
- 小さいテーブルを結合する大きなテーブルのデータ スキップのパフォーマンスの向上 (ファクト ディメンションテーブルの結合)
display()は、画像データ型を含む列をリッチ HTML としてレンダリングするようになりました。- MLflow モデルのログ、読み込み、登録、デプロイの改善
- Dbml-local を最新リリース 0.4.1 へアップグレードしました
thresholdパラメーターを指定してエクスポートされたモデルでバグを修正しましたOneVsRestModel、GBTClassificationModelのエクスポートに対するサポートが追加されました
- インストールされている Python ライブラリの一部をアップグレードしました。
- pip: 9.0.1 から 10.0.0 b2
- setuptools: 38.5.1 から 39.0.1
- tornado: 4.5.3 から 5.0.1
- wheel: 0.30.0 から 0.31.0
- インストールされているいくつかの R ライブラリがアップグレードされました。 「インストールされている R ライブラリ」を参照してください。
- Azure Data Lake Store SDK が 2.0.11 から 2.2.8 にアップグレードされました。
- GPU クラスターの場合、CUDA が 8.0 から 9.0 に、CUDNN が 6.0 から 7.0 にアップグレードされました。
Apache Spark
Databricks Runtime 4.1 には、Apache Spark 2.3.0 が含まれています。 このリリースには、Databricks Runtime 4.0 (サポート対象外) に含まれるすべての修正と機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。
- [SPARK-24007][SQL] FloatType と DoubleType の EqualNullSafe で、codegen によって誤った結果が生成される可能性がある。
- [SPARK-23942][PYTHON] [SQL] クエリ実行プログラムのリスナーのアクションとして PySpark で collect を作成する
- [Spark-23815][CORE] Spark ライター動的パーティション上書きモードでは、複数レベルのパーティションでの出力の書き込みに失敗する場合がある
- [SPARK-23748][SS] Fix SS 継続プロセスは SubqueryAlias の問題をサポートしない
- [SPARK-23963][SQL] テキスト ベースの Hive テーブルのクエリで多数の列を適切に処理する
- [SPARK-23867][SCHEDULER] logWarning の droppedCount を使用する
- [SPARK-23816][CORE] 中止されたタスクは FetchFailure を無視する必要がある。
- [SPARK-23809][SQL] getOrCreate によってアクティブな SparkSession が設定される必要がある
- [SPARK-23966][SS] 共通の CheckpointFileManager インターフェイスですべてのチェックポイント ファイル書き込みロジックをリファクタリングする
- [SPARK-21351][SQL] 子の出力に基づいて NULL 値の許容を更新する
- [SPARK-23847][PYTHON] [SQL] asc_nulls_first、asc_nulls_last を PySpark に追加する
- [SPARK-23822][SQL] Parquet スキーマの不一致に対するエラー メッセージを改善する
- [SPARK-23823][SQL] transformExpression の原点を保持する
- [SPARK-23838][WEBUI] SQL クエリの実行が SQL タブに "completed" と表示される
- [SPARK-23802][SQL] PropagateEmptyRelation がクエリ プランを未解決の状態のままにする場合がある
- [SPARK-23727][SQL] parquet で DateType のフィルターのプッシュダウンに対するサポート
- [SPARK-23574][SQL] データ リーダーファクトリが 1 つだけある場合、DataSourceV2ScanExec で SinglePartition を報告する。
- [SPARK-23533][SS] ContinuousDataReader の startOffset を変更するためのサポートを追加する
- [SPARK-23491][SS] ContinuousExecution 再構成から明示的なジョブの取り消しを削除する
- [SPARK-23040][CORE] シャッフル リーダーの割り込み可能な反復子を返す
- [SPARK-23827][SS] StreamingJoinExec が、入力データが特定の数のパーティションに分割されることを確認する必要がある
- [SPARK-23639][SQL] SparkSQL CLI の metastore クライアントを初期化する前にトークンを取得する
- [SPARK-23806] Broadcast.unpersist を使用すると、致命的な例外が発生することがある…
- [SPARK-23599][SQL] Uuid の式で RandomUUIDGenerator を使用する
- [SPARK-23599][SQL] UUID ジェネレーターを擬似ランダム数値から追加する
- [SPARK-23759][UI] Spark UI を特定のホスト名/IP にバインドできない
- [SPARK-23769][CORE] Scalastyle チェックを不必要に無効にするコメントを削除する
- [SPARK-23614][SQL] キャッシュを使用するときに、正しくない再利用交換を修正する
- [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs が CSE 状態を正しく保存/復元する
- [SPARK-23729][CORE] glob を解決するときに URI フラグメントを考慮する
- [SPARK-23550][CORE] "ユーティリティ" をクリーンアップする
- [SPARK-23288][SS] Parquet シンクで出力メトリックを修正する
- [SPARK-23264][SQL] literals.sql.out の scala.MatchError を修正する
- [SPARK-23649][SQL] UTF-8 で許可されない文字をスキップする
- [SPARK-23691][PYTHON] PySpark テストでできるだけ sql_conf ユーティリティを使用する
- [SPARK-23644][CORE] [UI] SHS での REST 呼び出しのための絶対パスを使用する
- [SPARK-23706][PYTHON] PySpark で spark.conf.get(value, default=None) によって None が生成される必要がある
- [SPARK-23623][SS] CachedKafkaConsumer でのキャッシュされたコンシューマーの同時使用を回避する
- [SPARK-23670][SQL] SparkPlanGraphWrapper でメモリ リークを修正する
- [SPARK-23608][CORE] [WEBUI] SHS の attachSparkUI 関数と detachSparkUI 関数の間に同期を追加して、Jetty ハンドラーへの同時修正の問題を回避する
- [SPARK-23671][CORE] 条件を修正して SHS スレッド プールを有効にする。
- [SPARK-23658][LAUNCHER] InProcessAppHandle が getLogger で間違ったクラスを使用する
- [SPARK-23642][DOCS] AccumulatorV2 サブクラスの isZero scaladoc の修正
- [SPARK-22915][MLLIB] spark.ml.feature のストリーミング テスト (N から Z まで)
- [SPARK-23598][SQL] BufferedRowIterator のメソッドをパブリックにして、大きなクエリでランタイム エラーを回避する
- [SPARK-23546][SQL] CodegenContext でステートレス メソッド/値をリファクタリングする
- [SPARK-23523][SQL] ルール OptimizeMetadataOnlyQuery による正しくない結果を修正する
- [SPARK-23462][SQL] StructType のフィールドが不足しているエラー メッセージを改善する
- [SPARK-23624][SQL] Datasource V2 のメソッド pushFilters のドキュメントを改訂する
- [SPARK-23173][SQL] JSON からデータを読み込むときに、破損している Parquet ファイルを作成しないようにする
- [SPARK-23436][SQL] 日付にキャストできる場合にのみ、パーティションを日付として推論する
- [SPARK-23406][SS] ストリーム間の自己結合を有効にする
- [SPARK-23490][SQL] CreateTable の既存のテーブルで storage.locationUri を確認する
- [SPARK-23524] ローカルの大きなシャッフル ブロックの破損をチェックしないようにする必要がある。
- [SPARK-23525][SQL] 外部の Hive テーブルの ALTER TABLE CHANGE COLUMN COMMENT をサポートする
- [SPARK-23434][SQL] Spark が HDFS ファイル パスの "メタデータ ディレクトリ" を警告してはならない
- [SPARK-23457][SQL] 最初に ParquetFileFormat でタスク完了リスナーを登録する
- [SPARK-23329][SQL] 三角関数のドキュメントを修正する
- [SPARK-23569][PYTHON] pandas_udf が Python3 スタイルの型注釈関数で機能することを許可する
- [SPARK-23570][SQL] Spark 2.3.0 を HiveExternalCatalogVersionsSuite に追加する
- [SPARK-23517][PYTHON] _pyspark.util.exception_message に、Py4JJavaError によって Java 側からトレースを生成させる
- [SPARK-23508][CORE] blockManagerIdCache によって oom が発生した場合の BlockmanagerId を修正する
- [SPARK-23448][SQL] ドキュメントで JSON および CSV パーサーの動作を明確にする
- [SPARK-23365][CORE] アイドル状態の実行プログラムを強制終了するときに、num executors を調整しない。
- [SPARK-23438][DSTREAMS] ドライバーがクラッシュしたときに、WAL で DStreams データ損失を修正する
- [SPARK-23475][UI] スキップされたステージも表示する
- [SPARK-23518][SQL] ユーザーがデータ フレームの読み取りと書き込みのみを行う場合、メタストア アクセスを避ける
- [SPARK-23406][SS] ストリーム間の自己結合を有効にする
- [SPARK-23541][SS] Kafka ソースが、アーティクル パーティションの数よりも多くの並列処理でデータを読み取ることができるようにする
- [SPARK-23097][SQL] [SS] テキスト ソケット ソースを V2 に移行する
- [SPARK-23362][SS] Kafka マイクロバッチ ソースを V2 に移行する
- [SPARK-23445]ColumnStat リファクタリング
- [SPARK-23092][SQL] MemoryStream を DataSourceV2 API に移行する
- [SPARK-23447][SQL] リテラルの codegen テンプレートをクリーンアップする
- [SPARK-23366] ReadAheadInputStream のホット読み取りパスを改善する
- [SPARK-22624][PYSPARK] 範囲パーティション分割のシャッフルを公開する
メンテナンスの更新
Databricks Runtime 4.1 メンテナンス更新プログラムに関するページを参照してください。
システム環境
- オペレーティング システム: Ubuntu 16.04.4 LTS
- Java: 1.8.0_162
- Scala: 2.11.8
- Python: Python 2 クラスターの場合は 2.7.12、Python 3 クラスターの場合は 3.5.2。
- R: R バージョン 3.4.4 (2018-03-15)
- GPU クラスター: 次の NVIDIA GPU ライブラリがインストールされます。
- Tesla ドライバー 375.66
- CUDA 9.0
- cuDNN 7.0
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| cryptography | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 10.0.0b2 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0.32 | seaborn | 0.7.1 |
| setuptools | 39.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | 6 | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.0.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | wheel | 0.31.0 |
| wsgiref | 0.1.2 |
インストールされている R ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.2 |
| base | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
| bindrcpp | 0.2.2 | bit | 1.1-12 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob (blob) | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | broom | 0.4.4 | car | 3.0-0 |
| carData | 3.0-1 | キャレット | 6.0-79 | cellranger | 1.1.0 |
| chron | 2.3-52 | class | 7.3-14 | cli | 1.0.0 |
| cluster | 2.0.7 | codetools | 0.2-15 | colorspace | 1.3-2 |
| commonmark | 1.4 | compiler | 3.4.4 | crayon | 1.3.4 |
| curl | 3.2 | CVST | 0.2-1 | data.table | 1.10.4-3 |
| datasets | 3.4.4 | DBI | 0.8 | ddalpha | 1.3.1.1 |
| DEoptimR | 1.0 から 8 | desc | 1.1.1 | devtools | 1.13.5 |
| dichromat | 2.0-0 | digest | 0.6.15 | dimRed | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.4 | DRR | 0.0.3 |
| forcats | 0.3.0 | foreach | 1.4.4 | foreign | 0.8-69 |
| gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
| glmnet | 2.0-16 | glue | 1.2.0 | gower | 0.1.2 |
| graphics | 3.4.4 | grDevices | 3.4.4 | grid | 3.4.4 |
| gsubfn | 0.7 | gtable | 0.2.0 | h2o | 3.16.0.2 |
| haven | 1.1.1 | hms | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| iterators | 1.0.9 | jsonlite | 1.5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | labeling | 0.3 | lattice | 0.20-35 |
| lava | 1.6.1 | lazyeval | 0.2.1 | littler | 0.3.3 |
| lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1.5 |
| mapproj | 1.2.6 | maps | 3.3.0 | maptools | 0.9-2 |
| MASS | 7.3-49 | Matrix | 1.2-13 | MatrixModels | 0.4-1 |
| memoise | 1.1.0 | methods | 3.4.4 | mgcv | 1.8-23 |
| mime | 0.5 | minqa | 1.2.4 | mnormt | 1.5-5 |
| ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.1 | openxlsx | 4.0.17 |
| parallel | 3.4.4 | pbkrtest | 0.4-7 | pillar | 1.2.1 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
| plyr | 1.8.4 | praise | 1.0.0 | prettyunits | 1.0.2 |
| pROC | 1.11.0 | prodlim | 1.6.1 | proto | 1.0.0 |
| psych | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5.35 |
| R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
| R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
| Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
| RCurl | 1.95-4.10 | readr | 1.1.1 | readxl | 1.0.0 |
| recipes | 0.1.2 | rematch | 1.0.1 | reshape2 | 1.4.3 |
| rio | 0.5.10 | rlang | 0.2.0 | robustbase | 0.92-8 |
| RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
| rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
| rstudioapi | 0.7 | scales | 0.5.0 | sfsmisc | 1.1-2 |
| sp | 1.2-7 | SparkR | 2.3.0 | SparseM | 1.77 |
| spatial | 7.3-11 | splines | 3.4.4 | sqldf | 0.4-11 |
| SQUAREM | 2017.10-1 | statmod | 1.4.30 | stats | 3.4.4 |
| stats4 | 3.4.4 | stringi | 1.1.7 | stringr | 1.3.0 |
| survival | 2.41-3 | tcltk | 3.4.4 | TeachingDemos | 2.10 |
| testthat | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
| tidyselect | 0.2.4 | timeDate | 3043.102 | tools | 3.4.4 |
| utf8 | 1.1.3 | utils | 3.4.4 | viridisLite | 0.3.0 |
| whisker | 0.3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
インストールされている Java および Scala ライブラリ (Scala 2.11 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.7.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | ストリーム (stream) | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
| com.databricks | dbml-local_2.11-tests | 0.4.1-db1-spark2.3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 3.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.5.9 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 2.4.1 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 2.2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.8 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | コレクタ | 0.7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.8.0 |
| org.apache.arrow | arrow-memory | 0.8.0 |
| org.apache.arrow | arrow-vector | 0.8.0 |
| org.apache.avro | avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | avro-ipc-tests | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.1 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.1 |
| org.apache.parquet | parquet-column | 1.8.2-databricks1 |
| org.apache.parquet | parquet-common | 1.8.2-databricks1 |
| org.apache.parquet | parquet-encoding | 1.8.2-databricks1 |
| org.apache.parquet | parquet-format | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.2-databricks1 |
| org.apache.parquet | parquet-jackson | 1.8.2-databricks1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4. |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1.58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.8 |
| org.codehaus.janino | janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.0 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |