Databricks Runtime 4.2 (サポート対象外)
Databricks は、2018 年 7 月にこのイメージをリリースしました。
重要
このリリースは、2019 年 3 月 5 日に非推奨となりました。 Databricks Runtime の非推奨ポリシーとスケジュールの詳細については、Databricks ランタイムのサポート ライフサイクルを参照してください。
次のリリース ノートには、Apache Spark で稼働する Databricks Runtime 4.2 に関する情報が記載されています。
Delta Lake
Databricks Runtime 4.2 では、Delta Lake に大幅な品質向上と機能が追加されています。 Databricks では、すべての Delta Lake のお客様が新しいランタイムにアップグレードすることを強くお勧めします。 このリリースはプライベート プレビューのままですが、今後の一般提供 (GA) リリースを想定したリリース候補です。
新機能
df.writeStream.table(...)を使用して、Hive メタストアに登録されている Delta テーブルにストリームを直接書き込めるようになりました。
機能強化
すべての Delta Lake コマンドとクエリで、パスを識別子として使用するテーブルの参照がサポートされるようになりました。
delta.`<path-to-table>`以前は
OPTIMIZEおよびVACUUMでは、文字列リテラルの標準以外の使用が必要でした (つまり、'<path-to-table>')。DESCRIBE HISTORYにはコミット ID が含まれるようになり、既定では新しい順に並べ替えられます。
バグの修正
- パーティション述語に基づくフィルター処理は、述語の大文字小文字の区別がテーブルの大文字小文字の区別と異なる場合でも正しく動作するようになりました。
- Delta テーブルのブール値の列に対して等値チェックを実行する (つまり、
booleanValue = true) ときに見つからない列AnalysisExceptionを修正しました。 CREATE TABLEは、既存のテーブルへのポインターを作成するときにトランザクション ログを変更しなくなりました。 これにより、同時実行ストリームとの不要な競合が防止され、ユーザーがデータへの読み取りアクセス権のみを持つテーブルへのメタストア ポインターの作成が可能になります。- 大量のデータを含むストリームで
display()を呼び出しても、ドライバーで OOM が発生しなくなりました。 AnalysisExceptionは、空の結果を返すのではなく、基になる Delta Lake パスが削除された場合にスローされます。- 特定のプロトコル バージョン (例:
appendOnly) を必要とする Delta Lake 構成は、該当するバージョンのテーブルにのみ適用できます。 - Delta テーブルの状態を更新するときに、
StackOverFlowErrorを回避するために長い系列が自動的に切り捨てられるようになりました。
構造化ストリーミング
新機能
Delta Lake と Kafka で、Trigger.Once が完全にサポートされるようになりました。 以前は、ソース オプションまたは既定値として指定されたレート制限 (例:
maxOffsetsPerTriggerまたはmaxFilesPerTrigger) では、使用可能なデータが部分的に実行されるだけになる場合がありました。Trigger.Onceを使用する場合、これらのオプションは無視されるようになり、現在使用可能なすべてのデータを処理できます。Scala に新しいストリーミング
foreachBatch()が追加されました。この場合、DataFrame 操作を使用してすべてのマイクロバッチの出力を処理する関数を定義できます。 これにより、以下の処理を行うことができます。- 既存のバッチ データ ソースを使用して、ストリーミング データ ソースがまだないシステムにマイクロバッチ出力を書き込む (たとえば、すべてのマイクロバッチ出力で Cassandra バッチ ライターを使用する)。
- マイクロバッチ出力を複数の場所に書き込む。
- ストリーミング DataFrames でまだサポートされていないマイクロバッチ出力に DataFrame とテーブル操作を適用する (たとえば、マイクロバッチ出力を Delta テーブルにアップサートする)。
from_json/to_jsonのように、ファイルだけではなく、DataFrame 内で Avro データの読み取りと書き込みを行うfrom_avro/to_avro関数が追加されました。 詳細については、任意の場所での Avro データの読み取りと書き込みに関するページを参照してください。Python でのストリーミング
foreach()のサポートが追加されました (Scala で既に利用可能)。 詳細については、foreach と foreachBatch に関するドキュメントを参照してください。
機能強化
- 入力ストリームにデータがない場合に、ステートフル操作 (
mapGroupsWithState、ストリーム同士の結合、ストリーミングの集計、ストリーミングの dropDuplicates) を使用して、出力結果の生成や状態のクリーンアップを迅速化します。
バグの修正
- ストリーム同士の結合の正確性のバグ SPARK-24588 を修正しました。この場合、前に明示的な再パーティションがある場合に報告される結合の結果が少なくなりました (例:
df1.repartition("a", "b").join(df, "a"))。
その他の変更と機能強化
- テーブルのアクセス制御が有効なクラスターに対する SQL 拒否コマンドのサポートが追加されました。 ユーザーは、以前に付与されたのと同じ方法で、特定のアクセス許可を拒否できるようになりました。 拒否されたアクセス許可は、付与されたアクセス許可より優先されます。 特定のオブジェクトの管理者と所有者は、引き続き常にアクションを実行できます。
- ABFS ドライバーを使用する新しい Azure Data Lake Storage Gen2 データ ソース。 「Azure Data Lake Storage Gen2 と Blob Storage に接続する」を参照してください。
- インストールされている Python ライブラリの一部をアップグレードしました。
- pip: 10.0.0b2 から 10.0.1
- setuptools: 39.0.1 から 39.2.0
- tornado: 5.0.1 から 5.0.2
- wheel: 0.31.0 から 0.31.1
- インストールされているいくつかの R ライブラリがアップグレードされました。 「インストールされている R ライブラリ」を参照してください。
- Parquet のサポートが強化されました
- Apache ORC が 1.4.1 から 1.4.3 へアップグレードされました
Apache Spark
Databricks Runtime 4.2 には、Apache Spark 2.3.1 が含まれています。 このリリースには、Databricks Runtime 4.1 (サポート対象外) に含まれるすべての修正と機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。
- [SPARK-24588][SS] ストリーミング結合では子からの HashClusteredPartitioning を要求する必要がある
- [SPARK-23931][SQL] function.scala
@scala.annotation.varargsでarrays_zipを作成する。 - [SPARK-24633][SQL] arrays_zip で分割が必要な場合に codegen を修正する
- [SPARK-24578][CORE] 返される nio バッファーのサブリージョン サイズの上限を設定する
- [SPARK-24613][SQL] UDF を含むキャッシュを後続の依存キャッシュと一致させることができなかった
- [SPARK-24583][SQL] InsertIntoDataSourceCommand の正しくないスキーマ型
- [SPARK-24565][SS] 各マイクロバッチの出力行を DataFrame として公開する API を構造化ストリーミングに追加する
- [SPARK-24396][SS] [PYSPARK] Python 用の構造化ストリーミング ForeachWriter を追加する
- [SPARK-24216][SQL] Spark TypedAggregateExpression では、Scala で安全でない getSimpleName が使用される
- [SPARK-24452][SQL] [CORE] Int の加算または乗算でオーバーフローする可能性を回避する
- [SPARK-24187][R] [SQL] SparkR に array_join 関数を追加する
- [SPARK-24525][SS] MemorySink 内の行数を制限するオプションを提供する
- [SPARK-24331][SPARKR] [SQL] SparkR への arrays_overlap、array_repeat、map_entries の追加
- [SPARK-23931][SQL] arrays_zip 関数を Spark SQL に追加する
- [SPARK-24186][R] [SQL] R のコレクション関数に reverse および concat を変更する
- [SPARK-24198][SPARKR] [SQL] SparkR への slice 関数の追加
- [SPARK-23920][SQL] element に等しいすべての要素を配列から削除するために array_remove を追加する
- [SPARK-24197][SPARKR] [SQL] SparkR への array_sort 関数の追加
- [SPARK-24340][CORE] スタンドアロン クラスターで Executor 終了後、シャッフルされていないディスク ブロック マネージャー ファイルをクリーンアップする
- [SPARK-23935][SQL] map_entries 関数を追加する
- [SPARK-24500][SQL] ツリー変換中にストリームが具体化されることを確認する。
- [SPARK-24495][SQL] 等しいキーの並べ替え時に EnsureRequirement が間違ったプランを返す
- [SPARK-24506][UI] バインド後に追加されたタブに UI フィルターを追加する
- [SPARK-24468][SQL] 10 進演算の有効桁数を調整するときに負のスケールを処理する
- [SPARK-24313][SQL] 複合型に対するコレクション操作の解釈された評価を修正する
- [SPARK-23922][SQL] arrays_overlap関数を追加する
- [SPARK-24369][SQL] 同じ引数が設定されている複数の個別の集計の処理を訂正する
- [SPARK-24455][CORE] TaskSchedulerImpl コメントの入力ミスを修正する
- [SPARK-24397][PYSPARK] Python に TaskContext.getLocalProperty(key) を追加した
- [SPARK-24117][SQL] getSizePerRow を統合した
- [SPARK-24156][SS] データなしバッチの障害から回復するエラーを修正する
- [SPARK-24414][UI] ステージの正しいタスク数を計算する。
- [SPARK-23754][PYTHON] クライアント コードで StopIteration を再生成する
- [SPARK-23991][DSTREAMS] allocateBlocksToBatch で WAL 書き込み失敗時のデータ損失を修正する
- [SPARK-24373][SQL] RelationalGroupedDataset と KeyValueGroupedDataset の子に AnalysisBarrier を追加する
- [SPARK-24392][PYTHON] pandas_udfに試験段階のラベルを付ける
- [SPARK-24334] Arrow メモリ アロケーターの不完全なシャットダウンの原因となる ArrowPythonRunner の競合状態を修正する
- [SPARK-19112][CORE] 欠落している shortCompressionCodecNames を構成に追加する。
- [SPARK-24244][SPARK-24368][SQL] CSV パーサーに必要な列のみを渡す
- [SPARK-24366][SQL] 型変換のエラー メッセージの改善
- [SPARK-24371][SQL] Scala 用の DataFrame API に isInCollection を追加…
- [SPARK-23925][SQL] array_repeat コレクション関数を追加する
- [MINOR] toString と scaladoc でポート SSL 構成を追加する
- [SPARK-24378][SQL] date_trunc 関数の不適切な例を修正する
- [SPARK-24364][SS] ファイル パスが存在しない場合に InMemoryFileIndex が失敗しないようにする
- [SPARK-24257][SQL] LongToUnsafeRowMap の新しいサイズの計算が間違っている可能性がある
- [SPARK-24348][SQL] element_at" エラー修正
- [SPARK-23930][SQL] slice 関数を追加する
- [SPARK-23416][SS] ContinuousExecution の特定の stop メソッドを追加する。
- [SPARK-23852][SQL] Parquet 1.8.3 にアップグレードする
- [SPARK-24350][SQL] "array_position" 関数の ClassCastException を修正する
- [SPARK-24321][SQL] 除算/剰余から基本特性に共通コードを抽出する
- [SPARK-24309][CORE] AsyncEventQueue は割り込み時に停止する必要がある。
- [SPARK-23850][SQL] SQL オプション編集用に別個の構成を追加する。
- [SPARK-22371][CORE] アキュムレータがガベージ コレクションされるときに例外をスローするのではなく、None を返す。
- [SPARK-24002][SQL] org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes が原因でタスクをシリアル化できない
- [SPARK-23921][SQL] array_sort 関数を追加する
- [SPARK-23923][SQL] カーディナリティ関数を追加する
- [SPARK-24159][SS] mapGroupswithState のストリーミングに対してデータなしマイクロ バッチを有効にする
- [SPARK-24158][SS] ストリーミング結合に対してデータなしバッチを有効にする
- [SPARK-24157][SS] ストリーミング集計と重複排除に対して MicroBatchExecution でデータなしバッチを有効にした
- [SPARK-23799][SQL] FilterEstimation.evaluateInSet が STRING の間違った統計を生成する
- [SPARK-17916][SQL] nullValue が設定されている場合に、空の文字列が null として解析される問題を修正。
- [SPARK-23916][SQL] array_join 関数を追加する
- [SPARK-23408][SS] Streaming*JoinSuite で連続する AddData アクションを同期する
- [SPARK-23780][R] 新しい SparkR で googleVis ライブラリを使用できなかった
- [SPARK-23821][SQL] コレクション関数: flatten
- [SPARK-23627][SQL] データセットに isEmpty を指定する
- [SPARK-24027][SQL] キーの StringType を指定した MapType を from_json によるルート型としてサポートする
- [SPARK-24035][SQL] ピボット用の SQL 構文 - antlr 警告を修正
- [SPARK-23736][SQL] 配列の列をサポートする concat 関数の拡張
- [SPARK-24246][SQL] 使用可能な場合に原因を設定することで AnalysisException を改善する
- [SPARK-24263][R] SparkR java チェックが openjdk で中断される
- [SPARK-24262][PYTHON] UDF 型一致エラー メッセージの入力ミスを修正する
- [SPARK-24067][STREAMING] [KAFKA] 連続しないオフセットを許可する
- [SPARK-10878][CORE] 複数のクライアントが同時に成果物を解決する場合の競合状態を修正する
- [SPARK-19181][CORE] flaky "SparkListenerSuite.local metrics" の修正
- [SPARK-24068] スキーマ推論時に DataFrameReader のオプションをテキスト データソースに伝達する
- [SPARK-24214][SS] StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation の toJSON を修正する
- [SPARK-23919][SPARK-23924][SPARK-24054][SQL] array_position/element_at 関数を追加する
- [SPARK-23926][SQL] ArrayType 引数をサポートする reverse 関数の拡張
- [SPARK-23809][SQL] getOrCreate によってアクティブな SparkSession が設定される必要がある
- [SPARK-23094][SPARK-23723][SPARK-23724][SQL] json ファイルのカスタム エンコードをサポートする
- [SPARK-24035][SQL] ピボット用の SQL 構文
- [SPARK-24069][R] array_min / array_max 関数を追加する
- [SPARK-23976][CORE] UTF8String.concat()/ByteArray.concat() で長さのオーバーフローを検出する
- [SPARK-24188][CORE] "/version" API エンドポイントを復元する。
- [SPARK-24128][SQL] 暗黙的な CROSS JOIN エラーで構成オプションをメンションする
- [SPARK-23291][SQL] [R] Scala API を呼び出す場合、R の substr で開始位置を 1 つ減らしてはならない
- [SPARK-23697][CORE] LegacyAccumulatorWrapper で isZero を正しく定義する必要がある
- [SPARK-24168][SQL] WindowExec は Executor 側で SQLConf にアクセスしてはならない
- [SPARK-24143] mapstatus を (blockId, size) ペアに変換するときに空のブロックをフィルター処理する
- [SPARK-23917][SPARK-23918][SQL] array_max/array_min 関数を追加する
- [SPARK-23905][SQL] UDF の曜日を追加する
- [SPARK-16406][SQL] LogicalPlan.resolve のパフォーマンスを改善する
- [SPARK-24013][SQL] ApproximatePercentile で不要な圧縮を削除する
- [SPARK-23433][CORE] ゾンビ タスクの完了が遅れてすべてのタスクセットが更新される
- [SPARK-24169][SQL] JsonToStructs は Executor 側で SQLConf にアクセスしてはならない
- [SPARK-24133][SQL] バックポート [SPARK-24133] WritableColumnVectors のサイズ変更時に整数オーバーフローを確認する
- [SPARK-24166][SQL] InMemoryTableScanExec は Executor 側で SQLConf にアクセスしてはならない
- [SPARK-24133][SQL] WritableColumnVectors のサイズ変更時に整数オーバーフローを確認する
- [SPARK-24085][SQL] スカラー サブクエリがパーティション式に存在する場合、クエリは UnsupportedOperationException を返す
- [SPARK-24062][THRIFT SERVER] Thrift サーバーで SASL 暗号化を有効にできない問題を修正する
- [SPARK-23004][SS] ストリーミング集計タスクで StateStore.commit が 1 回だけ呼び出されることを確認する
- [SPARK-23188][SQL] ベクトル化された columar リーダー バッチ サイズを構成可能にする
- [SPARK-23375][SPARK-23973][SQL] オプティマイザーで不要な並べ替えを排除する
- [SPARK-23877][SQL] フィルター述語を使用してメタデータ専用クエリでパーティションを取り除く
- [SPARK-24033][SQL] ウィンドウ フレーム specifiedwindowframe(RowFrame, -1, -1) の不一致を修正する
- [SPARK-23340][SQL] Apache ORC を 1.4.3 にアップグレードする
- 式コード生成の合理化によってトリガーされた可能性が高く、SPARK-23986 によって公開された null チェックの欠落問題を修正する。これは、生成されたソース コードが少し長くなり、問題のあるコード パス (Expression.reduceCodeSize() によるコード分割) をトリガーしたためである。
- [SPARK-23989][SQL] シリアル化されていないシャッフルの前に Exchange でデータをコピーする必要がある
- [SPARK-24021][CORE] BlacklistTracker の updateBlacklistForFetchFailure のバグを修正する
- [SPARK-24014][PYSPARK] onStreamingStarted メソッドを StreamingListener に追加する
- [SPARK-23963][SQL] テキスト ベースの Hive テーブルのクエリで多数の列を適切に処理する
- [SPARK-23948] submitMissingTasks で mapstage のジョブ リスナーをトリガーする
- [SPARK-23986][SQL] freshName が一意でない名前を生成できる
- [SPARK-23835][SQL] タプルの引数の逆シリアル化に not-null チェックを追加する
メンテナンスの更新
Databricks Runtime 4.2 メンテナンス更新プログラムに関するページを参照してください。
システム環境
- オペレーティング システム: Ubuntu 16.04.4 LTS
- Java: 1.8.0_162
- Scala: 2.11.8
- Python: Python 2 クラスターの場合は 2.7.12、Python 3 クラスターの場合は 3.5.2。
- R: R バージョン 3.4.4 (2018-03-15)
- GPU クラスター: 次の NVIDIA GPU ライブラリがインストールされます。
- Tesla ドライバー 375.66
- CUDA 9.0
- cuDNN 7.0
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| cryptography | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 10.0.1 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0.32 | seaborn | 0.7.1 |
| setuptools | 39.2.0 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | 6 | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.0.2 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | wheel | 0.31.1 |
| wsgiref | 0.1.2 |
インストールされている R ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.2 |
| base | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
| bindrcpp | 0.2.2 | bit | 1.1-12 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob (blob) | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | broom | 0.4.4 | car | 3.0-0 |
| carData | 3.0-1 | キャレット | 6.0-79 | cellranger | 1.1.0 |
| chron | 2.3-52 | class | 7.3-14 | cli | 1.0.0 |
| cluster | 2.0.7-1 | codetools | 0.2-15 | colorspace | 1.3-2 |
| commonmark | 1.4 | compiler | 3.4.4 | crayon | 1.3.4 |
| curl | 3.2 | CVST | 0.2-1 | data.table | 1.10.4-3 |
| datasets | 3.4.4 | DBI | 0.8 | ddalpha | 1.3.1.1 |
| DEoptimR | 1.0 から 8 | desc | 1.1.1 | devtools | 1.13.5 |
| dichromat | 2.0-0 | digest | 0.6.15 | dimRed | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.4 | DRR | 0.0.3 |
| forcats | 0.3.0 | foreach | 1.4.4 | foreign | 0.8-70 |
| gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
| glmnet | 2.0-16 | glue | 1.2.0 | gower | 0.1.2 |
| graphics | 3.4.4 | grDevices | 3.4.4 | grid | 3.4.4 |
| gsubfn | 0.7 | gtable | 0.2.0 | h2o | 3.16.0.2 |
| haven | 1.1.1 | hms | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| iterators | 1.0.9 | jsonlite | 1.5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | labeling | 0.3 | lattice | 0.20-35 |
| lava | 1.6.1 | lazyeval | 0.2.1 | littler | 0.3.3 |
| lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1.5 |
| mapproj | 1.2.6 | maps | 3.3.0 | maptools | 0.9-2 |
| MASS | 7.3-50 | Matrix | 1.2-14 | MatrixModels | 0.4-1 |
| memoise | 1.1.0 | methods | 3.4.4 | mgcv | 1.8-24 |
| mime | 0.5 | minqa | 1.2.4 | mnormt | 1.5-5 |
| ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.1 | openxlsx | 4.0.17 |
| parallel | 3.4.4 | pbkrtest | 0.4-7 | pillar | 1.2.1 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
| plyr | 1.8.4 | praise | 1.0.0 | prettyunits | 1.0.2 |
| pROC | 1.11.0 | prodlim | 1.6.1 | proto | 1.0.0 |
| psych | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5.35 |
| R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
| R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
| Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
| RCurl | 1.95-4.10 | readr | 1.1.1 | readxl | 1.0.0 |
| recipes | 0.1.2 | rematch | 1.0.1 | reshape2 | 1.4.3 |
| rio | 0.5.10 | rlang | 0.2.0 | robustbase | 0.92-8 |
| RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
| rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
| rstudioapi | 0.7 | scales | 0.5.0 | sfsmisc | 1.1-2 |
| sp | 1.2-7 | SparkR | 2.3.1 | SparseM | 1.77 |
| spatial | 7.3-11 | splines | 3.4.4 | sqldf | 0.4-11 |
| SQUAREM | 2017.10-1 | statmod | 1.4.30 | stats | 3.4.4 |
| stats4 | 3.4.4 | stringi | 1.1.7 | stringr | 1.3.0 |
| survival | 2.42-3 | tcltk | 3.4.4 | TeachingDemos | 2.10 |
| testthat | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
| tidyselect | 0.2.4 | timeDate | 3043.102 | tools | 3.4.4 |
| utf8 | 1.1.3 | utils | 3.4.4 | viridisLite | 0.3.0 |
| whisker | 0.3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
インストールされている Java および Scala ライブラリ (Scala 2.11 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.7.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | ストリーム (stream) | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
| com.databricks | dbml-local_2.11-tests | 0.4.1-db1-spark2.3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 3.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.5.9 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 2.2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.8 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | コレクタ | 0.7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-jdbc | 3.6.3 |
| net.snowflake | spark-snowflake_2.11 | 2.3.2 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.8.0 |
| org.apache.arrow | arrow-memory | 0.8.0 |
| org.apache.arrow | arrow-vector | 0.8.0 |
| org.apache.avro | avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | avro-ipc-tests | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.3 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.3 |
| org.apache.parquet | parquet-column | 1.8.3-databricks2 |
| org.apache.parquet | parquet-common | 1.8.3-databricks2 |
| org.apache.parquet | parquet-encoding | 1.8.3-databricks2 |
| org.apache.parquet | parquet-format | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.3-databricks2 |
| org.apache.parquet | parquet-jackson | 1.8.3-databricks2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4. |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1.58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.8 |
| org.codehaus.janino | janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.0 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |