Apache Spark

公式サイト

ウィキペディア
カリフォルニア大学バークレー校のAMPLabで開発され、Apacheソフトウェア財団で管理されている。クラスタコンピューティングに対応した開発環境。
アプリケーションプログラミングインターフェイス（Java、Python、Scala、R）を介して公開される分散タスクディスパッチ、スケジューリング、および基本I/O機能を実装している。

ビッグデータ処理「Spark」、深層学習対応進む

Apache Spark で分散処理入門