altgolddesu’s blog

つれづれなるままに日暮らし

SQLや機械学習へと用途広げるHadoop

◎「100倍高速」の並列処理エンジンも実現、SQL機械学習へと用途広げるHadoop
http://itpro.nikkeibp.co.jp/article/COLUMN/20140618/564982/?mle
 「Hadoopが使えるのはバッチ処理だけ。そんな印象はもはや過去のものだ」。
Hadoop」のディストリビューション(検証済みパッケージ)のベンダーである米ホートンワークスのロブ・ベアデンCEO(最高経営責任者)は、2014年6月に開催...

Hadoop (*)
http://itpro.nikkeibp.co.jp/article/COLUMN/20140619/565326/?mle

米Apacheソフトウエア財団(ASF)

米グーグルが開発したバッチ処理方式「MapReduce」

「YARN」というクラスター管理とタスクのスケジューリング管理を司る機構

「DAG(有向非循環グラフ、Directed Acyclic Graph)」並列処理エンジンを作る

米ホートンワークスが中心となって開発を進める「Tez」や、

米カリフォルニア大学バークレー校の「AMP Labs」が開発し、

米データブリックスが今は開発の中心となっている「Spark」

SparkやTezを使わないSQLエンジンの開発

altgoldTech2の日記