kurosame’s diary

フロントエンド中心です

Spark チューニングメモ

チューニングした所

EMR クラスターを作ってる所

aws emr create-clusterしてる所で、渡すオプションを変えてみる

maximizeResourceAllocation を変えたりは、あまり効果なし

maximizeResourceAllocation は
maximizeResourceAllocation オプションを true にすることで、クラスター内の各ノードでリソース最大限に使用できるようにエグゼキュターを設定することができます。
らしい

Spark の実行オプションを変えてみる

spark-submit のオプションを変えてみる

この辺中心に色々変えたけど、あまり効果なし
--num-executors 2 \
--executor-cores 3 \
--executor-memory 12G \

num-executors は Executor の個数
executor-cores は 1Executor の CPU コア数
executor-memory は 1Executor のメモリ

一応 Driver のも少し変えたりしたけど、効果なし
--driver-cores 1 \
--driver-memory 5G \

Spark を Scala で書いているが、Scala コード自体のチューニングを見直す必要があるのだろうか