チューニングした所
EMR クラスターを作ってる所
aws emr create-cluster
してる所で、渡すオプションを変えてみる
maximizeResourceAllocation を変えたりは、あまり効果なし
maximizeResourceAllocation は
maximizeResourceAllocation オプションを true にすることで、クラスター内の各ノードでリソース最大限に使用できるようにエグゼキュターを設定することができます。
らしい
Spark の実行オプションを変えてみる
spark-submit のオプションを変えてみる
この辺中心に色々変えたけど、あまり効果なし
--num-executors 2 \
--executor-cores 3 \
--executor-memory 12G \
num-executors は Executor の個数
executor-cores は 1Executor の CPU コア数
executor-memory は 1Executor のメモリ
一応 Driver のも少し変えたりしたけど、効果なし
--driver-cores 1 \
--driver-memory 5G \