Когда следует использовать PySpark вместо Scikit-Learn ?

Исследование масштабируемости дерева решений в контексте больших данных: PySpark vs Scikit-Learn.

PySpark известен тем, что использует парадигму MapReduce, что приводит к распределению классификации между разными машинами в кластере, тогда как Scikit-Learn делает это локально.