Leí un articulo por demás interesante, Apache Spark nos permite utilizar varios lenguajes para interactuar con él. La pregunta es, que lenguaje es mejor?
Por supuesto se puede tender a decir el más conveniente técnicamente, pero tambien existen consideraciones ajenas a lo técnico.
El articulo intenta dar luz sobre que lenguajes es mejor a nivel técnico para interactuar con Spark. Para ello nos muestra esta tabla comparativa:
Les recomiendo la lectura de este articulo.
https://www.dezyre.com/article/scala-vs-python-for-apache-spark/213