Translate
martes, 23 de julio de 2019
Como puedo exportar un dataframe a un archivo en Apache Spark??
Tuve que exportar un dataframe a un archivo csv es spark y con scala, como no sabia lo tuve que buscar y ahora te lo comparto. En Spark 2 simplemente podemos hacer lo siguiente:
df.write.csv ("/la/carpeta/donde/queremos/que/este/el/archivo")
Si deseamos asegurarnos que el archivo sea uno, es decir que ya no estén particionados, agregue un .coalesce (1) de la siguiente manera;
df.coalesce (1) .write.csv ("/la/carpeta/donde/queremos/que/este/el/archivo")
Espero que les sea de ayuda!!