Scala + Hadoop = Scalding

Scalding es una librería Scala que hace que sea fácil utilizar jobs de Hadoop MapReduce. Scalding es una librería que abstrae detalles de bajo nivel de Hadoop. Se podría comparar con Apache Ping, pero ofrece integración con Scala, trayendo ventajas de Scala a los jobs de MapReduce.

Scalding fue creado por la gente de twitter para facilitar el uso de Hadoop y fue publicado en github. Y además es totalmente libre dado que se distribuye con licencia Apache 2.

Dejo link:
https://github.com/twitter/scalding

Apache DataFu

Apache DataFu  es un framework realizado por la gente de linkedIn. Apache DataFu es un conjunto de librerías que trabajan sobre apache pig y apache hadoop, este framework proporciona un conjunto de librerías para realizar cálculos sobre bases Pig. Por ejemplo Linkedin lo utiliza para saber que gente podes llegar a conocer.

Este proyecto nace de la necesidad de librerías de data mining y estadísticas.

Actualmente se encuentra en la incubadora; pero es un lindo proyecto para ir conociendo.

Dejo link:
http://datafu.incubator.apache.org/
http://data.linkedin.com/opensource/datafu

PigPen: Map-Reduce para Clojure

Map-Reduce es una técnica de procesamiento de información que ha explotado, hoy en día casi cualquier lenguaje tiene su extención Map-Reduce. Clojure no es menos y como no puede se de otra manera en la plataforma java utiliza Apache Hadoop.

Apache Pig es una plataforma para analizar grandes almacenes de datos. Pig provee un lenguaje de alto nivel para análisis de datos. Como utiliza Apache Hadoop, permite procesar muchos datos con una alta performance.

Pigpen, es una extensión para clojure que permite utilizar Pig con el lenguaje Clojure. Si sabes Clojure sabes pigpen. Y utilizando Pigpen, no es necesario saber mucho de Apache Pig.

Pigpen es un lenguaje para escribir consulta en grandes almacenes de datos igual que clojure que utiliza la potencia de las técnicas de Map-reduce.

Dejo links:
http://techblog.netflix.com/2014/01/introducing-pigpen-map-reduce-for.html?utm_source=dlvr.it&utm_medium=twitter&m=1
https://github.com/Netflix/PigPen