martes, 17 de julio de 2018

Apache lanzo Groovy 2.5 y el preview de Groovy 3.0

La Apache Foundation lanzó recientemente la versión 2.5 de Groovy, con nuevas características que incluyen:
  • Mejoras en las transformaciones de AST
  • Nuevo soporte de macros
  • Otras mejoras...
Groovy 2.5 requiere JDK 7 y se ejecuta en JDK 9+ .

A pesar des crecimiento de otros lenguajes de JVM como Kotlin, Groovy todavía está experimentando un gran crecimiento. Los números de descarga de Groovy aún lo convierten en el segundo lenguaje más popular en JVM después de Java y los números siguen aumentando. Para el primer trimestre de este año, hubo 90 millones de descargas, el doble de descargas que el primer trimestre del año pasado. Como puede ver, todavía hay mucho interés en Groovy.

Groovy también ha ganado 30 nuevos committers en los últimos 12 meses.



Como se muestra en el siguiente diagrama, se mejoraron algunas de las transformaciones AST existentes para lograr consistencia entre las transformaciones y se agregaron 11 nuevas transformaciones para la versión 2.5. Se agregó una transformación adicional para Groovy 3.0, pero podrían aparecer más antes de la versión GA.

La metaprogramación en tiempo de compilación en Groovy permite la generación de código en tiempo de compilación. Esas transformaciones se denominan transformaciones AST. Las transformaciones de AST le permiten enganchar en el proceso de compilación, modificar el AST y continuar el proceso de compilación para generar bytecode regular. En comparación con la metaprogramación de tiempo de ejecución, esto tiene la ventaja de hacer que los cambios sean visibles en el archivo de clase mismo (es decir, en el bytecode). Hacerlo visible en bytecode es importante, por ejemplo, si desea que las transformaciones formen parte del contrato de clase (implementando interfaces, ampliando clases abstractas, ...) o incluso si necesita que su clase sea invocable desde Java (u otros lenguajes JVM) ) Por ejemplo, una transformación AST puede agregar métodos a una clase. Si lo haces con metaprogramación en tiempo de ejecución, el nuevo método solo sería visible desde Groovy. Si haces lo mismo con la metaprogramación en tiempo de compilación, el método también sería visible desde Java. Por último, pero no menos importante, el rendimiento probablemente sería mejor con la metaprogramación en tiempo de compilación (porque no se requiere una fase de inicialización).

Groovy 3.0.0-alpha-3 ha estado disponible desde finales de junio con versiones beta programadas para finales de este año y release candidates previstos para principios de 2019.

Dejo links:
https://objectcomputing.com/resources/events/webinars/groovy-update-webinar/recording

miércoles, 11 de julio de 2018

Apache Spark MLlib parte 4

Continuamos!!!

Vamos a ver un ejemplo utilizando el algoritmo Kmeans que es uno de los algoritmos más fáciles de clasificación.

K-means es un método de agrupamiento, que tiene como objetivo la partición de un conjunto de n observaciones en k grupos en el que cada observación pertenece al grupo cuyo valor medio es más cercano.

Si bien se puede indicar que es una técnica utilizada por minería de datos más que para Maching learning, vamos a empezar de a poco.

Empecemos viendo los datos, los cuales supongamos ya hemos limpiado :

0 1:0.0 2:0.0 3:0.0
1 1:0.1 2:0.1 3:0.1
2 1:0.2 2:0.2 3:0.2
3 1:9.0 2:9.0 3:9.0
4 1:9.1 2:9.1 3:9.1
5 1:9.2 2:9.2 3:9.2

Como se puede ver son 4 columnas, de la cuales la primera es un id (identificador) y las demás están compuestas por un indice y un dato, por ejemplo 1:0.0 (el indice es 1 y el dato 0.0 el cual es continuo)

Esto se encuentra en el archivo sample_kmeans_data.txt

Empecemos tomando los datos y llevándolos a un RDD :

//creamos la aplicación de spark si utilizamos spark-shell esto no es necesario.
val spark = SparkSession.builder.appName("KMeansExample") .getOrCreate()

//Leemos el archivo con el formato libsvm
val dataset = spark.read.format("libsvm").load("path/sample_kmeans_data.txt")

//Probamos que se leyeron los datos, si estamos en spark-shell
dataset.show()
+-----+--------------------+
|label|            features|
+-----+--------------------+
|  0.0|           (3,[],[])|
|  1.0|(3,[0,1,2],[0.1,0...|
|  2.0|(3,[0,1,2],[0.2,0...|
|  3.0|(3,[0,1,2],[9.0,9...|
|  4.0|(3,[0,1,2],[9.1,9...|
|  5.0|(3,[0,1,2],[9.2,9...|
+-----+--------------------+


// Entrenamos nuestro modelo
import org.apache.spark.ml.clustering.KMeans
val kmeans = new KMeans().setK(2).setSeed(1L)
val model = kmeans.fit(dataset)

// Evaluamos la agrupación mediante el cómputo dentro de la suma establecida de errores cuadrados.
val WSSSE = model.computeCost(dataset)
println(s"Within Set Sum of Squared Errors = $WSSSE")

// Mostramos el resultado
println("Cluster Centers: ")
model.clusterCenters.foreach(println)
[0.1,0.1,0.1]
[9.1,9.1,9.1]

Para los que como yo no entendieron que paso el ultimo momento... Reiteramos!

Dado un conjunto de observaciones (x1, x2, …, xn), donde cada observación es un vector real de d dimensiones, k-means construye una partición de las observaciones en k conjuntos (k ≤ n) a fin de minimizar la suma de los cuadrados dentro de cada grupo (WCSS): S = {S1, S2, …, Sk}

Si vemos la Wikipedia : 

Paso de asignación: Asigna cada observación al grupo con la media más cercana (es decir, la partición de las observaciones de acuerdo con el diagrama de Voronoi generado por los centroides).
Donde cada  va exactamente dentro de un , incluso aunque pudiera ir en dos de ellos.
Paso de actualización: Calcular los nuevos centroides como el centroide de las observaciones en el grupo.
El algoritmo se considera que ha convergido cuando las asignaciones ya no cambian.

Grafícado : 

Si hablamos en criollo el algoritmo trata de hacer grupos y calcular su centro, y va moviendo el centro según los datos hasta que estos centros no cambian y ahí finaliza.





lunes, 9 de julio de 2018

Apache Spark MLlib parte 3


Continuamos...


La detección de fraude es otro caso de uso importante del aprendizaje automático. Aborda un problema crítico en la industria financiera de forma rápida y precisa.

Las organizaciones de servicios financieros solo tienen unos cientos de milisegundos para determinar si una transacción en línea en particular es legítima o es un fraude.

Las técnicas de redes neuronales se utilizan para la detección de fraudes en puntos de venta (POS). Las organizaciones como PayPal utilizan diferentes tipos de algoritmos de aprendizaje automático para la gestión de riesgos, como la red lineal, neuronal y el aprendizaje profundo.

La biblioteca Spark MLlib proporciona varios algoritmos para resolver este caso de uso, incluidos SVM lineales, regresión logística, árboles de decisión y Bayes sencillos. Los modelos de conjunto (que combinan las predicciones de un conjunto de modelos) como los bosques aleatorios o los árboles que aumentan el gradiente también están disponibles …

MLlib es la biblioteca de aprendizaje automático de Spark. Su objetivo es hacer que el aprendizaje automático práctico sea escalable y fácil. Consiste en algoritmos y utilidades de aprendizaje comunes, que incluyen clasificación, regresión, clustering, filtrado colaborativo, reducción de dimensionalidad y primitivas de optimización de nivel inferior y API de canalizaciones de nivel superior.

Como aprendimos anteriormente, hay dos formas de utilizar la API de Aprendizaje Automático de Spark: Spark MLlib y spark.ml.

La API Spark MLlib está disponible en los lenguajes de programación Scala, Java y Python.

Continuara...

Apache Spark MLlib parte 2


 Continuamos!!

Cuando se trabaja en proyectos de aprendizaje automático la preparación de datos, la limpieza y el análisis, también son tareas importantes más allá de los modelos de aprendizaje reales y los algoritmos utilizados para resolver los problemas de negocios.

Los siguientes son los pasos que se realizan en un programa típico de aprendizaje automático:

Caracterización (featurization) del modelo.
entrenar el modelo.
evaluación modelo.

Es importante saber que se debe limpiar y preparar los datos antes de ejecutar un algoritmo de aprendizaje automático, de lo contrario el patrón resultante no será preciso ni útil, y puede pasar por alto algunas anomalías.

La calidad de los datos de entrenamiento que proporcionamos a los programas de aprendizaje automático también juega un papel fundamental en los resultados de predicción. Si los datos de entrenamiento no son lo suficientemente aleatorios, los patrones resultantes no serán precisos. Y si el conjunto de datos es demasiado pequeño, el programa de aprendizaje automático puede dar predicciones inexactas.

Los casos de uso comerciales para aprendizaje automático abarcan diferentes dominios y escenarios, incluidos motores de recomendación (como este motor de recomendación de alimentos), análisis predictivo (por ejemplo, predicción de precios de acciones o retrasos en los vuelos), publicidad dirigida, detección de fraude, reconocimiento de imágenes y videos -conducir automóviles y otras formas de inteligencia artificial.

Veamos dos aplicaciones populares, un motor de recomendación y detección de fraude, en más detalle.

Los motores de recomendación utilizan los atributos de un elemento o un usuario o el comportamiento de un usuario o sus compañeros para hacer predicciones. Diferentes factores impulsan un motor de recomendación eficaz. Algunos de estos factores incluyen:
  • análisis por pares.
  • comportamiento del cliente.
  • ofertas u ofertas corporativas.
  • agrupamiento de elementos.
  • factores de mercado / tienda.


Podemos construir un motor de recomendación mediante la participación de dos algoritmos: filtrado basado en contenido y filtrado colaborativo.

El filtrado basado en contenido se basa en cuán similares son el uso y las calificaciones de un artículo en particular a otros artículos. El modelo usa los atributos de contenido de los elementos (como categorías, etiquetas, descripciones y otros datos) para generar una matriz que relacione cada elemento con otros elementos y calcule la similitud en función de las clasificaciones proporcionadas. Luego, los elementos más similares se enumeran junto con un puntaje de similitud. Los artículos con el puntaje más alto son los más similares.

La recomendación de la película es un buen ejemplo de este modelo. Puede aconsejar que a los usuarios a los que les haya gustado una película en particular también les hayan gustado estas otras películas.

El filtrado basado en contenido no tiene en cuenta el comportamiento general de otros usuarios, por lo que sus modelos no ofrecen recomendaciones personalizadas, como el filtrado colaborativo y otros modelos.

Por otro lado, los modelos de filtrado colaborativo predicen y recomiendan elementos específicos o usuarios en función de la similitud con otros elementos o usuarios.

El filtro aplica ponderaciones basadas en las preferencias del "usuario par". La suposición es que los usuarios con perfiles o comportamientos similares también tendrán preferencias de elementos similares.

Un ejemplo de este modelo son las recomendaciones sobre sitios web de comercio electrónico como Amazon. Cuando buscamos un artículo en el sitio web, vemos una lista llamada "Los clientes que vieron este artículo también compraron".

Los elementos con el puntaje de recomendación más alto son los más relevantes para el usuario en contexto.

Las soluciones de filtrado colaborativo funcionan mejor que otros modelos. Spark MLlib implementa un algoritmo de filtrado colaborativo llamado Alternating least squares (ALS). Hay dos variaciones de las entradas en el filtrado colaborativo, llamadas realimentación explícita e implícita.

La retroalimentación explícita se basa en las preferencias directas otorgadas por el usuario al elemento (como una película). La retroalimentación explícita es agradable, pero muchas veces es sesgada porque los usuarios a quienes les gusta o no les gusta mucho un producto tienden a opinar con más frecuencia que los que les es indiferente. Por lo tanto podemos no obtener la opinión de muchas personas en el centro de la curva.

La retroalimentación implícita incluye las vistas del usuario, los clics, los "me gusta", etc. La retroalimentación implícita a menudo se utiliza para el análisis predictivo debido a lo fácil que es recopilar este tipo de datos.

También hay métodos basados en modelos para motores de recomendación. A menudo incorporan métodos de filtrado colaborativo y basado en contenido. Un enfoque basado en modelos obtiene lo mejor de ambos mundos: el poder y el rendimiento del filtrado colaborativo y la flexibilidad y adaptabilidad del filtrado basado en el contenido. Las técnicas de aprendizaje profundo o deep learning son buenos ejemplos de este modelo.

También puede integrar otros algoritmos como k-means clustering en el motor de recomendación para refinar aún más las predicciones. El algoritmo k-means funciona al dividir N observaciones en k clústeres en los que cada observación pertenece al clúster con la media más cercana. Usando la técnica de k-means, podemos encontrar elementos similares o usuarios en función de sus atributos.


Como deben adivinar:

continuará...

domingo, 8 de julio de 2018

Apache Spark MLlib

Apache Spark Mllib incluye diferentes algoritmos de Machine Learning. Estas librerías se encuentran en 2 paquetes : spark.mllib  y  spark.ml

spark.mllib contiene la API original de spark construida sobre RDDs. Estos algoritmos incluyen correlación, clasificación y regresión, filtrado colaborativo, clustering y reducción de dimensionalidad.

spark.ml contiene la API construida sobre Dataframes, el cual es el core de Spark SQL. Esto puede ser utilizado para hacer una tubería de maching learning, es decir combinar técnicas o limpiar los datos y luego procesarlos. Este paquete provee: selectores, transformadores, extractores y técnicas de maching learning como clasificación, regresión y clustering.

La ciencia de datos o Data science es la disciplina que extraer el conocimiento de grandes conjuntos de datos (estructurados o no estructurados) para proporcionar información a los equipos de negocios e influir en las estrategias comerciales. El papel del científico de datos es resolver problemas que no son fáciles de resolver utilizando los métodos numéricos tradicionales. Normalmente estos cientificos de datos utilizan modelos de aprendizaje automático.

Existen diferentes tipos de modelos de aprendizaje automático:
  • aprendizaje supervisado,
  • aprendizaje sin supervisión,
  • aprendizaje semi-supervisado
  • aprendizaje reforzado.
Entre los algoritmos soportados por Spark MLlib y utilizados por los científicos de datos, podemos nombrar:


  • Naive Bayes es un algoritmo de aprendizaje supervisado utilizado para la clasificación. Se basa en la aplicación del teorema de Bayes y un conjunto de suposiciones de independencia condicional.
  • El algoritmo k-means o k-means clustering crea k grupos a partir de un conjunto de objetos para que los miembros de cada grupo sean más similares entre sí.
  • Una máquina de vectores de soporte (SVM) es un algoritmo de aprendizaje supervisado que se utiliza para encontrar el límite que separa las clases por un margen tan amplio como sea posible. Dado un conjunto de ejemplos de entrenamiento, cada uno marcado como perteneciente a una de dos categorías, un algoritmo de entrenamiento SVM construye un modelo que asigna nuevos ejemplos en una categoría u otra. Las aplicaciones de SVM incluyen bioinformática, análisis de texto y reconocimiento de imágenes.
  • Los árboles de decisión se utilizan en muchos tipos de problemas de aprendizaje automático, incluida la clasificación multiclase. Spark MLlib es compatible tanto con un algoritmo de árbol de decisión básico como con conjuntos de árboles. Hay dos algoritmos de conjunto disponibles: árboles con gradiente mejorado y bosques aleatorios.
Como una primer vistazo, esta bien hasta aquí, pero debemos seguir en próximos posts, es decir : 

continuará... 


sábado, 7 de julio de 2018

Por qué Wikipedia se "apagó"?

Wikipedia se "apagó" para sumarse a las protestas contra una reforma que atentaba contra la libre difusión de la información en internet.

Casi muero por este apagón!!

Todos debemos apoyar estas medidas de forma que internet sea el hermoso lugar que es.


jueves, 5 de julio de 2018

Machine Learning Yearning

Sigo publicando Machine Learning Yearning:

AI is the new electricity

Machine Learning Yearning

Dear friends,
Last week, we learned about the pros and cons of end-to-end learning systems. In the case of autonomous driving, I think a non-end-to-end learning system is actually more promising. But when you have decided not to use an end-to-end system, how do you break down an ML task into smaller components?
Read Chapters 50-52

Best Library Ever?

Many of you know I love books. I was in Korea last week to meet some of Landing.AI’s partners and got to see this amazing library. Maybe they’ll have copies of Machine Learning Yearning to loan out some day?

Pun of the Week

Why did the naive Bayesian suddenly feel patriotic when he heard fireworks?
He assumed independence.
Thanks to @wzchen for the pun, which one of our engineers at deeplearning.ai saw on Quora.

Wishing our US readers a wonderful celebration tomorrow!

If you have a great AI pun, tweet it to me @AndrewYNg using #AIpun. I'll share my favorite in next week's email!

Catch up on Machine Learning Yearning

Miss last week's email?
Access all released chapters
Copyright © 2018 Andrew Ng, All rights reserved.


Want to change how you receive these emails?
You can update your preferences or unsubscribe from this list.

martes, 3 de julio de 2018

DATASTAX ACADEMY


Quiero recomendar los cursos gratuitos de Datastax que es la pata comercial de Apache Cassandra.

Como podrán imaginar los cursos son sobre Cassandra y Big data. Hay curso iniciales, de modelado, de arquitectura, etc. a la vez existe un curso de integración con Apache Spark.

Los cursos son gratuitos, lo único malo es que en los cursos te quieren vender sus productos comerciales, pero bueno de algo tienen que vivir pobre gente.

Sin más dejo link: https://academy.datastax.com/


domingo, 1 de julio de 2018

Verificando nuestro entorno Cassandra con cqlsh


Como vimos anteriormente Cassandra tiene un aplicativo llamado cqlsh para ejecutar cql.

Esta herramienta nos permite conocer también características del entorno, por ejemplo si queremos obtener información de nuestro cluster podemos escribir:

cqlsh> DESCRIBE CLUSTER;
Cluster: Test Cluster
Partitioner: Murmur3Partitioner


De la misma forma podemos verificar información del keyspace:

cqlsh> DESCRIBE KEYSPACES;
hexacta  system_schema  system_auth  system  system_distributed  system_traces

Por ultimo podemos saber las versiones con el siguiente comando:

cqlsh> SHOW VERSION;
[cqlsh 5.0.1 | Cassandra 3.11.2 | CQL spec 3.4.4 | Native protocol v4]

y si necesitamos ayuda: 

cqlsh> help

Documented shell commands:
===========================
CAPTURE  CLS          COPY  DESCRIBE  EXPAND  LOGIN   SERIAL  SOURCE   UNICODE
CLEAR    CONSISTENCY  DESC  EXIT      HELP    PAGING  SHOW    TRACING

CQL help topics:
================
AGGREGATES               CREATE_KEYSPACE           DROP_TRIGGER      TEXT     
ALTER_KEYSPACE           CREATE_MATERIALIZED_VIEW  DROP_TYPE         TIME     
ALTER_MATERIALIZED_VIEW  CREATE_ROLE               DROP_USER         TIMESTAMP
ALTER_TABLE              CREATE_TABLE              FUNCTIONS         TRUNCATE 
ALTER_TYPE               CREATE_TRIGGER            GRANT             TYPES    
ALTER_USER               CREATE_TYPE               INSERT            UPDATE   
APPLY                    CREATE_USER               INSERT_JSON       USE      
ASCII                    DATE                      INT               UUID     
BATCH                    DELETE                    JSON            
BEGIN                    DROP_AGGREGATE            KEYWORDS        
BLOB                     DROP_COLUMNFAMILY         LIST_PERMISSIONS
BOOLEAN                  DROP_FUNCTION             LIST_ROLES      
COUNTER                  DROP_INDEX                LIST_USERS      
CREATE_AGGREGATE         DROP_KEYSPACE             PERMISSIONS     
CREATE_COLUMNFAMILY      DROP_MATERIALIZED_VIEW    REVOKE          
CREATE_FUNCTION          DROP_ROLE                 SELECT          
CREATE_INDEX             DROP_TABLE                SELECT_JSON     


Apache Cassandra es bueno para mi proyecto?


Como venimos viendo en este blog, Cassandra es genial. Una herramienta súper performante y muy configurable, pero Cassandra no es para todos los proyectos, ni la solución a todos los casos de usos.


  • Primera regla: Si es necesario una base de datos que corra en un solo nodo, elegir Cassandra no tiene mucho sentido. La potencia de Cassandra yace en poder correr en varios nodos. Si es necesario tener una base de datos en varios nodos, Cassandra podría ser una buena opción. Si se espera que su aplicación requiera docenas de nodos, Cassandra podría ser una excelente opción.
  • Segunda regla: Piense su aplicación desde la perspectiva de la relación de lecturas a escrituras. Cassandra está optimizado para un rendimiento excelente en las escrituras. Por lo tanto si tenemos que solo leer, Cassandra no es muy buena. 
  • Tercera regla: Cassandra no es bueno para hacer Data warehouse, es decir meto datos y luego veo como los consulto. En cassandra tiene que ser planteado como vamos a consultar los datos del día uno. 


Cassandra se ha utilizado para crear una variedad de aplicaciones, incluida una tienda , un índice invertido para la búsqueda de documentos y una cola de prioridad de trabajo distribuida.

Cassandra tiene soporte listo para usar para la distribución geográfica de datos. Puede configurar fácilmente Cassandra para replicar datos en múltiples centros de datos. Si tiene una aplicación desplegada a nivel mundial que podría ver un beneficio en el rendimiento al poner los datos cerca del usuario, Cassandra podría ser una gran opción.

Si su aplicación está evolucionando rápidamente y está en el "modo de inicio", Cassandra podría ser una buena opción dado su compatibilidad con esquemas flexibles. Hace que sea fácil mantener base de datos al día con los cambios de la aplicación a medida que se implementa rápidamente.

jueves, 28 de junio de 2018

Cassandra una base Row-oriented de esquema flexible



El modelo de datos de Cassandra puede ser definido como Row-oriented o orientado a filas con particiones. En el que los datos se almacenan en tablas hash multidimensionales dispersas. Esto significa que para cualquier fila determinada puede tener una o más columnas, pero no es necesario que cada fila tenga todas las mismas columnas que otras filas (como el modelo relacional).

Particionado significa que cada fila tiene una clave única que hace que sus datos sean accesibles, y las claves se utilizan para distribuir las filas en múltiples almacenes de datos.

En el modelo de almacenamiento relacional, todas las columnas de una tabla se definen de antemano y se asigna espacio para cada columna, ya sea que esté poblada o no. Por el contrario, Cassandra almacena datos en una tabla hash multidimensional y ordenada. Como los datos se almacenan en cada columna, se almacenan como una entrada separada en la tabla hash. Los valores de las columnas se almacenan de acuerdo con un orden de clasificación coherente, omitiendo las columnas que no están rellenas, lo que permite un procesamiento de consulta y almacenamiento más eficiente.

En sus primeras versiones. Cassandra fue fiel al documento original de Bigtable al admitir un modelo de datos "sin esquema" en el que las nuevas columnas se pueden definir dinámicamente. Las bases de datos libres de esquemas, como Bigtable y MongoDB, tienen la ventaja de ser muy extensibles y de gran rendimiento para acceder a grandes cantidades de datos. El mayor inconveniente de las bases de datos sin esquema es la dificultad para determinar el significado y el formato de los datos, lo que limita la capacidad de realizar consultas complejas. Estas desventajas resultaron una barrera para la adopción para muchos, especialmente como proyectos de inicio que se beneficiaron de la flexibilidad inicial madurada en empresas más complejas que involucran a múltiples desarrolladores y administradores.

La solución para esos usuarios fue la introducción del Lenguaje de Consulta de Cassandra (CQL), que proporciona una forma de definir el esquema a través de una sintaxis similar al Lenguaje de Consulta Estructurado (SQL) familiar para aquellos que provienen de un fondo relacional. Inicialmente, se proporcionó CQL como otra interfaz para Cassandra junto con la interfaz libre de esquemas basada en el proyecto Apache Thrift. Durante esta fase de transición, el término "Esquema-opcional" se usó para describir que los modelos de datos podrían definirse por esquema usando CQL, pero también podrían extenderse dinámicamente para agregar nuevas columnas a través de la API . Durante este período, el almacenamiento de datos subyacente continuó basándose en el modelo Bigtable.

Entonces, quizás la mejor manera de describir la postura actual de Cassandra es que admite un "esquema flexible".

Como estamos los desarrolladores en 2018 ?


Jetbrains es una empresa que me interesa muchisimo, marco un camino donde parecía que no lo había. Y ahora esta empresa a compartido los resultados de su encuesta anual.

Sin más dejo el link:

https://www.jetbrains.com/research/devecosystem-2018/