[vc_row][vc_column][vc_column_text]La gran cantidad de datos que serán generados en nuestras organizaciones 4.0 requerirá del uso de Servicios software especializados para manipularlos de forma muy eficiente. Llamamos Big Data al conjunto de técnicas de manipulación en el que los medios tradicionales de procesamiento son ineficaces ya que:[/vc_column_text][vc_column_text]
- Volumen: tenemos que manejar volúmenes más masivos.
- Velocidad: necesitamos procesamiento en tiempo real.
- Variedad: los datos a procesar pueden ser tanto estructurados como no-estructurados.
- Veracidad: los datos no siempre son fiables.
- Valor: utilizamos los datos para generar nuevos negocios.
[/vc_column_text][vc_column_text]Por eso se dice que para que un problema de manipulación de un conjunto de datos deba abordarse por técnicas Big Data debe cumplir la denominada regla de las 4 uves; Volumen, Velocidad en la frecuencia de los datos, Variedad y Veracidad. A esta regla se le añade la quinta v, la “v” de Valor.[/vc_column_text][vc_custom_heading text=»Tipos de datos» use_theme_fonts=»yes»][vc_column_text]Sabemos que los datos de nuestras organizaciones pueden proceder de distintas fuentes, de la comunicación entre máquinas (IoT, PLC’s, sensores), de personas con máquinas (web, redes sociales) o de personas a personas (Mensajería, e-mail, llamadas). Lo importante de cara a la manipulación de los mismos es conocer si éstos siguen algún tipo de estructura que nos permita analizarlos y manipularnos de forma más eficiente.[/vc_column_text][vc_message]Por eso se suele decir que los datos pueden ser Estructurados o No Estructurados.[/vc_message][vc_custom_heading text=»Datos estructurados» font_container=»tag:h3|text_align:left» use_theme_fonts=»yes»][vc_column_text]Se denominan datos Estructurados, a aquellos que han sido generados de una manera predefinida y por consiguiente siguen una determinada estructura pudiendo ser almacenados en tablas, como por ejemplo; formularios, transacciones bancarias, recibos, etc.[/vc_column_text][vc_custom_heading text=»Datos NO estructurados» font_container=»tag:h3|text_align:left» use_theme_fonts=»yes»][vc_column_text]Los Datos No Estructurados por el contrario, son aquellos que son creados normalmente a partir del comportamiento de un usuario (publicaciones, páginas web visitadas, textos, búsquedas en Google, audios, videos) y no poseen un formato definido que permita almacenarlos de la forma tradicional.[/vc_column_text][vc_custom_heading text=»Datos híbridos» font_container=»tag:h3|text_align:left» use_theme_fonts=»yes»][vc_column_text]Entre estas dos tipologías de datos, existen además los llamados datos Semiestructurados o Híbridos que siguen cierta estructura pero con variaciones respecto al patrón, por lo que no pueden ser gestionados como datos estructurados. Son por ejemplo los códigos HTML de nuestro Website.[/vc_column_text][vc_column_text]Las técnicas de Big Data, se centran principalmente por su complejidad en la gestión de los datos No Estructurados y Semiestructurados pues se ha convertido en uno de los principales retos a los que hacen frente las compañías en lo relativo a gestión de información y la toma de decisiones. Los textos de las Redes Sociales, la información subyacente en las imágenes, los vídeos y los ficheros de audio contienen información valiosa para las organizaciones y son algunos de los retos más demandados.[/vc_column_text][vc_column_text]Compañías de redes sociales como FaceBook o LinkEdin y las de buscadores como Google o Yahoo han sido los grandes impulsores del Big Data y actualmente es una de las tecnologías habilitadoras aplicable a la Industria 4.0 que ha sufrido mayor crecimiento. Su ecosistema de infraestructuras, productos y servicios no para de crecer como muestra el Landscape de Matt-Turck para este año. En la figura siguiente mostramos algunas de las tecnologías abiertas (Open Source) más usadas.[/vc_column_text][vc_single_image image=»8751″ img_size=»full» add_caption=»yes» alignment=»center»][vc_custom_heading text=»Organizaciones data-driven» use_theme_fonts=»yes»][vc_column_text]Se dice que una organización está dirigida por los datos (data-driven) cuando fundamenta sus decisiones estratégicas en el conocimiento obtenido a partir del análisis de los datos de los que dispone.
Por tanto, debemos construir un ecosistema del dato óptimo para que podamos generar sabiduría partiendo de los datos en bruto que generan todos los agentes de nuestra cadena de suministro; máquinas, proveedores y sobretodo clientes.
Para ello (ver figura siguiente) necesitamos extraer información de los datos pues los datos brutos no son información en sí mismos. De la información obtenida al procesarlos podremos construir conocimiento en una segunda fase y el conocimiento adquirido podrá catapultarnos hasta alcanzar la sabiduría en la materia y dotarnos de capacidad predictiva.[/vc_column_text][vc_single_image image=»8752″ img_size=»full» add_caption=»yes» alignment=»center»][vc_column_text]En definitiva, los datos en crudo no son útiles para nuestra organización y para poder extraer conocimiento de ellos es preciso plantear un proyecto serio de Big Data pues vamos a tener que construir un modelo, basado en los datos recopilados, que sea una descripción de los patrones y relaciones entre los datos con los que se puedan hacer predicciones, entender mejor los datos o explicar situaciones pasadas.
Antes de iniciar un proyecto Big Data tenemos que tener muy claro cuál es el problema a resolver y para ello debemos ser capaces de responder a preguntas como las siguientes:[/vc_column_text][vc_column_text]
- ¿De qué fuentes obtengo los datos? ¿Están dentro o fuera de mi organización?
- ¿Qué datos aportan más información a mi negocio?
- ¿Qué volumen de datos tengo que manejar?
- ¿Qué formato tienen? ¿Son ficheros o lotes finitos o son enviados en streaming?
- ¿Siguen una estructura repetitiva o no?
- ¿Con qué frecuencia los utilizo?
- ¿Cómo puedo integrarlos en nuestro sistema de gestión?
- ¿Necesitamos conocer lo que acontece inmediatamente?
- ¿Qué tipo de conocimiento buscamos, Predictivo, Descriptivo?
[/vc_column_text][vc_column_text]Las respuestas a estas preguntas serán claves para poder orientarnos sobre las herramientas Big Data más adecuadas según el caso (Clasificación, Regresión, Clustering, etc.) y los algoritmos a usar a lo largo de los procesos que tendrán lugar desde que el dato es creado hasta que es explotado; Ingesta, Almacenamiento, Procesamiento, Análisis y Visualización. A continuación explicamos muy someramente en qué consiste cada uno de ellos:[/vc_column_text][vc_tta_accordion active_section=»1000″ collapsible_all=»true»][vc_tta_section title=»Ingesta» tab_id=»1540397936644-76018535-4747″][vc_column_text]Dependiendo del tipo de datos que vayamos a tratar tendremos que alimentar las bases de datos de una forma u otra. El dato puede proceder de tablas o archivos finitos ubicados en distintos lugares (procesamiento por lotes o Batch) o proceder de flujos continuos procedentes de la red o Streaming.[/vc_column_text][/vc_tta_section][vc_tta_section title=»Almacenamiento» tab_id=»1540397936703-9e13b55c-1155″][vc_column_text]Los proyectos de Big Data suelen manejar grandes volúmenes de información no estructurados y tendremos que usar herramientas capaces de manipularlos sin perder la sensación de trabajar en tiempo real. Cassandra, Hadoop HDFS, MongDB o Elastic, son algunos ejemplos de herramientas que nos proporcionan estas prestaciones.[/vc_column_text][/vc_tta_section][vc_tta_section title=»Procesamiento» tab_id=»1540398029012-288f28d6-df91″][vc_column_text]El procesamiento de los datos es el verdadero corazón del Big Data pues requiere herramientas capaces de operar de manera distribuida con objeto de repartir el trabajo entre varios nodos de computación (normalmente en la nube) y efectuar operaciones costosas en poco tiempo. Destaca, sobre todo Spark, que acelera los procesos al trabajar en memoria distribuida compartida.[/vc_column_text][/vc_tta_section][vc_tta_section title=»Análisis» tab_id=»1540398085459-1b6bb216-1770″][vc_column_text]Analizar los datos requiere hacer muchas y complejas operaciones con grandes bloques. Para realizar estos cálculos de forma eficiente se utilizan lenguajes de programación como R o Phyton. Estos lenguajes además disponen de potentes librerías de Machine Learning por si queremos predecir en base a la experiencia.[/vc_column_text][/vc_tta_section][vc_tta_section title=»Visualización» tab_id=»1540398127093-009fee29-2eba»][vc_column_text]Por último, para la visualización de los datos se utilizan bibliotecas de consulta como Hive o Spark SQL que nos entregan los resultados casi de forma instantánea. A posteriori la información obtenida se procesa mediante el algoritmo que hayamos diseñado para ello y se expone, utilizando herramientas como Google Chart, D3.js, Tableau o Plotty, en intuitivos dashboards.[/vc_column_text][/vc_tta_section][/vc_tta_accordion][vc_column_text]Como podemos observar, dominar las técnicas de Big Data resulta muy complicado, de ahí que los expertos en estos temas, llamados científicos de datos, estén tan demandados actualmente.[/vc_column_text][vc_row_inner content_placement=»middle» css=».vc_custom_1521803766946{background-position: center !important;background-repeat: no-repeat !important;background-size: contain !important;}»][vc_column_inner css=».vc_custom_1521740548098{margin-top: 0px !important;margin-bottom: 0px !important;border-top-width: 0px !important;border-bottom-width: 0px !important;padding-top: 0px !important;padding-bottom: 0px !important;padding-left: 30px !important;}»][vc_icon icon_fontawesome=»fa fa-quote-right» color=»custom» custom_color=»#29bbaf» css=».vc_custom_1524039867360{margin-top: -10px !important;margin-bottom: 0px !important;padding-bottom: 0px !important;}»][vc_column_text css=».vc_custom_1540398231154{margin-top: -20px !important;}»]El dominio del Big Data permitirá extraer petróleo a nuestra organización ya sea por la venta o por la explotación del dato[/vc_column_text][/vc_column_inner][/vc_row_inner][vc_column_text]El fenómeno Big Data ha alcanzado a organizaciones de todos los sectores. Los bancos, las aseguradoras, las operadoras de telefonía, las compañías de suministro son conscientes de la importancia que tiene el correcto tratamiento de los datos, entre otras cosas porque generan grandes ingresos con la venta de los mismos.
Sin embargo, más que en la venta, el interés está centrándose en el uso del dato para crear Valor en la explotación del negocio. Utilizar Big Data e Inteligencia Artificial conjuntamente permite un nivel de conocimiento de nosotros mismos y de nuestros clientes, fundamentales para tomar decisiones, de manera mucho más informada.[/vc_column_text][vc_row_inner content_placement=»middle» css=».vc_custom_1521803766946{background-position: center !important;background-repeat: no-repeat !important;background-size: contain !important;}»][vc_column_inner css=».vc_custom_1521740548098{margin-top: 0px !important;margin-bottom: 0px !important;border-top-width: 0px !important;border-bottom-width: 0px !important;padding-top: 0px !important;padding-bottom: 0px !important;padding-left: 30px !important;}»][vc_icon icon_fontawesome=»fa fa-quote-right» color=»custom» custom_color=»#29bbaf» css=».vc_custom_1524039867360{margin-top: -10px !important;margin-bottom: 0px !important;padding-bottom: 0px !important;}»][vc_column_text css=».vc_custom_1540398411667{margin-top: -20px !important;}»]El conocimiento resultante de esta cooperación es exclusivo porque reúne, la experiencia de la organización, el Know How de los empleados y los datos obtenidos de los procesos[/vc_column_text][/vc_column_inner][/vc_row_inner][vc_column_text]Con esta “simbiosis tecnológica” hemos pasado de obtener respuestas diagnósticas o correctivas a preguntas sobre el presente y el pasado, a poder dar respuestas de pronóstico o predictivas basadas en lo que ocurrirá a futuro que nos ayuden a ser más competitivos en un mercado donde reina la incertidumbre. ¿Por qué pasan las cosas? ¿Continuará la tendencia actual en el futuro? ¿Qué pasará a continuación? ¿Qué es lo mejor o peor que puede pasar?.[/vc_column_text][vc_column_text]En otras palabras:[/vc_column_text][vc_row_inner content_placement=»middle» css=».vc_custom_1521803766946{background-position: center !important;background-repeat: no-repeat !important;background-size: contain !important;}»][vc_column_inner css=».vc_custom_1521740548098{margin-top: 0px !important;margin-bottom: 0px !important;border-top-width: 0px !important;border-bottom-width: 0px !important;padding-top: 0px !important;padding-bottom: 0px !important;padding-left: 30px !important;}»][vc_icon icon_fontawesome=»fa fa-quote-right» color=»custom» custom_color=»#29bbaf» css=».vc_custom_1524039867360{margin-top: -10px !important;margin-bottom: 0px !important;padding-bottom: 0px !important;}»][vc_column_text css=».vc_custom_1540542119124{margin-top: -20px !important;}»]Usaremos Big Data e IA para conocer cómo se manifiestan las tendencias en los comportamientos de nuestros clientes, qué afecta realmente a su conducta de compra y cómo se pueden predecir e influir sobre ellas[/vc_column_text][/vc_column_inner][/vc_row_inner][/vc_column][/vc_row]
