#BigData y #DataAnalysis en la era de #acuario: registro y #cómputo #masivo

¿Sabemos que nos aporta el BigData y el Data Analysis? ¿Estamos controlando que la inversión a realizar en estas tecnologías tendrá un retorno de inversión adecuado? Pero, ¿porqué son tan importantes? Bueno aquí abordo estas preguntas revisando cómo aparecen el BigData y el Data Analysis, e ilustrando sus ventajas y desventajas. 

Discurso de Barak Obama sobre la importancia del BigData (en inglés)

El registro y el análisis de datos: el origen del BigData y el Data Analysis.

Si miramos hacia atrás nos parece una locura la forma en la que antes se guardaba información, cuando Internet no existía y solo se utilizaba papel y tinta. Puede que hasta incluso lo veamos ridículo, agotar tanta energía en anotar todo tipo de registros, con lo fácil que es hoy en día darle a unas teclas, imprimir y poder archivar. 

La cuestión es preguntarse porqué se precisa registrar todo. Bueno, muchas personas lo hacen por recordar, tomar nota de cosas que se pueden necesitar mañana, registrar la historia, y así varias cosas muy cotidianas. 

Esencialmente se registra porque siempre se requiere recordar, rememorar, cosas del pasado y reflexionar el porqué hicimos o no se hizo tal o cual cosa. Esto suele hacerse por paranoia de control y memoria, por necesidad de aprender del pasado y de proyectar al futuro, o simplemente porque necesitamos cumplir procesos de análisis u obligaciones legales u organizacionales que no podemos realizar todos los días sino en momentos determinados. 

Siguiendo en el tema de los procesos de análisis, hablamos de los antiguamente conocidos procesos de análisis de datos. Esto es muy normal en la estadística tradicional, la econometría, en el estudio de proyecciones o de detección de patrones, la identificación de tendencias, etc. Bancos, entidades financieras, empresas de marketing, organizaciones de encuestas, policías, gobiernos, entre otras, tienen experiencia en estas tareas desde hace muchos años, solamente que el volumen de datos es muy grande y las necesidades igualmente son mayores a lo habitual. 

Porqué es importante BigData

Este tipo de procesos se apoyaban y apoyan en modelos matemáticos y estadísticos, a su vez ayudados en modelos optimizantes que permiten reducir tiempos de respuesta. Y oh, allí aparecen los computadores u ordenadores, que ayudan más a reducir el tiempo de respuesta y aportan un nivel mayor de precisión en los mismos. 

Pues bien, hoy en día podemos ir más allá y dejar almacenada la información en lo que se conoce como nube digital o cloud, un "místico" sitio donde podemos dejar todo lo que queramos sin preocuparnos de la finitud de cualquier dispositivo de almacenamiento como si fuera infinito. Señalo ésto pues la verdad todo ésto de la nube es místico, mágico, pero como todo medio de almacenamiento es finito y su crecimiento tiene un coste.

Sin cloud ya almacenamos mucho más información. En la última década hemos producido y almacenado más información digital que en toda la historia previa de la humanidad. La nube permitirá superar este crecimiento, y está permitiendo que esto sea además mucho más transparente y sencillo. 

En suma, acumulamos datos como personas y como organizaciones. Así la noción de BigData es asumir la realidad de que manejamos muchos millones de datos. 

Antes eran algunos miles de datos, pero ahora ya se habla de exabytes (o 10 elevado a 18) de datos. Impresionante. Y por lo mismo, al estar esos datos digitalizados, aparecen problemas a resolver dado el estado actual de los algoritmos y hardware que se usa para procesar datos. 

BigData es el paso natural al crecimiento "gigante" en las bases de datos. Al inicio se trataba de un problema de algunos Megas o Teras de datos. Luego las bases de datos comenzaron a hablar entre ellas y se federaron, interoperaron, con lo cual, datos de fuentes aparentemente desconexas se vincularon y los datos sumaron ... y los modelos de datos se integraron. 

Ante esta situación surgieron las VLDB (Very Large Data Bases) para responder al crecimiento exponencial de las bases de datos tradicionales. Con los años, muchas consultas a las grandes bases de datos requerían técnicas de procesamiento elevadas, cosa que las bases de datos tradicionales no podían cumplir. Surge así el concepto de DataWarehouse que permite tener consultas preprocesadas pero actualizadas de forma transparente a los usuarios. Esto estuvo ligado a las técnicas de DataMining o de minería de datos, que permiten detectar patrones en los datos.   

Y el Data Analysis es el conjunto de algoritmos y tecnologías de análisis para procesar datos y obtener resultados que permitan proyectar y prospectar tendencias, comportamientos, etc.

Ahora mismo, las bases de datos son más complejas, con tipos de datos estructurados y no estructurados, formales e informales, con frecuencias variables, y esperando todo sea online.  

Gracias a los datos contenidos en una BigData (sabiendo que es más un concepto que un gran repositorio) y al potencial del análisis sobre ellos, surgen varios casos de éxito, destacando ahora algunos solamente:

• proyectar necesidades hospitalarias o de medicamentos identificando patrones demográficos o de enfermedades en grupos humanos o incluso planificar planes de pensiones;
• reconocer tendencias de votación o de elección de productos identificando tendencias en las decisiones de voto o de compra de las personas;
• prever alternativas viales analizando datos climatológicos, de tráfico y de horas-pico en las ciudades para evitar atascos de tráfico; 
• mejorar la lealtad y retención de empleados según sus resultados, percepciones, movilidad, comunicaciones, sus espacios ambientales, etc.; 
• detectar puntos de oportunidad turístico, comercial o incluso arquitectónico en un determinado territorio; 
• previsiones de servicios, mantenimiento o crecimiento en redes eléctricas o de energía; 
• crear oportunidades prospectivas de gobierno inteligente y/o smart city;
• establecer políticas de promoción de nuevos negocios si se detecta en un territorio un incremento de peticiones de licencia de apertura de empresas;
• determinar intereses y emociones según el comportamiento en redes sociales; o,
• aportar online soluciones de evacuación ante desastres analizando información de movimientos de personas, análisis de geografía y comportamiento del clima.

BigData: ventajas y desventajas.

Pero claro, como todo en esta vida, las ventajas que ofrecen BigData y Data Analysis  no están libres de esfuerzos y retos a superar. 

BigData: retos.

1. Entre los retos que podemos encontrarnos a la hora de utilizar este sistema de gran almacenamiento, o el primer reto de BigData es medir el rendimiento y tener métricas, pues si una empresa no genera los suficientes datos y no sabe medir, no se puede realizar un acto en consecuencia efectivo. De qué sirve tener miles de datos si al tratarlos o simplemente manipularlos como activos, el coste -por ejemplo- es más alto que los beneficios.

2. Una vez se tiene rendimiento, debe confirmarse si éste es óptimo, he aquí la segunda traba. Pues puede que genere información y ésta sea tratada, pero el segundo reto de BigData es que si no se aprovecha al máximo, algo se está haciendo incorrectamente. Es obvio, y de forma similar a una bodega, si ésta es grande y mal utilizada es como tener un activo inmovilizado. 

3. El tercer reto de BigData es la calidad y el funcionamiento del hardware para asegurar que todo está en buen estado. Los datos se almacenan en repositorios, dispositivos de hardware, que deben operar de forma eficiente y segura. Por ejemplo, un disco con velocidad de acceso lento o que no resista la alta tasa de accesos o interoperación, no será seguro o degradará la calidad.

4. El cuarto reto de BigData es monitorizar la infraestructura del Big Data y el de TI. Como todo centro de alta criticidad, una BigData es un depósito que debe vigilarse continuamente, y es menester que exista un monitoreo constante, fiable y seguro. 

5. El quinto reto de BigData es preservar la integración de datos clave y su modelamiento. Como una gran base de datos, del tipo que sea, la integridad, completidud, fiabilidad, etc. de los datos es clave, y por lo mismo todas estos criterios deben estar garantizados y más aún, con un respaldo que los documente y refleje las relaciones que puedan existir entre ellos ya sea en su origen o resultados de los análisis a los cuales son sometidos.

6. Por último, y no es menor, el sexto reto de BigData es invertir en personas y nuevos perfiles profesionales.

Data Analysis: retos.

1. Entre los retos que podemos encontrarnos a la hora de utilizar el BigData, es decir procesar y analizar sus datos, tenemos que el primer reto de Data Analysis es algo obvio: generar información. Si la empresa no genera datos útiles, pertinentes, imprescindibles, o simplemente todos los que sean posibles, poco se va a poder analizar. 

2. Una vez se consiguen los datos, el segundo reto de Data Analysis es respetar las leyes sobre protección de datos. Por ejemplo, si decidimos hacer una valoración respecto al uso de las bicicletas en nuestra ciudad, no podemos permitir que la identidad de nadie que se haya empleado en el estudio pueda ser descubierta. 

3. Nadie analiza sin saber qué se quiere conseguir. El tercer reto de Data Analysis es contar con métricas que permitan medir los resultados y beneficios. Esto requiere al menos un ROI.  

4. Superadas las trabas legales pasamos a temas de personal. El cuarto reto de Data Analysis es la dificultad de encontrar personal realmente cualificado en el mundo de la estadística (y la tecnología y el modelamiento de datos), y eso es lo que precisa el análisis de BigData. Los mayores éxitos del análisis de datos no vienen de una gran infraestructura tecnología, sino de la inteligencia y reflexión sobre los datos que aportan los analistas de datos. Casos como el Ayuntamiento de New York con su ejército de analistas es un claro ejemplo de visión inteligente sobre BigData. 

5. Aunque raro, un análisis del tipo planteado, requiere directivos cualificados. El quinto reto de Data Analysis es contar con tomadores de decisiones adecuados. Data Analysis requiere velocidad, madurez tecnológica, visión prospectiva, etc. y eso demanda seleccionar y filtrar directivos. 

6. Finalmente, el sexto reto de Data Analysis es superar el temor a perder la privacidad. No se trata de garantizar la protección sobre los datos, sino de el deseo de no querer que "mis actos" sean registrados y procesados. 

BigData y Data Analysis: ventajas / oportunidades.

1. En primer lugar, es práctico colocar sensores en dispositivos y personas (‘’wearables´). Es decir, existe la posibilidad de capturar datos de miles de nuevas fuentes, tanto alrededor de las personas, como desde ellas mismas. La primera ventaja de BigData y Data Analysis es poder capturar muchos datos fácilmente que gracias a nuevos dispositivos de captura y más aún su conexión a internet, permite tenerlos actualizados casi inmediatamente y por ende entregar resultados pronto. 

2. Si sólo se recopilase información de unos pocos usuarios, los resultados no serían efectivos. De hecho puede recopilarse aleatoriamente y como no, de forma anónima, todo lo que se desee. La segunda ventaja de BigData y Data Analysis es poder tratar con datos de muchas personas o fuentes, lo cual permite análisis cruzado de datos.

3. Muchos negocios pueden mejorar su servicio gracias al análisis de dichos datos, pues gracias al Big Data, pueden orientar de una forma mucho más precisa los productos y/o servicios al sector de la población que realmente les interesa e incrementar así sus beneficios. La tercera ventaja de BigData y Data Analysis es la precisión y oportunidad del análisis, la alta granularidad o detalle de los análisis, la especificad de proveer oportunidades a nivel de personas, de mercados, o sectores, por ejemplo. 

4.- Aunque puede pensarse como un reto, la cuarta ventaja de BigData y Data Analysis es ofrecer oportunidades a inversionistas y clientes. 

5. Finalmente, este método de estadística no supone un gran coste económico, por lo que muchas empresas se lo pueden permitir, además, en cuestión de tiempo comprobarían sus beneficios y solo obtendrían valores positivos en sus cuentas. La quinta ventaja de BigData  y Data Analysis es que bien utilizados reportan utilidades mayores a su inversión.

Finalmente.

Como se puede ver, BigData y Data Analysis plantean ciertos retos, pero también proporcionan una serie de ventajas que no se pueden dejar pasar. Tampoco hablamos de temas complejos, sino que cómo se podrá intuir del post, permiten abordar preocupaciones conocidas pero abordadas ahora con más potencia, y al mismo tiempo aportando nuevas oportunidades.

Y así se comprende el decir que son más los beneficios de las ventajas a obtener que las complicaciones derivadas de los retos, inversiones y "dolores de cabeza" que suponen inicialmente y en el día-a-día. 

Y lo anterior cobra fuerza al momento de reconocer que la tecnología del futuro se basa en este tipo de análisis, ya que es la única forma de conocer lo que la sociedad y personas realmente podrían necesitar o preferir.

Si soñamos, BigData y Data Analysis permitirían que a nosotros como ciudadanos o clientes, se nos den soluciones antes que surjan los problemas, se pronostiquen y anticipen necesidades, o pensemos en nuevas oportunidades. 

BigData y Data Analysis:

• Plantean un nuevo tipo de organización, y no plataformas o algoritmos informáticos. 
• Proveen importantes beneficios estratégicos por sobre -por ejemplo- accionarios. 
• Mejoran la cultura y las operaciones corporativas.
• Permiten escuchar a clientes, ciudadanos, mercados, ciudades, como mínimo.
• En su quid no son nuevas cuestiones, sino evoluciones técnicas y organizacionales. 

Este post ha sido amplio y aún hay mucho que decir y esperar de BigData y Data Analysis  ... y planteo preguntas ... ¿crees que lo dicho aquí es incompleto? ¿Qué crees que falta?