Los científicos de datos dedican el 80% de su tiempo a la preparación y recopilación de los datos que necesitan para el análisis posterior, según el estudio Data Science Report, de Crowdflower. En este contexto, un data lake, que permite reunir los datos en un solo lugar y simplificar el acceso a los mismos, reduce este tiempo y hace que estos profesionales puedan comenzar antes con su verdadero trabajo.
¿Data lake físico o virtual?
Pero, ¿qué es un data lake? Se trata de un lugar donde se pueden encontrar todos los datos, con un almacenamiento casi infinito y una gran capacidad de procesamiento. Esto, además de evidentes beneficios, conlleva ciertos retos.
El hecho de volcar todos los datos al data lake para un uso futuro hace que surjan muchos problemas de gobernanza de la información, ya que muchos datasets pueden quedar obsoletos y mermar el valor de los datos del lago. Es difícil para los usuarios descubrir los datos que se encuentran en el lago, y por último no es sencillo administrar un data lake, lo que hace que sólo sean utilizados por data scientists y se reduzca su potencial para el negocio.
Denodo, compañía de virtualización de datos, destaca las posibilidades que ofrece el data lake virtual, una arquitectura lógica basada en la conexión a los repositorios de información y no en la replicación masiva de datos. Así, el data lake tradicional expande sus capacidades al funcionar en conjunto con una capa de abstracción. De esta forma aporta las siguientes ventajas:
- Acelera los proyectos de Big Data, ya que facilita las labores de descubrimiento, ingesta, transformación, enriquecimiento y preparación de los datos para los algoritmos de machine learning. Los data scientists pueden centrarse en los algoritmos propiamente dichos y no invertir tanto tiempo en las fases previas del proceso.
- Mejora la gobernanza de datos en el data lake y evita que pueda convertirse en una ciénaga si los controles de gobernanza no están correctamente establecidos.
- Extiende los beneficios del data lake acualquier tipo de usuario de negocio (no solo a los data scientists) ya que permite la unificación de la entrega de datos, lo que conlleva una gestión más ágil y ahorro en tiempo y costes.
“Lo que los usuarios de negocio demandan es un acceso fácil y rápido a los datos. Y para esto, el data lake físico por sí mismo no siempre es suficiente. Una alternativa más práctica es el data lake lógico, que cumple con el objetivo de facilitar un acceso ágil a los datos, sin importar el lugar dónde se almacenan físicamente y si éstos se han copiado o no”, ha señalado José Juan Sánchez, Director de Marketing en EMEA de Denodo.
Los data lake lógicos se pueden desarrollar con virtualización de datos (Denodo Platform), al poner una capa semántica sobre el data lake tradicional. Gracias a ellos, las empresas pueden abordar los problemas y desafíos relacionados con el acceso a los datos sin perder agilidad.
