Big Data-Hadoop y su impacto en los sistemas de Business Intelligence

Recientemente mi trabajo requería me miro a las nuevas características añadidas en informatica 9.1, pero nunca pensé que el viaje me llevará a explorar más sobre este y escribir un blog Let y' s ver cómo me recorrí a través de diferentes aspectos nuevos que están recibiendo muy relacionado con la gestión de datos y Business Intelligence. En primer lugar vamos a ver lo que es bigdata y su posición ahora.

La gente siempre pensarían cómo las organizaciones como Yahoo, Google, Facebook almacenar grandes cantidades de datos de los usuarios. Debemos tomar nota de que las tiendas de Facebook más fotos que Google y' s Picassa. Cualquier conjeturas ??

¿Qué es Hadoop

La respuesta es Hadoop y es una manera de almacenar grandes cantidades de datos en petabytes y zettabytes. Este sistema de almacenamiento se llama como Hadoop Sistema de archivos distribuido. Hadoop fue desarrollado por Doug Cutting basado en las ideas sugeridas por Google y' s papeles. Mayormente tenemos grandes cantidades de máquinas generan datos. Por ejemplo, el Gran Colisionador de Hadrones para estudiar los orígenes del universo produce 15 petabytes de datos cada año para cada experimento llevado a cabo.

MapReduce

La siguiente cosa que viene a nuestra mente es lo rápido que podemos acceder a estas grandes cantidades de datos. Hadoop MapReduce utiliza, que apareció por primera vez en los trabajos de investigación de Google. De ello se desprende y '; Divide y vencerás y ' ;. Los datos se organizan como pares de valores clave. Procesa toda la información que se transmite a través de infinidad de sistemas en trozos paralelos de un solo nodo. Entonces se va a clasificar y procesar los datos recogidos.

Con un servidor PC estándar, Hadoop se conectará a todos los servidores y distribuye los archivos de datos a través de estos nodos. Utilizó todos estos nodos como un sistema de archivos grande para almacenar y procesar los datos, por lo que es un sistema de archivos distribuido no adulterada 100%. Nodos adicionales se pueden agregar si los datos alcanza la capacidad máxima instalada, por lo que la configuración altamente escalable. Es muy barato, ya que es de código abierto y del doesn &'; t requieren procesadores especiales como se utiliza en los servidores tradicionales. Hadoop es también una de las implementaciones NoSQL.

Hadoop en tiempo real

La Autoridad del Valle de Tennessee (TVA) utiliza dispositivos de campo de redes inteligentes para recopilar datos en su poder líneas -árboles e instalaciones en todo el país. Estos sensores envían los datos a una velocidad de 30 veces por segundo y- en ese caso, la TVA estima que tendrá la mitad de un petabyte de datos archivados en pocos años. TVA utiliza Hadoop para almacenar y analizar datos. En la India, Power Grid Corporation of India tiene la intención de instalar estos dispositivos inteligentes en sus redes de recogida de datos para reducir las pérdidas de transmisión. Es mejor que también emulan TVA. Recientemente Facebook trasladó a 30 petabytes Hadoop, que suena increíble y difícil de digerir el hecho de que estamos utilizando un volumen tan gran cantidad de datos.

Data Warehouse y Business Intelligence Productos de apoyo Hadoop MapReduce y

1 ) Greenplum página 2) Informatica página 3) Teradata página 5) Pentaho página 6) Talend

Si Hadoop y otras implementaciones NoSQL son ampliamente utilizados, las limitaciones de los sistemas tradicionales de SQL puede ser resuelto como el almacenamiento de datos no estructurados. Con el volumen de datos aumentando exponencialmente, la comercialización de Hadoop sucederá en unos grandes herramientas de escala e integrador de datos desempeñará un papel clave en la minería de datos para las empresas.
Lectores comparten sus experiencias, si alguno de ustedes ha trabajado con Hadoop en otra ETL y herramientas de BI, las herramientas que están disponibles en el mercado Restaurant  .;