Flujo de datos en aplicaciones MapReduce!

MapReduce es un marco que está diseñado para procesar grandes conjuntos de datos. Se utiliza un gran grupo de ordenadores que se denominan como nodos para realizar los cálculos. Este procesamiento computacional se lleva a cabo en los datos almacenados ya sea en un sistema de archivos o dentro de una base de datos. En aplicaciones MapReduce, hay básicamente dos componentes a saber, el mapa y la reducción. En el paso del mapa, el nodo maestro recibe la entrada, particiones en pequeños sub-problemas, y el último distribuye los nodos a los trabajadores. Esto se repite de nuevo por el nodo trabajador que lleva a una estructura de árbol multi-nivel. Los problemas más pequeños que se hacen en el proceso nodo trabajador cada uno de ellos y pasan la respuesta de nuevo a su nodo principal. Por otro lado, la etapa de reducir toma las respuestas y las combina de alguna manera para obtener la salida final.

En el marco MapReduce hay una gran distribuida tipo que consiste en puntos calientes como se define

• un lector de entrada
• una función Mapa Hotel • Reducir una función Restaurant • una función de partición Hotel • una función de comparación Hotel • un escritor de salida

Aquí, el lector de entrada básicamente divide la entrada en divisiones de tamaño apropiado. El marco MapReduce entonces asigna una fracción a cada función Map. Hay un sistema de archivos distribuido desde donde el lector lee los datos de entrada y genera los pares clave /valor requerido. Otro componente es decir, la función Mapa toma una serie de pares clave /valor, las procesa y genera cero o más de salida de pares clave /valor. A menudo, los tipos de entrada y de salida de la función de reducir es diferente el uno del otro.

función Reducir en el marco MapReduce llama a cada reducir la función una vez para cada clave única en el orden ordenada. Esta función Reducir puede iterar a través de los valores que se asocian con el tiempo con esa clave. El valor de salida puede ser 0 o algunos valores más también. Otra función importante es la función de partición en cada salida de la función de mapa se asigna a un reductor particular. Esto se hace con la ayuda de la función de partición de la aplicación. Luego viene, una función de comparación, que se utiliza para ejecutar y ordenar la función de mapa. Luego hay otra función muy importante que se llama como el escritor de salida. El escritor de salida se utiliza para escribir la salida de la función Reducir al sistema de archivos distribuido, a menudo llamado como almacenamiento estable.

Cada componente en las aplicaciones MapReduce es importante e incluso si falta uno o mal optimizado, los resultados no serían los esperados. Para definir un marco MapReduce correctamente es necesario entender cada componente de cerca, para lo cual debe leer tutoriales en línea. Explora los recursos en línea y hacer uso de esta aplicación y servir a sus diversos fines importantes Restaurant  .;