Instalación de Apache Hadoop en Mac Mavericks

2

Me está costando mucho la instalación de Apache Hadoop (2.4.1) en mi Mac (OS 10.9). ¿Existe alguna guía paso a paso que explique por completo y, lo que es más importante, que Hadoop se ejecute en mi máquina? Seguí un tutorial para la instalación y actualmente mis problemas son estos:

  1. No estoy seguro de si Hadoop está realmente "correctamente" instalado. Al escribir hadoop version se muestra 2.4.1, pero al ejecutar start-all.sh se muestra una larga lista de advertencias.
  2. Pensé en comprobar si Hadoop está instalado correctamente ejecutando un programa de ejemplo (WordCount.java) como se proporciona en todas partes en la red. Ahora tengo Eclipse Luna instalado pero la guía que seguí para ilustrar "Cómo integrar Eclipse con Hadoop" me dice que importe todos los archivos jar de '../libexec' pero para Hadoop 2.4.1 no hay archivos jar, al menos ninguno. podría encontrar.
  3. Actualmente en mi / usr / local / hay 3 directorios llamados hadoop-2.4.1, hadoop (un enlace simbólico a este supongo) y un directorio llamado Bodega. Ahora los tres directorios tienen algún subdirectorio con el nombre de Hadoop y muchos otros subdirectorios como lib, lib exec. Ahora, ¿cómo puedo saber cuáles con qué propósito? Todos los demás tutoriales se refieren a un directorio diferente para usar, el que me instaló en Hadoop nunca menciona un poco sobre cómo probar una aplicación de reducción de mapa de Hadoop de muestra.

Incluso he probado el HortonWorks Sandbox para Apache Hadoop. ¡Pero mi RAM de 4 GB de las máquinas parece pequeña para que se ejecute esa aplicación gigantesca y mi sistema se cuelgue! Tengo que hacer que esto funcione para mis cosas relacionadas con el proyecto, esperando una ayuda sincera.

    
pregunta Aditya Bahuguna 04.08.2014 - 22:47

1 respuesta

1
  1. En mi caso, start-all.sh dice que está en mal estado y debo usar start-dfs.sh y start-yarn.sh . Ambos no proporcionan errores ni avisos en la salida (para hdfs de clúster local y local).

  2. En Hadoop 2.4.1, los frascos con bibliotecas compartidas se encuentran en /libexec/share/hadoop/ y los siguientes subdirectorios. Para ejecutar aplicaciones de MapReduce simples, es suficiente agregar mapreduce/hadoop-mapreduce-client-core-2.4.1.jar y common/hadoop-common-2.4.1.jar .

  3. Utilizo la versión de preparación, por lo que la mía se encuentra en /usr/local/Cellar/hadoop/2.4.1/ . Para hacerlo más fácil, uso la variable env para apuntar al directorio.

No estoy seguro, pero 4 GiB de RAM debería ser suficiente para probar el entorno con algunas aplicaciones. No debe colgarse.

    
respondido por el Grzegorz E. 27.08.2014 - 17:47

Lea otras preguntas en las etiquetas