Preguntas etiquetadas con hadoop

Uno de los principales ejemplos que se utiliza para demostrar el poder de MapReduce es el punto de referencia Terasort . Tengo problemas para comprender los conceptos básicos del algoritmo de clasificación que se utiliza en el entorno MapReduce. Para mí, clasificar simplemente implica determinar la posición relativa de un …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

¿Se supone que son iguales? pero, ¿por qué los hadoop fscomandos " " muestran el hdfs filesmientras que los hdfs dfscomandos " " muestran los archivos locales? aquí está la información de la versión de hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Compilado por jenkins el lunes …

109 hadoop  hdfs 

Recibo el siguiente error al iniciar namenode para la última versión de hadoop-2.2. No encontré el archivo exe de winutils en la carpeta bin hadoop. Intenté debajo de los comandos $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell (Shell.java:getWinUtilsPath(303)) - Failed to locate the winutils binary in …

108 hadoop 

Cerrado. Esta pregunta no cumple con las pautas de Stack Overflow . Actualmente no acepta respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté relacionada con el tema de Stack Overflow. Cerrado hace 4 años . Mejora esta pregunta Entonces, he estado mirando a Hadoop con gran interés …

98 c#  .net  hadoop  mapreduce 

Estoy tratando de ejecutar un simple NaiveBayesClassiferusando hadoop, obteniendo este error Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180) at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175) at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100) Codigo: Configuration configuration = new Configuration(); NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), configuration);// error …

96 java  hadoop  io 

Conozco du -shlos sistemas de archivos comunes de Linux. ¿Pero cómo hacer eso con HDFS?

96 hadoop  command-line  directory  hdfs 

Estoy planeando usar uno de los formatos de archivo hadoop para mi proyecto relacionado con hadoop. Yo entiendo de parquet es eficaz para la consulta y Avro basada en la columna para barrido completo o cuando necesitamos todos los datos de las columnas! Antes de continuar y elegir uno de …

92 hadoop  avro  parquet 

¿Existe alguna dependencia entre Spark y Hadoop ? Si no es así, ¿hay alguna función que me pierda cuando ejecuto Spark sin Hadoop ?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

¿Cómo puedo encontrar qué versión de Hive estoy usando desde el símbolo del sistema? A continuación se muestran los detalles. Estoy usando Putty para conectarme a la tabla de colmena y acceder a los registros de las tablas. Entonces, lo que hice fue abrir Putty y en el nombre de …

88 hadoop  hive 

Estoy realizando algunas pruebas en los formatos de almacenamiento disponibles con Hive y usando Parquet y ORC como opciones principales. Incluí ORC una vez con compresión predeterminada y una vez con Snappy. He leído muchos documentos que afirman que Parquet es mejor en complejidad de tiempo / espacio en comparación …

87 hadoop  hive  parquet  snappy  orc 

Mientras instalaba hadoop en mi máquina local, recibí el siguiente error ssh -vvv localhost OpenSSH_5.5p1, OpenSSL 1.0.0e-fips 6 Sep 2011 debug1: Reading configuration data /etc/ssh/ssh_config debug1: Applying options for * debug2: ssh_connect: needpriv 0 debug1: Connecting to localhost [127.0.0.1] port 22. debug1: connect to address 127.0.0.1 port 22: Connection refused …

86 linux  hadoop  ssh 

En Hadoop v1, he asignado cada 7 ranuras de mapeador y reductor con un tamaño de 1GB, mis mapeadores y reductores funcionan bien. Mi máquina tiene memoria 8G, procesador 8. Ahora con YARN, cuando ejecuto la misma aplicación en la misma máquina, obtengo un error de contenedor. Por defecto, tengo …

85 hadoop  mapreduce  yarn  mrv2 

Tal como está actualmente, esta pregunta no se ajusta bien a nuestro formato de preguntas y respuestas. Esperamos que las respuestas estén respaldadas por hechos, referencias o experiencia, pero es probable que esta pregunta solicite debate, argumentos, encuestas o una discusión extensa. Si cree que esta pregunta se puede mejorar …

84 nosql  hadoop  cassandra  hbase  data-processing 

En Hadoop, ¿cuándo comienzan las tareas de reducción? ¿Comienzan después de que se completa un cierto porcentaje (umbral) de mapeadores? Si es así, ¿se fija este umbral? ¿Qué tipo de umbral se utiliza normalmente?

81 hadoop  mapreduce  reduce 

nos gustaría poner los resultados de una consulta de Hive en un archivo CSV. Pensé que el comando debería verse así: insert overwrite directory '/home/output.csv' select books from table; Cuando lo ejecuto, dice que se completó correctamente, pero nunca puedo encontrar el archivo. ¿Cómo encuentro este archivo o debo extraer …

81 database  hadoop  hive  hiveql