Preguntas etiquetadas con mapreduce

Sé cómo "transformar" un Java simple Listde Y-> Z, es decir: List<String> x; List<Integer> y = x.stream() .map(s -> Integer.parseInt(s)) .collect(Collectors.toList()); Ahora me gustaría hacer básicamente lo mismo con un mapa, es decir: INPUT: { "key1" -> "41", // "41" and "42" "key2" -> "42 // are Strings } OUTPUT: …

210 java  mapreduce  java-8  java-stream  collectors 

Tal como está actualmente, esta pregunta no es adecuada para nuestro formato de preguntas y respuestas. Esperamos que las respuestas sean respaldadas por hechos, referencias o experiencia, pero esta pregunta probablemente solicitará debate, argumentos, encuestas o discusión extendida. Si cree que esta pregunta se puede mejorar y posiblemente volver a …

202 mapreduce 

Relacionado con mi pregunta CouchDB . ¿Alguien puede explicar MapReduce en términos que un numbnuts podría entender?

166 frameworks  mapreduce  glossary 

¿Qué escenarios justificarían el uso del algoritmo " Mapear y reducir "? ¿Existe una implementación .NET de este algoritmo?

152 c#  mapreduce 

En muchas situaciones de la vida real en las que aplica MapReduce, los algoritmos finales terminan siendo varios pasos de MapReduce. es decir, Mapa1, Reducir1, Mapa2, Reducir2, etc. Entonces tiene la salida de la última reducción que se necesita como entrada para el siguiente mapa. Los datos intermedios son algo …

124 hadoop  mapreduce 

De acuerdo con la Hadoop - The Definitive Guide Los registros lógicos que define FileInputFormats no suelen encajar perfectamente en los bloques HDFS. Por ejemplo, los registros lógicos de TextInputFormat son líneas, que cruzarán los límites de HDFS la mayoría de las veces. Esto no influye en el funcionamiento de …

119 hadoop  split  mapreduce  block  hdfs 

En la programación de Map Reduce, la fase de reducción tiene como sub-partes barajar, ordenar y reducir. La clasificación es un asunto costoso. ¿Cuál es el propósito de la fase de orden aleatorio y ordenado en el reductor en la programación de Map Reduce?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

Uno de los principales ejemplos que se utiliza para demostrar el poder de MapReduce es el punto de referencia Terasort . Tengo problemas para comprender los conceptos básicos del algoritmo de clasificación que se utiliza en el entorno MapReduce. Para mí, clasificar simplemente implica determinar la posición relativa de un …

110 algorithm  sorting  parallel-processing  hadoop  mapreduce 

Cerrado. Esta pregunta no cumple con las pautas de Stack Overflow . Actualmente no acepta respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté relacionada con el tema de Stack Overflow. Cerrado hace 4 años . Mejora esta pregunta Entonces, he estado mirando a Hadoop con gran interés …

98 c#  .net  hadoop  mapreduce 

¿Existe alguna dependencia entre Spark y Hadoop ? Si no es así, ¿hay alguna función que me pierda cuando ejecuto Spark sin Hadoop ?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

En Hadoop v1, he asignado cada 7 ranuras de mapeador y reductor con un tamaño de 1GB, mis mapeadores y reductores funcionan bien. Mi máquina tiene memoria 8G, procesador 8. Ahora con YARN, cuando ejecuto la misma aplicación en la misma máquina, obtengo un error de contenedor. Por defecto, tengo …

85 hadoop  mapreduce  yarn  mrv2 

Escucho mucho sobre map / reduce, especialmente en el contexto del sistema de cómputo masivamente paralelo de Google. ¿Qué es exactamente?

84 language-agnostic  mapreduce 

En Hadoop, ¿cuándo comienzan las tareas de reducción? ¿Comienzan después de que se completa un cierto porcentaje (umbral) de mapeadores? Si es así, ¿se fija este umbral? ¿Qué tipo de umbral se utiliza normalmente?

81 hadoop  mapreduce  reduce 

Por ahora, tengo un trabajo de Hadoop que crea contadores con un nombre bastante grande. Por ejemplo, la siguiente: stats.counters.server-name.job.job-name.mapper.site.site-name.qualifier.qualifier-name.super-long-string-which-is-not-within-standard-limits. Este contador se trunca en la interfaz web y en la getName()llamada al método. Descubrí que Hadoop tiene limitaciones en el nombre máximo del contador y esta identificación de configuración …

79 java  hadoop  mapreduce  yarn