Preguntas etiquetadas con hadoop

Hadoop es un proyecto de código abierto de Apache que proporciona software para computación distribuida confiable y escalable. El núcleo consta de un sistema de archivos distribuido (HDFS) y un administrador de recursos (YARN). Varios otros proyectos de código abierto, como Apache Hive, utilizan Apache Hadoop como capa de persistencia.

21
Advertencia de Hadoop "No se puede cargar la biblioteca de hadoop nativo para su plataforma"
Actualmente estoy configurando hadoop en un servidor que ejecuta CentOs . Cuando ejecuto start-dfs.sho stop-dfs.sh, aparece el siguiente error: WARN util.NativeCodeLoader: no se puede cargar la biblioteca nativa-hadoop para su plataforma ... usando clases incorporadas-java donde corresponda Estoy ejecutando Hadoop 2.2.0. Al hacer una búsqueda en línea, apareció este enlace: …
16
¿Cuándo usar Hadoop, HBase, Hive y Pig?
¿Cuáles son los beneficios de usar Hadoop o HBase o Hive ? Según tengo entendido, HBase evita el uso de map-reduce y tiene un almacenamiento orientado a columnas sobre HDFS. Hive es una interfaz tipo sql para Hadoop y HBase . También me gustaría saber cómo se compara Hive con …
185 hadoop  hbase  hive  apache-pig 
14
Spark: ¿cargar el archivo CSV como DataFrame?
Me gustaría leer un CSV en chispa y convertirlo como DataFrame y almacenarlo en HDFS con df.registerTempTable("table_name") Yo he tratado: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Error que obtuve: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] …
6
Diferencia entre HBase y Hadoop / HDFS
Esta es una pregunta ingenua, pero soy nuevo en el paradigma NoSQL y no sé mucho al respecto. Entonces, si alguien puede ayudarme a comprender claramente la diferencia entre HBase y Hadoop, o si da algunos consejos que podrían ayudarme a comprender la diferencia. Hasta ahora, hice un poco de …
130 hadoop  nosql  hbase  hdfs  difference 
13
Encadenamiento de múltiples trabajos de MapReduce en Hadoop
En muchas situaciones de la vida real en las que aplica MapReduce, los algoritmos finales terminan siendo varios pasos de MapReduce. es decir, Mapa1, Reducir1, Mapa2, Reducir2, etc. Entonces tiene la salida de la última reducción que se necesita como entrada para el siguiente mapa. Los datos intermedios son algo …
124 hadoop  mapreduce 
9
El nodo de nombre está en modo seguro. No puedo irme
root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. no puedo crear nada en hdfs yo hice root# bin/hadoop fs -safemode leave Pero mostrando safemode: Unknown command ¿Cuál es el problema? Solución
122 hadoop  hdfs 
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.