Preguntas etiquetadas con hdfs

Me gustaría leer un CSV en chispa y convertirlo como DataFrame y almacenarlo en HDFS con df.registerTempTable("table_name") Yo he tratado: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Error que obtuve: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] …

142 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

Las características del parquet Apache son: Autodescriptivo Formato de columnas Independiente del idioma En comparación con Avro, Sequence Files, RC File, etc. Quiero una visión general de los formatos. Ya he leído: cómo funciona Impala con los formatos de archivo Hadoop , ofrece algunas ideas sobre los formatos, pero me …

136 file  hadoop  hdfs  avro  parquet 

Cómo copiar archivos de HDFS al sistema de archivos local. No hay una ubicación física de un archivo debajo del archivo, ni siquiera el directorio. ¿Cómo puedo moverlos a mi local para más validaciones? Me prueban a través de winscp.

135 hadoop  copy  hdfs 

Esta es una pregunta ingenua, pero soy nuevo en el paradigma NoSQL y no sé mucho al respecto. Entonces, si alguien puede ayudarme a comprender claramente la diferencia entre HBase y Hadoop, o si da algunos consejos que podrían ayudarme a comprender la diferencia. Hasta ahora, hice un poco de …

130 hadoop  nosql  hbase  hdfs  difference 

root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. no puedo crear nada en hdfs yo hice root# bin/hadoop fs -safemode leave Pero mostrando safemode: Unknown command ¿Cuál es el problema? Solución

122 hadoop  hdfs 

De acuerdo con la Hadoop - The Definitive Guide Los registros lógicos que define FileInputFormats no suelen encajar perfectamente en los bloques HDFS. Por ejemplo, los registros lógicos de TextInputFormat son líneas, que cruzarán los límites de HDFS la mayoría de las veces. Esto no influye en el funcionamiento de …

119 hadoop  split  mapreduce  block  hdfs 

En la programación de Map Reduce, la fase de reducción tiene como sub-partes barajar, ordenar y reducir. La clasificación es un asunto costoso. ¿Cuál es el propósito de la fase de orden aleatorio y ordenado en el reductor en la programación de Map Reduce?

113 sorting  hadoop  mapreduce  hdfs  shuffle 

¿Se supone que son iguales? pero, ¿por qué los hadoop fscomandos " " muestran el hdfs filesmientras que los hdfs dfscomandos " " muestran los archivos locales? aquí está la información de la versión de hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git: //ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0 -mr1-cdh4.2.1 / source -r Compilado por jenkins el lunes …

109 hadoop  hdfs 

Conozco du -shlos sistemas de archivos comunes de Linux. ¿Pero cómo hacer eso con HDFS?

96 hadoop  command-line  directory  hdfs