Preguntas etiquetadas con distributed-computing

Estoy tratando de entender ZooKeeper, cómo funciona y qué hace. ¿Hay alguna aplicación que sea comparable a ZooKeeper? Si lo sabes, ¿cómo describirías ZooKeeper a un laico? He intentado apache wiki, zookeeper sourceforge ... pero todavía no puedo relacionarme con él. Acabo de leer a través de http://zookeeper.sourceforge.net/index.sf.shtml , entonces …

376 apache-zookeeper  distributed-computing 

De acuerdo con Learning Spark Tenga en cuenta que repartir sus datos es una operación bastante costosa. Spark también tiene una versión optimizada de repartition()llamadas coalesce()que permite evitar el movimiento de datos, pero solo si está disminuyendo el número de particiones RDD. Una diferencia que obtengo es que con repartition()el …

254 apache-spark  distributed-computing  rdd 

Leí la Descripción general del modo de clúster y todavía no puedo entender los diferentes procesos en el clúster autónomo de Spark y el paralelismo. ¿Es el trabajador un proceso JVM o no? Ejecuté el bin\start-slave.shy descubrí que engendró al trabajador, que en realidad es una JVM. Según el enlace …

219 apache-spark  distributed-computing 

En términos de RDDpersistencia, ¿cuáles son las diferencias entre cache()y persist()en la chispa?

202 apache-spark  distributed-computing  rdd 

Soy relativamente nuevo en Kafka. He experimentado un poco con él, pero algunas cosas no me quedan claras con respecto a la compensación del consumidor. Por lo que he entendido hasta ahora, cuando un consumidor comienza, el desplazamiento desde el que comenzará a leer está determinado por la configuración auto.offset.reset(corríjame …

170 java  distributed-computing  apache-kafka 

Si tiene mil millones de números y cien computadoras, ¿cuál es la mejor manera de localizar la mediana de estos números? Una solución que tengo es: Divide el conjunto por igual entre las computadoras. Clasifícalos. Encuentra las medianas para cada conjunto. Ordenar los conjuntos en las medianas. Combina dos conjuntos …

127 algorithm  distributed-computing