Preguntas etiquetadas con apache-kafka

Me pidieron que evaluara RabbitMQ en lugar de Kafka, pero me resultó difícil encontrar una razón por la que está haciendo algo mejor que Kafka. ¿Alguien sabe si es realmente mejor en rendimiento, durabilidad, latencia o facilidad de uso?

333 rabbitmq  apache-kafka  message-queue 

Aunque me he encontrado con Kafka antes, recientemente me di cuenta de que Kafka quizás podría usarse como (la base de) un CQRS , tienda de eventos . Uno de los puntos principales que admite Kafka: Captura / almacenamiento de eventos, todo HA, por supuesto. Pub / sub arquitectura Capacidad …

219 cqrs  event-sourcing  apache-kafka  dddd 

¿Hay alguna manera de purgar el tema en kafka? Introduje un mensaje que era demasiado grande en un tema de mensaje kafka en mi máquina local, ahora recibo un error: kafka.common.InvalidMessageSizeException: invalid message size Aumentar el fetch.sizeno es ideal aquí, porque en realidad no quiero aceptar mensajes tan grandes.

185 apache-kafka  purge 

Estoy empezando a aprender Kafka para propósitos de soluciones empresariales. Durante mis lecturas, me vinieron a la mente algunas preguntas: Cuando un productor produce un mensaje, especificará el tema al que desea enviar el mensaje, ¿es así? ¿Le importan las particiones? Cuando se está ejecutando un suscriptor, ¿especifica su ID …

185 apache-kafka  kafka-consumer-api  kafka-producer-api 

Estoy tratando de usar Kafka. Todas las configuraciones se realizan correctamente, pero cuando trato de generar un mensaje desde la consola sigo recibiendo el siguiente error WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient) Versión Kafka: 2.11-0.9.0.0

172 apache-kafka  producer 

Soy relativamente nuevo en Kafka. He experimentado un poco con él, pero algunas cosas no me quedan claras con respecto a la compensación del consumidor. Por lo que he entendido hasta ahora, cuando un consumidor comienza, el desplazamiento desde el que comenzará a leer está determinado por la configuración auto.offset.reset(corríjame …

170 java  distributed-computing  apache-kafka 

Una de las primeras cosas en las que pienso cuando uso un nuevo servicio (como un almacén de datos que no es RDBMS o una cola de mensajes) es: "¿Cómo debo estructurar mis datos?". He leído y visto algunos materiales introductorios. En particular, tome, por ejemplo, Kafka: un sistema de …

168 apache-kafka 

En Kafka, me gustaría usar solo un único corredor, un solo tema y una única partición que tenga un productor y múltiples consumidores (cada consumidor obtiene su propia copia de los datos del corredor). Dado esto, no quiero la sobrecarga de usar Zookeeper; ¿No puedo usar solo el corredor solamente? …

134 partitioning  apache-zookeeper  producer-consumer  apache-kafka  broker 

Envío String-messages a Kafka V. 0.8 con la API de Java Producer. Si el tamaño del mensaje es de aproximadamente 15 MB, obtengo un archivo MessageSizeTooLargeException. Intenté establecerlo message.max.bytesen 40 MB, pero todavía obtengo la excepción. Los pequeños mensajes funcionaron sin problemas. (La excepción aparece en el productor, no tengo …

118 java  apache-kafka 

¿Cómo encontrar la versión kafka en linux? ¿Hay alguna forma de encontrar la versión de kafka instalada además de mencionar la versión mientras la descarga?

107 apache-kafka 

Apache Kafka: sistema de mensajería distribuida Apache Storm: procesamiento de mensajes en tiempo real ¿Cómo podemos utilizar ambas tecnologías en una canalización de datos en tiempo real para procesar datos de eventos? En términos de canalización de datos en tiempo real, me parece que ambos hacen el trabajo de manera …

102 apache-storm  apache-kafka  data-integration 

Recientemente comencé a aprender Kafka y termino con estas preguntas. ¿Cuál es la diferencia entre Consumer y Stream? Para mí, si alguna herramienta / aplicación consume mensajes de Kafka es un consumidor en el mundo Kafka. ¿En qué se diferencia Stream ya que también consume o produce mensajes para Kafka? …

99 apache-kafka  kafka-consumer-api  apache-kafka-streams 

Cerrado . Esta pregunta debe estar más enfocada . Actualmente no acepta respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un solo problema editando esta publicación . Cerrado hace 10 meses . Mejora esta pregunta Todos los ejemplos de Kafka | los productores muestran que …

97 apache-kafka  message-queue  messaging  key-value  messagebroker 

Necesito eliminar el tema testen Apache Kafka 0.8.1.1. Como se expresa en la documentación aquí , he ejecutado: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Sin embargo, esto da como resultado el siguiente mensaje: Command must include exactly one action: --list, --describe, --create or --alter ¿Cómo puedo eliminar este tema?

94 apache-kafka 

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Actualmente, estoy enviando mensajes sin ninguna clave como parte de los mensajes con clave, ¿seguirá funcionando delete.retention.ms? ¿Necesito enviar una clave como parte del mensaje? ¿Es bueno hacer la clave como parte del mensaje?

93 apache-kafka  kafka-consumer-api