Preguntas etiquetadas con apache-kafka

Estoy usando apache kafka para enviar mensajes. Implementé el productor y el consumidor en Java. ¿Cómo podemos obtener la cantidad de mensajes en un tema?

93 java  messages  apache-kafka 

¿Hay alguna forma de eliminar todos los datos de un tema o eliminar el tema antes de cada ejecución? ¿Puedo modificar el archivo KafkaConfig.scala para cambiar la logRetentionHourspropiedad? ¿Hay alguna forma de que los mensajes se eliminen tan pronto como el consumidor los lea? Estoy usando productores para obtener los …

87 apache-kafka  apache-zookeeper 

Cerrado . Esta pregunta debe estar más enfocada . Actualmente no acepta respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un solo problema editando esta publicación . Cerrado hace 2 meses . Mejora esta pregunta Redis se puede usar como pub-sub en tiempo real al …

86 redis  apache-kafka  publish-subscribe 

Cerrado . Esta pregunta debe estar más enfocada . Actualmente no acepta respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un solo problema editando esta publicación . Cerrado hace 1 año . Mejora esta pregunta No he trabajado mucho en kafka, pero quería crear una …

81 apache-kafka  google-cloud-pubsub 

Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 4 días . Fui a una entrevista de trabajo de ingeniero de datos. El entrevistador …

20 apache-spark  apache-kafka  stream-processing 

Estoy usando la versión 1.3.0 del cliente Confluent.Kafka .NET. Estoy siguiendo los documentos : var consumerConfig = new ConsumerConfig { BootstrapServers = "server1, server2", AutoOffsetReset = AutoOffsetReset.Earliest, EnableAutoCommit = true, EnableAutoOffsetStore = false, GroupId = this.groupId, SecurityProtocol = SecurityProtocol.SaslPlaintext, SaslMechanism = SaslMechanism.Plain, SaslUsername = this.kafkaUsername, SaslPassword = this.kafkaPassword, }; using …

10 c#  apache-kafka  kafka-consumer-api 

Tengo una aplicación simple, con dos funciones, una para escuchar el tema y otra para el punto final web. Quiero crear la transmisión de eventos del lado del servidor (SSE), es decir, texto / evento-transmisión, para que en el extremo del cliente pueda escucharlo usando EventSource. Tengo el siguiente código …

9 python  python-3.x  apache-kafka  aiohttp  faust 

Continuamente recibo FETCH_SESSION_ID_NOT_FOUND. No estoy seguro de por qué está sucediendo. ¿Alguien puede complacerme aquí cuál es el problema y cuál será el impacto en los consumidores y los corredores? Registro del servidor Kafka: INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process …

9 apache-kafka 

Al definir una topología en flujos kafka, se puede agregar una tienda de estado global. Necesitará un tema fuente, así como a ProcessorSupplier. El procesador recibe registros y podría transformarlos teóricamente antes de agregarlos a la tienda. Pero en caso de restauración, los registros se insertan directamente desde el tema …

8 java  apache-kafka  apache-kafka-streams 

Estaba revisando el documento que entendí que podemos lograr exactamente una sola transacción con la habilitación idempotence=true idempotencia: el productor idempotente habilita exactamente una vez para un productor contra un solo tema. Básicamente, cada mensaje enviado tiene garantías más fuertes y no se duplicará en caso de que haya un …

8 apache-kafka  apache-kafka-streams