Necesito ayuda con el siguiente escenario:
Se está ejecutando una conexión independiente de Kafka leyendo un archivo proxy de calamar:
/opt/kafka/bin/connect-standalone.sh -daemon /opt/kafka/config/connect-standalone.properties /opt/kafka/config/connect-file-source.properties
Mi archivo de conexión -propiedad.propiedades:
name=squid-access
connector.class=FileStreamSource
tasks.max=1
file=/var/log/squid/access.log
topic=myproxy
Todo funciona bien hasta que se gira el access.log. Como Kafka mantiene un archivo connect.offset, se detiene para ingerir datos cuando se compara con el nuevo archivo access.log. La única solución hasta ahora es eliminar el archivo connect.offset y reiniciar la conexión para crear otro.
La pregunta aquí es: ¿cómo puedo hacer que Kafka Connect lea el archivo de rotación recién creado sin la necesidad de eliminar / reiniciar?