IDF incremental (frecuencia de documento inversa)

En una aplicación de minería de texto, un enfoque simple es utilizar la heurística para crear vectores como representaciones compactas y dispersas de los documentos. Esto está bien para la configuración de lotes, donde todo el cuerpo se conoce a priori, ya que requiere todo el cuerpo $tf-idf$ $idf$

i d f (t) = \log \frac{| D |}{| {d : t \in d} |}

$\mathrm{idf}(t) = \log \frac{|D|}{|\{d: t \in d\}|}$

donde es un término, es un documento, es el corpus de documentos y (no se muestra) es el diccionario. $t$ $d$ $D$ $T$

Sin embargo, normalmente se reciben documentos nuevos con el tiempo. Una opción es seguir usando el existente hasta que se haya recibido un cierto número de documentos nuevos y volver a calcularlo. Sin embargo, esto parece bastante ineficiente. ¿Alguien sabe de un esquema de actualización incremental que (posiblemente aproximadamente) converge al valor si todos los datos se vieron por adelantado? O, alternativamente, ¿hay otra medida que capture la misma noción pero que pueda calcularse de manera incremental? $idf$

También hay una pregunta relacionada sobre si sigue siendo una buena medida a lo largo del tiempo. Dado que el idf captura la noción de la frecuencia de las palabras del corpus, es concebible que los documentos más antiguos en el corpus (digamos, por ejemplo, que mi corpus incluya más de 100 años de artículos de revistas), ya que las frecuencias de diferentes palabras cambian con el tiempo. En este caso, en realidad podría ser sensato tirar documentos antiguos cuando lleguen nuevos, en efecto utilizando una ventana deslizante . Posiblemente, uno también podría almacenar todos los vectores anteriores a medida que se calculan los nuevos, y luego, si quisiéramos recuperar documentos de 1920-1930, podríamos usar el $idf$ $idf$ $idf$ $idf$ calculado a partir de documentos en ese intervalo de fechas. ¿Tiene sentido este enfoque?

Editar: Hay un tema separado pero relacionado sobre el diccionario de la . A medida que el tiempo evolucione, habrá nuevos términos de diccionario que no aparecieron antes, así que tendrá que crecer y, por lo tanto, la longitud del vector . Parece que esto no sería un problema, ya que los ceros se podrían incluir a los viejos vectores. $T$ $|T|$ $idf$ $idf$

time-series text-mining

— tdc
fuente

pregunta estúpida: ¿Es un problema almacenar el denominador para cada t? ¿Cómo funciona la razón de | t | to | d | parece (en general)?

— steffen

i d f (t)

$idf(t)$

t

$t$

t

$t$

| T |

$|T|$

Entendí la ecuación. Mi pregunta fue: si almacenar el diccionario no es un problema, entonces: en lugar de almacenar | T | idfs one tiendas | T | denominadores (de la ecuación) + número de documentos. La actualización incremental no es un problema y el idf se calcula sobre la marcha. Tengo la sensación de que he pasado por alto algo.

— steffen

d^{*}

$d^*$

d : t \in d

${d:t \in d}$

t : t \in d^{*}

${t:t \in d^*}$

precisamente. Si esto es factible?

— steffen

$z$

$z(t) = |\{d:t\in d\}|$

$d^*$

$z^*(t) = z(t) + \left\{ \begin{array}{ll} 1 & \mbox{if}\; {t\in d^*} \\ 0 & \mbox{otherwise} \end{array} \right.$

$tf-idf$ $idf$

De manera similar, para eliminar un documento antiguo, disminuimos el numerador de manera similar.

$tf$ $tf-idf$ $tf-idf$

$idf$ $z$ $z$ $idf$ $tf$

— tdc
fuente