¿Por qué el nombre "kernel" en estadísticas y ML?


21

Esto se ha preguntado en otros sitios de SE en el contexto de sistemas operativos y álgebra lineal, pero la misma pregunta me molesta con respecto a los métodos de kernel utilizados en estadísticas y aprendizaje automático.

A menudo se dice que los núcleos, por ejemplo, en la estimación de densidad de kernel o SVM, representan algún tipo de similitud, pero no entiendo de dónde viene el nombre 'kernel' y cuál es su simbolismo.

Entonces, ¿cuál es la etimología de los núcleos, en el contexto de las estadísticas y el aprendizaje automático?

Para ser claros, soy muy consciente de lo que es un núcleo y sus principales propiedades, solo tengo curiosidad sobre el nombre, ya que no veo qué tiene que ver con la semilla o el núcleo, ya que se define principalmente en diccionarios. O al menos no puedo ver un significado más profundo que 'la parte esencial del método'.

Respuestas:


13

Puede encontrar información sobre este asunto consultando el sitio web para conocer los usos más antiguos conocidos de algunas de las palabras de matemáticas mantenidas por el matemático Jeff Miller. También puede encontrar información sobre la etimología de la palabra "kernel" en las fuentes de diccionario estándar.

Escribiendo en francés, Fredholm (1903) usó la palabra "noyau" (núcleo) e Hilbert (1904) adoptó este término pero escribió en alemán, dando la palabra alemana "kern" (núcleo). Estos términos se usaron en el contexto de la escritura sobre ecuaciones integrales en el análisis funcional. Poco después de esto, Bôcher (1909), escribiendo en inglés, usa el término "núcleo" para referirse a los mismos objetos. El término luego se extiende a través de la literatura en inglés sobre análisis funcional, análisis de Fourier y, más tarde, probabilidad y estadística.

Según el diccionario vinculado anteriormente, esta palabra deriva del inglés antiguo y el protogermánico. Puede referirse a una semilla, o al núcleo, centro o esencia de un objeto. La similitud lingüística entre el "kern" alemán y el "kernel" parece deberse a derivaciones históricas similares. Se alega que la palabra "núcleo" se deriva de una palabra protogermánica hipotética (reconstruida) "kurną" (maíz). Entonces, según esta historia, parece que etimológicamente, la palabra "núcleo" se refiere a una semilla, núcleo o esencia, y se basa en la anglicización de una antigua palabra alemana para el maíz.

ACTUALIZACIÓN: Esta respuesta ha sido editada en gran medida para reflejar la nueva información que me llamaron la atención de los usuarios cbeleites y RM . Inicialmente pensé que esto podría haber sido una Anglicización reciente de la palabra "kern", pero las fuentes del diccionario sugieren que la palabra "kernel" en inglés es muy antigua. No soy lingüista, por lo que simplemente estoy exponiendo información de las fuentes anteriores.


Nunca oí hablar de Maxime Bôcher. Primero, pensé que tal vez era un error tipográfico para Salomon Bochner, quien algunos años después era muy grande (un gigante) en núcleos integrales, entre otras cosas.
Mark L. Stone

Es mi culpa, no estoy seguro de cómo escribir el o acentuado. ¿Cómo lo hiciste?
Vuelva a instalar Mónica

1
Copié y pegué de la lista de Wikipedia.
Mark L. Stone

1
Mi punto real era que sabía que Bochner era un gigante en los núcleos, pero nunca había oído hablar de Bocher. Bochner era el asesor de tesis de Samuel Karlin, de quien tomé un curso en Positividad Total (núcleos totalmente positivos que inducían variaciones que disminuían las transformaciones, y todo eso jazz).
Mark L. Stone

1
No estoy seguro de si el kernel es una versión inglesa de Kern, al menos no en el sentido de algo que sucedió hace solo un poco más de 100 años. Siempre lo tomé como una traducción: merriam-webster.com/dictionary/kernel definición 1 se llama "Kern" en alemán. Por ejemplo, para una manzana, las semillas = Kerne, mientras que el núcleo = Kerngehäuse (literalmente, alojamiento del núcleo).
cbeleites apoya a Monica el

13

Un kernel se usa muchas veces en el aprendizaje automático y las estadísticas. Algunos ejemplos son:

  1. En Support Vector Machines, un kernel es una función que asigna los datos a un espacio de dimensiones superiores donde el problema se resuelve linealmente (vea esto ).

  2. Estimación de densidad del núcleo

    La estimación de la densidad del núcleo es una forma no paramétrica de estimar la función de densidad de probabilidad de una variable aleatoria.

En este contexto, un núcleo es simplemente una función de ponderación utilizada en la estimación de la densidad del núcleo. El último enlace también tiene algunos usos más de la palabra kernel en estadísticas.

  1. En las redes neuronales convolucionales , un núcleo es una pequeña matriz que se utiliza para realizar la convolución entre la imagen y sí misma. Ver aquí .

En todos estos ejemplos, un núcleo es una función matemática que se utiliza para algún tipo de transformación en sus datos. El núcleo es esencialmente la parte constante de esa transformación. Dependiendo de la elección del núcleo que usemos para cada transformación, podríamos obtener un efecto diferente.


55
βmi-βXmi-βX

77
OP está buscando la etimología de los núcleos.
Franck Dernoncourt

2
¿El uso de "kernal" para referirse al espacio nulo en álgebra lineal tiene alguna relación con alguno de estos usos en el aprendizaje automático?
SyntonicC
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.