Geometría e IA
Matrices, cubos, capas, pilas y jerarquías son lo que podríamos llamar con precisión topologías . Considere la topología en este contexto el diseño geométrico de nivel superior de un sistema de aprendizaje.
A medida que aumenta la complejidad, a menudo es útil representar estas topologías como estructuras gráficas dirigidas. Los diagramas de estado y el trabajo de Markov sobre la teoría de juegos son dos lugares donde los gráficos dirigidos se usan comúnmente. Los gráficos dirigidos tienen vértices (a menudo visualizados como formas cerradas) y los bordes a menudo visualizados como flechas que conectan las formas.
También podemos representar las GAN como un gráfico dirigido, donde la salida de cada red impulsa el entrenamiento de la otra de manera contradictoria. Las GAN se parecen a una tira de Möbius topológicamente.
No podemos descubrir nuevos diseños y arquitecturas sin comprender no solo las matemáticas de converger en una solución óptima o rastrear una, sino también las topologías de las conexiones de red que pueden admitir dicha convergencia. Es como desarrollar primero un procesador mientras imagina lo que necesitaría un sistema operativo antes de escribir el sistema operativo.
Para vislumbrar qué topologías NO HEMOS considerado, primero veamos cuáles han sido.
Paso uno - Extrusión en una segunda dimensión
En la década de 1980, se logró el éxito con la extensión del diseño original de perceptrón. Los investigadores agregaron una segunda dimensión para crear una red neuronal de varias capas. Se logró una convergencia razonable mediante la propagación inversa del gradiente de una función de error a través de los gradientes de las funciones de activación atenuadas por las tasas de aprendizaje y amortiguadas con otros metaparámetros.
Paso dos: agregar dimensiones a la señal de entrada discreta
Vemos la aparición de redes convolucionales basadas en las técnicas existentes de convolución de imágenes sintonizadas manualmente que introdujeron dimensiones a la entrada de la red: posición vertical, componentes de color y marco. Esta última dimensión es crítica para CGI, reemplazo de rostros y otras técnicas morfológicas en la realización de películas contemporáneas. Sin ella, tenemos generación de imágenes, categorización y eliminación de ruido.
Paso tres: pilas de redes
Vemos que surgen pilas de redes neuronales a fines de la década de 1990, donde la capacitación de una red es supervisada por otra. Esta es la introducción de capas conceptuales, ni en el sentido de capas secuenciales de neuronas ni en el sentido de capas de color en una imagen. Este tipo de capas tampoco es recursiva. Es más como el mundo natural donde una estructura es un órgano dentro de otro tipo de estructura completamente diferente.
Paso cuatro - Jerarquías de redes
Vemos jerarquías de redes neuronales que aparecen con frecuencia en la investigación que surgió en la década de 2000 y principios de 2010 (Laplacian y otros), que continúa la interacción entre redes neuronales y continúa la analogía del cerebro de los mamíferos. Ahora vemos metaestructura, donde redes enteras se convierten en vértices en un gráfico dirigido que representa una topología.
Paso cinco% mdash; Salidas desde la orientación cartesiana
Los arreglos repetitivos sistemáticos no cartesianos de las células y las conexiones entre ellos han comenzado a surgir en la literatura. Por ejemplo, las redes convolucionales equivalentes de calibre y la CNN icosaédrica (Taco S. Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019) examinan el uso de un arreglo basado en un icosaedro regular convexo.
Resumiendo
Las capas tienen funciones de activación valoradas ordinariamente para vértices y matrices de atenuación asignadas a un conjunto exhaustivo de bordes dirigidos entre capas adyacentes [1]. Las capas de convolución de imagen a menudo están en disposiciones de vértices bidimensionales con cubos de atenuación asignados a un conjunto abreviado de bordes dirigidos entre capas adyacentes [2]. Las pilas tienen redes en capas completas como vértices en un gráfico meta-dirigido, y esos meta-vértices están conectados en una secuencia con cada borde como un metaparámetro de entrenamiento, una señal de refuerzo (retroalimentación en tiempo real) o algún otro control de aprendizaje. . Las jerarquías de redes reflejan la noción de que se pueden agregar controles múltiples y dirigir el aprendizaje de nivel inferior, o el caso de cambio donde múltiples elementos de aprendizaje pueden ser controlados por una red de supervisores de nivel superior.
Análisis de la tendencia en topologías de aprendizaje
Podemos analizar tendencias en la arquitectura de aprendizaje automático. Tenemos tres tendencias topológicas.
Profundidad en la dimensión de causalidad: capas para el procesamiento de la señal donde la salida de una capa de activaciones se alimenta a través de una matriz de parámetros atenuantes (pesos) a la entrada de la siguiente capa. A medida que se establecen mayores controles, solo comenzando con un descenso de gradiente básico en la propatagión posterior, se puede lograr una mayor profundidad.
Dimensionalidad de la señal de entrada: desde la entrada escalar hasta los hipercubos (el video tiene una profundidad de color horizontal, vertical, incluida la transparencia y el marco). Tenga en cuenta que esto no es lo mismo que el número de entradas en el sentido del perceptrón.
Desarrollo topológico: los dos anteriores son de naturaleza cartesiana. Las dimensiones se agregan en ángulo recto a la dimensión existente. Como las redes están cableadas en jerarquías (como en las Jerarquías Laplacianas) y Möbius se tiran como círculos (como en las GAN), las tendencias son topográficas y se representan mejor mediante gráficos dirigidos donde los vértices no son neuronas sino redes más pequeñas de ellas.
¿Qué topologías faltan?
Esta sección amplía el significado de la pregunta del título.
- ¿Hay alguna razón por la cual múltiples meta-vértices, cada uno representando una red neuronal, se puedan organizar de tal manera que múltiples meta-vértices de supervisor puedan, en conjunto, supervisar múltiples meta-vértices de empleados?
- ¿Por qué la retropropagación de una señal de error es el único equivalente no lineal de la retroalimentación negativa?
- ¿No puede emplearse la colaboración entre meta-vértices en lugar de la supervisión, donde hay dos bordes recíprocos que representan los controles?
- Dado que las redes neuronales se emplean principalmente para el aprendizaje de fenómenos no lineales, ¿por qué prohíbe otros tipos de caminos cerrados en el diseño de las redes o su interconexión?
- ¿Hay alguna razón por la que no se pueda agregar sonido a la imagen para que los videoclips se puedan clasificar automáticamente? Si ese es el caso, ¿es un guión una posible extracción de una película y se puede utilizar una arquitectura de confrontación para generar guiones y producir las películas sin el sistema de estudio de películas? ¿Cómo sería esa topología como un gráfico dirigido?
- Si bien las celdas dispuestas ortogonalmente pueden simular una disposición de empaquetamiento regular arbitraria de vértices y bordes no ortogonales, ¿es eficiente hacerlo en visión por computadora, donde la inclinación de la cámara es diferente a más o menos 90 grados?
- ¿Es eficiente organizar células individuales en redes o redes de células en sistemas de IA ortogonalmente en sistemas de aprendizaje que están dirigidos a la comprensión y ensamblaje del lenguaje natural o cognición artificial?
Notas
Las células artificiales en MLP usan funciones de transferencia aritmética de punto flotante o fijo en lugar de transmisiones de pulso electroquímico basadas en la amplitud y el umbral basado en la proximidad. No son simulaciones realistas de neuronas, por lo que llamar a los vértices neuronas sería un nombre inapropiado para este tipo de análisis.
La correlación de las características de la imagen y los cambios relativos entre píxeles cercanos son mucho más altos que los de píxeles distantes.