Mi pregunta es: ¿qué modelo matemático de sonido polifónico puede hacer posible el cambio (es decir, cambio de tono) de notas musicales individuales en una grabación de audio de múltiples voces en un solo canal de un instrumento musical acústico polifónico? Al 'cambiar notas en audio polifónico', me refiero a hacer algo como editar sonido con la llamada función ' Acceso directo a notas ' en el software Melodyne de celeony.
Según Wikipedia , lo que Melodyne usa para modelar la señal de audio de una melodía de una sola línea que se reproduce en un instrumento musical acústico (y, por lo tanto, tímbricamente complejo) es algo como lo que Henning Thielemann describe en su artículo titulado ' Desenredando fase y tiempo en sonidos monofónicos '. Sin embargo, No puedo encontrar ninguna referencia a modelos de señales de audio de instrumentos musicales polifónicos; Según una entrevista en Youtube de Peter Neubacker (transcrita a continuación), la función de Melodyne para tratar la edición de audio polifónico requiere un enfoque diferente al descrito por Thielemann.
Una pista de otro clip de YouTube es que el modelo de Neubacker funciona mejor con la grabación de audio de un TIPO de instrumento solamente (es decir, solo piano, solo guitarra, solo cuerdas, solo vientos, etc.). Otra pista es otro clip que muestra la capacidad no solo de cambiar el tono de una nota sino también el momento (inicial y final) de la misma.
A continuación se muestra la transcripción del video de YouTube que menciona que "los materiales polifónicos requieren un enfoque diferente" (en caso de que no tenga tiempo para verlo desde las 22:00).
La pregunta, de la que surgió Melodyne: ¿cómo puedo obtener un sonido de una forma tridimensional como esta [gesticulando con la piedra en la mano]? ¿Por qué medios, el sonido puede ser liberado de su dependencia del tiempo continuo? Esta escultura es en realidad lo que surgió de esto ... Es una pieza de plástico ... Esto se derivó directamente de los datos musicales. Este objeto está [tocando una nota sobre el laúd] esta nota. Se visualiza mejor así, de izquierda a derecha. El tiempo corre en esta dirección [gesticulando de izquierda a derecha]. Y esa es la amplitud [haciendo un gesto grande y pequeño con el dedo opuesto al pulgar]. Si lo giro, ... representa el timbre de este sonido en cualquier instancia dada. Puedes ver muy claramente aquí una estructura [apuntando a la sección transversal en la parte inferior de la escultura] que es algo triangular; eso es porque en este sonido,
Como Melodyne aún no existía y simplemente estaba experimentando con la traducción del sonido a esta forma, trabajé durante casi un año con este sonido. ... Conozco este sonido por dentro y por fuera y de memoria. Esto también proporciona una buena ilustración del sonido local. Puedo, no solo reproducir el sonido [haciendo clic con el mouse], sino que también puedo ingresar el sonido de cualquier punto y moverlo tan lento o rápido como quiera. Incluso puedo demorarme en el sonido, o moverme hacia adelante y hacia atrás, así que si examino un lugar aquí ... dale la vuelta. ... Hace diez años era nuevo.
Recientemente se agregó ADN (acceso directo a notas). Con él, también puedo editar música polifónica. En otras palabras, puedo editar notas individuales que suenan simultáneamente, como por ejemplo una grabación de guitarra. Si ahora toco un acorde pequeño [seleccionando Poly -> Separate Notes en la pantalla], vemos aquí las 3 notas que acabo de tocar como entidades separadas. Escuchemos nuevamente [la computadora toca un acorde menor]. Y ahora, como si moviera mi dedo a un traste más alto, puedo levantar esta nota [arrastrando una nota en la pantalla hacia arriba; la computadora toca el acorde mayor]. Para el audio dividido, puedo aislar esta nota, y puedo moverla hacia arriba o hacia abajo a voluntad, a cualquier tono que desee.
¿Por qué nadie antes podía aislar tonos individuales dentro de material complejo de esta manera? Honestamente no lo se. En ciencia, la tendencia natural es comenzar con algo simple, una onda sinusoidal, por ejemplo, o notas individuales, y analizar eso primero, solo para descubrir cuándo el material se vuelve más complejo, o debe ser tratado en su totalidad, que el sistema no funciona Mi enfoque es diferente. De hecho, comienzo con señales complejas, y es solo cuando quiero examinar algo en detalle que vuelvo a las más simples, pero primero, tengo que tener una impresión general de lo que realmente está sucediendo en la realidad.
¿Quizás el secreto yace en este rollo? Jeje, esto es en realidad un retrete. La pregunta originalmente planteada por la piedra era cómo puedo traducir un sonido dado a una forma tridimensional. Aquí, he ordenado los valores de muestreo de los individuos del sonido, indicados aquí por uno, dos y tres, en espiral. Y resulta que si interpolas entre los puntos [gesticulando a través de la espiral], emerge un paisaje que también representa las secciones transversales individuales en el sonido [gesticulando secciones transversales de la escultura].
¿Cuántos años tiene el rollo? 12 años. ¿Entonces esa idea es el manantial de Melodyne, de todo lo que hemos visto hoy ...? Sí, pero esta forma de enrollar el sonido ya no sería útil para materiales polifónicos, lo que requiere un enfoque diferente.