Hay un par de áreas diferentes para el audio: algoritmos DSP vs gestión de activos y reproducción inteligente de audio.
DSP se trata de filtros y transformadas de Fourier y HRTF y todas esas cosas divertidas.
Buenos recursos DSP:
Rab ya mencionó esto , pero es tan bueno que tengo que repetirlo. El libro de programación de audio de Richard Boulanger y Victor Lazzarini es probablemente el mejor lugar para comenzar. También funciona como una introducción bastante completa a C. El comienzo puede ser un poco lento para usted, pero analiza algunos modismos de C (ocasionalmente desactualizados, ocasionalmente no, pero siempre útiles e interesantes), así como también presenta algunas cosas fundamentales sobre el sonido. Puede que no haya llegado antes.
musicdsp.org : un archivo de algoritmos, generalmente en C
Lista de correo MUSIC-DSP en Columbia
Tutoriales de dspGuru
Quien es Fourier? : Un libro realmente interesante escrito para darle una comprensión fundamental real de la transformación de Fourier. Escrito puramente con la intención de explorar cómo explicar conceptos matemáticos complejos a estudiantes jóvenes. Como resultado, si eres un poco débil en tus matemáticas de nivel superior, esto te ayudará a asimilar todo.
Manual de procesamiento de señal digital de Ken Steiglitz
Como ha realizado el trabajo de Objective-C, consulte la guía de programación AudioUnit de Apple
Por otro lado, la "gestión de activos" es un poco vaga y tiene que ver principalmente con el manejo de formatos de contenedores, códecs y transmisión. Los códecs perceptivos son la verdadera carne para estudiar aquí. Afortunadamente, no tengo mucho que ofrecer allí (parece que necesita un doctorado para comprender la mayoría de esas cosas). Pero hay muchas bibliotecas / API para hacer el trabajo:
La reproducción de audio inteligente es otra cosa divertida. Esto no es terriblemente matemático como lo es DSP, y lo que terminas haciendo muchas veces es lidiar con el manejo de la voz y las pistas de música. No hay tanto conocimiento técnico específico, se trata más del diseño y de la creación de herramientas y sistemas de reproducción para respaldar ese diseño.
... Comentario inmortal de Brian Schmidt "Cualquiera que todavía piense que hay una relación 1: 1 entre un sonido y un archivo WAV simplemente no lo entiende".
Descargue Wwise y simplemente comience a leer sus documentos tanto para las herramientas de creación como para la API. Haga lo mismo para FMOD Designer y FMOD Studio . Estos le dan una idea de las herramientas de "nivel superior" que los diseñadores de sonido de juegos usan para implementar contenido.
Otra buena para ver es Fabric . Básicamente, la canalización de audio de Unity apesta, y este complemento intenta mejorarlo. Puede obtener una versión de evaluación gratis.
Como músico, imagine la interfaz ideal con la que desea describir la música del juego interactivo y los efectos de sonido, eso es lo que estas herramientas pretenden proporcionar. Si está familiarizado con lo que ya existe y cómo es compatible con los diseñadores y compositores de sonido, puede comenzar a pensar en sus propias soluciones sobre cómo hacer las cosas mejor.
Otros recursos:
Peter "pdx" Drescher escribió un artículo impresionante sobre la implementación de la API del diseñador FMOD en Android con JNI.
IASIG e iXMF , el estándar de especificación de música interactiva aún sin terminar con algunas ideas interesantes.
Relevancia de audio del juego Diversos fragmentos de diseño de sonido del juego y programación de audio
The Game Audio Tutorial Un libro destinado a enseñar a los diseñadores de sonido a implementar el sonido en UDK mientras enseña los principios del diseño de sonido del juego. Mucho de esto se trata de luchar contra el audio de UDK y Kismet, pero una vez más es útil ver las cosas desde el lado no programador.
http://www.procedural-audio.com/ <- Enlace autoexplicativo