Estoy tratando de descubrir cómo detectar la cantidad de sílabas en un corpus de grabaciones de audio. Creo que un buen proxy podría ser picos en el archivo de onda.

Esto es lo que probé con un archivo de mí hablando en inglés (mi caso de uso real está en kiswahili). La transcripción de este ejemplo de grabación es: "Este soy yo tratando de usar la función de temporizador. Estoy viendo pausas, vocalizaciones". Hay un total de 22 sílabas en este pasaje.

Archivo wav: https://www.dropbox.com/s/koqyfeaqge8t9iw/test.wav?dl=0

El seewavepaquete en R es excelente, y hay varias funciones potenciales. Lo primero es lo primero, importa el archivo wave.

library(seewave)
library(tuneR)
w <- readWave("YOURPATHHERE/test.wav")  
w
# Wave Object
# Number of Samples:      278528
# Duration (seconds):     6.32
# Samplingrate (Hertz):   44100
# Channels (Mono/Stereo): Stereo
# PCM (integer format):   TRUE
# Bit (8/16/24/32/64):    16

Lo primero que probé fue la timer()función. Una de las cosas que devuelve es la duración de cada vocalización. Esta función identifica 7 vocalizaciones, que es muy inferior a 22 sílabas. Un vistazo rápido a la trama sugiere que las vocalizaciones no son iguales a las sílabas.

t <- timer(w, threshold=2, msmooth=c(400,90), dmin=0.1)
length(t$s)
# [1] 7

También probé la función fpeaks sin establecer un umbral. Regresó 54 picos.

ms <- meanspec(w)
peaks <- fpeaks(ms)

Esto traza la amplitud por frecuencia en lugar de tiempo. Agregar un parámetro de umbral igual a 0.005 filtra el ruido y reduce el recuento a 23 picos, que es bastante cercano al número real de sílabas (22).

No estoy seguro de que este sea el mejor enfoque. El resultado será sensible al valor del parámetro de umbral, y tengo que procesar un gran lote de archivos. ¿Alguna idea mejor sobre cómo codificar esto para detectar picos que representan sílabas?

No creo que lo que sigue sea la mejor solución, pero @ eipi10 tenía una buena sugerencia para consultar esta respuesta en CrossValidated . Así que lo hice.

Un enfoque general es suavizar los datos y luego encontrar picos comparando un filtro máximo local con el suavizado.

El primer paso es crear la argmaxfunción:

argmax <- function(x, y, w=1, ...) {
  require(zoo)
  n <- length(y)
  y.smooth <- loess(y ~ x, ...)$fitted
  y.max <- rollapply(zoo(y.smooth), 2*w+1, max, align="center")
  delta <- y.max - y.smooth[-c(1:w, n+1-1:w)]
  i.max <- which(delta <= 0) + w
  list(x=x[i.max], i=i.max, y.hat=y.smooth)
}

Su valor de retorno incluye los argumentos de los máximos locales (x), que responden a la pregunta, y los índices en las matrices x e y donde ocurren esos máximos locales (i).

Hice pequeñas modificaciones a la testfunción de trazado: (a) para definir explícitamente x e y y (b) para mostrar el número de picos:

test <- function(x, y, w, span) {
  peaks <- argmax(x, y, w=w, span=span)

  plot(x, y, cex=0.75, col="Gray", main=paste("w = ", w, ", span = ", 
                                              span, ", peaks = ", 
                                              length(peaks$x), sep=""))
  lines(x, peaks$y.hat,  lwd=2) #$
  y.min <- min(y)
  sapply(peaks$i, function(i) lines(c(x[i],x[i]), c(y.min, peaks$y.hat[i]),
                                    col="Red", lty=2))
  points(x[peaks$i], peaks$y.hat[peaks$i], col="Red", pch=19, cex=1.25)
}

Al igual que el fpeaksenfoque que mencioné en mi pregunta original, este enfoque también requiere una gran cantidad de ajustes. No sabré la respuesta "correcta" (es decir, el número de sílabas / picos) que entra en esto, así que no estoy seguro de cómo definir una regla de decisión.

par(mfrow=c(3,1))
test(ms[,1], ms[,2], 2, 0.01)
test(ms[,1], ms[,2], 2, 0.045)
test(ms[,1], ms[,2], 2, 0.05)

En este punto me fpeaksparece un poco menos complicado, pero aún no es satisfactorio.

Tuve problemas similares para analizar los perfiles de electroforesis de proteínas. Los resolví aplicando algunas de las funciones del paquete msprocess R en las segundas derivadas de los perfiles (consulte https://fr.wikipedia.org/wiki/D%C3%A9pouillement_d 'une_courbe # Position_et_hauteur_du_pic). Esto se ha publicado aquí: http://onlinelibrary.wiley.com/doi/10.1111/1755-0998.12389/abstract;jsessionid=8EE0B64238728C0979FF71C576884771.f02t03

No tengo idea si una solución similar puede funcionar para usted. Buena suerte

Aquí hay una biblioteca en Python que usé antes al intentar estimar la periodicidad al encontrar picos en la función de autocorrelación.

Utiliza diferencias de primer orden / derivadas discretas para la detección de picos y admite ajustes por parámetros de umbral y distancia mínima (entre picos consecutivos). También se puede mejorar la resolución máxima utilizando la estimación de densidad gaussiana y la interpolación (ver enlace).

Funcionó bastante bien de fábrica para mí sin muchos ajustes, incluso para datos ruidosos. Darle una oportunidad.

Me gustaría sugerir una solución utilizando el changepointpaquete. El siguiente ejemplo simplista intenta identificar picos, definidos aquí como puntos de cambio al mirar un canal de los datos disponibles.

Ejemplo

Abastecimiento de datos

# Libs
library(seewave)
library(tuneR)

# Download
tmpWav <- tempfile(fileext = ".wav")
download.file(url = "https://www.dropbox.com/s/koqyfeaqge8t9iw/test.wav?dl=0",
              destfile = tmpWav)

# Read
w <- readWave(filename = tmpWav)

Preparación de datos

# Libs
require(changepoint)

# Create time series data for one channel as an example
leftTS <- ts(data = w@left)

## Preview
plot.ts(leftTS)

Gráfico generado a través de la plot.tsllamada:

Análisis de punto de cambio

El changepointpaquete proporciona varias opciones para identificar cambios / picos en los datos. El siguiente código proporciona solo un ejemplo simple de encontrar 3 picos usando el método BinSeg :

# BinSeg method (example)
leftTSpelt <- cpt.var(data = leftTS, method = "BinSeg", penalty = "BIC", Q = 3)
## Preview
plot(leftTSpelt, cpt.width = 3)

Gráfico obtenido: también es posible obtener valores:

cpts(leftTSpelt)
[1]  89582 165572 181053

Notas al margen

El ejemplo proporcionado se ocupa principalmente de ilustrar cómo se puede aplicar el análisis del punto de cambio a los datos proporcionados; Se debe tener precaución con respecto a los parámetros pasados ​​a la cp.varfunción. En el siguiente documento se ofrece una explicación detallada del paquete y las funcionalidades disponibles:

Killick, Rebecca y Eckley, Idris (2014) punto de cambio: un paquete R para el análisis del punto de cambio. Revista de software estadístico, 58 (3). pp. 1-19.

ecp

ecp, es otro que vale la pena mencionar el paquete R. Esto ecpfacilita la realización de análisis de puntos de cambio multivariados no paramétricos, que pueden ser útiles si uno quisiera identificar los puntos de cambio que ocurren a través de múltiples canales.