Estrategia para ajustar funciones altamente no lineales

Para analizar los datos de un experimento de biofísica, actualmente estoy tratando de hacer un ajuste de curva con un modelo altamente no lineal. La función del modelo se ve básicamente como:

$y = ax + bx^{-1/2}$

Aquí, especialmente el valor de $b$ es de gran interés.

Una trama para esta función:

Diagrama de funciones

(Tenga en cuenta que la función del modelo se basa en una descripción matemática exhaustiva del sistema y parece funcionar muy bien, es solo que los ajustes automáticos son complicados).

Por supuesto, la función del modelo es problemática: las estrategias de adaptación que he probado hasta ahora fallan debido a la clara asíntota en , especialmente con datos ruidosos. $x=0$

Mi comprensión del problema aquí es que el ajuste simple de mínimos cuadrados (he jugado con regresión lineal y no lineal en MATLAB; principalmente Levenberg-Marquardt) es muy sensible a la asíntota vertical, porque los pequeños errores en x se amplifican enormemente .

¿Alguien podría señalarme una estrategia adecuada que podría solucionar esto?

Tengo algunos conocimientos básicos de estadística, pero todavía es bastante limitado. Estaría ansioso por aprender, si tan solo supiera dónde comenzar a buscar :)

¡Muchas gracias por tu consejo!

Editar Perdón por olvidarse de mencionar los errores. El único ruido significativo está en , y es aditivo. $x$

Edición 2 Alguna información adicional sobre los antecedentes de esta pregunta. El gráfico anterior modela el comportamiento de estiramiento de un polímero. Como @whuber señaló en los comentarios, necesita para obtener un gráfico como el anterior. $b \approx -200 a$

En cuanto a cómo las personas han estado ajustando esta curva hasta este punto: parece que las personas generalmente cortan la asíntota vertical hasta que encuentran un buen ajuste. Sin embargo, la opción de corte sigue siendo arbitraria, lo que hace que el procedimiento de ajuste sea poco confiable e irreproducible.

Edición 3 y 4 Gráfico fijo.

curve-fitting nonlinear

— onnodb
fuente

¿Los errores vienen en

o en

o en ambos? ¿En qué forma espera que entre ruido (multiplicativo, aditivo, etc.)?

x

$x$

y

$y$

— probabilidadislogica

@onnodb: Mi preocupación es, ¿podría esto no cuestionar fundamentalmente cuán robusto es su modelo en sí? No importa qué estrategia de adaptación utilice, ¿no será

altamente sensible? ¿Alguna vez puede tener una gran confianza en tal estimación para

b

$b$

b

$b$

— curious_cat

Desafortunadamente, eso todavía no funcionará. Simplemente no hay combinación posible de

que incluso cualitativamente reproducir la gráfica que ha dibujado. (Obviamente

es negativo.

debe ser inferior a la menor pendiente en el gráfico, pero positiva, lo que lo pone en un intervalo estrecho. Pero cuando

está en ese intervalo, simplemente no es lo suficientemente grande como para superar la enorme pico negativo a el origen introducida por la

plazo.) ¿Qué has dibujado? ¿Datos? Alguna otra funcion?

a

$a$

b

$b$

b

$b$

a

$a$

a

$a$

b x^{1 / 2}

$b x^{1/2}$

— whuber

Gracias, pero todavía está mal. Extensión de la tangente a este gráfico hacia atrás desde cualquier punto

, donde

, se le interceptar el eje y en

. Debido a que el pico descendente en

muestra

(x, a x + b x^{1 / 2})

$(x,ax+bx^{1/2})$

x > 0

$x\gt 0$

(0, 3 b / (2 x^{1 / 2}))

$(0,3b/(2x^{1/2}))$

0

$0$

b

$b$ es negativo, esta intersección en y también tiene que ser negativa. Pero en su figura, está muy claro que la mayoría de estas intercepciones son positivas, extendiéndose hasta

. Por lo tanto es matemáticamente imposible que una ecuación como puede describir su curva , ni siquiera aproximadamente. Como mínimo que necesita para adaptarse a algo así como

15.5

$15.5$ $y=ax + bx^{1/2}$

y = a x + b x^{1 / 2} + c

$y=ax+bx^{1/2}+c$

— whuber

Antes de trabajar en esto, quería asegurarme de la declaración de la pregunta: por eso es importante hacer que la función sea correcta. No tengo tiempo para dar una respuesta completa ahora, pero me gustaría comentar que "otras personas" pueden estar equivocadas, pero depende de aún más detalles, por desgracia. Si su error

es realmente aditivo, me parece que todavía debe ser fuertemente heterocedástico, ya que de lo contrario su varianza a valores pequeños de

sería realmente pequeña. ¿Qué nos puede decir, cuantitativamente, sobre ese error?

x

$x$

x

$x$

— whuber

Respuestas:

Los métodos que usaríamos para ajustar esto manualmente (es decir, de Análisis de datos exploratorios) pueden funcionar notablemente bien con dichos datos.

Deseo volver a parametrizar ligeramente el modelo para que sus parámetros sean positivos:

y = a x - b / \sqrt{x} .

$y = a x - b / \sqrt{x}.$

Para una dada , supongamos que hay una real única que satisface esta ecuación; llame a esto o, por brevedad, cuando se entiendan. $y$ $x$ $f(y; a,b)$ $f(y)$ $(a,b)$

Observamos una colección de pares ordenados donde la desvía de por variables aleatorias independientes con medias cero. En esta discusión supondré que todos tienen una variación común, pero una extensión de estos resultados (usando mínimos cuadrados ponderados) es posible, obvia y fácil de implementar. Aquí hay un ejemplo simulado de tal colección de valores, con , y una varianza común de $(x_i, y_i)$ $x_i$ $f(y_i; a,b)$ $100$ $a=0.0001$ $b=0.1$ . $\sigma^2=4$

Trama de datos

Este es un ejemplo difícil (deliberadamente), como se puede apreciar por los valores no físicos (negativos) y su distribución extraordinaria (que es típicamente unidades horizontales , pero puede variar hasta o en el eje ). Si podemos obtener un ajuste razonable a estos datos que se acerque a la estimación de , y utilizados, lo haremos bien. $x$ $\pm 2$ $5$ $6$ $x$ $a$ $b$ $\sigma^2$

Un ajuste exploratorio es iterativo. Cada etapa consta de dos pasos: estimar (basado en los datos y anteriores estimaciones y de y , a partir del cual los valores predichos anteriores se pueden obtener para la ) y luego estimar . Debido a que los errores están en x , los ajustes estiman el desde , en lugar de al revés. Al primer orden en los errores en , cuando $a$ $\hat{a}$ $\hat{b}$ $a$ $b$ $\hat{x}_i$ $x_i$ $b$ $x_i$ $(y_i)$ $x$ $x$ es suficientemente grande

x_{i} \approx \frac{1}{a} (y_{i} + \frac{\hat{b}}{\sqrt{{\hat{x}}_{i}}}) .

$x_i \approx \frac{1}{a}\left(y_i + \frac{\hat{b}}{\sqrt{\hat{x}_i}}\right).$

Por lo tanto, es posible actualizar encajando con este modelo de mínimos cuadrados (aviso de que tiene sólo un parámetro - una pendiente, --y sin intercepción) y tomando el recíproco del coeficiente como la estimación actualizada de . $\hat{a}$ $a$ $a$

Luego, cuando es suficientemente pequeño, el término cuadrático inverso domina y encontramos (nuevamente al primer orden en los errores) que $x$

x_{i} \approx b^{2} \frac{1 - 2 \hat{a} \hat{b} {\hat{x}}^{3 / 2}}{y_{i}^{2}} .

$x_i \approx b^2\frac{1 - 2 \hat{a} \hat{b} \hat{x}^{3/2}}{y_i^2}.$

Una vez más el uso de los mínimos cuadrados (con sólo un término de pendiente ) obtenemos una estimación actualizada a través de la raíz cuadrada de la pendiente equipada. $b$ $\hat{b}$

Para ver por qué esto funciona, se puede obtener una aproximación exploratoria cruda a este ajuste trazando $x_i$ $1/y_i^2$ $x_i$ $x_i$ $y_i$ $x_i$ $1/y_i^2$ $y_i$ en rojo, la mitad más pequeña en azul, y una línea a través del origen se ajusta a los puntos rojos.

Figura

$x$ $y$ $x$ $b$ $0.096$ $4$

En este punto, los valores pronosticados se pueden actualizar a través de

{\hat{x}}_{i} = f (y_{i}; \hat{a}, \hat{b}) .

$\hat{x}_i = f(y_i; \hat{a}, \hat{b}).$

Itere hasta que las estimaciones se estabilicen (lo cual no está garantizado) o pasen por pequeños rangos de valores (que aún no se pueden garantizar).

$a$ $x$ $b$ $\hat{a} = 0.000196$ $0.0001$ $\hat{b} = 0.1073$ $0.1$ ) Este gráfico muestra los datos una vez más, sobre los cuales se superponen (a) la curva verdadera en gris (discontinua) y (b) la curva estimada en rojo (sólido):

Encaja

$3.73$ $4$

Hay algunos problemas con este enfoque:

Las estimaciones son sesgadas. El sesgo se hace evidente cuando el conjunto de datos es pequeño y relativamente pocos valores están cerca del eje x. El ajuste es sistemáticamente un poco bajo.
$y_i$ $y_i$
$a$ $b$

Código

Lo siguiente está escrito en Mathematica .

estimate[{a_, b_, xHat_}, {x_, y_}] := 
  Module[{n = Length[x], k0, k1, yLarge, xLarge, xHatLarge, ySmall, 
    xSmall, xHatSmall, a1, b1, xHat1, u, fr},
   fr[y_, {a_, b_}] := Root[-b^2 + y^2 #1 - 2 a y #1^2 + a^2 #1^3 &, 1];
   k0 = Floor[1 n/3]; k1 = Ceiling[2 n/3];(* The tuning constants *)
   yLarge = y[[k1 + 1 ;;]]; xLarge = x[[k1 + 1 ;;]]; xHatLarge = xHat[[k1 + 1 ;;]];
   ySmall = y[[;; k0]]; xSmall = x[[;; k0]]; xHatSmall = xHat[[;; k0]];
   a1 = 1/
     Last[LinearModelFit[{yLarge + b/Sqrt[xHatLarge], 
          xLarge}\[Transpose], u, u]["BestFitParameters"]];
   b1 = Sqrt[
     Last[LinearModelFit[{(1 - 2 a1 b  xHatSmall^(3/2)) / ySmall^2, 
          xSmall}\[Transpose], u, u]["BestFitParameters"]]];
   xHat1 = fr[#, {a1, b1}] & /@ y;
   {a1, b1, xHat1}
   ];

xydata = {x,y} $a=b=0$

{a, b, xHat} = NestWhile[estimate[##, data] &, {0, 0, data[[1]]}, 
                Norm[Most[#1] - Most[#2]] >= 0.001 &,  2, 100]

— whuber
fuente

Esta es una respuesta asombrosa; Estoy muy obligado! He estado jugando con esto, y los resultados parecen muy prometedores. Sin embargo, necesitaré un poco más de tiempo para comprender completamente el razonamiento :) Además: ¿podría contactarlo a través de su sitio web para una pregunta adicional (privada) sobre los agradecimientos?

— onnodb

Vea las preguntas importantes que @probabilityislogic publicó

$y^* = y\sqrt{x}$ $y^*$ $x^* = x^{3/2}$ $1/x$

$b$

$x$

Edite para considerar la información adicional:

$y^* = b + a x^*$

Ahora tenemos que los errores están en x y aditivos. Todavía no sabemos si la varianza es constante en esa escala.

$x^* = y^*/a - b/a = m y^* + c$

$x_o^* = x^* + \eta$ $x$

$o$ $x_o^*$

$x^*_o = c + m y^* + \epsilon$ $\epsilon = -\zeta$ $x$ $y$

¡No estoy seguro de que eso mejore las cosas! Creo que hay métodos para ese tipo de cosas, pero en realidad no es mi área en absoluto.

Mencioné en los comentarios que le gustaría ver la regresión inversa, pero la forma particular de su función puede impedir llegar lejos con eso.

Incluso podría estar atrapado con probar métodos bastante robustos para errores en x en esa forma lineal.

$y$

$x$

— Glen_b -Reinstate a Monica
fuente

x

$x$

" a pesar de que los errores están en x " - yikes, eso es algo importante. Es posible que desee verificar la regresión inversa.

— Glen_b -Reinstalar a Monica

x = \frac{1}{3} (\frac{2 y}{a} + \frac{2^{1 / 3} y^{2}}{{(27 a^{4} b^{2} - 2 a^{3} y^{3} + 3 \sqrt{3} \sqrt{27 a^{8} b^{4} - 4 a^{7} b^{2} y^{3}})}^{1 / 3}} + \frac{{(27 a^{4} b^{2} - 2 a^{3} y^{3} + 3 \sqrt{3} \sqrt{27 a^{8} b^{4} - 4 a^{7} b^{2} y^{3}})}^{1 / 3}}{2^{1 / 3} a^{2}})

$x = \frac{1}{3} \left(\frac{2 y}{a}+\frac{2^{1/3} y^2}{\left(27 a^4 b^2-2 a^3 y^3+3 \sqrt{3} \sqrt{27 a^8 b^4-4 a^7 b^2 y^3}\right)^{1/3}}+\frac{\left(27 a^4 b^2-2 a^3 y^3+3 \sqrt{3} \sqrt{27 a^8 b^4-4 a^7 b^2 y^3}\right)^{1/3}}{2^{1/3} a^2}\right)$

x_{o}

$x_o$

x_{o}

$x_o$

x + ζ

$x + \zeta$

x = (t h a t m o n s t e r) + ϵ

$x = (\rm{that\,\, monster}) + \epsilon\,$

ϵ = - ζ

$\epsilon = -\zeta$

x (y)

$x(y)$

y

$y$

b

$b$

Después de algunas semanas más de experimentación, una técnica diferente parece funcionar mejor en este caso particular: ajuste de mínimos cuadrados totales . Es una variante del ajuste de mínimos cuadrados habitual (no lineal), pero en lugar de medir los errores de ajuste a lo largo de solo uno de los ejes (que causa problemas en casos altamente no lineales como este), tiene en cuenta ambos ejes.

Hay una gran cantidad de artículos, tutoriales y libros disponibles sobre el tema, aunque el caso no lineal es más difícil de alcanzar. Incluso hay algo de código MATLAB disponible.

— onnodb
fuente

y

$y$

y

$y$

@whuber Gracias por expresar tus preocupaciones! En este momento, todavía estoy trabajando en ejecutar simulaciones para probar la confiabilidad de la adaptación TLS para este problema. Sin embargo, lo que he visto hasta ahora es que la consideración de TLS de ambas variables ayuda en gran medida a superar la alta no linealidad del modelo. Los ajustes de datos simulados son confiables y convergen muy bien. Sin embargo, se necesita más trabajo, y definitivamente tendré que apilar su método hasta este, una vez que tengamos más datos reales disponibles --- y analizar en detalle sus inquietudes.

— onnodb

OK, ¡no olvide que tengo preocupaciones comparables sobre el método que propuse!

— whuber