Preguntas etiquetadas con optimization

En el libro de Nocedal & Wright sobre optimización numérica, hay una declaración en la sección 2.2 (página 27): "En términos generales, es más fácil preservar la invariancia de escala para los algoritmos de búsqueda de línea que para los algoritmos de región de confianza". En esa misma sección, hablan …

11 linear-algebra  optimization  numerical-analysis 

Estoy tratando de entender cómo funciona el método de optimización basado en adjuntos para una optimización restringida PDE. Particularmente, estoy tratando de entender por qué el método adjunto es más eficiente para problemas donde el número de variables de diseño es grande, pero el "número de ecuaciones es pequeño". Lo …

11 optimization  pde 

Dada una función desconocida , podemos evaluar su valor en cualquier punto de su dominio, pero no tenemos su expresión. En otras palabras, f es como una caja negra para nosotros.f:Rd→Rf:Rd→Rf:\mathbb R^d \to \mathbb Rfff ¿Cuál es el nombre del problema de encontrar el minimizador de ? ¿Cuáles son algunos …

11 optimization 

Estoy resolviendo para una enorme matriz definida positiva escasa A usando el método de gradiente conjugado (CG). ¿Es posible calcular el determinante de A utilizando la información producida durante la resolución?A x = bAx=bAx=bUNAAAUNAAA

11 linear-algebra  optimization  krylov-method  conjugate-gradient 

Dado el sistema donde A ∈ R n × n , leí que, en caso de que la iteración de Jacobi se use como solucionador, el método no convergerá si b tiene un componente distinto de cero en el espacio nulo de A . Entonces, ¿cómo podría uno declarar formalmente …

11 linear-algebra  optimization  matrix  iterative-method  linear-solver 

¿Existe una forma más rápida de calcular errores estándar para problemas de regresión lineal, que invirtiendo ? Aquí supongo que tenemos regresión:X′XX′XX'X y=Xβ+ε,y=Xβ+ε,y=X\beta+\varepsilon, donde es n × k matriz e y es n × 1 vector.XXXn×kn×kn\times kyyyn×1n×1n\times 1 Para encontrar la solución del problema de mínimos cuadrados no es práctico …

11 linear-algebra  optimization 

Para un proyecto, tengo que implementar estos dos métodos y comparar cómo funcionan en diferentes funciones. Parece que el método de gradiente conjugado está destinado a resolver sistemas de ecuaciones lineales de Ax=bAx=b A\mathbf{x} = \mathbf{b} Donde es una matriz n-por-n que es simétrica, positiva definida y real.AAA Por otro …

11 optimization  conjugate-gradient 

Tengo un conjunto de datos que está cambiando lentamente, y necesito hacer un seguimiento de los vectores propios / valores propios de su matriz de covarianza. He estado usando scipy.linalg.eigh, pero es demasiado costoso, y no usa el hecho de que ya tengo una descomposición que es solo un poco …

10 linear-algebra  optimization  python  eigenvalues 

A menudo encuentro el adagio general de que los métodos de puntos interiores son difíciles de iniciar. ¿Hay una explicación intuitiva detrás de este consejo? ¿Hay situaciones en las que uno puede esperar beneficios del arranque en caliente en un método de punto interior? ¿Alguien puede recomendar algunas referencias útiles …

10 optimization  constrained-optimization 

El problema es maxf(x) subject to Ax=bmaxf(x) subject to Ax=b\max f(\mathbf{x}) \text{ subject to } \mathbf{Ax} = \mathbf{b} donde f(x)=∑Ni=11+x4i(∑Ni=1x2i)2−−−−−−−−−−√f(x)=∑i=1N1+xi4(∑i=1Nxi2)2f(\mathbf{x}) = \sum_{i=1}^N\sqrt{1+\frac{x_i^4}{(\sum_{i=1}^{N}x_i^2)^2}} , x=[x1,x2,...,xN]T∈RN×1x=[x1,x2,...,xN]T∈RN×1\mathbf{x} = [x_1,x_2,...,x_N]^T \in \mathbb{R}^{N\times 1} y A∈RM×NA∈RM×N\mathbf{A} \in \mathbb{R}^{M\times N} Podemos ver que f(.)f(.)f(.) Tiene la forma de 1+y2−−−−−√1+y2\sqrt{1+y^2} y es una función convexa. También se …

10 optimization 

Tengo un problema de optimización que se parece al siguiente minJ,Bs.t.∑ij|Jij|MJ+BY=XminJ,B∑ij|Jij|s.t.MJ+BY=X \begin{array}{rl} \min_{J,B} & \sum_{ij} |J_{ij}|\\ \textrm{s.t.} & MJ + BY =X \end{array} Aquí, mis variables son matrices JJJ y BBB , pero todo el problema sigue siendo un programa lineal; Las variables restantes son fijas. Cuando intento ingresar a …

10 optimization  convex-optimization  linear-programming 

Estoy interesado en maximizar una función , donde .F( θ )f(θ)f(\mathbf \theta)θ ∈ Rpagθ∈Rp\theta \in \mathbb R^p El problema es que no conozco la forma analítica de la función o de sus derivados. Lo único que puedo hacer es evaluar la función de manera puntual, conectando un valor y obtener …

10 optimization  monte-carlo  simulation 

Para la optimización, de Wikipedia : En informática, la metaheurística designa un método computacional que optimiza un problema al intentar iterativamente mejorar una solución candidata con respecto a una medida de calidad dada. Las metaheurísticas hacen pocas o ninguna suposición sobre el problema que se está optimizando y pueden buscar …

10 optimization  heuristics 

Estoy tratando de escribir una implementación SVM completa en Python y tengo algunos problemas para calcular los coeficientes de Lagrange. Primero déjame reformular lo que entiendo del algoritmo para asegurarme de que estoy en el camino correcto. Si es un conjunto de datos e y i ∈ { - 1 …

10 optimization  machine-learning  support-vector-machines  quadratic-programming 

¿Cuáles son las formas recomendadas de hacer mínimos cuadrados no lineales, min , con restricciones de recuadro l o j < = p j < = h i j ? Me parece (los tontos se apresuran) que uno podría hacer que las restricciones de la caja sean cuadráticas y minimizar …

10 optimization  constraints