Preguntas etiquetadas con linear-algebra

Últimamente me he dado cuenta de que muchas personas están desarrollando equivalentes de tensor de muchos métodos (factorización de tensor, núcleos de tensor, tensores para modelar temas, etc.) Me pregunto, ¿por qué el mundo de repente está fascinado con los tensores? ¿Hay documentos recientes / resultados estándar que sean particularmente …

171 machine-learning  references  matrix  linear-algebra  tensor 

He estado trabajando en R por un tiempo y me he enfrentado a cosas como PCA, SVD, descomposiciones QR y muchos resultados de álgebra lineal (al inspeccionar estimaciones de regresiones ponderadas y demás), así que quería saber si alguien tiene una recomendación sobre un buen libro completo de álgebra lineal …

54 references  matrix  linear-algebra  weighted-regression 

He leído mucho sobre PCA, incluidos varios tutoriales y preguntas (como este , este , este y este ). El problema geométrico que PCA está tratando de optimizar es claro para mí: PCA trata de encontrar el primer componente principal minimizando el error de reconstrucción (proyección), que maximiza simultáneamente la …

54 pca  optimization  linear-algebra  intuition 

He leído sobre la descomposición de valores singulares (SVD). En casi todos los libros de texto se menciona que factoriza la matriz en tres matrices con especificación dada. Pero, ¿cuál es la intuición detrás de dividir la matriz en tal forma? PCA y otros algoritmos para la reducción de dimensionalidad …

50 matrix  linear-algebra  svd  intuition 

Supongo que la respuesta debería ser sí, pero aún siento que algo no está bien. Debería haber algunos resultados generales en la literatura, ¿alguien podría ayudarme?

48 covariance  matrix  covariance-matrix  linear-algebra 

Escuché que se pueden encontrar correlaciones parciales entre variables aleatorias invirtiendo la matriz de covarianza y tomando celdas apropiadas de dicha matriz de precisión resultante (este hecho se menciona en http://en.wikipedia.org/wiki/Partial_correlation , pero sin una prueba) . ¿Por qué es este el caso?

32 covariance  covariance-matrix  linear-algebra  partial-correlation  matrix-inverse 

Digamos que tengo una distribución gaussiana multivariada -dimensional. Y tomo observaciones (cada uno de ellos un -vector) de esta distribución y calcular la matriz de covarianza de la muestra . En este artículo , los autores afirman que la matriz de covarianza muestral calculada con es singular.n p S p …

30 covariance-matrix  linear-algebra 

Estoy estudiando PCA del curso Coursera de Andrew Ng y otros materiales. En el curso de Stanford NLP, la primera asignación de cs224n , y en el video de la conferencia de Andrew Ng , hacen una descomposición de valores singulares en lugar de la descomposición de vectores propios de …

29 pca  linear-algebra  svd  eigenvalues  numerics 

Si xx\mathbf{x} e yy\mathbf{y} son dos vectores unitarios aleatorios independientes en RDRD\mathbb{R}^D (distribuidos uniformemente en una esfera unitaria), ¿cuál es la distribución de su producto escalar (producto de puntos) x⋅yx⋅y\mathbf x \cdot \mathbf y ? DDDlimD→∞σ2(D)→0,limD→∞σ2(D)→0,\lim_{D\to\infty}\sigma^2(D) \to 0,σ2(D)σ2(D)\sigma^2(D) Actualizar Ejecuté algunas simulaciones rápidas. Primero, al generar 10000 pares de vectores …

27 mathematical-statistics  linear-algebra  beta-distribution 

Observo un comportamiento muy extraño en el resultado SVD de datos aleatorios, que puedo reproducir tanto en Matlab como en R. Parece un problema numérico en la biblioteca LAPACK; ¿Lo es? Extraigo muestras de la Gaussiana dimensional con media cero y covarianza de identidad: . Les reunir en un datos …

21 pca  svd  linear-algebra  numerics 

Sé la definición de matriz simétrica positiva definida (SPD), pero quiero entender más. ¿Por qué son tan importantes, intuitivamente? Aquí está lo que sé. ¿Qué más? Para un dato dado, la matriz de covarianza es SPD. La matriz de covarianza es una métrica importante; consulte esta excelente publicación para obtener …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

Estoy tratando de obtener una comprensión intuitiva de cómo funciona el análisis de componentes principales (PCA) en el espacio sujeto (dual) . Considere el conjunto de datos 2D con dos variables, y , puntos de datos (matriz de datos es y se supone que está centrado). La presentación habitual de …

19 pca  linear-algebra  intuition  geometry 

Quiero transformar mis datos modo que las variaciones sean una y las covarianzas sean cero (es decir, quiero blanquear los datos). Además, los medios deben ser cero.XX\mathbf X Sé que llegaré allí haciendo la estandarización Z y la transformación PCA, pero ¿en qué orden debo hacerlo? Debo agregar que la …

18 pca  linear-algebra 

Deje . La matriz de información de Fisher se define como:θ ∈ Rnorteθ∈Rnorte\theta \in R^{n} yo( θ )i , j= - E[ ∂2Iniciar sesión( f( XEl | θ))∂θyo∂θj∣∣∣θ ]yo(θ)yo,j=-mi[∂2Iniciar sesión⁡(F(XEl |θ))∂θyo∂θjEl |θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] ¿Cómo puedo demostrar que la matriz de información de Fisher es semidefinida …

18 inference  linear-algebra  fisher-information 

Esta es una pregunta muy simple, pero no puedo encontrar la derivación en ningún lugar de Internet o en un libro. Me gustaría ver la derivación de cómo un Bayesiano actualiza una distribución normal multivariada. Por ejemplo: imagina que P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, …

18 bayesian  normal-distribution  matrix  posterior  linear-algebra