Preguntas etiquetadas con normalization

Necesito generar matrices aleatorias no cuadradas con filas y columnas , elementos distribuidos aleatoriamente con media = 0, y restringidos de modo que la longitud (norma L2) de cada fila sea y la longitud de cada columna sea . De manera equivalente, la suma de los valores cuadrados es 1 …

25 random-generation  normalization  markov-process  random-matrix 

Estoy escribiendo un algoritmo donde, dado un modelo, calculo las probabilidades para una lista de conjuntos de datos y luego necesito normalizar (a la probabilidad) cada una de las probabilidades. Por lo tanto, algo como [0.00043, 0.00004, 0.00321] podría convertirse como [0.2, 0.03, 0.77]. Mi problema es que las probabilidades …

21 probability  normalization  likelihood  c++  arithmetic 

Aparentemente, en la agrupación jerárquica en la que la medida de la distancia es la distancia euclidiana, los datos primero deben normalizarse o estandarizarse para evitar que la covariable con la mayor varianza impulse la agrupación. ¿Por qué es esto? ¿No es deseable este hecho?

19 clustering  normalization 

Algunas de las características de mis datos tienen valores grandes, mientras que otras tienen valores mucho más pequeños. ¿Es necesario centrar + escalar datos antes de aplicar t-SNE para evitar sesgos hacia los valores más grandes? Uso la implementación sklearn.manifold.TSNE de Python con la métrica de distancia euclidiana predeterminada.

18 normalization  dimensionality-reduction  high-dimensional  tsne 

Tengo una pregunta en la que pide verificar si la distribución Uniforme ( Uniform(a,b)Uniform(a,b){\rm Uniform}(a,b) ) está normalizada. Por un lado, ¿qué significa que cualquier distribución se normalice? Y dos, ¿cómo hacemos para verificar si una distribución está normalizada o no? Entiendo computando X−meansdX−meansd \frac{X-\text{mean}}{\text{sd}} obtenemosdatosnormalizados, pero aquí se solicita …

18 data-transformation  terminology  normalization  standardization 

Supongamos que tenemos variables medibles, , hacemos un número de mediciones y luego deseamos realizar una descomposición de valores singulares en los resultados para encontrar los ejes de mayor varianza para los puntos en el espacio -dimensional. ( Nota: suponga que las medias de ya se han restado, por lo …

17 pca  data-transformation  normalization  dimensionality-reduction  svd 

¿La normalización de datos (para tener una media de desviación estándar de unidad y cero) antes de realizar una validación cruzada repetida de k veces tiene alguna consecuencia negativa como el sobreajuste? Nota: esto es para una situación donde #cases> total #características Estoy transformando algunos de mis datos usando una …

16 cross-validation  normalization 

En los estudios de expresión génica que utilizan microarrays, los datos de intensidad deben normalizarse para poder comparar las intensidades entre individuos, entre genes. Conceptualmente y algorítmicamente, ¿cómo funciona la "normalización de cuantiles" y cómo se lo explicaría a un no estadístico?

15 genetics  normalization  microarray 

Digamos que tengo un clasificador de regresión logística. En el aprendizaje por lotes normal, tendría un término regularizador para evitar el sobreajuste y mantener mis pesos pequeños. También normalizaría y escalaría mis características. En un entorno de aprendizaje en línea, obtengo un flujo continuo de datos. Hago una actualización de …

15 machine-learning  normalization  regularization  online 

Estoy tomando el curso de aprendizaje automático de Andrew Ng y no pude obtener la respuesta correcta a esta pregunta después de varios intentos. Amablemente ayuda a resolver esto, aunque he pasado por el nivel. Supongamos que estudiantes han tomado alguna clase, y la clase tuvo un examen parcial y …

14 machine-learning  self-study  normalization 

Estoy usando un script Es para registros centrales. Tengo un marco de datos que muestra las diferentes composiciones elementales en las columnas en una profundidad determinada (en la primera columna). Quiero realizar un PCA con él y estoy confundido sobre el método de estandarización que tengo que elegir. ¿Alguno de …

13 r  pca  normalization  compositional-data 

Estoy tratando de encontrar la distribución característica más apropiada de datos de mediciones repetidas de cierto tipo. Esencialmente, en mi rama de la geología, a menudo usamos datación radiométrica de minerales de muestras (trozos de roca) para averiguar cuánto tiempo hace que ocurrió un evento (la roca se enfrió por …

12 distributions  normal-distribution  normalization  histogram 

Tengo un conjunto de datos muy grande y faltan alrededor del 5% de valores aleatorios. Estas variables están correlacionadas entre sí. El siguiente conjunto de datos R de ejemplo es solo un ejemplo de juguete con datos correlacionados ficticios. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Estoy trabajando en un algoritmo que toma un vector del punto de datos más reciente de una serie de flujos de sensores y compara la distancia euclidiana con los vectores anteriores. El problema es que los diferentes flujos de datos provienen de sensores completamente diferentes, por lo que tomar una …

12 time-series  normalization  real-time 

Para un conjunto dado de datos, la dispersión a menudo se calcula como la desviación estándar o como el IQR (rango intercuartil). Mientras que a standard deviationestá normalizado (puntajes z, etc.) y, por lo tanto, puede usarse para comparar la propagación de dos poblaciones diferentes, este no es el caso …

12 nonparametric  mathematical-statistics  standard-deviation  descriptive-statistics  normalization