Estadísticas y Big Data

Estoy seguro de que he encontrado una función como esta en un paquete R antes, pero después de buscar en Google, parece que no puedo encontrarla en ningún lado. La función en la que estoy pensando produjo un resumen gráfico para una variable dada, produciendo resultados con algunos gráficos (un …

39 r  data-visualization  descriptive-statistics  eda 

En mi opinión, la divergencia KL de la distribución de la muestra a la distribución verdadera es simplemente la diferencia entre entropía cruzada y entropía. ¿Por qué utilizamos la entropía cruzada para ser la función de costo en muchos modelos de aprendizaje automático, pero utilizamos la divergencia de Kullback-Leibler en …

39 kullback-leibler  tsne  cross-entropy 

Estoy tratando de entender cuál es la similitud entre la asignación de Dirichlet latente y word2vec para calcular la similitud de palabras. Según tengo entendido, LDA asigna palabras a un vector de probabilidades de temas latentes , mientras que word2vec las asigna a un vector de números reales (relacionado con …

39 machine-learning  self-study  natural-language  latent-variable  word2vec 

He estado tratando de replicar los resultados de la opción Stata robusten R. He utilizado el rlmcomando del paquete MASS y también el comando lmrobdel paquete "robustbase". En ambos casos, los resultados son bastante diferentes de la opción "robusta" en Stata. ¿Alguien puede sugerir algo en este contexto? Aquí están …

39 r  stata  robust  robust-standard-error 

Cuando llevamos a cabo una regresión lineal para adaptarse a un grupo de puntos de datos ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) , el enfoque clásico minimiza el error …

39 least-squares  error 

Mi pregunta es si necesitamos estandarizar el conjunto de datos para asegurarnos de que todas las variables tengan la misma escala, entre [0,1], antes de ajustar la regresión logística. La formula es: Xyo- min ( xyo)max ( xyo) - min ( xyo)Xyo-min(Xyo)max(Xyo)-min(Xyo)\frac{x_i-\min(x_i)}{\max(x_i)-\min(x_i)} Mi conjunto de datos tiene 2 variables, describen …

39 regression  logistic  standardization 

¿Existen estudios empíricos que justifiquen el uso de la única regla de error estándar a favor de la parsimonia? Obviamente, depende del proceso de generación de datos de los datos, pero cualquier cosa que analice un gran conjunto de conjuntos de datos sería una lectura muy interesante. La "regla de …

39 cross-validation  model-selection  regularization 

Estoy buscando clasificar datos que, en algunos casos, el valor más grande tiene el rango de 1. Soy relativamente nuevo en R, pero no veo cómo puedo ajustar esta configuración en la función de rango. x <- c(23,45,12,67,34,89) rank(x) genera: [1] 2 4 1 5 3 6 cuando quiero que …

39 r 

He calculado AIC y AICc para comparar dos modelos lineales mixtos generales; Los AIC son positivos con el modelo 1 que tiene un AIC más bajo que el modelo 2. Sin embargo, los valores para AICc son negativos (el modelo 1 sigue siendo <modelo 2). ¿Es válido usar y comparar …

39 mixed-model  model-selection  aic 

Digamos que tengo dos distribuciones normales A y B con medias y y varianzas y . Quiero tomar una mezcla ponderada de estas dos distribuciones usando pesos y donde y . Sé que la media de esta mezcla sería .μ B σ A σ B p q 0 ≤ p …

39 normal-distribution  mixture 

¿Cuál es la diferencia entre una población y una muestra? ¿Qué variables y estadísticas comunes se utilizan para cada una y cómo se relacionan entre ellas?

38 standard-deviation  variance  sample  population 

En Una introducción al aprendizaje estadístico con aplicaciones en R , los autores escriben que ajustar un árbol de decisión es muy rápido, pero esto no tiene sentido para mí. El algoritmo tiene que pasar por cada característica y particionarlo de todas las formas posibles para encontrar la división óptima. …

38 cart 

Estoy obteniendo una precisión del 100% para mi árbol de decisiones. ¿Qué estoy haciendo mal? Este es mi código: import pandas as pd import json import numpy as np import sklearn import matplotlib.pyplot as plt data = np.loadtxt("/Users/Nadjla/Downloads/allInteractionsnum.csv", delimiter=',') x = data[0:14] y = data[-1] from sklearn.cross_validation import train_test_split x_train …

38 machine-learning  python  cart  accuracy 

Para trazar con R, ¿debería aprender ggplot2 o ggvis? No necesariamente quiero aprender ambos si uno de ellos es superior en algún aspecto. ¿Por qué la comunidad R sigue creando nuevos paquetes con funcionalidades superpuestas? La publicación del blog de introducción no menciona una palabra de por qué se crea …

38 r  data-visualization  software 

Es obvio muchas veces por qué uno prefiere un estimador imparcial. Pero, ¿hay alguna circunstancia en la que podamos preferir un estimador sesgado sobre uno imparcial?

38 bias  unbiased-estimator  estimators