Estadísticas y Big Data

En el aprendizaje estadístico, implícita o explícitamente, siempre se supone que el conjunto de entrenamiento D={X,y}D={X,y}\mathcal{D} = \{ \bf {X}, \bf{y} \} está compuesto de NNN tuplas de entrada / respuesta (Xi,yi)(Xi,yi)({\bf{X}}_i,y_i) que se extraen independientemente de la misma distribución conjunta P(X,y)P(X,y)\mathbb{P}({\bf{X}},y) con p(X,y)=p(y|X)p(X)p(X,y)=p(y|X)p(X) p({\bf{X}},y) = p( y \vert {\bf{X}}) …

54 machine-learning  cross-validation  non-independent  iid 

¿Existe una transformación similar a Box-Cox para variables independientes? Es decir, ¿una transformación que optimice la variable para que se ajuste más razonablemente a un modelo lineal?Xxxy~f(x) Si es así, ¿hay una función para realizar esto R?

53 r  regression  data-transformation  normality-assumption 

Lo siento si esto parece demasiado básico, pero supongo que solo estoy buscando confirmar la comprensión aquí. Tengo la sensación de que tendría que hacer esto en dos pasos, y he comenzado a tratar de asimilar las matrices de correlación, pero está empezando a parecer realmente complicado. Estoy buscando una …

53 probability  correlation  conditional-probability  random-generation 

EDITAR: La vista de tareas CRAN de Servicios y tecnologías web contiene una lista mucho más completa de fuentes de datos y API disponibles en R. Puede enviar una solicitud de extracción en github si desea agregar un paquete a la vista de tareas. Estoy haciendo una lista de los …

53 r  references  dataset 

Estoy considerando usar bibliotecas de Python para hacer mis experimentos de Machine Learning. Hasta ahora, había estado confiando en WEKA, pero en general he estado bastante insatisfecho. Esto se debe principalmente a que he encontrado que WEKA no está tan bien respaldado (muy pocos ejemplos, la documentación es escasa y …

53 machine-learning  python 

Estoy analizando algunos datos en los que me gustaría realizar una regresión lineal ordinaria, sin embargo, esto no es posible ya que estoy tratando con una configuración en línea con un flujo continuo de datos de entrada (que rápidamente será demasiado grande para la memoria) y necesito para actualizar las …

53 time-series  regression  algorithms  real-time 

Imagine el siguiente diseño común: 100 participantes son asignados aleatoriamente a un grupo de tratamiento o control la variable dependiente es numérica y medida antes y después del tratamiento Tres opciones obvias para analizar tales datos son: Probar el efecto de interacción grupal por tiempo en ANOVA mixto Realice un …

53 anova  ancova  clinical-trials  change-scores 

Quiero medir la entropía / densidad de información / similitud de patrón de una matriz binaria bidimensional. Déjame mostrarte algunas fotos para aclarar: Esta pantalla debería tener una entropía bastante alta: UNA) Esto debería tener una entropía media: SI) Estas imágenes, finalmente, deberían tener una entropía cercana a cero: C) …

53 algorithms  binary-data  entropy  pattern-recognition  information 

¿Cuáles son los estadísticos más importantes y qué los hizo famosos? (Responda solo un científico por respuesta, por favor).

53 methodology  history 

Dadas todas las buenas propiedades de los modelos de espacio de estado y KF, me pregunto: ¿cuáles son las desventajas del modelado de espacio de estado y el uso del filtro de Kalman (o EKF, UKF o filtro de partículas) para la estimación? Supongamos, por ejemplo, metodologías convencionales como ARIMA, …

53 time-series  arima  kalman-filter  var 

Esta publicación es la continuación de otra publicación relacionada con un método genérico para la detección de valores atípicos en series de tiempo . Básicamente, en este punto estoy interesado en una forma sólida de descubrir la periodicidad / estacionalidad de una serie temporal genérica afectada por mucho ruido. Desde …

53 time-series  algorithms  frequency  real-time 

Entiendo cómo artificial neural network (ANN)se puede entrenar de forma supervisada usando la propagación hacia atrás para mejorar el ajuste al disminuir el error en las predicciones. He oído que un ANN se puede utilizar para el aprendizaje no supervisado, pero ¿cómo se puede hacer sin una función de costo …

53 clustering  neural-networks  unsupervised-learning  self-organizing-maps 

En la mayoría de los códigos de Tensorflow, he visto que Adam Optimizer se usa con una tasa de aprendizaje constante de 1e-4(es decir, 0,0001). El código generalmente tiene el siguiente aspecto: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

¿Qué significa tener "varianza constante" en el término de error? A mi entender, tenemos datos con una variable dependiente y una variable independiente. La varianza constante es uno de los supuestos de la regresión lineal. Me pregunto qué significa la homocedasticidad. Dado que incluso si tengo 500 filas, tendría un …

53 regression  heteroscedasticity 

Ya teníamos varias preguntas sobre datos desequilibrados al usar regresión logística , SVM , árboles de decisión , embolsado y una serie de otras preguntas similares, ¡lo que lo convierte en un tema muy popular! Desafortunadamente, cada una de las preguntas parece ser específica del algoritmo y no encontré ninguna …

53 machine-learning  classification  predictive-models  unbalanced-classes