Preguntas etiquetadas con large-data

Si tengo datos positivos muy sesgados, a menudo tomo registros. Pero, ¿qué debo hacer con datos no negativos muy sesgados que incluyen ceros? He visto dos transformaciones utilizadas: log(x+1)log⁡(x+1)\log(x+1) que tiene la característica ordenada que 0 se asigna a 0. log(x+c)log⁡(x+c)\log(x+c) donde c se estima o se establece como un …

191 data-transformation  large-data 

En un artículo reciente de Amstat News , los autores (Mark van der Laan y Sherri Rose) declararon que "Sabemos que para tamaños de muestra lo suficientemente grandes, cada estudio, incluidos aquellos en los que la hipótesis nula de ningún efecto es verdadera, declarará un efecto estadísticamente significativo ". Bueno, …

129 hypothesis-testing  sample-size  dataset  large-data 

Muchos trabajos estadísticos requieren experiencia con datos a gran escala. ¿Cuáles son los tipos de habilidades estadísticas y computacionales que serían necesarias para trabajar con grandes conjuntos de datos? Por ejemplo, ¿qué tal construir modelos de regresión dado un conjunto de datos con 10 millones de muestras?

107 regression  machine-learning  multivariate-analysis  large-data 

Espero que el título se explique por sí mismo. En Kaggle, la mayoría de los ganadores usan el apilamiento con a veces cientos de modelos base, para exprimir un porcentaje adicional de MSE, precisión ... En general, según su experiencia, cuán importante es el modelado sofisticado, como el apilamiento frente …

56 large-data  stacking  collecting-data  kaggle 

¿O más, "será"? Big Data hace que las estadísticas y el conocimiento relevante sean aún más importantes, pero parece minimizar la teoría de muestreo. He visto esta exageración sobre 'Big Data' y no puedo evitar preguntarme por qué "¿por qué" querría analizar todo ? ¿No había una razón para que …

54 sampling  data-mining  large-data 

Estoy buscando un buen algoritmo (es decir, cómputo mínimo, requisitos mínimos de almacenamiento) para estimar la mediana de un conjunto de datos que es demasiado grande para almacenar, de modo que cada valor solo se pueda leer una vez (a menos que almacene explícitamente ese valor). No hay límites en …

48 algorithms  median  large-data 

En varias ocasiones me han hecho la pregunta: ¿Qué es Big-Data? Tanto por los estudiantes como por mis familiares que están recogiendo el rumor sobre las estadísticas y el aprendizaje automático. Encontré esta publicación de CV . Y siento que estoy de acuerdo con la única respuesta allí. La página …

44 large-data 

"Big data" está en todas partes en los medios. Todos dicen que "big data" es lo más importante para 2012, por ejemplo, la encuesta de KDNuggets sobre temas candentes para 2012 . Sin embargo, tengo profundas preocupaciones aquí. Con Big Data, todo el mundo parece estar feliz de sacar algo …

40 data-mining  dataset  large-data  validation 

Hoy, en el Cross Validated Journal Club (¿por qué no estabas allí?), @Mbq preguntó: ¿Crees que nosotros (los científicos de datos modernos) sabemos lo que significa? ¿Y cómo se relaciona con nuestra confianza en nuestros resultados? @Michelle respondió como algunos (incluido yo) suelen hacer: El concepto de significación (basado en …

37 hypothesis-testing  p-value  large-data 

¿Cuáles son los conjuntos de datos disponibles gratuitamente para la clasificación con más de 1000 características (o puntos de muestra si contiene curvas)? Ya existe un wiki comunitario sobre conjuntos de datos gratuitos: ubicación de muestras de datos disponibles gratuitamente Pero aquí, sería bueno tener una lista más enfocada que …

35 machine-learning  classification  dataset  large-data 

Estoy tratando de usar scikit-learn para la regresión polinómica. Por lo que leí, la regresión polinómica es un caso especial de regresión lineal. Esperaba que tal vez uno de los modelos lineales generalizados de scikit pueda parametrizarse para ajustarse a polinomios de orden superior, pero no veo ninguna opción para …

29 regression  machine-learning  large-data  polynomial  scikit-learn 

Actualmente tengo que analizar aproximadamente 20 millones de registros y construir modelos de predicción. Hasta ahora he probado Statistica, SPSS, RapidMiner y R. Entre estos, Statistica parece ser el más adecuado para tratar la minería de datos y la interfaz de usuario de RapidMiner también es muy útil, pero parece …

27 large-data  software  data-mining 

Últimamente he estado trabajando con grandes conjuntos de datos y encontré muchos documentos sobre métodos de transmisión. Para nombrar unos pocos: Follow-the-Regularized-Leader and Mirror Descent: Equivalence Theorems and L1 Regularization ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf ) Aprendizaje continuo: SVM de un solo paso ( http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf ) Pegasos: Primal Estimado sub-GrAdient SOlver para SVM …

25 machine-learning  references  large-data  online 

Tengo dos variables: Nombre del medicamento (DN) y los eventos adversos (AE) correspondientes, que están en una relación de muchos a muchos. Hay 33,556 nombres de medicamentos y 9,516 eventos adversos. El tamaño de la muestra es de aproximadamente 5,8 millones de observaciones. Quiero estudiar y comprender la asociación / …

24 r  categorical-data  data-visualization  large-data  association-measure 

Suponga que está analizando un gran conjunto de datos con miles de millones de observaciones por día, donde cada observación tiene un par de miles de variables numéricas y categoriales dispersas y posiblemente redundantes. Digamos que hay un problema de regresión, un problema de clasificación binaria desequilibrada y una tarea …

21 r  machine-learning  data-mining  large-data