Estadísticas y Big Data eda

24

Reglas prácticas para las estadísticas "modernas"

Me gusta el libro de G van Belle sobre Reglas prácticas estadísticas y, en menor medida, Errores comunes en estadística (y cómo evitarlos) de Phillip I Good y James W. Hardin. Abordan las dificultades comunes al interpretar los resultados de los estudios experimentales y de observación y proporcionan recomendaciones prácticas …

85 modeling eda rule-of-thumb

6

¿Hay alguna buena razón para usar PCA en lugar de EFA? Además, ¿puede la PCA ser un sustituto del análisis factorial?

En algunas disciplinas, PCA (análisis de componentes principales) se usa sistemáticamente sin ninguna justificación, y PCA y EFA (análisis factorial exploratorio) se consideran sinónimos. Por lo tanto, recientemente utilicé PCA para analizar los resultados de un estudio de validación de escala (21 ítems en la escala Likert de 7 puntos, …

73 pca factor-analysis eda

8

¿Sucesor moderno del análisis de datos exploratorios de Tukey?

He estado leyendo el libro de Tukey "Análisis de datos exploratorios". Escrito en 1977, el libro enfatiza los métodos de papel / lápiz. ¿Existe un sucesor más "moderno" que tenga en cuenta que ahora podemos trazar instantáneamente grandes conjuntos de datos?

52 data-visualization references descriptive-statistics eda

8

Función de resumen de datos gráficos (resumen) en R

Estoy seguro de que he encontrado una función como esta en un paquete R antes, pero después de buscar en Google, parece que no puedo encontrarla en ningún lado. La función en la que estoy pensando produjo un resumen gráfico para una variable dada, produciendo resultados con algunos gráficos (un …

39 r data-visualization descriptive-statistics eda

5

¿"Exploración" de datos versus "fisgoneo" / "tortura" de datos?

Muchas veces me he encontrado con advertencias informales contra "espionaje de datos" (aquí hay un ejemplo divertido ), y creo que tengo una idea intuitiva de lo que eso significa, y por qué puede ser un problema. Por otro lado, el "análisis exploratorio de datos" parece ser un procedimiento perfectamente …

30 multiple-comparisons interpretation eda

4

¿La revista Science ha respaldado los análisis de Garden of Forking Pathes?

La idea del análisis de datos adaptativo es que modifique su plan para analizar los datos a medida que aprenda más sobre ellos. En el caso del análisis exploratorio de datos (EDA), generalmente es una buena idea (a menudo busca patrones imprevistos en los datos), pero para un estudio confirmatorio, …

29 hypothesis-testing overfitting eda out-of-sample differential-privacy

2

¿Cómo hacer frente al análisis de datos exploratorios y al dragado de datos en estudios de muestras pequeñas?

El análisis de datos exploratorios (EDA) a menudo conduce a explorar otras "pistas" que no necesariamente pertenecen al conjunto inicial de hipótesis. Me enfrento a tal situación en el caso de estudios con un tamaño de muestra limitado y muchos datos recopilados a través de diferentes cuestionarios (datos sociodemográficos, escalas …

25 multiple-comparisons epidemiology small-sample eda

5

¿Es importante el análisis de datos exploratorios al realizar modelos puramente predictivos?

Al construir un modelo predictivo utilizando técnicas de aprendizaje automático, ¿cuál es el punto de hacer un análisis exploratorio de datos (EDA)? ¿Está bien saltar directamente a la generación de características y construir su (s) modelo (s)? ¿Cómo son importantes las estadísticas descriptivas utilizadas en EDA?

23 machine-learning predictive-models descriptive-statistics eda

6

Falacia del tirador de Texas en el análisis exploratorio de datos

Estaba leyendo este artículo en Nature en el que se explican algunas falacias en el contexto del análisis de datos. Noté que la falacia del tirador de Texas era particularmente difícil de evitar: La fábula del francotirador de Texas ilustra una trampa cognitiva que espera durante el análisis de datos: …

23 eda fallacy

5

¿Qué aprender después de Casella & Berger?

Soy un estudiante graduado de matemática pura con poca experiencia en matemática aplicada. Desde el otoño pasado, he estado tomando clases sobre el libro de Casella & Berger, y he terminado cientos (más de 230) páginas de problemas de ejercicio en el libro. En este momento estoy en el Capítulo …

22 distributions references eda

5

¿Cómo mantener controlados los análisis exploratorios de grandes conjuntos de datos?

Cuando comienzo un análisis exploratorio en un gran conjunto de datos (muchas muestras, muchas variables), a menudo me encuentro con cientos de variables derivadas y toneladas de tramas diferentes, y no hay una forma real de realizar un seguimiento de lo que está sucediendo. El código termina como espagueti, porque …

22 eda project-management

1

¿Qué es el "efecto de herradura" y / o el "efecto de arco" en el análisis de correspondencia / PCA?

Existen muchas técnicas en estadísticas ecológicas para el análisis exploratorio de datos de datos multidimensionales. Estas se llaman técnicas de 'ordenación'. Muchos son iguales o están estrechamente relacionados con técnicas comunes en otras partes de las estadísticas. Quizás el ejemplo prototípico sería el análisis de componentes principales (PCA). Los ecologistas …

20 pca eda ecology correspondence-analysis

8

¿Ideas para el software de "cuaderno de laboratorio"?

Así que este es un ajuste extraño, aunque realmente creo que es un ajuste extraño para cualquier sitio, así que pensé en probarlo aquí, entre mis hermanos que analizan datos. Llegué a la epidemiología y la bioestadística de la biología, y todavía definitivamente tengo algunos hábitos de ese campo. Uno …

20 references software eda

2

Cómo hacer análisis de datos exploratorios para elegir el algoritmo de aprendizaje automático apropiado

Estamos estudiando el aprendizaje automático a través del aprendizaje automático: una perspectiva probabilística (Kevin Murphy). Si bien el texto explica la base teórica de cada algoritmo, rara vez dice en qué caso qué algoritmo es mejor, y cuando lo hace, no dice cómo saber en qué caso estoy. Por ejemplo, …

16 machine-learning eda

5

Una buena forma de mostrar muchos datos gráficamente

Estoy trabajando en un proyecto que involucra 14 variables y 345,000 observaciones para datos de vivienda (cosas como año de construcción, pies cuadrados, precio de venta, condado de residencia, etc.). Me preocupa tratar de encontrar buenas técnicas gráficas y bibliotecas R que contengan buenas técnicas de trazado. Ya estoy viendo …

15 r data-visualization large-data eda

Preguntas etiquetadas con eda