Estadísticas y Big Data data-mining

5

Cómo entender los inconvenientes de K-means

K-means es un método ampliamente utilizado en el análisis de conglomerados. Según tengo entendido, este método NO requiere NINGUNA suposición, es decir, dame un conjunto de datos y un número predeterminado de clústeres, k, y simplemente aplico este algoritmo que minimiza la suma de los errores al cuadrado (SSE), dentro …

365 machine-learning clustering data-mining k-means

12

¿Cuál es la diferencia entre minería de datos, estadísticas, aprendizaje automático e inteligencia artificial?

¿Cuál es la diferencia entre minería de datos, estadísticas, aprendizaje automático e inteligencia artificial? ¿Sería exacto decir que son 4 campos que intentan resolver problemas muy similares pero con enfoques diferentes? ¿Qué tienen exactamente en común y en qué difieren? Si hay algún tipo de jerarquía entre ellos, ¿cuál sería? …

208 machine-learning data-mining

4

Kappa de Cohen en inglés simple

Estoy leyendo un libro de minería de datos y menciona la estadística Kappa como un medio para evaluar el rendimiento de predicción de los clasificadores. Sin embargo, simplemente no puedo entender esto. También revisé Wikipedia, pero tampoco me ayudó: https://en.wikipedia.org/wiki/Cohen's_kappa . ¿Cómo ayuda Coap's kappa a evaluar el rendimiento de …

131 classification data-mining cohens-kappa

9

Obteniendo conocimiento de un bosque aleatorio

Los bosques aleatorios se consideran cajas negras, pero recientemente estaba pensando qué conocimiento se puede obtener de un bosque aleatorio. Lo más obvio es la importancia de las variables, en la variante más simple se puede hacer simplemente calculando el número de ocurrencias de una variable. La segunda cosa en …

127 machine-learning data-mining interaction random-forest cart

11

Tener un trabajo en minería de datos sin un doctorado

He estado muy interesado en la minería de datos y el aprendizaje automático por un tiempo, en parte porque me especialicé en esa área en la escuela, pero también porque estoy realmente mucho más emocionado tratando de resolver problemas que requieren un poco más de pensamiento que solo programar conocimiento …

73 machine-learning data-mining careers phd

7

¿La distancia euclidiana generalmente no es buena para datos escasos?

He visto en alguna parte que las distancias clásicas (como la distancia euclidiana) se vuelven débilmente discriminantes cuando tenemos datos multidimensionales y escasos. ¿Por qué? ¿Tiene un ejemplo de dos vectores de datos dispersos donde la distancia euclidiana no funciona bien? En este caso, ¿qué similitud debemos usar?

72 machine-learning clustering data-mining sparse euclidean

8

¿Habilidades difíciles de encontrar en los aprendices de máquina?

Parece que la minería de datos y el aprendizaje automático se hicieron tan populares que ahora casi todos los estudiantes de CS saben sobre clasificadores, agrupamiento, PNL estadístico ... etc. Así que parece que encontrar mineros de datos no es algo difícil en la actualidad. Mi pregunta es: ¿Cuáles son …

71 machine-learning data-mining

8

Generar una variable aleatoria con una correlación definida con una variable o variables existentes

Para un estudio de simulación tengo para generar variables aleatorias que muestran un (población) de correlación prefined a una variable existente .YYY Miré en los Rpaquetes copulay CDVineque pueden producir distribuciones aleatorias multivariadas con una estructura de dependencia dada. Sin embargo, no es posible arreglar una de las variables resultantes …

71 r correlation random-variable random-generation independence assumptions random-variable unbiased-estimator regression hypothesis-testing heteroscedasticity generalized-least-squares distributions networks data-visualization sas reproducible-research philosophical time-series variance outliers quality-control mean multilevel-analysis average weighted-mean regression confidence-interval prediction-interval correlation matlab matrix data-mining maximum-likelihood r time-series survival predictive-models

2

¿Por qué solo tres particiones? (entrenamiento, validación, prueba)

Cuando intenta ajustar modelos a un gran conjunto de datos, el consejo común es dividir los datos en tres partes: el conjunto de datos de capacitación, validación y prueba. Esto se debe a que los modelos generalmente tienen tres "niveles" de parámetros: el primer "parámetro" es la clase de modelo …

61 machine-learning model-selection data-mining

12

Software necesario para extraer datos del gráfico [cerrado]

¿Alguien tiene alguna experiencia con software (preferiblemente gratuito, preferiblemente de código abierto) que tomará una imagen de datos trazados en coordenadas cartesianas (un diagrama estándar, cotidiano) y extraerá las coordenadas de los puntos trazados en el gráfico? Esencialmente, este es un problema de minería de datos y un problema de …

56 data-visualization data-mining software

8

¿Es relevante el muestreo en el momento del 'big data'?

¿O más, "será"? Big Data hace que las estadísticas y el conocimiento relevante sean aún más importantes, pero parece minimizar la teoría de muestreo. He visto esta exageración sobre 'Big Data' y no puedo evitar preguntarme por qué "¿por qué" querría analizar todo ? ¿No había una razón para que …

54 sampling data-mining large-data

3

¿Tenemos un problema de "votos a favor"?

Lo sé, esto puede sonar como fuera de tema, pero escúchame. En Stack Overflow y aquí obtenemos votos en las publicaciones, todo esto se almacena en forma de tabla. P.ej: Identificación del poste Identificación del votante Tipo de voto Fecha y hora ------- -------- --------- -------- 10 1 2 2000-1-1 …

51 time-series hypothesis-testing data-mining markov-process censoring

3

Agrupación con K-Means y EM: ¿cómo se relacionan?

He estudiado algoritmos para agrupar datos (aprendizaje no supervisado): EM y k-means. Sigo leyendo lo siguiente: k-means es una variante de EM, con los supuestos de que los grupos son esféricos. ¿Alguien puede explicar la oración anterior? No entiendo qué significa esférico y cómo se relacionan kmeans y EM, ya …

50 machine-learning clustering data-mining k-means expectation-maximization

1

Métricas de rendimiento para evaluar el aprendizaje no supervisado

Con respecto al aprendizaje no supervisado (como la agrupación), ¿hay alguna métrica para evaluar el rendimiento?

49 machine-learning clustering data-mining unsupervised-learning

3

¿Cuáles son las diferencias entre los modelos ocultos de Markov y las redes neuronales?

Me estoy mojando los pies en las estadísticas, así que lamento si esta pregunta no tiene sentido. He utilizado modelos de Markov para predecir estados ocultos (casinos injustos, tiradas de dados, etc.) y redes neuronales para estudiar los clics de los usuarios en un motor de búsqueda. Ambos tenían estados …

40 data-mining algorithms neural-networks markov-process

Preguntas etiquetadas con data-mining