Estadísticas y Big Data

Quiero cuantificar la relación entre dos variables, A y B, utilizando información mutua. La forma de calcularlo es agrupando las observaciones (ver ejemplo de código Python a continuación). Sin embargo, ¿qué factores determinan qué número de contenedores es razonable? Necesito que el cálculo sea rápido, así que no puedo simplemente …

10 information-theory  mutual-information  binning 

Contexto Estoy tratando de entender cómo R's coxph () acepta y maneja entradas repetidas para sujetos (o paciente / cliente si lo prefiere). Algunos llaman a este formato largo, otros lo llaman 'medidas repetidas'. Consulte, por ejemplo, el conjunto de datos que incluye la columna ID en la sección Respuestas …

10 r  repeated-measures  survival  cox-model  frailty 

Tengo una variable aleatoria 1-D que es extremadamente sesgada. Para normalizar esta distribución, quiero usar la mediana en lugar de la media. mi pregunta es esta: ¿puedo calcular la varianza de la distribución usando la mediana en la fórmula en lugar de la media? es decir, puedo reemplazar Var(X)=∑[(Xi−mean(X))2]/nVar(X)=∑[(Xi−mean(X))2]/n \mathrm{Var}(X) …

10 variance  mean  median 

Estoy leyendo sobre Bayes variacional, y según tengo entendido, todo se reduce a la idea de que aproximas (donde son las variables latentes de tu modelo los datos observados) con una función , suponiendo que factoriza como donde es un subconjunto de las variables latentes. Entonces se puede demostrar que …

10 variational-bayes 

Estoy tratando de abrirme camino a través del primer conjunto de problemas del material del curso en línea de la clase de Stanford cs224d y tengo algunos problemas con el problema 3A: cuando uso el modelo de omisión de word2vec con la función de predicción softmax y la función de …

10 machine-learning  self-study  word2vec 

Envié un artículo que fue rechazado debido a la forma incorrecta de realizar el análisis de supervivencia. El árbitro no dejó otros detalles o explicaciones que no sean: "el análisis de supervivencia en las tendencias temporales requiere formas más sofisticadas de censura". La pregunta: ¿Se ha reducido el exceso de …

10 regression  survival  incidence-rate-ratio  interval-censoring 

Según la documentación de la removeSparseTermsfunción del tmpaquete, esto es lo que implica la escasez: A term-document matrix where those terms from x are removed which have at least a sparse percentage of empty (i.e., terms occurring 0 times in a document) elements. I.e., the resulting matrix contains only terms …

10 r  text-mining  natural-language 

¿Cómo se lee la notación ? ¿Es sigue una distribución normal? ¿O es una distribución normal? O tal vez es aproximadamente normal ...XX∼N(μ,σ2)X∼N(μ,σ2)X\sim N(\mu,\sigma^2)XXX XXX XXX ¿Qué pasa si hay varias variables que siguen (o las palabras que sean) la misma distribución? Como se escribe

10 normal-distribution  notation 

Aquí está mi Código para el método de selección de características en Python: from sklearn.svm import LinearSVC from sklearn.datasets import load_iris iris = load_iris() X, y = iris.data, iris.target X.shape (150, 4) X_new = LinearSVC(C=0.01, penalty="l1", dual=False).fit_transform(X, y) X_new.shape (150, 3) Pero después de obtener una nueva X (variable dependiente …

10 feature-selection  python  scikit-learn 

Entiendo la diferencia entre k medoid yk significa. Pero, ¿puede darme un ejemplo con un pequeño conjunto de datos donde la salida k medoid es diferente de k significa salida.

10 k-means  k-medoids 

Una pregunta muy básica sobre el de las regresiones OLSR2R2R^2 ejecutar la regresión OLS y ~ x1, tenemos un , digamos 0.3R2R2R^2 ejecutar la regresión OLS y ~ x2, tenemos otro , digamos 0.4R2R2R^2 ahora ejecutamos una regresión y ~ x1 + x2, ¿qué valor puede ser la R al …

10 regression  multiple-regression  least-squares  r-squared 

¿Cuál es la forma correcta de probar la importancia de las relaciones de Sharpe o las relaciones de información? Los índices de Sharpe se basarán en varios índices de renta variable y pueden tener períodos de recuperación variables. Una solución que he visto descrita simplemente aplica una prueba t de …

10 time-series  statistical-significance  mean  finance  ratio 

He estado dando vueltas para encontrar una explicación clara de "bucketization" en el aprendizaje automático sin suerte. Lo que entiendo hasta ahora es que la bucketización es similar a la cuantificación en el procesamiento de señales digitales donde un rango de valores continuos se reemplaza con un valor discreto. ¿Es …

10 machine-learning  dataset  data-preprocessing 

A menudo veo personas hablando de validación cruzada 5x2 como un caso especial de validación cruzada anidada . Supongo que el primer número (aquí: 5) se refiere al número de pliegues en el bucle interno y el segundo número (aquí: 2) se refiere al número de pliegues en el bucle …

10 machine-learning  cross-validation  hyperparameter 

Tengo un conjunto de datos de 50 muestras. Cada muestra se compone de 11 características booleanas (posiblemente correlacionadas). Me gustaría ver de alguna manera cómo visualizar estas muestras en una gráfica 2D y examinar si hay grupos / agrupaciones entre las 50 muestras. He intentado los siguientes dos enfoques: (a) …

10 clustering  data-visualization  pca  k-means  spectral-analysis