Estadísticas y Big Data

¿Qué son los puntajes de los componentes principales (puntajes de PC, puntajes de PCA)?

71 pca  definition 

Esta pregunta ha sido provocada por algo que leí en este libro de texto de estadísticas de nivel de posgrado y que también escuché (independientemente) durante esta presentación en un seminario estadístico. En ambos casos, la declaración estaba en la línea de "debido a que el tamaño de la muestra …

71 bootstrap  small-sample 

Actualmente estoy trabajando en un trabajo de investigación cuasi-experimental. Solo tengo un tamaño de muestra de 15 debido a la baja población dentro del área elegida y que solo 15 se ajustan a mis criterios. ¿Es 15 el tamaño mínimo de muestra para calcular la prueba t y la prueba …

71 t-test  sample-size  assumptions  power 

Para un estudio de simulación tengo para generar variables aleatorias que muestran un (población) de correlación prefined a una variable existente .YYY Miré en los Rpaquetes copulay CDVineque pueden producir distribuciones aleatorias multivariadas con una estructura de dependencia dada. Sin embargo, no es posible arreglar una de las variables resultantes …

71 r  correlation  random-variable  random-generation  independence  assumptions  random-variable  unbiased-estimator  regression  hypothesis-testing  heteroscedasticity  generalized-least-squares  distributions  networks  data-visualization  sas  reproducible-research  philosophical  time-series  variance  outliers  quality-control  mean  multilevel-analysis  average  weighted-mean  regression  confidence-interval  prediction-interval  correlation  matlab  matrix  data-mining  maximum-likelihood  r  time-series  survival  predictive-models 

El análisis de correlación canónica (CCA) es una técnica relacionada con el análisis de componentes principales (PCA). Si bien es fácil enseñar PCA o regresión lineal utilizando un diagrama de dispersión (vea algunos miles de ejemplos en la búsqueda de imágenes de Google), no he visto un ejemplo bidimensional intuitivo …

70 regression  data-visualization  pca  canonical-correlation  geometry 

Tengo curiosidad, para aquellos de ustedes que tienen una amplia experiencia colaborando con otros investigadores, ¿cuáles son algunas de las ideas falsas más comunes sobre la regresión lineal que encuentran? Creo que puede ser un ejercicio útil para pensar en conceptos erróneos comunes con anticipación para Anticipe los errores de …

70 regression  multiple-regression 

La econometría tiene una superposición sustancial con las estadísticas tradicionales, pero a menudo usa su propia jerga sobre una variedad de temas ("identificación", "exógena", etc.). Una vez escuché a un profesor de estadística aplicada en otro campo comentar que frecuentemente la terminología es diferente pero los conceptos son los mismos. …

70 econometrics  terminology 

Pregunta: Quiero estar seguro de algo, ¿el uso de la validación cruzada k-fold con series de tiempo es sencillo o hay que prestar especial atención antes de usarlo? Antecedentes: estoy modelando una serie temporal de 6 años (con cadena semi-markov), con una muestra de datos cada 5 min. Para comparar …

70 time-series  modeling  cross-validation 

En una regresión lineal múltiple, ¿por qué es posible tener un estadístico F altamente significativo (p <.001) pero tener valores p muy altos en todas las pruebas t del regresor? En mi modelo, hay 10 regresores. Uno tiene un valor p de 0.1 y el resto está por encima de …

70 hypothesis-testing  regression  t-test  multicollinearity 

En abril, asistí a una charla en la serie de seminarios grupales de Estadística del Departamento de Matemáticas de la UMD llamada "¿Explicar o predecir?". La charla fue impartida por el profesor Galit Shmueli, que enseña en la Smith Business School de la UMD. Su charla se basó en una …

70 predictive-models 

Antecedentes Estoy trabajando en el Centro de operaciones de red, supervisamos los sistemas informáticos y su rendimiento. Una de las métricas clave para monitorear es una cantidad de visitantes \ clientes actualmente conectados a nuestros servidores. Para hacerlo visible, nosotros (el equipo de Ops) recopilamos métricas como datos de series …

70 machine-learning  time-series  python  computational-statistics  anomaly-detection 

¿Cuál es una estrategia adecuada para dividir el conjunto de datos? Pido retroalimentación en el enfoque siguiente (no en los parámetros individuales tales como test_sizeo n_iter, pero si utilicé X, y, X_train, y_train, X_test, y y_testde manera adecuada y si la secuencia tiene sentido): (ampliando este ejemplo de la documentación …

70 machine-learning  cross-validation  python  scikit-learn 

Comparé ?prcompy ?princompencontré algo sobre el análisis de componentes principales (PCA) en modo Q y modo R. Pero honestamente, no lo entiendo. ¿Alguien puede explicar la diferencia y tal vez incluso explicar cuándo aplicar cuál?

70 r  pca 

Necesita comprender el funcionamiento de la capa 'Incrustación' en la biblioteca Keras. Ejecuto el siguiente código en Python import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array = np.random.randint(5, size=(1, 5)) model.compile('rmsprop', 'mse') output_array = model.predict(input_array) que da el siguiente …

70 text-mining  word-embeddings  keras 

Una época en el descenso de gradiente estocástico se define como un solo paso a través de los datos. Para cada minibatch SGD, se extraen muestras, se calcula el gradiente y se actualizan los parámetros. En la configuración de época, las muestras se extraen sin reemplazo.kkk Pero esto parece innecesario. …

69 neural-networks  deep-learning  gradient-descent