Estadísticas y Big Data

Fondo de introducción Dentro de una red neuronal convolucional, generalmente tenemos una estructura / flujo general que se ve así: imagen de entrada (es decir, un vector 2D x) (La primera capa convolucional (Conv1) comienza aquí ...) Convolucionar un conjunto de filtros ( w1) a lo largo de la imagen …

32 neural-networks  deep-learning  conv-neural-network 

Sé que la entropía es la medida de aleatoriedad de un proceso / variable y se puede definir de la siguiente manera. para una variable aleatoria conjunto : - . En el libro sobre entropía y teoría de la información de MacKay, él proporciona esta declaración en Ch2X∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i …

32 uniform  entropy  maximum-entropy 

Digamos que tenemos las estadísticas que figuran a continuación. gender mean sd n f 1.666667 0.5773503 3 m 4.500000 0.5773503 4 ¿Cómo se realiza una prueba t de dos muestras (para ver si hay una diferencia significativa entre las medias de hombres y mujeres en alguna variable) usando estadísticas como …

32 r  t-test 

Me gustaría saber qué tan seguro puedo estar en mi . ¿Alguien sabe de una manera de establecer niveles de confianza superiores e inferiores para una distribución de Poisson?λλ\lambda Observaciones ( ) = 88nnn Muestra media ( λλ\lambda ) = 47.18182 ¿Cómo sería el 95% de confianza para esto?

32 poisson-distribution  confidence-interval 

He estado estudiando LSTM por un tiempo. Entiendo a alto nivel cómo funciona todo. Sin embargo, al implementarlos usando Tensorflow, he notado que BasicLSTMCell requiere un número de unidades (es decir num_units) parámetro. A partir de esta explicación muy detallada de los LSTM, he deducido que una sola unidad LSTM …

32 neural-networks  terminology  lstm  rnn  tensorflow 

He estado trabajando en un problema de regresión donde la entrada es una imagen, y la etiqueta es un valor continuo entre 80 y 350. Las imágenes son de algunos químicos después de que ocurre una reacción. El color que resulta indica la concentración de otro químico que queda, y …

32 regression  machine-learning  neural-networks  conv-neural-network  tensorflow 

Veo la siguiente ecuación en " En aprendizaje por refuerzo. Una introducción ", pero no sigo el paso que he resaltado en azul a continuación. ¿Cómo se deriva exactamente este paso?

32 expected-value  reinforcement-learning 

Propondré esta pregunta por medio de un ejemplo. Supongamos que tengo un conjunto de datos, como el conjunto de datos del precio de la vivienda de Boston, en el que tengo variables continuas y categóricas. Aquí, tenemos una variable de "calidad", del 1 al 10, y el precio de venta. …

31 hypothesis-testing  data-visualization  p-value  dataset  inference 

Según este artículo muy interesante en la revista Quanta: "Una prueba largamente buscada, encontrada y casi perdida" , se ha demostrado que dado un vector tiene una distribución gaussiana multivariante, y dados los intervalos I 1 , ... , I n centrado alrededor de las medias de los componentes correspondientes …

31 normal-distribution  confidence-interval  multivariate-normal 

Estoy tratando de entender por qué el resultado de la regresión logística de estas dos bibliotecas da resultados diferentes. Estoy usando el conjunto de datos del tutorial idre de UCLA , prediciendo en admitbase a gre, gpay rank. rankse trata como variable categórica, por lo que primero se convierte en …

31 regression  logistic  python  scikit-learn  statsmodels 

Aquí hay una simple pregunta estadística que me dieron. No estoy realmente seguro de entenderlo. X = el número de puntos adquiridos en un examen (opción múltiple y una respuesta correcta es un punto). ¿Se distribuye X binomial? La respuesta del profesor fue: Sí, porque solo hay respuestas correctas o …

31 self-study  binomial 

Tengo a mano el siguiente problema: tengo una lista muy larga de palabras, posiblemente nombres, apellidos, etc. Necesito agrupar esta lista de palabras, de modo que palabras similares, por ejemplo palabras con una distancia de edición similar (Levenshtein) aparezcan en el mismo grupo Por ejemplo, "algoritmo" y "alogritmo" deberían tener …

31 clustering  k-means  pattern-recognition 

Winsorizar datos significa reemplazar los valores extremos de un conjunto de datos con un cierto valor de percentil de cada extremo, mientras que Recortar o Truncar implica eliminar esos valores extremos. Siempre veo ambos métodos discutidos como una opción viable para disminuir el efecto de los valores atípicos al calcular …

31 standard-deviation  mean  truncation  trimmed-mean  winsorizing 

He estado leyendo sobre valores , tasas de error tipo 1, niveles de significancia, cálculos de potencia, tamaños de efectos y el debate de Fisher vs Neyman-Pearson. Esto me ha dejado un poco abrumado. Pido disculpas por el muro de texto, pero sentí que era necesario proporcionar una visión general …

31 hypothesis-testing  statistical-significance  confidence-interval  p-value  effect-size 

Solo un pensamiento: Los modelos parsimoniosos siempre han sido la opción predeterminada en la selección de modelos, pero ¿en qué medida este enfoque está desactualizado? Tengo curiosidad acerca de cuánto nuestra tendencia hacia la parsimonia es una reliquia de una época de abaci y reglas de cálculo (o, más en …

31 predictive-models  model-selection  model