Preguntas etiquetadas con dimensionality-reduction

De wikipedia, La reducción de dimensionalidad o reducción de dimensión es el proceso de reducir el número de variables aleatorias bajo consideración, y puede dividirse en selección de características y extracción de características. ¿Cuál es la diferencia entre la selección de características y la extracción de características? ¿Cuál es un …

59 feature-selection  feature-extraction  dimensionality-reduction 

Tengo un gran conjunto de datos (alrededor de 8 GB). Me gustaría utilizar el aprendizaje automático para analizarlo. Entonces, creo que debería usar SVD y luego PCA para reducir la dimensionalidad de los datos para la eficiencia. Sin embargo, MATLAB y Octave no pueden cargar un conjunto de datos tan …

29 bigdata  data-mining  dimensionality-reduction 

Tengo una base de datos de mi aplicación de Facebook y estoy tratando de usar el aprendizaje automático para estimar la edad de los usuarios en función de los sitios de Facebook que les gustan. Hay tres características cruciales de mi base de datos: la distribución de edad en mi …

25 machine-learning  dimensionality-reduction  python 

Existen muchas técnicas para visualizar conjuntos de datos de alta dimensión, como T-SNE, isomap, PCA, PCA supervisada, etc. Y hacemos los movimientos de proyectar los datos en un espacio 2D o 3D, por lo que tenemos "imágenes bonitas ". Aquí se describen algunos de estos métodos de inclusión (aprendizaje múltiple) …

23 machine-learning  dimensionality-reduction  visualization 

¿Hay algún significado para las dimensiones de una inserción t-sne? Al igual que con PCA, tenemos esta sensación de maximizaciones de varianza linealmente transformadas, pero para t-sne, ¿hay intuición además del espacio que definimos para el mapeo y la minimización de la distancia KL?

18 dimensionality-reduction  tsne 

Me gustaría hacer una reducción de dimensionalidad en casi 1 millón de vectores cada uno con 200 dimensiones ( doc2vec). Estoy usando la TSNEimplementación del sklearn.manifoldmódulo para él y el principal problema es la complejidad del tiempo. Incluso con method = barnes_hut, la velocidad de cálculo sigue siendo baja. Algún …

18 python  bigdata  nlp  scikit-learn  dimensionality-reduction 

Tengo una gran matriz escasa de usuarios y elementos que les gustan (del orden de 1 millón de usuarios y 100 000 elementos, con un nivel muy bajo de escasez). Estoy explorando formas en que podría realizar una búsqueda de kNN en él. Dado el tamaño de mi conjunto de …

17 machine-learning  distributed  map-reduce  dimensionality-reduction 

La extracción de características y la selección de características esencialmente reducen la dimensionalidad de los datos, pero la extracción de características también hace que los datos sean más separables, si tengo razón. ¿Qué técnica se preferiría sobre la otra y cuándo? Estaba pensando, dado que la selección de características no …

16 feature-selection  feature-extraction  dimensionality-reduction 

Según el artículo de Hinton, entiendo que T-SNE hace un buen trabajo al mantener las similitudes locales y un trabajo decente en la preservación de la estructura global (clusterización). Sin embargo, no estoy claro si los puntos que aparecen más cerca en una visualización 2D t-sne pueden asumirse como puntos …

14 visualization  dimensionality-reduction  tsne  manifold 

Debido a varias maldiciones de dimensionalidad , la precisión y la velocidad de muchas de las técnicas predictivas comunes se degradan en datos de alta dimensión. ¿Cuáles son algunas de las técnicas / trucos / heurísticas más útiles que ayudan a manejar los datos de alta dimensión de manera efectiva? …

14 machine-learning  statistics  dimensionality-reduction 

No soy un experto en autoencoders o redes neuronales de ninguna manera, así que perdóname si esta es una pregunta tonta. Con el fin de reducir la dimensión o visualizar grupos en datos de alta dimensión, podemos usar un autoencoder para crear una representación bidimensional (con pérdida) al inspeccionar la …

13 neural-network  dimensionality-reduction  autoencoder 

Hola, tengo un marco de datos con grandes valores categóricos en más de 1600 categorías. ¿Hay alguna forma de encontrar alternativas para no tener más de 1600 columnas? Encontré esto debajo del enlace interesante http://amunategui.github.io/feature-hashing/#sourcecode Pero se están convirtiendo a clase / objeto que no quiero. ¿Quiero mi salida final …

13 machine-learning  dataset  dimensionality-reduction  encoding 

Una oración comúnmente escuchada en el aprendizaje automático sin supervisión es Las entradas de alta dimensión generalmente viven en o cerca de un múltiple de baja dimensión ¿Qué es una dimensión? ¿Qué es un múltiple? ¿Cuál es la diferencia? ¿Puedes dar un ejemplo para describir ambos? Colector de Wikipedia: En …

13 machine-learning  dimensionality-reduction 

Tengo un conjunto de datos con ~ 1M filas y ~ 500K características dispersas. Quiero reducir la dimensionalidad a algún lugar del orden de las características densas 1K-5K. sklearn.decomposition.PCAno funciona en datos dispersos, y he intentado usarlos, sklearn.decomposition.TruncatedSVDpero obtengo un error de memoria bastante rápido. ¿Cuáles son mis opciones para …

12 python  scikit-learn  dimensionality-reduction 

Estoy creando prototipos de una aplicación y necesito un modelo de lenguaje para calcular la perplejidad en algunas oraciones generadas. ¿Hay algún modelo de lenguaje entrenado en Python que pueda usar fácilmente? Algo simple como model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp …

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision