Preguntas etiquetadas con k-nearest-neighbour

Soy nuevo en kernels y he encontrado un inconveniente al intentar kernelise kNN. Preliminares Estoy usando un polinomio núcleo: K( X , y ) = ( 1 + ⟨ x , y ⟩ )reK(x,y)=(1+⟨x,y⟩)dK(\mathbf{x},\mathbf{y}) = (1 + \langle \mathbf{x},\mathbf{y} \rangle)^d Su kNN euclidiano típico utiliza la siguiente métrica de distancia: …

12 machine-learning  kernel-trick  k-nearest-neighbour 

En Elementos de aprendizaje estadístico , se presenta un problema para resaltar problemas con k-nn en espacios de alta dimensión. Hay puntos de datos que están distribuidos uniformemente en una bola de unidad -dimensional.NNNppp La distancia media desde el origen hasta el punto de datos más cercano viene dada por …

11 self-study  proof  k-nearest-neighbour 

Como entendí, k-NN es un algoritmo de aprendizaje lento y no necesita una fase de entrenamiento. Entonces, ¿por qué necesitamos usar .fit()con sklearn y qué sucede cuando lo usamos?

11 classification  scikit-learn  k-nearest-neighbour 

Según algún artículo que estoy leyendo, la distancia de Jeffries y Matusita se usa comúnmente. Pero no pude encontrar mucha información al respecto, excepto la fórmula a continuación JMD (x, y) = ∑(xi−−√2−yi−−√2)2−−−−−−−−−−−−−√2∑(xi2−yi2)22\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2} Es similar a la distancia euclidiana, excepto por la raíz cuadrada E (x, y) = ∑(xi−yi)2−−−−−−−−−−√2∑(xi−yi)22\sqrt[2]{\sum(x_i-y_i)^2} Se …

11 classification  k-nearest-neighbour  euclidean 

Estoy leyendo el libro de Kevin Murphy: Aprendizaje automático: una perspectiva probabilística. En el primer capítulo, el autor explica la maldición de la dimensionalidad y hay una parte que no entiendo. Como ejemplo, el autor afirma: Considere que las entradas están distribuidas uniformemente a lo largo de un cubo de …

11 self-study  k-nearest-neighbour  high-dimensional 

¿Cuál es la dimensión VC del algoritmo vecino k más cercano si k es igual al número de puntos de entrenamiento utilizados? Contexto: esta pregunta se formuló en un curso que tomé y la respuesta dada fue 0. Sin embargo, no entiendo por qué este es el caso. Mi intuición …

10 machine-learning  self-study  k-nearest-neighbour  vc-dimension 

En el aprendizaje computacional, el teorema de la NFL establece que no existe un alumno universal. Para cada algoritmo de aprendizaje, hay una distribución que hace que el alumno emite una hipotesis con un gran error, con alta probabilidad (aunque hay una hipotesis de bajo error). La conclusión es que …

10 k-nearest-neighbour  consistency 

Tengo un conjunto de datos con columnas a b c(3 atributos). aes numérica y continua, mientras que by cson categóricas cada uno con dos niveles. Estoy utilizando el método K-vecinos más cercano para clasificar ay bsobre c. Entonces, para poder medir las distancias, transformo mi conjunto de datos eliminando by …

10 r  classification  k-nearest-neighbour 

El capítulo 2.4 de ESL parece clasificar la regresión lineal como "basada en el modelo", porque supone que , mientras que no se establece una aproximación similar para los vecinos k más cercanos. ¿Pero no están ambos métodos haciendo suposiciones sobre ?f(x)≈x⋅βf(x)≈x⋅βf(x) \approx x\cdot\betaf(x)f(x)f(x) Más adelante en 2.4 incluso dice: …

10 machine-learning  model  k-nearest-neighbour 

Pregunta: Con una cadena MCMC de 10 dimensiones, digamos que estoy preparado para entregarle una matriz de los sorteos: 100,000 iteraciones (filas) por 10 parámetros (columnas), ¿cómo puedo identificar los modos posteriores? Me preocupan especialmente los modos múltiples. Antecedentes:Me considero un experto en informática, pero cuando un colega me hizo …

10 r  bayesian  mcmc  k-nearest-neighbour  mode 

Entiendo la premisa del algoritmo kNN para datos espaciales. Y sé que puedo extender ese algoritmo para usarlo en cualquier variable de datos continua (o datos nominales con Hamming Distance). Sin embargo, ¿qué estrategias se utilizan cuando se trata con datos de dimensiones superiores? Por ejemplo, supongamos que tengo una …

10 machine-learning  k-nearest-neighbour 

Sé que hay más de dos tipos de normalización. Por ejemplo, 1- Transformar datos utilizando una puntuación z o una puntuación t. Esto generalmente se llama estandarización. 2- Reescalando datos para tener valores entre 0 y 1. La pregunta ahora si necesito normalizar ¿Qué tipo de normalización de datos debería …

9 machine-learning  normalization  standardization  k-nearest-neighbour 

Mi pregunta es sobre el clasificador vecino más cercano y sobre una declaración hecha en el excelente libro The Elements of Statistical Learning, de Hastie, Tibshirani y Friedman. La declaración es (p. 465, sección 13.3): "Debido a que usa solo el punto de entrenamiento más cercano al punto de consulta, …

9 classification  k-nearest-neighbour 

Recibí esta pregunta en un cuestionario, preguntaba cuál sería el error de entrenamiento para un clasificador KNN cuando K = 1. ¿Qué significa el entrenamiento para un clasificador KNN? Mi comprensión sobre el clasificador KNN fue que considera todo el conjunto de datos y asigna a cualquier observación nueva el …

8 classification  supervised-learning  k-nearest-neighbour 

He llevado a cabo el emparejamiento de puntaje de prospensión (en R usando el paquete R "Matchit"). Utilicé el método de coincidencia "vecino más cercano". Después de la comparación, comparé el tratamiento y el grupo de control en términos de su variable de resultado. Para esta comparación, utilicé la prueba …

8 k-nearest-neighbour  matching  propensity-scores