En el caso de tener una combinación de atributos categóricos y numéricos, generalmente convierto los atributos categóricos en vectores calientes. Mi pregunta es si dejo esos vectores como están y escalo los atributos numéricos a través de la estandarización / normalización, o ¿debería escalar los vectores calientes junto con los atributos numéricos?
Respuestas:
Una vez convertidos a forma numérica, los modelos no responden de manera diferente a las columnas de codificación directa que a cualquier otro dato numérico. Por lo tanto, existe un claro precedente para normalizar los valores {0,1} si lo está haciendo por cualquier motivo para preparar otras columnas.
El efecto de hacerlo dependerá de la clase de modelo y el tipo de normalización que aplique, pero he notado algunas mejoras (pequeñas) al escalar a 0, std 1 para datos categóricos codificados en caliente, al entrenar redes neuronales.
También puede marcar la diferencia para las clases de modelos basadas en métricas de distancia.
Desafortunadamente, como la mayoría de este tipo de opciones, a menudo tiene que probar ambos enfoques y tomar el que tenga la mejor métrica.