Creo que el problema aquí es uno de nivel de detalle. Si bien la vectorización funciona muy bien para crear una imagen que se puede escalar infinitamente, se basa en patrones firmes que pueden describirse matemáticamente.
Desafortunadamente, la vida real está llena de imperfecciones y variaciones que hacen que sea imposible de describir en un formato vectorial puro, al menos con una ganancia significativa. Teóricamente podríamos hacer un formato vectorial que mapee cada píxel, pero luego tendríamos una imagen ráster que no podría escalar mejor que una imagen ráster normal.
La compresión de imagen y video ya son las aplicaciones del tipo de pensamiento del que estás hablando. Buscan los patrones que se pueden identificar para reducir el almacenamiento requerido y, al usar la compresión con pérdida, doblan las reglas aún más para obtener una coincidencia para que puedan reducir la cantidad de información necesaria para representar la imagen.
Vectorizar la imagen es otro nivel extremo para esto, pero notará que la calidad de la imagen siempre disminuye significativamente cuando se aplica dicha vectorización (debido a la pérdida de información aleatoria que hace que una foto parezca la vida real).
En cuanto a si una imagen vectorial de una escena es una foto o no. Creo que es una pregunta realmente difícil de responder. Personalmente, diría que sí, si se trata de una representación de la vida real basada en el muestreo de la luz (independientemente de lo realista que sea), creo que probablemente podría considerarse una fotografía, pero también podría ver cómo alguien podría véalo como más parecido a una pintura en ese punto también. No creo que haya una respuesta de línea fuerte allí.