Captura como vector? No claro que no. No hay forma de que el programa de captura sepa algo sobre la geometría de las formas en la pantalla sin tener algún tipo de gancho en los programas que realizan el dibujo.
Sin embargo, lo que puede hacer es capturar una imagen ráster y luego convertirla en vector . Existen herramientas como Inkscape que pueden realizar esta conversión (aunque generalmente tendrá que hacer algunos ajustes manualmente, e incluso entonces, rara vez podrá obtener resultados perfectos en píxeles).
En cuanto a la resolución, cuando realiza una captura, no puede capturar más información de la que está disponible. Puede cambiar el tamaño de la imagen resultante y, si utiliza un buen algoritmo de escala, los píxeles interpolados se combinarán bastante bien, pero no hay forma de inventar más información de píxeles de la que está presente.
Teóricamente, podría ser posible implementar algún tipo de sistema en el que todo se procese internamente en una resolución más alta y luego se envíe a la pantalla en una menor, pero eso requeriría un soporte especial tanto en el sistema operativo como en la unidad, y es es poco probable que se implemente, ya que tiene un uso muy limitado y solo sería un desperdicio de memoria en la mayoría de los escenarios.
Es posible que pueda utilizar la panorámica de escritorio para lograr una resolución de escritorio más alta que la que admite la pantalla, pero nuevamente, eso requiere que sus controladores lo admitan.