захват как вектор? Нет, конечно, нет. Там нет никакого способа для программы захвата, чтобы знать что-нибудь о геометрии фигур на экране, не имея какой-то крюк в программу(ы) делает рисунок.
Что вы можете сделать, однако, чтобы захватить растровое изображение и затем преобразовать в вектор. Есть такие инструменты, как Inkscape, который может выполнить это преобразование (хотя обычно вам придется вручную сделать некоторые настройки, и даже тогда вы редко сможете получить пиксельные результаты).
Что касается разрешения, при выполнении захвата он не может захватывать больше информации, чем доступно. Вы можете изменить размер получаемого изображения, и если вы используете хороший алгоритм масштабирования,интерполированное пиксели будут смешиваться довольно хорошо, но нет никакого способа изобретать больше информации о пикселях, чем присутствует.
теоретически, можно было бы реализовать какой-то система, в которой все визуализируется внутренне в более высоком разрешении, а затем отправляется на экран в меньшем, но это потребует специальной поддержки как в ОС, так и на диске, и вряд ли будет реализовано, поскольку она имеет очень ограниченное использование и будет только пустой тратой памяти в большинстве сценариев.
вы можете использовать desktop-панорамирование для достижения более высокого разрешения рабочего стола, чем экран поддерживает, но опять же, что требует поддержки драйверов она.