Это сложный вопрос, и лечение, скорее всего, вызовет больше проблем, чем болезнь. Так как, если приложение в вопросе иссякнут памяти он, скорее всего, аварии (даже BSOD возможно).
Так или иначе,со ссылкой на Клинт Хаффман отвечает на тот же вопрос:
ответ в значительной степени зависит от общего использования физической памяти,
но это может быть ограничено.
Он объясняет немного фона объем физической памяти, используемой процессом, который называется рабочим набором. Наиболее интересно для вас следующее
существует инструмент под названием Диспетчер системных ресурсов Windows, который может
ограничить размер рабочего набора, используемой процессом. Этот инструмент
возможность установки (не устанавливается по умолчанию) с помощью дополнительных компонентов
консоль в Windows Server 2008 R2.
этот компонент предназначен для версий Windows Server. Однако, вы должны быть в состоянии установите его на новых версиях Windows, не серверных, а также (см. последний комментарий Клинта). Но нет никакой гарантии. Вы можете найти WSRM здесь.
чтобы имитировать ограничения памяти, вы можете использовать виртуальную машину с ограниченным объемом оперативной памяти, но я думаю, что это не то, что вы хотите.
В клиентских версиях (и более новых версиях сервера) WSRM был заменен монитором производительности, который не имеет возможности ограничения памяти (AFAIK).
Если у вас есть память проблемы с приложением, которое можно легко заменить альтернативой, которая больше соответствует вашим ограничениям памяти, вы должны переключиться. Г. Е. ток статьи рекомендую Firefox как наименее голодных памяти браузера.