Удалить все файлы, кроме некоторых в bash, без CD в каталог?

мне нужно сделать ежедневную очистку в каталоге загрузки.

Я видел этот вопрос и проверил ответ

rm !("test 1"|"test 4")

он отлично работает, но требует иметь компакт-диск в каталог раньше. Поскольку мое приложение должно быть двумя директориями выше во многих частях, я бы хотел не делать что-то вроде

cd /app/download
rm !("test 1"|"test 4")
cd ../..

Я пробовал

rm !("./app/download/test 1"|"./app/download/test 4")

но хорошо, это удалить содержимое каталога выше, не скачать/