Использование wget для рекурсивного обхода сайта и загрузки изображений

Почему бы вам не попробовать использовать с wget -в JPG,формате JPEG -Р http://site.com ?

как вы ожидаете, что wget будет знать содержимое подзаголовка13.html (и так jpg, на который он ссылается), если его не разрешено загружать. Я предлагаю вам разрешить html, получить то, что вы хотите, а затем удалить то, что вы не хотите.

Я не совсем уверен, почему ваши cgi получают отклонены... есть ли какие-либо ошибки вывода wget? Возможно, сделать wget многословным (-v) и посмотреть. Может, лучше задать отдельный вопрос.

тем не менее, если вам все равно пропускная способность и скачать много затем удалить то, что вы не хотите после, это не имеет значения.

также проверить --html-extension

со страницы man:

- E

--html-расширение

Если загружается файл типа application/xhtml+xml или text/html и URL-адрес не заканчивается регулярным выражением .[Hh][Tt][Mm][Ll]?, эта опция будет причина суффикс .html, добавляемый к локальному имени файла. Это полезно, например, при зеркальном отражении удаленного сайта, который использует .гадюка страниц, но вы хотите, чтобы зеркальные страницы были доступны для просмотра на вашем сервере Apache. Еще одно хорошее применение для этого, когда youâre загрузки CGI-gener- атед материалы. URL-адрес, как http://site.com/article.cgi?25 будут сохранены в качестве статьи.cgi?25.формат HTML.

обратите внимание, что имена файлов, измененные таким образом, будут повторно загружены каждый раз, когда вы повторно зеркально отражаете сайт, потому что Wget не может сказать, что локальный X.html папка соответствует удаленному URL X (т. к. он еще не знает, что URL выдает вывод типа text/html или application/xhtml+xml. Помешать этому при повторной загрузке необходимо использовать-k и-K, чтобы исходная версия файла была сохранена как X. orig.

--restrict-file-names=unix также может быть полезно из-за этих cgi url...

вы также можете использовать Metaproducts Offline Explorer без программирования