wget неожиданно завершает работу

Мне нужно периодически просматривать сайт, чтобы обновить кэш сервера. Это управляемый базой данных сайт с очень многими (тысячами) страницами. Я использую wget для локального зеркального отображения сайта на том же сервере, поэтому я использую следующую команду:

wget --mirror localhost

через некоторое время он внезапно останавливается с таким сообщением:

запрос HTTP послан, ожидание ответа... Прекращено

это происходит всегда, но не на одном и том же url. А я примерила еще одну сервер так же с таким же результатом.

опции --debug не дают никакой полезной информации, ни лог-файл Апача.

Что может быть причиной этой проблемы? Я подозреваю, что какой-то буфер памяти и т. д. Или переполнение стека.

в качестве альтернативы, есть другие инструменты командной строки, которые могут сделать то же самое?

Это Wget 1.11.4 для Debian Lenny.

Martin

4
задан marlar
23.01.2023 16:24 Количество просмотров материала 3492
Распечатать страницу

2 ответа

возможно, что сервер выполняет какой-то анализ ваших шаблонов загрузки и сжимает ваши запросы. Взгляните на некоторые опции wget для ограничения скорости ваших запросов -- посмотрите на --limit-rate,--wait и --random-wait.

1
отвечен Doug Harris 2023-01-25 00:12

Я не нашел никаких способов, чтобы сделать wget пересечь весь сайт, не прекращая преждевременно, но я наткнулся на httrack что делает работу отлично.

0
отвечен marlar 2023-01-25 02:29

Постоянная ссылка на данную страницу: [ Скопировать ссылку | Сгенерировать QR-код ]

Ваш ответ

Опубликуйте как Гость или авторизуйтесь

Имя
Вверх