Похожие вопросы

wget неожиданно завершает работу

Мне нужно периодически просматривать сайт, чтобы обновить кэш сервера. Это управляемый базой данных сайт с очень многими (тысячами) страницами. Я использую wget для локального зеркального отображения сайта на том же сервере, поэтому я использую следующую команду:

wget --mirror localhost

через некоторое время он внезапно останавливается с таким сообщением:

запрос HTTP послан, ожидание ответа... Прекращено

это происходит всегда, но не на одном и том же url. А я примерила еще одну сервер так же с таким же результатом.

опции --debug не дают никакой полезной информации, ни лог-файл Апача.

Что может быть причиной этой проблемы? Я подозреваю, что какой-то буфер памяти и т. д. Или переполнение стека.

в качестве альтернативы, есть другие инструменты командной строки, которые могут сделать то же самое?

Это Wget 1.11.4 для Debian Lenny.

Martin

5
задан marlar
источник

2 ответов

возможно, что сервер выполняет какой-то анализ ваших шаблонов загрузки и сжимает ваши запросы. Взгляните на некоторые опции wget для ограничения скорости ваших запросов -- посмотрите на --limit-rate,--wait и --random-wait.

1
отвечен Doug Harris 2010-08-20 13:58:59
источник

Я не нашел никаких способов, чтобы сделать wget пересечь весь сайт, не прекращая преждевременно, но я наткнулся на httrack что делает работу отлично.

0
отвечен marlar 2010-08-20 22:29:29
источник

Другие вопросы linux mirroring wget