Сайт гусеничный / паук, чтобы получить карту сайта [закрыто]

Я лично использую Kapow Katalyst, но я думаю это из вашего бюджета. Если нет, то это, вероятно, самое интуитивное программное обеспечение для создания пауков, и многое другое, если вам нужно.

вот пример один в Python:

(взято из http://theanti9.wordpress.com/2009/02/14/python-web-crawler-in-less-than-50-lines/ )

также на этом сайте есть ссылка на проект githubhttp://github.com/theanti9/PyCrawler то более робастная версия персона сделала.

import sys
import re
import urllib2
import urlparse
tocrawl = set(["http://www.facebook.com/"])
crawled = set([])
keywordregex = re.compile('<meta\sname=["\']keywords["\']\scontent=["\'](.*?)["\']\s/>')
linkregex = re.compile('<a\s*href=[\'|"](.*?)[\'"].*?>')

while 1:
    try:
        crawling = tocrawl.pop()
        print crawling
    except KeyError:
        raise StopIteration
    url = urlparse.urlparse(crawling)
    try:
        response = urllib2.urlopen(crawling)
    except:
        continue
    msg = response.read()
    startPos = msg.find('<title>')
    if startPos != -1:
        endPos = msg.find('</title>', startPos+7)
        if endPos != -1:
            title = msg[startPos+7:endPos]
            print title
    keywordlist = keywordregex.findall(msg)
    if len(keywordlist) > 0:
        keywordlist = keywordlist[0]
        keywordlist = keywordlist.split(", ")
        print keywordlist
    links = linkregex.findall(msg)
    crawled.add(crawling)
    for link in (links.pop(0) for _ in xrange(len(links))):
        if link.startswith('/'):
            link = 'http://' + url[1] + link
        elif link.startswith('#'):
            link = 'http://' + url[1] + url[2] + link
        elif not link.startswith('http'):
            link = 'http://' + url[1] + '/' + link
        if link not in crawled:
            tocrawl.add(link)

(Win)HTTrack делает очень достойную работу.

Это позволяет загружать веб-сайт из интернета в локальный каталог, рекурсивно строить все каталоги, получать HTML, изображения и другие файлы с сервера на ваш компьютер.