Как найти неработающие ссылки на сайте

Для расширения Chrome есть гексометр

См. LinkChecker для Firefox.

Для Mac OS существует инструмент Честность, который может проверять URL-адреса на наличие битых ссылок.

Для Windows есть Сыщик Зену.

Либо используйте инструмент, который анализирует ваши файлы журналов и выдает отчет о «битых ссылках» (например, Аналоговый или Google Инструменты для веб-мастеров), либо запустите инструмент, который проверяет ваш веб-сайт и сообщает о битых ссылках (например, W3C Link Checker).

Мне нравится W3C Link Checker.

См. Инструмент Linkchecker:

LinkChecker is a free, GPL licensed website validator. LinkChecker checks links in web documents or full websites.

Лучше всего собрать собственного паука на выбранном вами языке сценариев, это можно сделать рекурсивно, используя следующие строки:

// Pseudo-code to recursively check for broken links
// logging all errors centrally
function check_links($page)
{
    $html = fetch_page($page);
    if (!$html)
    {
        // Log page to failures log
        ...
    }
    else
    {
        // Find all html, img, etc links on page
        $links = find_links_on_page($html);
        foreach($links as $link)
        {
            check_links($link);
        }
    }
}

После того, как ваш сайт привлек определенный уровень внимания со стороны Google, их инструменты для веб-мастеров будут неоценимы для показа неработающих ссылок, с которыми могут столкнуться пользователи, но это довольно реакционно - мертвые ссылки могут существовать в течение нескольких недель, прежде чем Google их проиндексирует и регистрирует 404 в панели для веб-мастеров.

Написание собственного скрипта, как указано выше, покажет вам все возможные битые ссылки, не дожидаясь, пока Google (инструмент для веб-мастеров) или ваши пользователи (404 в журналах доступа) наткнутся на них.

Есть приложение для Windows под названием CheckWeb. Его больше не разрабатывают, но он хорошо работает, и код открыт (я считаю, C++).

Вы просто даете ему URL-адрес, и он будет сканировать ваш сайт (и внешние ссылки, если вы выберете), сообщая о любых ошибках, «весе» изображения / страницы и т. д.

http://www.algonet.se/~hubbabub/how-to/checkweben.html

В приложении .NET вы можете настроить IIS для передачи всех запросов в ASP.NET, а затем в вашем глобальном обработчике ошибок вы сможете перехватывать и регистрировать ошибки 404. Это то, что вы должны сделать в дополнение к сканированию своего сайта, чтобы проверить наличие внутренних недостающих ссылок. Это может помочь найти неработающие ссылки с ДРУГИХ сайтов, а затем вы сможете исправить их с помощью переадресации 301 на правильную страницу.

Чтобы помочь внутреннему тестированию вашего сайта, существует также набор инструментов Microsoft SEO.

Конечно, лучший способ - избежать проблемы во время компиляции! В ASP.NET вы можете приблизиться к этому, потребовав, чтобы все ссылки создавались из статических методов на каждой странице, чтобы всегда было только одно место, где генерируется любой заданный URL. например http://www.codeproject.com/KB/aspnet/StronglyTypedPages.aspx

Если вам нужен полный сканер C#, вот он: - http://blog.abodit.com/2010/03/a-simple-web-crawler-in-c-using-htmlagilitypack/

LinkTiger кажется очень отполированным (хотя и платным) сервисом для этого. Не использую, просто хотел добавить, потому что еще не упоминалось.

Наш коммерческий продукт DeepTrawl делает это и может использоваться как на Windows, так и на Mac.

Раскрытие информации: я ведущий разработчик DeepTrawl.

Только что нашел сценарий wget, который делает то, о чем вы просите.

wget --spider  -o wget.log  -e robots=off --wait 1 -r -p http://www.example.com

Кредит для этого принадлежит эта страница.