Данный пост опубликован в разделе "Раскрутка сайта", а не "СайтоСтроение", так как тематика битых ссылок имеет больше отношение к раскрутке сайта. Потому что, чем больше на сайте битых ссылок, тем хуже отношение к сайту поисковых систем.

Поисковики не любят, когда сайт ссылается на несуществующие вебстраницы и на несуществующие сайты. Одна из причин такой нелюбви заключается в том, что поисковым системам приходится затрачивать некоторые свои ресурсы впустую.

Во-первых, поисковый бот переходит по ссылке и видит, что там нет никакого контента. Во-вторых, он в следующий раз тоже перейдет по этой битой ссылке, в надежде, что на этот раз там появился какой-то контент. В-третьих, поисковый паук, обнаружив битую ссылку на какую-то страницу какого-то сайта, должен пометить в поисковой базе данных, чтобы эту ссылку не сайт не учитывали в ссылочном ранжировании. Или он должен проверить, что эта ссылка уже не учитывается.

Это всё ресурсозатратные действия. Сайт, который наполнен массой битых ссылок, реже посещается поисковыми ботами, чтобы не тратить зря драгоценное время бота.

А кроме того, такой сайт понижается в поисковой выдаче. Это происходит из-за того, что поисковик наличие множества битых ссылок понимает как признак того, что веб-мастер забросил этот сайт и уже не поддерживает его. А это признак того, что на сайте находится старая неактуальная информация.

Наличие множества битых ссылок также для поисковика может быть свидетельством того, что данный сайт разрабатывает неопытный веб-мастер. К такому сайту может быть со стороны поисковой системы более строгое отношение.

Пока Ваш сайт маленький и существует всего один год, как правило, веб-мастер может сам раз в месяц обойти все страницы своего сайта и покликать мышкой по всем ссылкам, чтобы убедиться, что они все рабочие. Но если сайт за несколько лет своего существования оброс уже несколькими сотнями страниц, то делать ежемесячно такую процедуру становится уже достаточно затруднительно.

Рекомендую для поиска битых ссылок на своем сайте использовать бесплатную очень полезную программу Xenu's Link Sleuth. Она делает поиск как внутренних битых ссылок, которые с одной страницы Вашего сайта ведут на несуществующие страницы Вашего сайта, так и исходящих битых ссылок, которые со страниц Вашего сайта ссылаются на несуществующие страницы других сайтов и на несуществующие другие сайты.

Программа Xenu's Link Sleuth занимается поиском не только битых ссылок. Она находит на страницах Вашего сайта несуществующие картинки, фоновые рисунки (backgrounds), фреймы, дополнительные модули (plug-ins), графические карты сайта (local image maps), таблицы стилей (style sheets), скрипты и Java-апплеты. Программа создает отчет, в который выводит список проверенных ссылок с сортировкой по различным параметрам.

Преимущества программы Xenu's Link Sleuth:

• Можно повторно проверить битые ссылки и тем самым найти такие ссылки, которые на самом деле не битые а рабочие, но были распознаны при первой проверки как битые из-за того, что сайт, на который ссылалась ссылка, был временно недоступен.
• Можно проверить защищенные сайты по протоколу SSL ("https://").
• Программа распознает и выводит в отчет редиректы, которые пересылают пользователя другие страницы.
• Можно создать карту проверяемого сайта.
• Программа полностью бесплатная.

Недостатки программы

• Нет русскоязычного интерфейса.
• На момент написания этого поста последняя версия программы работала только под операционной системой Windows-7 и всеми предыдущими Windows. Не работает под Windows-8. (Хотя в тот момент, когда Вы будете читать этот пост, возможно, на сайте разработчика уже будут более свежие версии программы для новых версий Windows. Перейти на сайт разработчика можно в самой программе в разделе Help и далее пункт About Xenu.)

После установки программы и её запуска Вам нужно зайти в меню File ---> Check URL. Там откроется следующее окошко.

В первой строке ввода Вы пишите адрес сайта, который необходимо проверить на наличие битых ссылок. Если адрес сайта заканчивается названием папки, то нужно поставить в конце строки символ "/". Иначе будет идти проверка всей родительской папки.

Далее можно заполнить еще следующие настройки:

• Local file - выбрать для проверки сохраненную на диске компьютера веб-страницу.
• Check external links - дополнительно к внутренним ссылкам будут проверяться еще и все внешние ссылки.
• Consider URL's beginning with this as "internal" - добавить список ссылок, которые программа будет считать внутренними ссылками. Можно или в строке указать общий шаблон и/или чуть ниже ввести эти ссылки по отдельности. Ввод каждой такой ссылки должен завершаться нажатием на кнопку "Add".
• Do not check any URL's beginning with this - добавить список таких ссылок или разделов сайта, которые не нужно проверять. Также можно или ввести адрес раздела, который не надо проверять и/или вводить список адресов и ссылок. Ввод каждой такой ссылки должен завершаться нажатием на кнопку "Add".
• More options - открыть окно с дополнительными настройками.

Потом жмем на кнопку "ОК" и ждем от нескольких секунд до нескольких часов, в зависимости от размера Вашего сайта.

На экране появится полный список всех найденных на сайте ссылок. Каждая ссылка выделяется своим цветом:

• Зеленый цвет - ссылка доступна.
• Красный цвет - битая ссылка или ссылка временно недоступна.
• Серый цвет - ссылка пока еще стоит в очереди на проверку или она была исключена из проверки в настройках пользователя перед запуском проверки.

При завершении работы программы Xenu's Link Sleuth в самом низу окна программы будет написано слово Ready и справа в этой же строке будет показано общее количество найденных и обработанных ссылок и время, которое было затрачено на эту проверку.

Одновременно с окончанием проверки появляется окошко, которое спрашивает Вас делать ли отчет. Советую сделать отчет, так как он более удобен для изучения. В отчете всё отсортировано очень удобно, а не в том порядке, в котором Вы видите на экране (это порядок в котором шла проверка). Кроме того, в отчете Вам показывается не только битая ссылка, но и веб-страница, где эта ссылка была найдена. Отчет появляется в Вашем браузере, который используется по умолчанию.

В заключение несколько слов о дополнительных настройках программы Xenu's Link Sleuth. Перед запуском на проверку Вы можете нажать кнопку "More Options..." в левом нижнем углу (см. картинку выше). После чего появляется следующее окно с дополнительными полезными настройками.

Здесь можно поиграть со следующими параметрами:

• Parallel Threads - это число параллельно запрашиваемых страниц. Рекомендую ставить 1-4. Если поставите слишком большое число, то будет очень большая нагрузка на сервер. Это снизит скорость выполнения программы.
• Ask for password or certificate when needed - при необходимости запрашивать пароли и сертификаты. Данная настройка используется для защищенных сайтов и защищенных паролями разделов.
• Treat redirections as errors - считать все редиректы на сайте ошибками. Применяется, когда Вы точно знаете, что у Вас не должно быть никаких редиректов.
• Report - информация, которую необходимо выводить в отчет. Можно указывать пункты согласно изображению на рисунке.
• Broken links, ordered by links - показывать битые ссылки, отсортированные по адресу ссылки.
• Broken links, ordered by page - показывать битые ссылки, отсортированные по адресу страницы, на которой они находятся.
• Broken local links - показывать битые локальные ссылки.
• Redirected URLs - показывать ссылки с редиректами.
• Site Map - создать карту сайта на HTML. (Имейте в виду, что если на сайте очень много страниц, то отчет может очень долго формироваться.)
• Statistics - выводить в отчет различную статистическую информацию.

------------------

Автор статьи: Евгений Миронов.