Google не работает ошибка 404

Обычно ошибки 404 не влияют на эффективность сайта в Google Поиске. Вы можете смело игнорировать их, если они точно относятся к URL, которых не должно быть на вашем сайте. Важно, чтобы при переходе по всем недействительным URL возвращался верный код ответа HTTP (404) и чтобы доступ к ним не был заблокирован в файле robots.txt.

Какие меры принимать при возникновении ошибок 404:

1. Решите, нужно ли устранять выявленную проблему. Большинство таких случаев можно проигнорировать: они не влияют на индексирование и рейтинг сайта.
   • Если вы сами отправили URL на проверку, то возникающую ошибку лучше исправить.
   • Если страница была удалена и вы не создали вместо нее никакой другой, возврат кода 404 ожидаем. Ошибка перестанет показываться в отчете примерно через месяц.
   • Если проблема в самом URL, которого никогда не было на вашем сайте, вы можете не обращать на нее внимания. Исправлять ничего не требуется, если причина не в том, что URL был введен с опечатками. Ошибки 404 перестанут появляться в отчете примерно через месяц.
   • Если в URL содержится слово, которое часто пишется с опечатками или имеет несколько вариантов написания (например, example.com/gid/tallin вместо example.com/gid/tallinn, где во втором случае добавлена ещё одна буква n, или example.com/f00 вместо example.com/foo, где вместо двух букв o указаны нули), настройте для всех расхожих вариантов переадресацию на нужную страницу.
2. Если вы отправили URL на индексирование, а в отчете по нему указан статус Ошибка, выполните следующие действия:
   1. Выясните, откуда был отправлен URL, нажав на значок лупы рядом с ним и изучив информацию в разделе Как обнаружено. Внесите в файл Sitemap необходимые изменения.
   2. Если контент перемещен, добавьте переадресацию.
   3. Если контент страницы полностью удален и на вашем сайте нет похожей информации, старый URL должен возвращать сообщение об ошибке 404 или 410. В настоящее время Google обрабатывает ошибки 410 («Удалено») и 404 («Не найдено») одинаково. Если для несуществующей страницы возвращается код, отличный от 404 и 410, или если вместо возвращения кода 404 выполняется переадресация на другую страницу, это может привести к ошибкам. В таких случаях говорят о ложных ошибках 404, которые вводят в заблуждение не только пользователей, но и поисковые системы.
   4. Если URL вам неизвестен. Иногда в отчетах могут фигурировать ошибки 404 для URL, которых никогда не было на сайте. Подобная ситуация возможна, если пользователь пытается перейти по несуществующему URL, например некорректно указывает его в адресной строке браузера или нажимает на неправильную ссылку на ваш ресурс. Если с каким-либо URL это происходит часто, создайте для него переадресацию.
      Ещё одна причина такой ошибки может заключаться в том, что робот Googlebot пытается перейти по ссылкам, обнаруженным в коде JavaScript, файлах Flash, в другом встроенном контенте или только в отдельном файле Sitemap. Представим, что на вашем сайте используется следующий код для отслеживания скачиваний файлов в Google Аналитике:

      <a href="helloworld.pdf"
        onClick="_gaq.push(['_trackPageview','/download-helloworld']);">
        Hello World PDF</a>

      Обнаружив этот код, робот Googlebot может попытаться просканировать URL http://www.example.com/download-helloworld, хотя такой страницы не существует. Не исключено, что в результате на странице ошибок сканирования в Search Console для упомянутой ссылки появится сообщение об ошибке 404 («Не найдено»). Мы работаем над тем, чтобы такие сообщения не появлялись. Они не влияют на сканирование и рейтинг сайта.

3. Не создавайте ненужный контент, не настраивайте переадресацию на главную страницу и не блокируйте доступ к вызывающим проблему URL с помощью файла robots.txt. В противном случае нам будет сложнее определять структуру сайта и правильно его обрабатывать. Такие ошибки 404 мы называем ложными. (После одного удачного сканирования определенного URL робот Google может постоянно пытаться повторить эту процедуру. Добавьте переадресацию 300, чтобы отложить сканирование на продолжительное время.) Если отправить запрос на удаление URL при помощи специального инструмента, ошибка из отчета не исчезнет.

Эта информация оказалась полезной?

Как можно улучшить эту статью?

This page describes how different
HTTP status codes,
network errors, and DNS errors affect Google Search. We cover the top 20 status codes that
Googlebot
encountered on the web, and the most prominent network and DNS errors. More exotic status
codes, such as
418 (I'm a teapot),
aren’t covered. All issues mentioned on this page generate a corresponding error or warning in
Search Console’s
Page Indexing report.

HTTP status codes

HTTP status codes are generated by the server that’s hosting the site when it responds to a
request made by a client, for example a browser or a crawler. Every HTTP status code has a
different meaning, but often the outcome of the request is the same. For example, there are
multiple status codes that signal redirection, but their outcome is the same.

Search Console generates error messages for status codes in the 4xx–5xx range,
and for failed redirections (3xx). If the server responded with a
2xx status code, the content received in the response may be considered for
indexing.

The following table contains the most encountered HTTP status codes by Googlebot and an
explanation how Google handles each status code.

HTTP status codes
2xx (success)	Google considers the content for indexing. If the content suggests an error, for example an empty page or an error message, Search Console will show a soft 404 error. 200 (success) Google passes on the content to the indexing pipeline. The indexing systems may index the content, but that’s not guaranteed. 201 (created) 202 (accepted) Googlebot waits for the content for a limited time, then passes on whatever it received to the indexing pipeline. The timeout is user agent dependent, for example Googlebot Smartphone may have a different timeout than Googlebot Image. 204 (no content) Googlebot signals the indexing pipeline that it received no content. Search Console may show a soft 404 error in the site’s Page Indexing report.
3xx (redirection)	Googlebot follows up to 10 redirect hops. If the crawler doesn’t receive content within 10 hops, Search Console will show a redirect error in the site’s Page Indexing report. The number of hops Googlebot follows is user agent dependent; for example, Googlebot Smartphone may have a different value than Googlebot Image. In case of robots.txt, Googlebot follows at least five redirect hops as defined by RFC 1945 and then stops and treats it as a 404 for the robots.txt file. Any content Googlebot received from the redirecting URL is ignored, and the final target URL’s content is considered for indexing. 301 (moved permanently) Googlebot follows the redirect, and the indexing pipeline uses the redirect as a strong signal that the redirect target should be canonical. 302 (found) Googlebot follows the redirect, and the indexing pipeline uses the redirect as a weak signal that the redirect target should be canonical. 303 (see other) 304 (not modified) Googlebot signals the indexing pipeline that the content is the same as last time it was crawled. The indexing pipeline may recalculate signals for the URL, but otherwise the status code has no effect on indexing. 307 (temporary redirect) Equivalent to 302. 308 (moved permanently) Equivalent to 301.
4xx (client errors)	Google’s indexing pipeline doesn’t consider URLs that return a 4xx status code for indexing, and URLs that are already indexed and return a 4xx status code are removed from the index. Any content Googlebot received from URLs that return a 4xx status code is ignored. 400 (bad request) All 4xx errors, except 429, are treated the same: Googlebot signals the indexing pipeline that the content doesn’t exist. The indexing pipeline removes the URL from the index if it was previously indexed. Newly encountered 404 pages aren’t processed. The crawling frequency gradually decreases. 401 (unauthorized) 403 (forbidden) 404 (not found) 410 (gone) 411 (length required) 429 (too many requests) Googlebot treats the 429 status code as a signal that the server is overloaded, and it’s considered a server error.
5xx (server errors)	5xx and 429 server errors prompt Google’s crawlers to temporarily slow down with crawling. Already indexed URLs are preserved in the index, but eventually dropped. If the robots.txt file returns a server error status code for more than 30 days, Google will use the last cached copy of the robots.txt. If unavailable, Google assumes that there are no crawl restrictions. Any content Googlebot received from URLs that return a 5xx status code is ignored. 500 (internal server error) Googlebot decreases the crawl rate for the site. The decrease in crawl rate is proportionate to the number of individual URLs that are returning a server error. Google’s indexing pipeline removes from the index URLs that persistently return a server error. 502 (bad gateway) 503 (service unavailable)

soft 404 errors

A soft 404 error is when a URL that returns a page telling the user that the page does
not exist and also a
200 (success)
status code. In some cases, it might be a page with no main content or empty page.

Such pages may be generated for various reasons by your website’s web server or content
management system, or the user’s browser. For example:

• A missing server-side include file.
• A broken connection to the database.
• An empty internal search result page.
• An unloaded or otherwise missing JavaScript file.

It’s a bad user experience to return a 200 (success) status code, but then
display or suggest an error message or some kind of error on the page. Users may think the
page is a live working page, but then are presented with some kind of error. Such pages are
excluded from Search.

When Google’s algorithms detect that the page is actually an error page based on its content,
Search Console will show a soft 404 error in the site’s
Page Indexing report.

Fix soft 404 errors

Depending on the state of the page and the desired outcome, you can solve soft 404
errors in multiple ways:

• The page and content are no longer available.
• The page or content is now somewhere else.
• The page and content still exist.

Try to determine which solution would be the best for your users.

The page and content are no longer available

If you removed the page and there’s no replacement page on your site with similar content,
return a
404 (not found) or 410 (gone)
response (status) code for the page. These status codes indicate to search engines that the
page doesn’t exist and the content should not be indexed.

If you have access to your server’s configuration files, you can make these error pages useful
to users by customizing them. A good custom 404 page helps people find the
information they’re looking for, and also provides other helpful content that encourages
people to explore your site further. Here are some tips for designing a useful custom
404 page:

• Tell visitors clearly that the page they’re looking for can’t be found. Use language that is
  friendly and inviting.
• Make sure your 404 page has the same look and feel (including navigation) as
  the rest of your site.
• Consider adding links to your most popular articles or posts, as well as a link to your
  site’s home page.
• Think about providing a way for users to report a broken link.

Custom 404 pages are created solely for users. Since these pages are useless from
a search engine’s perspective, make sure the server returns a 404 HTTP status
code to prevent having the pages indexed.

The page or content is now somewhere else

If your page has moved or has a clear replacement on your site, return a
301 (permanent redirect)
to redirect the user. This will not interrupt their browsing experience and it’s also a great
way to tell search engines about the new location of the page. Use the
URL Inspection tool
to verify whether your URL is actually returning the correct code.

The page and content still exist

If an otherwise good page was flagged with a soft 404 error, it’s likely it
didn’t load properly for Googlebot, it was missing critical resources, or it displayed a
prominent error message during rendering. Use the
URL Inspection tool
to examine the rendered content and the returned HTTP code. If the rendered page is blank,
nearly blank, or the content has an error message, it could be that your page references many
resources that can’t be loaded (images, scripts, and other non-textual elements), which can be
interpreted as a soft 404.
Reasons that resources can’t be loaded include blocked resources (blocked by
robots.txt), having too many
resources on a page, various server errors, or slow loading or very large resources.

Network and DNS errors

Network and DNS errors have quick, negative effects on a URL’s presence in Google Search.
Googlebot treats network timeouts, connection reset, and DNS errors similarly to
5xx server errors. In case of network errors, crawling immediately starts
slowing down, as a network error is a sign that the server may not be able to handle the
serving load. Since Googlebot couldn’t reach the server hosting the site, Google also hasn’t
received any content from the server. The lack of content means that Google can’t index the
crawled URLs, and already indexed URLs that are unreachable will be removed from Google’s
index within days. Search Console may generate errors for each respective error.

Debug network errors

These errors happen before Google starts crawling a URL or while Google is crawling the URL.
Since the errors may occur before the server can respond and so there’s no status code that
can hint at issues, diagnosing these errors can be more challenging. To debug timeout and
connection reset errors:

• Look at your firewall settings and logs. There may be an overly-broad
  blocking rule set. Make sure that
  Googlebot IP addresses
  are not blocked by any firewall rule.
• Look at the network traffic. Use tools like
  tcpdump and
  Wireshark to capture and analyze
  TCP packets, and look for anomalies that point to a specific network component or server
  module.
• If you can’t find anything suspicious, contact your hosting company.

The error may be in any server component that handles network traffic. For example, overloaded
network interfaces may drop packets leading to timeouts (inability to establish a connection)
and reset connections (RST packet sent because a port was mistakenly closed).

Debug DNS errors

DNS errors are most commonly caused by misconfiguration, but they may be also caused by a
firewall rule that’s blocking Googlebot DNS queries. To debug DNS errors, do the following:

• Inspect your firewall rules. Make sure that
  none of Google’s IPs
  are blocked by any firewall rule, and that both UDP and TCP
  requests are allowed.
• Look at your DNS records. Double check that your A and
  CNAME records are pointing to the right IP addresses and hostname,
  respectively. For example:

  dig +nocmd example.com a +noall +answer

  dig +nocmd www.example.com cname +noall +answer

• Check that all your name servers are pointing to the correct IP addresses of your
  site. For example:

  dig +nocmd example.com ns +noall +answer
  example.com.    86400  IN  NS  a.iana-servers.net.
  example.com.    86400  IN  NS  b.iana-servers.net.
  dig +nocmd @a.iana-servers.net example.com +noall +answer
  example.com.    86400  IN  A  93.184.216.34
  dig +nocmd @b.iana-servers.net example.com +noall +answer
  ...

• If you’ve made changes to your DNS configuration within the last 72 hours,
  you may need to wait for your changes to propagate across the global DNS network. To speed up propagation, you can
  flush Google’s Public DNS cache.
• If you’re running your own DNS server, make sure it’s healthy and that it’s
  not overloaded.

Ошибка 404, либо Error 404 Not Found — ошибка, которая появляется, если браузеру не удалось обнаружить на сервере указанный URL.

Что означает ответ 404

Error 404 Not Found отображается по-разному: «HTTP 404 не найден», «Ошибка 404 Not Found», «404 Страница не найдена». Смысл надписи всегда остаётся тем же: страница отсутствует либо просто не работает. Not Found в переводе означает «не найдено».

Ошибка 404 — классический код ответа по протоколу HTTP. Он свидетельствует, что связь с сервером установлена, но данных по заданному запросу на сервере нет.

Однако если просто ввести в поисковую строку произвольный набор символов, то браузер не покажет ошибку 404 Not Found — появится сообщение, что установить соединение с конкретным сервером невозможно.

Разберёмся в техническом формировании ответа Error 404 Not Found.

Техническая сторона вопроса. При связи по HTTP браузер запрашивает указанный URL и ждёт цифрового ответа. То есть любой запрос пользователя направляется на сервер размещения искомого сайта. Когда браузеру удаётся связаться с сервером, он получает кодированный ответ. Если запрос корректный и страница найдена, отправляется ответ с кодом 200 OK, что соответствует благополучной загрузке. При отсутствии страницы отправляется ответ об ошибке.

Что значит код «404». В ответе 404 первая четвёрка указывает на то, что запрос был чрезмерно длительным или в самом адресе была ошибка. Ноль предполагает синтаксическую неточность. Завершающая цифра кода отображает конкретную причину ошибки — «4» означает отсутствие данной ссылки.

Какие ещё ошибки бывают. Ошибку 404 не нужно путать с другими ответами, которые указывают на невозможность связи с сервером. Например, ошибка 403 сообщает, что доступ к URL ограничен, а ответ «Сервер не найден» свидетельствует, что браузер не смог обнаружить место размещения сайта.

Причины ошибки

Причины, по которым HTTP возвращает ответ 404 Not Found:

• Неверный адрес. К примеру, при ручном наборе пользователь допустил опечатку в адресе либо ссылка ведёт на несуществующую страницу. При этом домен должен быть написан верно. Если пользователь ошибется в названии домена, страница вообще не загрузится (без показа ошибки).
• Битая ссылка. Это нерабочий URL, который никуда не ведёт. Данный вариант иногда возникает при внутренней перелинковке. К примеру, раньше страница существовала, а потом её удалили и забыли убрать ссылку.
• Удалённая страница. Когда пользователь попытается перейти на удалённую с сервера страницу, он также увидит ошибку 404. Ссылка для перехода может сохраниться в браузерных закладках или на сторонних ресурсах.
• Неправильный редирект на страницу с изменённым адресом. Допустим, в процессе редизайна URL изменили, но оставили без внимания связанные ссылки.
• Неполадки на сервере. Это самый редкий вариант.

В большинстве ситуаций ошибка 404 отображается, когда не удаётся обнаружить нужную страницу на доступном сервере.

Возможные последствия для сайта

Нужно ли считать 404 ошибку опасной для сайтов? Кажется, что нет ничего плохого в том, что пользователь не смог открыть одну веб-страницу. Однако если такая ситуация будет повторяться регулярно, это чревато оттоком аудитории. Одни пользователи решат, что сайт вовсе не существует. Другие подумают, что лучше не заходить на сайт, который работает с ошибками. Третьи будут игнорировать ресурс, на котором не смогли получить обещанную информацию.

Поисковые системы относятся к Not Found более лояльно. Например, Google отмечает, что 404 страницы не влияют на рейтинг. Но если при индексации роботы будут находить все больше ошибочных страниц, вряд ли это приведёт к более высокому ранжированию.

Если вы хотите улучшить взаимодействие с посетителями, важно найти и исправить все ошибки 404 на сайте.

Как выявить ошибку

На небольшом ресурсе легко проверить работоспособность ссылок вручную. Но если на сайте сотни и тысячи страниц, без дополнительного софта не обойтись. Есть немало сервисов и программ, позволяющих находить битые ссылки. Рассмотрим некоторые из них.

Search Console Google

Консоль поиска Google позволяет находить страницы с ошибкой 404 за несколько кликов:

1. Войдите в учётную запись Google и перейдите в Search Console.
2. Откройте раздел «Ошибки сканирования» → «Диагностика».
3. Кликните на «Not Found».

Чтобы получить список страниц с ошибками, подтвердите права на ресурс — добавьте проверочную запись TXT в записи DNS регистратора домена. Такая запись не повлияет на работу сайта. Подробнее о процедуре подтверждения, читайте в справке Google.

Яндекс Вебмастер

Сервис для вебмастеров от Яндекса поможет быстро найти все ошибки 404:

1. Откройте Вебмастер после авторизации в Яндекс-аккаунте.
2. Выберите «Индексирование» → «Доступные для поиска страницы» → «Исключённые страницы».
3. В выданном списке выберите фильтр «Ошибка HTTP: 404».

Чтобы использовать Яндекс.Вебмастер, также нужно подтвердить право владения сайтом — добавить метатег в HTML-код главной страницы.

Screaming Frog

Для начала загрузите и установите программу на компьютер. После запуска добавьте URL проверяемого сайта и начните поиск проблем. Неработающие ссылки можно искать даже в бесплатной версии.

SiteAnalyzer

Эта бесплатная десктопная программа позволяет обнаружить технические погрешности на сайте. SiteAnalyzer быстро отыщет нерабочие и несуществующие ссылки.

Как исправить ошибку Not Found

Выбор конкретного решения зависит от причины ошибки:

1. Ссылка ведёт в никуда из-за неверного URL. Для решения проблемы замените ошибочную ссылку на правильный адрес, чтобы сервер отдавал код 200 OK.
2. Битая ссылка. Подобная ситуация не редкость при внутренней перелинковке страниц. К примеру, ссылка есть, а саму страницу давно удалили. Решений два: удалить ссылку или заменить её на другую.

Удалять и менять ссылки вручную удобно только на небольших сайтах. Исправление ошибок на крупных порталах лучше автоматизировать. Например, с помощью специальных плагинов для внутренней перелинковки (Terms Description, Dagon Design Sitemap Generator) и для автоматического формирования адресов страниц (Cyr-To-Lat).

Чтобы ошибки 404 появлялись как можно реже, достаточно соблюдать простые рекомендации:

• Не присваивайте сложные адреса основным разделам сайта. Это снизит число ошибок, связанных с опечатками в URL.
• Не меняйте адреса страниц слишком часто. Это неудобно для пользователей и вводит в заблуждение поисковых роботов.
• Размещайте сайт на надёжном сервере. Это предотвратит ошибки, возникающие из-за неработоспособности сервера.

Мы разобрались, как найти и исправить ошибки Not Found внутри сайта. Но неработающая ссылка может быть расположена и на стороннем ресурсе. Допустим, когда-то на другом сайте разместили рекламную публикацию со ссылкой на определённую страницу. Спустя какое-то время страницу удалили. В этом случае появится ошибка 404. Устранить её можно, связавшись с администрацией ссылающегося сайта. Если же удалить/исправить ссылку нельзя, постарайтесь использовать ошибку с выгодой.

Как сделать страницу 404 полезной

Грамотно оформленная страница с ошибкой Error 404 Not Found — действенный инструмент конвертации посетителей. Ограничений по использованию страницы с ошибкой 404 нет. При этом практически все CMS позволяют настраивать дизайн этой страницы.

Что публиковать на странице 404:

• меню с кликабельными ссылками;
• ссылку на главную страницу;
• анонс последних публикаций;
• контакты для обратной связи.

При оформлении страницы-ошибки желательно опираться на рекомендации поисковиков:

• Яндекс настоятельно рекомендует, чтобы страница контрастировала с основным содержанием сайта — иные цвета, другие графические приёмы либо их отсутствие. Необходимо чётко и понятно объяснить пользователю, что запрошенной страницы не существует и предложить другое решение.
• Google советует придерживаться единого стиля оформления. Но также рекомендует понятно рассказать об ошибке и предложить полезные материалы.

Главное — по возможности отказаться от стандартной страницы 404. Подумайте, как привлечь внимание пользователя. Расскажите ему об отсутствии искомой страницы и предложите взамен что-то полезное или интересное.

Примеры оформления страниц 404

Designzillas

Мультяшная страница креативной студии привлекает внимание и её хочется досмотреть до конца. Если прокрутить страницу, можно увидеть, как из яйца вылупится дракон. При этом на странице есть ссылки на все основные разделы сайта.

Domenart Studio

Веб-студия «Домен АРТ» использует красочную страницу 404, оформленную в единой стилистике ресурса. Заблудившимся пользователям предлагают попробовать ещё раз ввести адрес или перейти в нужный раздел.

E-co

«Эко Пауэр», дистрибьютор производителя источников питания, демонстрирует короткое замыкание как символ ошибки. Посетителям предлагают перейти на главную.

Дом со всем

Компания «Дом со всем», занимающаяся бурением скважин, разместила на странице 404 свои контакты и перечень услуг. Со страницы можно перейти в любой раздел сайта или заказать обратный звонок. С таким наполнением посетителю не нужно искать дополнительную информацию где-то ещё.

Kualo

Страница 404 на веб-хостинге Kualo может заставить пользователя забыть, зачем он сюда пришёл. Увлекательная игра притягивает внимание. В конце игры посетителю предлагают посмотреть сайт хостинга.

Рано или поздно с ошибкой 404 сталкивается большинство сайтов. При регулярной проверке можно своевременно исправить неработающие ссылки, чтобы в ответ пользователи получали код 200 OK. Но для крупного ресурса лучше настроить оригинальную страницу, которая будет отображаться при появлении ошибки Not Found и подскажет посетителям, что делать дальше.

Главные мысли

• Проверьте ссылку страницы. Если вы изменили URL-адрес страницы либо удалили страницу с сайта, то вы будете получать ошибку 404. Чтобы исправить это, вы можете настроить Редирект 301.
• Если вы получили ошибку 404 для существующей страницы с верным URL-адресом, пожалуйста, свяжитесь с нами. Обязательно прикрепите скриншот этой ошибки и укажите URL страницы, которая получает эту ошибку.