Как проверить, видит ли Google ваш сайт: индексация, Sitemap и Search Console

Сайт может нормально открываться в браузере и при этом отсутствовать в Google. Это не всегда означает техническую поломку. Google мог ещё не обнаружить конкретный URL, мог просканировать его, но не добавить в индекс, либо на странице присутствует сигнал, запрещающий индексацию.

Ниже практическая проверка, которую можно выполнить бесплатно за 15-30 минут. Понадобится доступ к Google Search Console.

• **сканирование** - Googlebot открывает URL и читает страницу;
• **индексация** - Google анализирует страницу и может добавить её в индекс;
• **ранжирование** - проиндексированная страница конкурирует за позиции.

Индексация не гарантирует высокую позицию. Но неиндексируемая страница вообще не может получать органический трафик из Google. Если сайт не находится совсем, начните со статьи Почему моего сайта нет в Google.

Быстрая проверка за пять минут

1. Проверьте выдачу

site:вашдомен.lv
site:вашдомен.lv/конкретная-страница

Это только ориентир: оператор site: не является полным реестром индекса. Точный статус конкретного URL проверяется через URL Inspection.

2. Проверьте URL в Search Console

В верхнюю строку Search Console вставьте полный URL с правильным HTTPS и вариантом домена. Статус URL is on Google означает, что URL находится в индексе, а URL is not on Google означает, что он сейчас не индексируется; ниже будет указан статус или причина. Полный список проверок смотрите в материале Google Search Console: что проверять.

3. Нажмите Test Live URL

Live Test проверяет текущую версию страницы. Статус URL is available to Google означает только техническую доступность для индексации. Он не обещает, что Google обязательно добавит страницу в индекс или покажет её высоко.

HTTP-статус

• **200 OK** - нормальный статус индексируемой страницы;
• **301/308** - редирект; индексироваться должен конечный URL;
• **404** - страница не найдена;
• **410** - страница намеренно и окончательно удалена;
• **5xx** - ошибка сервера;
• **soft 404** - сервер отдаёт 200, но содержимое выглядит как ошибка или пустая страница.

Не перенаправляйте все старые URL на главную: 301 нужен только при наличии точного нового эквивалента. Если аналога нет, честный 404 или 410 корректнее.

noindex и robots.txt

<meta name="robots" content="noindex">
X-Robots-Tag: noindex

В URL Inspection проверьте пункт Indexing allowed?. Файл robots.txt управляет прежде всего сканированием. Если заблокировать URL в robots.txt, Google может не увидеть расположенный на странице noindex. Поэтому robots.txt не следует использовать как гарантированный способ удаления страницы из индекса.

Canonical

Сравните User-declared canonical и Google-selected canonical. Уникальная индексируемая страница обычно должна ссылаться canonical-тегом на саму себя. Если Google выбрал другой URL, проверьте дубли, параметры, HTTP/HTTPS, www/без www, завершающий слэш и внутренние ссылки.

sitemap.xml

• URL отдаёт 200;
• нет noindex;
• нет редиректов;
• self-canonical;
• нет 404 и 410;
• правильная HTTPS-версия домена.

В Search Console откройте Indexing → Sitemaps и отправьте sitemap.xml. Одна актуальная карта лучше нескольких устаревших с разными вариантами домена. Sitemap помогает обнаружению URL, но не гарантирует индексацию.

Внутренние ссылки

На важную страницу должны вести обычные HTML-ссылки из меню, категории, тематических статей, хлебных крошек или связанных страниц. URL без внутренних ссылок является orphan page и может восприниматься как малозначимый, даже если указан в sitemap. Контент должен отвечать конкретному поисковому намерению - в этом помогает семантическое ядро.

Основные статусы Search Console

• **Discovered - currently not indexed:** Google знает URL, но ещё не обработал его. Проверьте sitemap, ссылки, стабильность сервера и количество малоценных URL.
• **Crawled - currently not indexed:** Google посетил страницу, но пока не выбрал её для индекса. Проверьте уникальность, полноту и отличие от похожих страниц сайта.
• **Page with redirect:** URL перенаправляет посетителя; индексироваться должен конечный URL.
• **Alternate page with proper canonical tag:** URL признан альтернативой другой страницы. Если canonical задан намеренно, ошибки нет.
• **Excluded by noindex:** Google увидел запрет индексации. Для публичной страницы удалите noindex и запросите повторную проверку.
• **Blocked by robots.txt:** Googlebot не может сканировать URL. Сначала определите, намеренная ли это блокировка.
• **Not found (404):** если страница удалена без замены, это нормально. При наличии точного аналога настройте один 301 на него.

Когда использовать Request Indexing

Запрашивайте индексацию после публикации важной новой страницы или существенного исправления. Не отправляйте один URL ежедневно: повторные запросы не ускоряют обработку, имеют квоту и не гарантируют индексацию. Для большого числа страниц используйте sitemap и нормальную архитектуру сайта. Google Indexing API не предназначен для обычных страниц услуг и блога - он поддерживает только определённые JobPosting и прямые трансляции BroadcastEvent.

Чек-лист

• URL открывается и возвращает 200.
• Нет meta robots noindex и X-Robots-Tag noindex.
• robots.txt не блокирует важную страницу.
• Canonical указывает на правильный конечный URL.
• URL присутствует в актуальном sitemap.xml.
• Sitemap не содержит редиректы, 404 и noindex.
• На страницу ведут внутренние ссылки.
• Контент уникален и отвечает конкретному поисковому намерению.
• Live Test проходит успешно.
• После исправления Request Indexing отправлен один раз.

Заключение

Определите, где именно возникла проблема: обнаружение, сканирование, индексация или уже ранжирование. HTTP-статус, noindex, robots.txt, canonical, sitemap и внутренние ссылки обычно дают понятный первичный диагноз. Для проверки всего сайта изучите руководство по техническому SEO-аудиту или страницу SEO-услуг Juice.

Часто задаваемые вопросы