Ультимативный гайд: все про индексацию сайта на WordPress
Индексация сайта — это процесс сканирование всего содержимого на сайте, который выполняется поисковым роботом.
Как происходит индексация? Поисковой робот (бот или «паук», как его еще называют) заходит на все сайты доступные в интернете. Он сканирует содержимое и записывает в свою базу данных. Далее, когда пользователь в поисковой системе вводит свой запрос, поисковая машина определяет, какой материал из своей базы данных лучше всего подойдет под конкретный запрос.
За подбор релевантного материала отвечают алгоритмы конкретного поискового движка. А вот за индексацию, что отвечает? Как происходит процесс записи данных? Можно ли на него повлиять?
Веб-краулер — это поисковой робот, задача которого переходить по ссылкам и собирать информацию о веб-страницах.
Как работает поисковой робот хорошо расписано на официальном сайте Google, рекомендуем ознакомится.
Как проверить проиндексирована ли страница?
Очень просто. Введите в поиске site:yourdomain.com (где yourdomain.com — это адрес вашего сайта).

Тоже самое вы можете сделать с конкретной страницей — site:yourdomain.com/your-page
Как ускорить индексацию новых страниц на WordPress?
У нас есть несколько общих советов, как сделать так, чтобы ваши страницы быстрее попадали в индекс.
- Во-первых, делайте понятную структуру. Понятная структура выражается в возможности сделать логическую цепочку в «хлебных крошках». Вот запись, она находится в категории, а на категории можно перейти с главной страницы. Все должно быть понятно, пользователь, как и поисковой робот, должны легко переходить с одного уровня вложенности на другой.
- Обновляйте сайт, добавляйте материал. Чем чаще вы обновляете сайт, тем чаще к вам будет заглядывать бот, который индексирует страницы. Те же комментарии — это хороший вариант, чтобы чаще привлекать на свой сайт поискового робота.
- Не забывайте про грамотную перелинковку. К примеру, блок «Похожие записи» в конце статьи будет не лишним.
- Добавить сайт в Google Search Console. Через интерфейс Гугл Серч Консоли можно запросить индексацию.
- Тоже самое вы можете сделать для Яндекса, добавив сайт в Яндекс.Вебмастер.
- Создайте карту сайта sitemap.xml
Как создать карту сайта на WordPress? Начиная с версии 5.5 в Вордпрессе по умолчанию создается карта сайта доступная по адресу /wp-sitemap.xml. Однако, мы заметили, что Google плохо воспринимает информацию доступную в этом файле, поэтому рекомендуем использовать плагин Google XML Sitemaps.
Общие советы понятны, а есть что-то прям ценное, секретное? Да, есть несколько лайфхаков, как ускорить индексацию страницы:
- Сделать редирект с уже существующей страницы.
- Разместить ссылку в социальных сетях. Поисковые боты прямо живут на таких сайтах: Twitter, Pinterest, Facebook. Разместите ссылку там, попросите ваших друзей поделиться ссылкой и шанс быстро попасть в индекс увеличится в разы.
- Есть специальные платные сервисы, которые помогают загнать страницу в индекс. Вот один пример, вот второй.
Причины, по которым может не индексироваться сайт/страница:
- Сайт закрыт от индексации в robots.txt;
- На сервере заблокирован ip-адрес GoogleBot;
- На сайте много неуникального контента или пустых страниц. Чем меньше контента на странице, тем больше шансов, что эта страница не попадет в индекс.
- Ошибка в теге rel=»canonical».
- Cтраница очень глубоко зарыта, поисковой бот просто не может до нее дойти.
- Низкая скорость загрузки сайта.
Это основные причины, с которыми приходилось сталкиваться.
Какой должен быть файл robots.txt для сайта на WordPress? Все индивидуально, но вы можете посмотреть на наш robots.txt.
Как запретить индексацию сайта на WordPress
Заходите в админку Вордпресса, переходите в раздел Настройки -> Чтение и там, напротив «Видимость для поисковых систем», ставите галочку:

В заключении хочется отметить, что индексация сайтов на WordPress глобально ничем не отличается от индексации сайтов на любой другой CMS. Создавайте полезный контент и не допускайте грубых технических ошибок — и проблем с индексацией сайта у вас не будет!