Ультимативный гайд: все про индексацию сайта на WordPress

Индексация сайта — это процесс сканирование всего содержимого на сайте, который выполняется поисковым роботом.

Как происходит индексация? Поисковой робот (бот или «паук», как его еще называют) заходит на все сайты доступные в интернете. Он сканирует содержимое и записывает в свою базу данных. Далее, когда пользователь в поисковой системе вводит свой запрос, поисковая машина определяет, какой материал из своей базы данных лучше всего подойдет под конкретный запрос.

За подбор релевантного материала отвечают алгоритмы конкретного поискового движка. А вот за индексацию, что отвечает? Как происходит процесс записи данных? Можно ли на него повлиять?

Веб-краулер — это поисковой робот, задача которого переходить по ссылкам и собирать информацию о веб-страницах.

Как работает поисковой робот хорошо расписано на официальном сайте Google, рекомендуем ознакомится.

Как проверить проиндексирована ли страница?

Очень просто. Введите в поиске site:yourdomain.com (где yourdomain.com — это адрес вашего сайта).

Тоже самое вы можете сделать с конкретной страницей — site:yourdomain.com/your-page

Как ускорить индексацию новых страниц на WordPress?

У нас есть несколько общих советов, как сделать так, чтобы ваши страницы быстрее попадали в индекс.

1. Во-первых, делайте понятную структуру. Понятная структура выражается в возможности сделать логическую цепочку в «хлебных крошках». Вот запись, она находится в категории, а на категории можно перейти с главной страницы. Все должно быть понятно, пользователь, как и поисковой робот, должны легко переходить с одного уровня вложенности на другой.
2. Обновляйте сайт, добавляйте материал. Чем чаще вы обновляете сайт, тем чаще к вам будет заглядывать бот, который индексирует страницы. Те же комментарии — это хороший вариант, чтобы чаще привлекать на свой сайт поискового робота.
3. Не забывайте про грамотную перелинковку. К примеру, блок «Похожие записи» в конце статьи будет не лишним.
4. Добавить сайт в Google Search Console. Через интерфейс Гугл Серч Консоли можно запросить индексацию.
5. Тоже самое вы можете сделать для Яндекса, добавив сайт в Яндекс.Вебмастер.
6. Создайте карту сайта sitemap.xml

Как создать карту сайта на WordPress? Начиная с версии 5.5 в Вордпрессе по умолчанию создается карта сайта доступная по адресу /wp-sitemap.xml. Однако, мы заметили, что Google плохо воспринимает информацию доступную в этом файле, поэтому рекомендуем использовать плагин Google XML Sitemaps.

Общие советы понятны, а есть что-то прям ценное, секретное? Да, есть несколько лайфхаков, как ускорить индексацию страницы:

1. Сделать редирект с уже существующей страницы.
2. Разместить ссылку в социальных сетях. Поисковые боты прямо живут на таких сайтах: Twitter, Pinterest, Facebook. Разместите ссылку там, попросите ваших друзей поделиться ссылкой и шанс быстро попасть в индекс увеличится в разы.
3. Есть специальные платные сервисы, которые помогают загнать страницу в индекс. Вот один пример, вот второй.

Причины, по которым может не индексироваться сайт/страница:

1. Сайт закрыт от индексации в robots.txt;
2. На сервере заблокирован ip-адрес GoogleBot;
3. На сайте много неуникального контента или пустых страниц. Чем меньше контента на странице, тем больше шансов, что эта страница не попадет в индекс.
4. Ошибка в теге rel=»canonical».
5. Cтраница очень глубоко зарыта, поисковой бот просто не может до нее дойти.
6. Низкая скорость загрузки сайта.

Это основные причины, с которыми приходилось сталкиваться.

Какой должен быть файл robots.txt для сайта на WordPress? Все индивидуально, но вы можете посмотреть на наш robots.txt.

Как запретить индексацию сайта на WordPress

Заходите в админку Вордпресса, переходите в раздел Настройки -> Чтение и там, напротив «Видимость для поисковых систем», ставите галочку:

В заключении хочется отметить, что индексация сайтов на WordPress глобально ничем не отличается от индексации сайтов на любой другой CMS. Создавайте полезный контент и не допускайте грубых технических ошибок — и проблем с индексацией сайта у вас не будет!