Ультимативний гайд: все про індексацію сайту на WordPress

Індексація сайту – це процес сканування всього вмісту на сайті, який виконується пошуковим роботом.

Як відбувається індексація? Пошуковий робот (бот або “павук”, як його ще називають) заходить на всі сайти доступні в інтернеті. Він сканує вміст і записує свою базу даних. Далі, коли користувач у пошуковій системі вводить свій запит, пошукова машина визначає, який матеріал зі своєї бази даних найкраще підійде під конкретний запит.

За вибір релевантного матеріалу відповідають алгоритми конкретного пошукового двигуна. А ось за індексацію що відповідає? Як відбувається процес запису даних? Чи можна на нього вплинути?

Веб-краулер – це пошуковий робот, завдання якого переходити за посиланнями та збирати інформацію про веб-сторінки.

Як працює пошуковий робот добре розписано на офіційному сайті Google, рекомендуємо ознайомитись.

Як перевірити чи проіндексована сторінка?

Очень просто. Введите в поиске site:yourdomain.com (где yourdomain.com – это адрес вашего сайта).

Дуже просто. Введіть у пошуку site:yourdomain.com (де yourdomain.com – це адреса вашого сайту).

Так само ви можете зробити з конкретною сторінкою – site:yourdomain.com/your-page

Як прискорити індексацію нових сторінок WordPress?

У нас є кілька загальних порад, як зробити так, щоб ваші сторінки швидше потрапляли до індексу:

1. По-перше, робіть зрозумілу структуру. Зрозуміла структура виявляється у можливості зробити логічний ланцюжок у “хлібних крихтах”. Ось запис, він знаходиться у категорії, а на категорії можна перейти з головної сторінки. Все має бути зрозумілим, користувач, як і пошуковий робот, повинні легко переходити з одного рівня вкладеності на інший.
2. Поновлюйте сайт, додавайте матеріал. Чим частіше ви оновлюєте сайт, тим частіше заглядатиме до вас бот, який індексує сторінки. Ті ж коментарі – це добрий варіант, щоб частіше залучати на свій сайт пошукового робота.
3. Не забувайте про грамотну перелінковку. Наприклад, блок “Схожі записи” наприкінці статті буде не зайвим.
4. Додайте сайт до Google Search Console. Через інтерфейс Google Серч Консолі можна запросити індексацію.
5. Створіть картку сайту sitemap.xml

Як створити мапу сайту на WordPress? Починаючи з версії 5.5, у Вордпресі за замовчуванням створюється карта сайту доступна за адресою /wp-sitemap.xml. Однак, ми помітили, що Google погано сприймає інформацію, доступну в цьому файлі, тому рекомендуємо використовувати плагін Google XML Sitemaps.

Загальні поради зрозумілі, а є щось прямо цінне, секретне? Так, є кілька лайфхаків, як прискорити індексацію сторінки:

1. Зробити редирект із вже існуючої сторінки.
2. Розмістити посилання у соціальних мережах. Пошукові роботи прямо живуть на таких сайтах: Twitter, Pinterest, Facebook. Розмістіть посилання там, попросіть ваших друзів поділитися посиланням і шанс швидко потрапити до індексу збільшиться в рази.
3. Є спеціальні платні послуги, які допомагають загнати сторінку в індекс. Ось один приклад, та другий.

Причини, через які може не індексуватися сайт/сторінка:

1. Сайт закритий від індексації у robots.txt;
2. На сервері заблоковано ip-адресу GoogleBot;
3. На сайті багато неунікального контенту чи порожніх сторінок. Чим менше контенту на сторінці, тим більше шансів, що ця сторінка не потрапить до індексу.
4. Помилка у тезі rel=”canonical”.
5. Сторінка дуже глибоко закопана, пошуковий бот просто не може до неї дійти.
6. Низька швидкість завантаження сайту.

Це є основні причини, з якими доводилося стикатися.

Яким має бути файл robots.txt для сайту на WordPress? Все індивідуально, але ви можете подивитися на наш robots.txt.

Як заборонити індексацію сайту на WordPress

Заходьте в адмінку Вордпреса, переходьте в розділ Налаштування -> Читання і там, навпроти “Видимість для пошукових систем”, ставте галочку:

На закінчення хочеться відзначити, що індексація сайтів на WordPress глобально нічим не відрізняється від індексації сайтів на будь-якій іншій CMS. Створюйте корисний контент і не допускайте грубих технічних помилок – і проблем із індексацією сайту у вас не буде!