Що таке повзучий бюджет?
Бюджет сканування - це кількість часу і ресурсів, які пошукова система виділяє для сканування певного сайту. Іншими словами, це максимальна кількість сторінок, яку пошукова система може просканувати на вашому сайті за певний проміжок часу. Бюджет сканування може відрізнятися для різних пошукових систем (або сканерів).
Google стверджує, що вам не варто турбуватися про бюджет на сканування, якщо тільки:
- Ваш сайт має понад 1 мільйон унікальних сторінок з контентом, який змінюється приблизно раз на тиждень.
- У вас сайт середнього розміру (близько 10 тис. сторінок) і ви часто (щодня) змінюєте контент.
- Ви керуєте новинним сайтом.
- Search Console класифікує більшість URL-адрес вашого сайту як "Виявлені - наразі не індексуються".
Кожен сайт отримує різний бюджет на сканування, виходячи з двох основних факторів:
- Попит на сканування: Визначається кількістю сторінок, частотою р озміщення/оновлення та популярністю сторінок.
- Обмеженняшвидкості сканування: залежить від можливостей сервера, ліміту сканування, встановленого власником сайту в Search Console, ліміту сканування пошукової системи та автоматичних налаштувань Google на основі часу відгуку сервера.
Чому важливий повзучий бюджет?
Бюджет на сканування важливий, оскільки він впливає на те, скільки сторінок Googlebot може просканувати на вашому сайті і як часто Googlebot може повторно сканувати ваші веб-сторінки, щоб оновити свій індекс. Google має величезні ресурси, але він не може просканувати (і регулярно пересканувати) всі сторінки в Інтернеті. Як наслідок, Google розподіляє бюджет на сканування для веб-сайтів.
Щоб переконатися, що ваш бюджет на сканування не витрачається даремно на неважливі сторінки, зосередьтеся на оптимізації ефективності сканування вашого сайту.
Як збільшити бюджет на краулінг?
1. Прискорте роботу сервера та зменшіть час завантаження сторінок
Час відгуку сервера і швидкість завантаження сторінки безпосередньо впливають на сканування. Коли Googlebot сканує ваш сайт, він спочатку завантажує ресурси, а потім обробляє їх. Якщо ваш сервер відповідає швидко, Googlebot може сканувати більше сторінок на вашому сайті.
- Використовуйте швидкий і надійний веб-хостинг та мережу доставки контенту (CDN), щоб зменшити час початкової відповіді сервера.
- Скоротіть час завантаження сторінки, запобігаючи скануванню великих, але некритичних ресурсів за допомогою robots.txt, уникаючи довгих ланцюжків перенаправлень і видаляючи важкі та погано закодовані теми і плагіни.
2. Додати більше посилань
Кількість посилань на сторінку вказує на її важливість для Google. Googlebot віддає перевагу скануванню сторінок з більшою кількістю зворотних і внутрішніх посилань. Збільште свій бюджет на сканування, додавши більше зовнішніх і внутрішніх посилань на свої сторінки.
- Щоб отримати пропозиції щодо внутрішньої перелінковки, проведіть аудит вашого сайту за допомогою таких інструментів, як Ranktracker's Site Audit.
3. Виправити непрацюючі посилання та зменшити кількість перенаправлень
Занадто багато непрацюючих внутрішніх посилань (коди відповіді 404 або 410) і перенапр авлених URL-адрес (3xx) можуть витратити бюджет на сканування вашого сайту. Виправте непрацюючі посилання і непотрібні перенаправлення, щоб оптимізувати бюджет на сканування.
- Використовуйте такі інструменти, як Ranktracker's Site Audit, щоб знайти непрацюючі та перенаправляючі URL-адреси на вашому сайті.
4. Використовуйте API індексації, якщо це можливо
API індексації дозволяє вам безпосередньо повідомляти Google про додавання, видалення або оновлення сторінок на вашому сайті. Це допомагає пришвидшити сканування ваших сторінок.
- Примітка: API індексування наразі доступний для конкретних випадків використання, таких як відео в реальному часі та вакансії.
Поширені запитання
Чи поважає Googlebot затримку сканування в Robots.txt?
Ні, Googlebot не враховує налаштування затримки сканування, застосовані у файлі robots.txt.
Коли вам слід подбати про бюджет на просування?
Вам варто потурбуватися про бюджет на сканування, якщо у вас дуже великий сайт (понад 1 мільйон сторінок) або сайт середнього розміру з дуже частими (щоденними) змінами контенту. Більшості сайтів не потрі бно турбуватися про бюджет сканування.
Як перевірити бюджет сканування для мого сайту?
Ви ніде не знайдете точної цифри бюджету на сканування. Однак ви можете переглянути огляд активності сканування Google у звіті Crawl Stats в Google Search Console.
Щоб дізнатися більше про те, як покращити SEO та ефективність сканування вашого сайту, відвідайте Блог Ranktracker і вивчіть наш повний посібник з SEO. Крім того, ознайомтеся з ключовими термінами і поняттями SEO в нашому Глосарії SEO.
