Google Indexing API – быстрая индексация в Google

Google Indexing API – приложение, которое работает с консолью Google (Google Search Console), позволяет отправлять страницы на ускоренную индексацию, минуя внутренний интерфейс Google Search Console.

Отправка URL на индексацию или переиндексацию в поисковой сети Google через Google Search Console ограничена. В сутки можно отправить лишь 10 страниц за раз.

Такой ручной способ для крупных сайтов интернет-магазинов и агрегаторов не эффективен и выливается в крупные временные затраты. Google Indexing API разрешает отправлять на переиндексацию сразу весь список URL-адресов.

Что может инструмент:

  • Обновление URL-адресов: сообщить, что на сайте появились новые URL-адреса или обновленный контент, чтобы GoogleBot просканировал его как можно скорее.
  • Удаление URL-адресов: сообщить, какие страницы были удалены. Таким образом, поисковая система деиндексирует их и не будет тратить краулинговый бюджет.
  • Получение статуса запроса: проверить статус индексации конкретного URL.
  • Отправка запросов на пакетное индексирование: отправить на переиндексацию до 200 документов с одного сервисного аккаунта. Инструмент позволяет подключить неограниченное число таких аккаунтов.

Этапы настройки Google Indexing API

1. Создание проекта и сервисного аккаунта в Google Cloud Platform

  1. В сервисе Google Cloud Platform создаем новый проект.
    Создание проекта в Google Cloud Platform
  2. В новом окне в поле «Project name» вводим название латинскими буквами, подойдет абсолютно любое слово, например, наименование вашего сайта. Поле «Location» можно пропустить. Затем нажимаем «Create».
    Заполнение данных по новому проекту в Google Cloud Platform
  3. Переходим в раздел «Service accounts», расположенный во вкладке «IAM & Admin».
    Сервисный аккаунт в Google Cloud Platform
  4. В этом разделе создаем сервисный аккаунт. Кликаем «+Create Service Account».
    Создание нового сервисного аккаунта в Google Cloud Platform
    • Шаг 1: ввести «Service account name» - произвольное наименование на английском. Поле «Service account ID» заполнится автоматически. Нажимаем кнопку «Create and continue».
      Заполнение данных для нового сервисного аккаунта в Google Cloud Platform
    • Шаг 2: выбрать роль владельца «Owner». Затем нажать кнопку «Continue».
      Назначение роли для нового сервисного аккаунта в Google Cloud Platform

      Примечание: На втором шаге вместо «Continue» можно сразу нажать кнопку «Done» для пропуска третьего шага. Однако, при таком действии несколько раз была зафиксирована ошибка: сбрасывалась роль с владельца на Basic или Editor. При прохождении всех трех этапов, даже если на третей вкладке поля остаются не заполнены, такие ошибки не возникают.

    • Шаг 3: На третьем этапе можно оставить поля незаполненными нажать «Done».
      Заполнение данных для нового сервисного аккаунта

      Примечание: Максимальное количество запросов на индексацию в день для одного сервисного аккаунта 200 URL. Для увеличения числа страниц можно запросить увеличение квоты или создать до 12 проектов в одном аккаунте Google Cloud. Соответственно, при полном наборе, в день для одного сайта можно отправить на индексацию 200*12 = 2400 URL. Увеличить число проектов можно несколькими способами:
      • удалить лишние проекты и вместо них создать новые. Однако в нашем опыте есть проект, который висит в списке на удаление месяц. В течение этого времени место зарезервировано;
      • создать еще аккаунты.

2. Создание ключа

  • После создания аккаунта, автоматически попадаем в окно со списком. Здесь создаем токен, для чего кликаем значок с тремя точками в столбце «Actions» и выбираем «Manage keys».
    Управление JSON-ключами в Google Cloud Platform
  • из списка выбираем создать новый ключ «Create new key».
    Создание JSON-ключа в Google Cloud Platform
  • Выбрать тип JSON.
    Создание JSON-ключа
  • Ключ автоматически будет загружен на ваш компьютер. Содержимое файла выглядит так:
    JSON-ключ создан в Google Cloud Platform

Внимание! Загруженный ключ является единственной копией.

3. Включение функционала

Требуется включить Index API для сервисного аккаунта. Чтобы это сделать переходим по ссылке.

  • На странице нажать «Enable», проверив выбранный проект.
    Включение Indexing API
  • Чтобы попасть в на страницу подключения функционала с любого раздела в окне поиска достаточно ввести «index» и выбрать результат «Indexing API» в разделе «Marketplace».
    Поиск API библиотеки

4. Подтвердить доступ в Google Search Console

  • Открываем Google Search Console и выбираем сайт, для которого будем индексировать страницы.
  • В боковом меню выбираем раздел «Настройки». Затем кликаем на поле «Пользователи и разрешения».
    Связь сервисных аккаунтов в Google Search Console
  • Скопировать адрес почты сервисного аккаунта Cloud Platform.
    Почта сервисного аккаунта

Чтобы добавить пользователя:

  • В верхнем правом углу жмем на кнопку "Добавить пользователя"
  • В появившемся окне вставляем адрес электронной почты сервисного аккаунта.
  • В поле "Разрешение" необходимо выбрать - «Владелец». С другими разрешениями приложение работать не будет.
  • После этого следует нажать «Добавить».
    Добавление сервисных аккаунтов в Google Search Console

Важно! Для подтверждения необходимо 5-10 минут. Если после добавления почты сразу запустить Index API, отрабатывать он будет некорректно.

5. Настройка и запуск скрипта для работы с Google Indexing API (на примере ОС Windows)

На этом этапе скачиваем на компьютер скрипт и установить библиотеку node.js.

  1. Чтобы скачать скрипт с github на компьютер, переходим по ссылке. Нужно кликнуть зеленую кнопку Code и из выпадающего списка выбрать “Download ZIP”.
    Скачать скрипт для Indexing API с github

    Файл будет загружен в виде ZIP архива, который можно распаковать любым архиватором, например 7-zip или WinRaR. Так выглядит содержимое папки со скриптом. Путь к данной папке нам еще будет нужен.
    Файлы скрипта
  2. Скачать библиотеку node можно по ссылке, выбрав необходимое устройство.
  3. Далее устанавливаем модуль node:
    • Открываем терминал (клавиши WIN+R, в строке ввести cmd и нажать ОК).
    • В терминале заходим в папку скрипта: вводим команду cd, после пробела вставляем путь к папке и кликаем Enter.
      Командная строка
    • Затем в терминале по очереди вводим следующие команды:
      • npm install requests
      • npm audit fix
      • npm audit fix --force

    В результате выполненных действий в папке со скриптом должна появится новая папка node_modules.


  4. После этого для запуска API в загруженной папке, где находится скрипт, заполнить данные файлов:
    • service_account.json – вставляем данные, загруженных ключей API, при помощи любого текстового редактора. Пример заполнения:
      Заполнение данных ключей
    • url.txt – URL для отправки на индексацию. Пример заполнения:
      Заполнение данных на ускоренную индексацию
  5. После заполнения файлов для запуска скрипта в командной строке требуется прописать команду: node index.js.
    Последний шаг для запуска скрипта
    Важно!!! В командной строке должна быть открыта папка со скриптом. Если выйти из командной строки или использовать скрипт не первый раз в нее необходимо войти, прописываем cd и адрес папки через пробел.

  6. После ввода должен появиться ответ «200 ОК». Документы успешно отправлены на переиндексацию.
    Успешная отправка страницы на индексацию