Документация для поисковых систем

Поисковые системы, принимающие протокол IndexNow, соглашаются поддерживать протокол и будущие эволюции протокола. Для участия поисковые системы должны иметь заметное присутствие хотя бы на одном рынке и соглашаться делиться URL-адресами с другими поисковыми системами, участвующими в протоколе.

Совместное использование URL-адресов с другими поисковыми системами


Поисковые системы, принимающие IndexNow, соглашаются поделиться всеми отправленными URL-адресами, проверенными ключом, со всеми другими поисковыми системами IndexNow в течение 10 секунд после получения URL-адресов, проверенных ключом, или в течение 10 секунд после проверки ключа.

Чтобы поделиться URL-адресами, поисковые системы будут отправлять запрос POST JSON всем другим поисковым системам IndexNow API с определенных IP-адресов с параметром URL-адреса noreping, чтобы уведомить поисковые системы о том, чтобы они не пинговали снова эти URL-адреса.

Пример:

«Если IndexNow принят поисковой системой searchengine0 получает почти одновременно два запроса:»

запрос GET

                https://searchengine0.com/indexnow?url=http://www.example1.com/product.html&key=
            

и запрос POST

                POST /indexnow HTTP/1.1
                Content-Type: application/json; charset=utf-8
                Host: searchengine0.com
                {
                  "host": "www.example2.org",
                  "key": "",
                  "urlList": [
                    "https://www.example2.org/url1",
                    "https://www.example2.org/folder/url2",
                    "https://www.example2.org/url3"
                  ]
                }
            

Эта поисковая система будет повторно пинговать все другие поисковые системы IndexNow в течение 10 секунд с параметром noreping, до 10 000 URL-адресов на сообщение.

Например, если searchengine0 уведомит searchengine1, вызов будет выглядеть следующим образом:

                POST /indexnow?noreping HTTP/1.1
                Content-Type: application/json; charset=utf-8
                Host: searchengine1.com
                {
                  "host": "www.searchengine0.com",
                  "key": "",
                  "urlList": [
                    "https://www.example1.com/product.html",
                    "https://www.example2.org/url1",
                    "https://www.example2.org/folder/url2",
                    "https://www.example2.org/url3"
                  ]
                }
            

Связь между поисковыми системами будет https зашифрована открытыми и закрытыми ключами. Открытый ключ будет указан в сообщении; закрытый ключ каждой поисковой системы будет передан каждой системой другим поисковым системам IndexNow.

Поисковые системы идентифицируют их, указывая их хост и их открытый ключ в запросе.

Идентификация поисковых систем

Поисковые системы должны совместно использовать диапазоны IP-адресов IndexNow, используемые для уведомления других поисковых систем, разрешающих большой объем звонков в день.

Список поисковых систем, поддерживающих IndexNow, находится в этом месте https://www.indexnow.org/searchengines.json. В нем перечислены все местоположения конфигурации поисковых систем IndexNow.

                {
                  "searchengine0": "https://www.searchengine0.com/indexnow/meta.json",
                  "searchengine1": "https://searchengine1.com/indexnow/meta.json"
                }
            

поисковым системам необходимо разместить файл json со списком местоположения API IndexNow и диапазонов IP-адресов, разрешающих повторение. Поисковые системы обязаны изменить свой файл IP-адресов не менее чем за 24 часа до изменения своих IP-адресов.

                {
                  "api": "https://www.searchengine0.com/indexnow",
                  "IPs": [
                    {"ipv4Prefix": "55.55.1.1/32"},
                    {"ipv6Prefix": "2404:f340::/32"}
                  ]
                }
            

поисковые системы не будут повторно пинговать, если запрос API IndexNow не соответствует условиям обслуживания API поисковых систем. Поисковые системы не будут повторно пинговать более одного раза одни и те же URL-адреса, полученные в течение последних 60 секунд.