Robots.txt: відмінності між версіями
| [неперевірена версія] | [неперевірена версія] |
Вилучено вміст Додано вміст
Немає опису редагування |
мНемає опису редагування |
||
Рядок 61:
User-agent: * # Будь який робот
Disallow: /something/ # заборонити цей каталог
== Нестандартні розширення ==
=== Crawl-delay ===
crawl-delay значення яке вказує пошуковикам затримку для повторного завантаження сторінки . Оскільки це значення не є частиною стандарту, той й його інтерпретація залежить від ботів якими воно зчитується . [[Яндекс|Yandex]] інтерпретує як кількість секунд які потрібно зачекати перед повторним пошуком. [[Bing]] інтерпретує як розмір часового вікна (від 1 до 30 секунд) протягом якого BingBot зайде на сайт тільки раз.
User-agent: *
Crawl-delay: 10
=== Allow ===
Деякі з пошуковики підтримують вказівку <code>Allow</code>, яка є оберненою до вказівки <code>Disallow</code>. Це корисно коли ви хочете вказати пошуковику оминати всю директорію але хочете щоб деякі HTML документи знаходилися та індексувалися.
Для сумісності з усіма роботами, якщо ви хочете дозволити доступ до одного файлу в повністю забороненій директорії вам слід помістити директиву Allow першою, а за нею вже Disallow, наприклад:
Allow: /directory1/myfile.html
Disallow: /directory1/
Цей приклад забороняє все в директиві /directory1/ за вийнятком /directory1/myfile.html, до поки вказівки розташовані в правильному порядку. Порядок важливий тільки для тих роботів що слідують стандарту; в випадку з Google або Bing, порядок не важливий.
=== Sitemap ===
Деякі пошуковики підтримують вказівку <code>Sitemap</code>, що дозволяє використовувати декілька Sitemaps в одному файлі robots.txt в такій формі:
Sitemap: <nowiki>http://www.gstatic.com/s2/sitemaps/profiles-sitemap.xml</nowiki> Sitemap: <nowiki>http://www.google.com/hostednews/sitemap_index.xml</nowiki>
=== Host ===
Деякі пошуковики (Yandex) підтримують директиву <code>Host</code>, використовується на сайтах з багатьма дзеркалами щоб вказати якийсь певний [[Доменне ім'я|домен]]:
Host: example.com
Або альтернативний:
Host: www.example.com
'''Зауважте''': Це не підтримується всіма пошуковиками і якщо і використовується, то має бути вказано внизу файлу robots.txt після директиви <code>Crawl-delay</code>.
<nowiki>
[[Категорія:Всесвітня павутина]]</nowiki>
| |||