Robots.txt: відмінності між версіями
[неперевірена версія] | [неперевірена версія] |
Вилучено вміст Додано вміст
Створено шляхом перекладу сторінки «Robots exclusion standard» |
Виділив зайву частину |
||
Рядок 1:
Стандарт виключення для роботів, також відомий як протокол виключення для роботів або просто '''robots.txt''', це стандартний спосіб комунікації [[Веб-сайт|веб-сайтів]] з [[Пошуковий робот|пошуковими роботами]] та іншими [[Робот (програма)|роботами (програма)]]. Стандарт визначає, як повідомити веб-робота про те, які частини веб-сайту не повинні бути оброблені або відскановані. Роботи часто використовуються [[Пошукова система|пошуковими системами]] щоб встановити категорію сайту. Не всі роботи співпрацюють з даним стандартом наприклад: [[https:Email address harvesting|збирачі емейлів]], [[спам-боти]], [[Шкідливий програмний засіб|шкідливі програми]], і роботи що сканують на [[Уразливість|уразливості]] можуть навпаки почати з тих частих від яких їм сказано триматися подалі. Хоча стандарт і відрізняється від [[Sitemap|Sitemaps]], але може використовуватися в поєднанні з ним.
[[Категорія:Всесвітня павутина]]
|