Robots.txt: відмінності між версіями

'''Стандарт виключення для роботів''', також відомий як '''протокол виключення для роботів''' або просто '''robots.txt''', це стандартний спосіб комунікації [[Веб-сайт|веб-сайтів]] з [[Пошуковий робот|пошуковими роботами]] та іншими [[Робот (програма)|роботами (програма)]]. Стандарт визначає, як повідомити веб-робота про те, які частини веб-сайту не повинні бути оброблені або відскановані. Роботи часто використовуються [[Пошукова система|пошуковими системами]] щоб встановити категорію сайту. Не всі роботи співпрацюють з даним стандартом наприклад: [[https:Email address harvesting|email harvesters]], [[спам-боти]], [[Шкідливий програмний засіб|шкідливі програми]], і роботи що сканують на [[Уразливість|уразливості]] можуть навпаки почати з тих частих від яких їм сказано триматися подалі. Хоча стандарт і відрізняється від [[Sitemap|Sitemaps]], але може використовуватися в поєднанні з ним.

 

Стандарт був запропонований Мартіном Костером

при роботі на Nexor