Robots.txt: відмінності між версіями

[неперевірена версія][неперевірена версія]
Вилучено вміст Додано вміст
Виділив зайву частину
Створено шляхом перекладу сторінки «Robots exclusion standard»
Рядок 1:
Стандарт виключення для роботів, також відомий як протокол виключення для роботів або просто '''robots.txt''', це стандартний спосіб комунікації [[Веб-сайт|веб-сайтів]] з [[Пошуковий робот|пошуковими роботами]] та іншими [[Робот (програма)|роботами (програма)]]. Стандарт визначає, як повідомити веб-робота про те, які частини веб-сайту не повинні бути оброблені або відскановані. Роботи часто використовуються [[Пошукова система|пошуковими системами]] щоб встановити категорію сайту. Не всі роботи співпрацюють з даним стандартом наприклад: [[https:Email address harvesting|збирачіemail емейлівharvesters]], [[спам-боти]], [[Шкідливий програмний засіб|шкідливі програми]], і роботи що сканують на [[Уразливість|уразливості]] можуть навпаки почати з тих частих від яких їм сказано триматися подалі. Хоча стандарт і відрізняється від [[Sitemap|Sitemaps]], але може використовуватися в поєднанні з ним.
 
== Історія ==
Стандарт був запропонований Мартіном Костером
при роботі на Nexor 
в лютому 1994 року [[Чарльз Штросс|Чарльз Стросс]] стверджує, що це він спровокував Костера до створення ідеї robots.txt після того, як він написав некоректно працючий веб-оглядач, що викликало випадкову [[DoS-атака|відмову в обслуговуванні]] атак на сервер Костера.
 
Він швидко став стандартом де-факто , якому нинішні і майбутні пошукові роботи повинні слідувати; більшість виконала, у тому числі в пошукових системах, таких як [[WebCrawler]], [[Lycos]] та [[AltaVista]].
 
Стандарт викоючення для роботів, also known as the '''robots exclusion protocol''' or simply '''robots.txt''', is a standard used by [[Веб-сайт|websites]] to communicate with [[Пошуковий робот|web crawlers]] and other [[Робот (програма)|web robots]]. The standard specifies how to inform the web robot about which areas of the website should not be processed or scanned. Robots are often used by [[Пошукова система|search engines]] to categorize web sites. Not all robots cooperate with the standard; [//en.wikipedia.org/wiki/Email_address_harvesting email harvesters], [//en.wikipedia.org/wiki/Spambots spambots], [//en.wikipedia.org/wiki/Malware malware], and robots that scan for security vulnerabilities may even start with the portions of the website where they have been told to stay out. The standard is different from, but can be used in conjunction with, [//en.wikipedia.org/wiki/Sitemaps Sitemaps], a robot ''inclusion'' standard for websites.
 
== References ==
{{Reflist|30em}}
[[Категорія:Всесвітня павутина]]