Robots.txt: відмінності між версіями

[неперевірена версія][неперевірена версія]
Вилучено вміст Додано вміст
Створено шляхом перекладу сторінки «Robots exclusion standard»
 
Виділив зайву частину
Рядок 1:
Стандарт виключення для роботів, також відомий як протокол виключення для роботів або просто '''robots.txt''', це стандартний спосіб комунікації [[Веб-сайт|веб-сайтів]] з [[Пошуковий робот|пошуковими роботами]] та іншими [[Робот (програма)|роботами (програма)]]. Стандарт визначає, як повідомити веб-робота про те, які частини веб-сайту не повинні бути оброблені або відскановані. Роботи часто використовуються [[Пошукова система|пошуковими системами]] щоб встановити категорію сайту. Не всі роботи співпрацюють з даним стандартом наприклад: [[https:Email address harvesting|збирачі емейлів]], [[спам-боти]], [[Шкідливий програмний засіб|шкідливі програми]], і роботи що сканують на [[Уразливість|уразливості]] можуть навпаки почати з тих частих від яких їм сказано триматися подалі. Хоча стандарт і відрізняється від [[Sitemap|Sitemaps]], але може використовуватися в поєднанні з ним.
 
Стандарт викоючення для роботів, also known as the '''robots exclusion protocol''' or simply '''robots.txt''', is a standard used by [[Веб-сайт|websites]] to communicate with [[Пошуковий робот|web crawlers]] and other [[Робот (програма)|web robots]]. The standard specifies how to inform the web robot about which areas of the website should not be processed or scanned. Robots are often used by [[Пошукова система|search engines]] to categorize web sites. Not all robots cooperate with the standard; [//en.wikipedia.org/wiki/Email_address_harvesting email harvesters], [//en.wikipedia.org/wiki/Spambots spambots], [//en.wikipedia.org/wiki/Malware malware], and robots that scan for security vulnerabilities may even start with the portions of the website where they have been told to stay out. The standard is different from, but can be used in conjunction with, [//en.wikipedia.org/wiki/Sitemaps Sitemaps], a robot ''inclusion'' standard for websites.
 
[[Категорія:Всесвітня павутина]]