Robots.txt

Стандарт виключення для роботів, також відомий як протокол виключення для роботів або просто robots.txt, це стандартний спосіб комунікації веб-сайтів з пошуковими роботами та іншими роботами (програма). Стандарт визначає, як повідомити веб-робота про те, які частини веб-сайту не повинні бути оброблені або відскановані. Роботи часто використовуються пошуковими системами щоб встановити категорію сайту. Не всі роботи співпрацюють з даним стандартом наприклад: збирачі емейлів, спам-боти, шкідливі програми, і роботи що сканують на уразливості можуть навпаки почати з тих частих від яких їм сказано триматися подалі. Хоча стандарт і відрізняється від Sitemaps, але може використовуватися в поєднанні з ним.

Стандарт викоючення для роботів, also known as the robots exclusion protocol or simply robots.txt, is a standard used by websites to communicate with web crawlers and other web robots. The standard specifies how to inform the web robot about which areas of the website should not be processed or scanned. Robots are often used by search engines to categorize web sites. Not all robots cooperate with the standard; email harvesters, spambots, malware, and robots that scan for security vulnerabilities may even start with the portions of the website where they have been told to stay out. The standard is different from, but can be used in conjunction with, Sitemaps, a robot inclusion standard for websites.