Пошуковий робот: відмінності між версіями

Додав два способа закриття сайту від індексації. Є ще способи
[перевірена версія][перевірена версія]
(typo)
(Додав два способа закриття сайту від індексації. Є ще способи)
 
Павуки здійснюють загальний пошук інформації в [[Інтернет]]і. Вони повідомляють про зміст знайденого документа, [[Індекс бази даних|індексують]] його і добувають підсумкову інформацію. Вони також переглядають заголовки, деякі посилання і відправляють проіндексовану інформацію до бази даних пошукового механізму.
 
== Як закрити від індексаціх сайт ==
# За допомогою файла [[robots.txt]]
# За допомогою [[Мета-теги#.D0.9Ce.D1.82a-.D1.82e.D0.B3 Robots|мета-тегу]]
 
== Посилання ==
14

редагувань