Пошуковий робот: відмінності між версіями

нема опису редагування
[перевірена версія][перевірена версія]
(Додав два способа закриття сайту від індексації. Є ще способи)
Немає опису редагування
 
Павуки здійснюють загальний пошук інформації в [[Інтернет]]і. Вони повідомляють про зміст знайденого документа, [[Індекс бази даних|індексують]] його і добувають підсумкову інформацію. Вони також переглядають заголовки, деякі посилання і відправляють проіндексовану інформацію до бази даних пошукового механізму.
 
{{приєднати|Краулінг}}
 
== Як закрити від індексаціх сайт ==
45 173

редагування