Doston.ru | Блог для web-разработчиков и web-дизайнеров

robots.txt — обычный текстовый файл, находящийся в корне сайта, в котором содержатся специальные команды для поисковых роботов. Данный файл поможет вам управлять всеми поисковыми роботами, задавая как общие правила поведения, так и индивидуальные.     Список инструкций (директив): User-agent — указывает к какому роботу будут применены правила; Disallow — запрещает доступ; Allow — разрешает доступ; [...]

Друзья, это мой первый пост в рамках проекта doston.ru Я с радостью отвечу на ваши вопросы и замечания, если они возникнут. Данные рекомендации основаны на официальной информации от поисковой системы Яндекс и моих практических наблюдениях по продвижению сайтов.     1. Яндекс.Вебмастер Создайте учётную запись в сервисе Яндекс.Вебмастер и добавьте ваш сайт. Это упростит учёт [...]