Robots.txt - первая статья о роботах в сети ugrade.ru

Документ, который правит роботами на вашем сайте лежит в корне сайта и рушит все ваши планы о продвижение, хотите ли Вы его обуздать? или управлять роботами? Да, тогда читаем и обсуждаем.
« Комментарии

Похожие анонсы

robots txt для wordpress @ 10.09.2011 11:43
Добрый вечер,а вы знаете что правильная настройка robots.txt позволяет лучше воспринимать ваш сайт поисковыми роботами? Что само собой влечет «хорошее» отношение к вашему сайту. Уже хотите посмотеть как выглядит robots.txt для wordpress? Поехали!
Поисковые роботы @ 22.06.2012 09:57
Эта проблема побудила исследователей Интернет на проведение экспериментов с автоматизированной навигацией по Сети, названной "роботами”. Веб-робот - это программа, которая перемещается по гипертекстовой структуре Сети, запрашивает документ и рекурсивно возвращает все документы, на которые данный документ ссылается.
Как создать robots.txt и зачем это нужно @ 13.05.2012 16:25
Продуктивность взаимодействия интернет-ресурса с поисковыми роботами во многом зависит не только от работ по оптимизации, но и от того, насколько внимательная работа ведется со структурой сайта и необходимыми системными файлами. Одним из них является robots.txt.
Индексация сайта поисковыми роботами. Что влияет на индексацию? @ 13.01.2016 21:22
Индексация сайта поисковыми ресурсами – процесс добавления информации (контента) поисковыми роботами для последующего использования информации в поиске в ответ на запрос человека.
Правильная настройка Robots.txt @ 31.08.2011 09:21
Robots.txt — это текстовый файл, который располагается в корне сайта. Главное его предназначение - это задавать определённые директивы поисковым системам - что и когда делать на сайте. В статье описаны все основные директивы и много примеров. В составлении robots.txt теперь разберётся и ребёнок.
Как создать правильный robots.txt @ 21.11.2011 16:40
Сегодня речь пойдет о файле robots.txt, основная функция которого скрытие страниц от индексации поисковыми роботами. Запрещать индексацию некоторых страниц нужно для отсутствия дублей контента и ненужных страниц в индексе поисковиков. Создать robots.txt можно даже в обычном блокноте, после заполнения файла директивами (речь о них пойдет дальше) файл robots.txt нужно выгрузить в корень сайта.
Создаем файл robots.txt для сайта @ 29.11.2012 07:50
Для чего файл robots.txt нужен? Он говорит поисковым роботам, какие страницы не надо индексировать, а какие стоило бы проиндексировать. Например, на вашем сайте есть какая-нибудь конфиденциальная информация, которую Вы не хотите "светить" в результатах поиска. Тогда об этом стоит предупредить роботов поисковиков, чтобы они оставили эту страницу в покое.
Индексация сайта поисковыми роботами. Что влияет на индексацию? @ 13.11.2015 21:06
Индексация сайта поисковыми роботами. Что влияет на индексацию? А ты знаешь как важна индексация для твоего сайта?
Как составлять мета-теги @ 14.04.2013 11:49
Мета-теги прописываются больше для поисковых систем, так как посетители на самом сайте их не видят (кроме title, который отображается в браузере). Но поскольку продвижение в выдаче основывается на ранжировании сайтов именно поисковыми роботами, то понятно, что без прописанных мета-тегов оно будет происходить намного труднее.
Как проверить robots.txt в панели Yandex и Google @ 19.08.2012 14:27
Рано или поздно каждый уважающий себя автор сайта вспоминает про файл robots. Про этот файл, размещаемый в корне сайта, написано в интернете предостаточно. Почти у каждого вебмастера есть статья на сайте про актуальность и правильность составления его. Я же в этой статье напомню начинающим блоггерам как проверить его с помощью инструментов в панели вебмастера, предоставляемые Yandex и Google.

Спонсоры

Авторизация

Имя:
Пароль:
 

Друзья проекта

Активность на сайте