Написал FAQ по robots.txt
Этому файлу уделяется мало внимание, а пользу или вред он приносит огромный.
Так что читаем внимательно, буду рад если кто что дополнит, непременно внесу в статью.