Если адреса страниц вашего сайта содержат динамические параметры которые не влияют на их содержимое (например идентификаторы сессий, пользователей, рефереров и т.п.), вы можете описать их при помощи директивы Clean-param. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию.