Интернет заполнен сайтами, которые поисковые системы по определенным причинам не могут проиндексировать. В основном причиной становится неправильная структура URL, неверное серверное программирование (back-end programming) или плохой дизайн сайта