Форум, постоянно пополняемый сообщениями, очень быстро превращается в довольно увесистую часть сайта. Разрастающийся контент создает определенные трудности при индексации страниц поисковыми пауками. Если проанализировать содержимое форума, то можно заметить, что некоторая часть его контента является мало информативной для поисковика. Это относится к таким разделам форума, как список пользователей, личные сообщения, календарь, статистика, поиск, создание новых сообщений и ответов, помощь и др. Т.к. объем информации, которая может быть проиндексирована спайдером на странице, ограничен, то нужно обязательно закрывать не несущие смысловой нагрузки части страниц от индексирования. Под особый «карантин» должна попасть страница со списком зарегистрированных пользователей или с описанием профилей пользователей. Такие страницы содержат большое количество исходящих ссылок на личные и корпоративные сайты участников форума, которые могут существенно снизить вес данной страницы внутри сайта.
Рассмотренные выше ограничения декларируются в файле robots.txt. Т.о. для индексации должна оставаться открытой только самая существенная информация, т.е. заголовки тем, сообщения по ним, а также ссылки, ведущие с форума на поддерживаемый им сайт.
