Относно ботовете... На мен лично ми вършат работа и съм ги разрешил в няколкото сайта които поддържам. Според мен е въпрос на избор какви права ще се дадат на бота с оглед оптимизирането и по-пълното индексиране на дадена страница в търсачките. Не виждам причина да бъдат спрени освен ако даден сайт или форум не е твърде личен и частен, ориентиран към конкретна затворена група от юзъри и съвсем умишлено не се желае популярност.
)