Robots.txt под Fapos CMS

Не нашел на форуме темы с robots.txt в поисковики залетает куча хлама(не нужных страниц) вот решил создать тему,где мы соберем robots.txt под Fapos CMS

И так вот что я посчитал нужным в robots.txt

Я не уверен что нужно, но думаю что нужно обсудить на счет /users/
К примеру я иногда ищу людей, вводя их данные которые есть только на их страницах

ага. Я например разрешил бы users и search

а что обсуждать то ладно если делать соц.сеть то да лучше users вычеркнуть из robots.txt а если обычный сайт,то это никчему в поисковых системах.


Drunya по поводу поиска-это тоже самое никакого толку только хлам в ПС.

Иногда замечаю что яндекс ищет не по сайту, а в поисковике сайта. Так как поисковая формула яндекса лучше этой, то думаю есть смысл предоставить поиск поисковикам

Просто некоторым влом ставить поиск того же яндекса, например мне. Вот я и оставил наш поиск. Если я правильно понял о чем речь))) Так же и на этом сайте.

Именно))

Не, не про то. К примеру я замечал когда яндекс искал не по сайту, а по поисковику сайта. Ну то есть заходит яндекс в модуль search и вводит разные команды.

И я считаю что роботам в search делать нечего, пусть своей формулой индексируют сайт, а люди пусть ищут в модуле search

а какая разница каким способом яша запускает роботов?

ARMI, ну ведь формула поиска фапоса наверное хуже формулы поиска яндекса (ну и других роботов). А значит пусть поисковики ищут сами, а людям пусть будет поиск от фапоса