O arquivo robots.txt que especificamos é otimizado para garantir a classificação mais alta possível nos mecanismos de pesquisa. Ele diz aos mecanismos de pesquisa que não indexem determinadas páginas, o que afetaria negativamente o posicionamento nos mecanismos de pesquisa. Por exemplo, páginas com muito pouco conteúdo (como a página Escrever novo tópico), URLs ligeiramente diferentes que apontam para o mesmo conteúdo (isso seria considerado conteúdo duplicado pelos mecanismos de pesquisa) e páginas transacionais exclusivas para membros (como seguir um tópico, editar seu perfil etc.). Isso garante que os mecanismos de pesquisa vejam principalmente as páginas altamente relevantes e ricas em conteúdo do seu fórum, para que ele classifique seu fórum em uma posição mais alta nos resultados da pesquisa.

Outras páginas listadas no arquivo robots.txt são páginas privadas que só podem ser acessadas por membros logados. De qualquer forma, não é possível que os mecanismos de pesquisa acessem essas páginas. Ao restringi-los no nível robots.txt, isso aumenta sua classificação no mecanismo de pesquisa porque ele não fica vendo a página de login repetidamente, pensando que seu fórum não tem muito conteúdo de alta qualidade. Também reduz as visualizações de páginas desnecessárias geradas pelo rastreador do mecanismo de pesquisa, o que acabaria custando dinheiro e, de qualquer forma, não resultaria em melhor posicionamento no mecanismo de pesquisa ou na entrega de anúncios (já que a página de login é ignorada pelo rastreador do mecanismo de pesquisa).

As redes de publicidade contextual, como o Google Adsense, também preferem que você não use páginas com pouco conteúdo ou conteúdo duplicado para segmentação contextual de anúncios. Nosso arquivo robots.txt garante que somente páginas altamente relevantes sejam usadas para publicidade contextual, para que os anunciantes prefiram anunciar em seu fórum, resultando em maior receita a longo prazo.

O arquivo robots.txt do seu fórum pode ser visto aqui.