Help > Forum > Mecanismos de pesquisa > Por que algumas páginas estão bloqueadas no arquivo robots.txt?

Por que algumas páginas estão bloqueadas no arquivo robots.txt?

O arquivo robots.txt que especificamos é otimizado para garantir a classificação mais alta possível nos motores de busca. Ele diz aos motores de busca para não indexar certas páginas que impactam negativamente a colocação nos motores de busca. Por exemplo, páginas com muito pouco conteúdo (como a página Compor Novo Tópico), URLs ligeiramente diferentes que apontam para o mesmo conteúdo (isso seria contado como conteúdo duplicado pelos mecanismos de pesquisa) e páginas somente para membros transacionais (como seguir um tópico, editar seu perfil, etc.). Isso garante que os motores de busca vejam principalmente as páginas altamente relevantes e ricas em conteúdo do seu fórum para que ele classifique seu fórum mais alto nos resultados da pesquisa.

Outras páginas listadas no arquivo robots.txt são páginas privadas que só podem ser acessadas para membros conectados. Não é possível que os motores de busca acessem essas páginas de qualquer maneira. Ao restringi-los no nível robots.txt, ele aumenta seu ranking com o mecanismo de busca porque ele não continua vendo a página de login várias vezes, pensando que seu fórum não tem muito conteúdo de alta qualidade. Ele também reduz exibições de página desnecessárias geradas pelo crawler do mecanismo de pesquisa, o que acabaria custando dinheiro e não resultaria em melhor posicionamento do mecanismo de pesquisa ou entrega de anúncios de qualquer maneira (uma vez que a página de login é desconsiderada pelo crawler do mecanismo de pesquisa).

As redes contextuais de publicidade, como o Google Adsense, também preferem que você não use páginas com pouco ou duplicado conteúdo para segmentação de anúncios contextuais. Nosso arquivo robots.txt garante que apenas páginas altamente relevantes sejam usadas para publicidade contextual para que os anunciantes prefiram publicidade em seu fórum, resultando em maior receita a longo prazo.

O arquivo robots.txt para o seu fórum pode ser visto aqui.


If you still need help, please contact us.