Gerador de Robots.txt Grátis

Ferramentas para Webmasters Totalmente Grátis!

Gerador de Robots.txt


Padrão - Todos os robôs são:  
    
Crawl-Delay:
    
Mapa do Site: (deixe em branco se você não tem) 
     
Pesquisa Robôs: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Diretórios restritos: O caminho é relativo à raiz e deve conter uma barra à direita "/"
 
 
 
 
 
 
   



Agora, Criar arquivo robots.txt no diretório raiz Copie acima do texto e cole no arquivo de texto..


Sobre Gerador de Robots.txt

robots.txt é um arquivo no formato .txt (texto) que funciona como um filtro para os buscadores e faz com que os webmasters controlem permissões de acesso a determinadas páginas ou pastas dos sites. O robots.txt controla qual informação de um site deve ou não deve ser indexada pelos sites de busca. A sintaxe do arquivo é bem simples, e deve ser colocada pelo webmaster responsável pelo site na raiz da hospedagem.




mineração eobot



criação de sites