O que é um arquivo robots.txt?
Um arquivo robots.txt é uma diretiva que informa aos robôs ou rastreadores de mecanismos de pesquisa como proceder em um site. Nos processos de rastreamento e indexação, as diretivas atuam como ordens para guiar os bots de mecanismos de pesquisa , como o Googlebot, para as páginas certas. Os arquivos Robots.txt também são categorizados como …