Robots Exclusion Protocol — RFC 9309
https://www.rfc-editor.org/rfc/rfc9309
Especificação do arquivo robots.txt, publicada pela Internet Engineering Task Force (IETF) em setembro de 2022 como RFC 9309. Formaliza o protocolo criado em 1994 por Martijn Koster, usado por sites para indicar a robôs de coleta, como buscadores e coletores de dados para treinamento de inteligência artificial, quais páginas não devem ser acessadas.
Estrutura
Section titled “Estrutura”- O arquivo fica na raiz do site, em
/robots.txt. - Cada grupo de regras começa com
user-agent, que identifica o robô, seguido de linhasallowedisallowcom os caminhos. - Robôs podem guardar o arquivo em cache por até 24 horas.
O cumprimento das regras depende de cada robô. A especificação afirma que as regras não são uma forma de autorização de acesso.
Observações
Section titled “Observações”- Custo: acesso gratuito.