Carácter * no robots.txt

A partir de agora é possível utilizar o carácter * nas regras de exclusão do ficheiro robots.txt. Dos três grandes (Google, Yahoo, MSN), o Yahoo era o único que ainda não permitia esta funcionalidade no seu spider.

Exemplo:

User-Agent: *
  1. <strong>
  2. <strong>Disallow: /*.gif$</strong></strong>

Com estas linhas no ficheiro robots.txt indicamos ao spiders que não indexem ficheiros com a extensão gif.

Tópicos: