A partir de agora é possível utilizar o carácter * nas regras de exclusão do ficheiro robots.txt. Dos três grandes (Google, Yahoo, MSN), o Yahoo era o único que ainda não permitia esta funcionalidade no seu spider.

Exemplo:

User-Agent: *
<strong>
<strong>Disallow: /*.gif$</strong></strong>

Com estas linhas no ficheiro robots.txt indicamos ao spiders que não indexem ficheiros com a extensão gif.