En réponse à Frédéric Urbain.

Mauvaise pratique. Oui, robots.txt le fait mais, depuis, la bonne pratique est de mettre ces ressources sous /.well-known/ https://www.bortzmeyer.org/8615.html