Le robot SharePoint server ignore les directives dans Robots.txt
Numéro de la ko d’origine : 3019711
Symptômes
Prenons l’exemple du scénario suivant :
Vous utilisez le moteur Microsoft SharePoint Server 2013 ou SharePoint Server 2010 pour analyser différents sites.
Pour ces sites, vous souhaitez utiliser des directives dans le fichier Robots.txt pour définir les chemins d’accès que le moteur de recherche peut analyser.
Vous définissez la directive suivante pour l’agent utilisateur par défaut du robot :
Agent utilisateur : Mozilla/4.0 (compatible ; MSIE 4.01; Windows NT ; Robot MS Search 6.0)
Dans ce scénario, le robot SharePoint Server n’applique pas la directive.
Cause
Ce problème se produit car le moteur d’analyse SharePoint Server ne reconnaît pas son agent utilisateur par défaut dans la directive.
Résolution
Pour résoudre ce problème, utilisez la directive suivante dans le fichier Robots.txt :
User-Agent: MS Search 6.0 Robot