Allez-vous à votre serveur de site Web et ajouter un fichier robots.txt pour empêcher un robot de moteur de recherche de trouver votre site. Regardez les listes de tous vos sites sur la page d'accueil Webmaster Tools de votre serveur. Cliquez sur le site vous allez travailler avec pour créer le fichier robots.txt.
Trouver "Configuration du site," choisir l'option de "Accès chenilles" et de regarder pour la "Générer le fichier robots.txt" option.
Regardez sous toutes les options pour l'allocation de robot, et permettre à tous pour le moment - le blocage de tous les robots des moteurs de recherche pourrait poser d'autres problèmes techniques hors de la portée de cet article.
Pensez à choisir refus de financement individuels du robot de sorte que vous pouvez être plus précis dans l'obtention de votre hors site un moteur de recherche particulier. Choisir "Action" dans votre menu et "Interdire."
Passez par la liste disponible de robots et de choisir celui qui vous voulez interdire - par exemple, Googlebot.
Rendez-vous sur votre "Fichiers & Répertoires" boîte, et d'ajouter une barre oblique ou "/" Là.
Appuyez sur la "Ajouter" icône, et votre fichier robots.txt seront placés dans le code de votre site web.
Veillez à enregistrer votre fichier robots.txt comme un fichier texte et le placer juste dans le répertoire principal avec "fichier robots.txt" dans le nom du fichier. De cette façon, les robots des moteurs de recherche ne manquera pas de le ramasser et honorer le code en ne balayant votre site.