Ban Indizierungs Sub-Domain oder Schließen der Indizierung Sub-Domain in robots.txt, in .htaccess

Ban Sub-Domain in robots.txt indiziert, wenn es in einem Unterverzeichnis / dir ist /

 User-agent: *
 Disallow: / dir / 

Ban Indizierung Sub-Domain in .htaccess, wenn es in einem Unterverzeichnis / dir ist /

 RewriteCond% {HTTP_USER_AGENT} ^. * Google. * [NC]
 RewriteCond% {HTTP_USER_AGENT} ^. * Yandex. * [NC]
 RewriteRule ^ / dir /.*$ - [F]

oder in /dir/.htaccess:

 RewriteEngine on
 RewriteCond% {HTTP_USER_AGENT} ^. * Google. * [NC]
 RewriteCond% {HTTP_USER_AGENT} ^. * Yandex. * [NC]
 . RewriteRule ^ * $ - [F]

Ban Sub-Domain in robots.txt indiziert, wenn sie im selben Verzeichnis wie die Seite ist, oder durch andere Subdomains

 RewriteCond% {HTTP_HOST} Pod1 \ .Site \ .ru. * $ RewriteRule ^ Roboter \ .txt $ robots1.txt 

Erstellen Sie es robots1.txt an der Wurzel gelegt, und es:

 User-agent: *
 Disallow: /

So schaffen wir verschiedene robots.txt für jede Sub-Domain.

Ban Indizierung Sub-Domain in .htaccess, wenn sie im selben Verzeichnis wie die Website oder durch andere Subdomains ist

 RewriteCond% {HTTP_USER_AGENT} ^. * Google. * [NC]
 RewriteCond% {HTTP_USER_AGENT} ^. * Yandex. * [NC]
 RewriteCond% {HTTP_HOST} Pod1 \ .Site \ .ru. * $
 . RewriteRule ^ * $ - [F]

Sie können auch alle Sub-Domains zu deaktivieren, außer wie angegeben.

Dies kann im Falle von Social-Networking-Sites oder Verzeichnisse mit personenbezogenen Daten nützlich sein.

 RewriteCond% {HTTP_USER_AGENT} ^. * Google. * [NC]
 RewriteCond% {HTTP_USER_AGENT} ^. * Yandex. * [NC]
 RewriteCond% {HTTP_HOST} ^ ([a-z0-9 -] +) \ site \ .ru * $ [NC] ..
 RewriteCond% {HTTP_HOST}! Www \ .Site \ .ru. * $ [NC]
 RewriteCond% {HTTP_HOST}! Pod1 \ .Site \ .ru. * $ [NC]
 RewriteCond% {HTTP_HOST}! Pod2 \ .Site \ .ru. * $ [NC]
 . RewriteRule ^ * $ - [F]

Wo: Pod1, pod2 - Subdomains, die nicht notwendig zu verbieten sind.