[Réglé].htaccess : Interdire ou rediriger un appelant

[bluemanca]

Bonjour à tous !

Mon site web est visité constamment par le robot msnbot dont les URL de référence (l'appelant) sont de la forme :

msnbot-207-46-12-21.search.msn.com

Je souhaiterais donc, grâce à un fichier ".htaccess", connaître les syntaxes pour :

1) Rediriger toutes les demandes qui contiennent la chaîne "msnbot" vers le site http://msnbot.go.away.forever

2) Interdire toutes les demandes qui contiennent la chaîne "msnbot"

Merci de me proposer les deux solutions (cela m'aidera à comprendre les syntaxes).

Par avance, Merci !

Nota Bene : merci de ne pas me prososer un conseil faisant appel à d'autres solutions que ce que je recherche (pas de fichier robots.txt ou autre ! : que du .htaccess)

[Skynet]

Bonjour & bienvenue,

heureusement qu'il y a ton Nota Bene .

Pour ton petit 2, voici la solution :

Code: Tout sélectionner

SetEnvIfNoCase User-Agent "^msnbot" bad_bot

<limit GET POST>
  Order Allow,Deny
  Allow from all
  Deny from env=bad_bot
</limit>

Je laisse les autres répondre pour ton point 1.

Sinon, pourquoi ne veux-tu pas de msnbot ?

@+

[Skynet]

Bonjour Skynet !

Et merci !

Je vous remercie d'autant plus qu'ayant posé mes questions dans d'autres forums, je me suis fait incendié, les gens étant plus là pour juger les autres, pinailler la façon dont il s'expriment, les mots qu'ils emploient, et ne cesser de leur donner des leçons, que pour les aider.

Aussi, je vous remercie de votre gentillesse : c'est là la vraie intelligence.

J'ai donc inséré votre code dans mon fichier .htaccess et, pour le moment (je revérifie encore), oui ça a l'air de fonctionner ! Plus de msnbot !

J'ai essayé toutes sortes de solutions avec le fichier "robots.txt" mais msnbot et d'autres n'en tiennent pas compte. En fait, je me suis aperçu que le fichier "robots.txt" ne servait à rien : cela indique juste les préférences du WebMaster, mais les robots font en réalité ce qu'il veulent. Alors qu'avec .htaccess, c'est fini ! Les bad bots ne peuvent plus rien faire !

Pourquoi je n'en veux plus ? Parce-qu'il me mange de la bande passante et qu'il ne repréesnet que 0,1% des gens qui viennent sur mon site. Alors bon débarras !

Encore merci de votre accueil et de votre ! Je reviendrais en priorité chez vous !

À bientôt, Cordialement,

bluemanca.

EDIT :

DAMNED !!!!

Ça ne marche pas : en voilà un qui est passé :

msnbot-65-52-104-39.search.msn.com

Saloperie de msnbot !

As-tu une autre solution ?

[Skynet]

Erfff ! Moi qui étais prêt à dire : De rien .

As-tu tenté simplement ceci :

Code: Tout sélectionner

<limit GET POST>
  Order Allow,Deny
  Allow from all
  Deny from *.msn.com
</limit>

Je vous remercie d'autant plus qu'ayant posé mes questions dans d'autres forums, je me suis fait incendié, les gens étant plus là pour juger les autres, pinailler la façon dont il s'expriment, les mots qu'ils emploient, et ne cesser de leur donner des leçons, que pour les aider.

Oui je vois le genre...

Parce-qu'il me mange de la bande passante et qu'il ne repréesnet que 0,1% des gens qui viennent sur mon site. Alors bon débarras !

Ok, ok, je m'attendais à ce genre de réponse . De plus il me semble que msnbot ne respecte pas le fichier robots.txt, tout comme Yandex...

Tu as un quota peut-être à ne pas dépasser par mois ? Tu es chez qui ?

@++

[bluemanca]

Bon,

Alors pendant que tu tapais ta dernière réponse, j'ai viré les lignes de LIMIT pour obtenir ceci :

Code: Tout sélectionner

SetEnvIfNoCase User-Agent "^msnbot" bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot

Et pour le moment, ça a l'ai de bien marcher, mais attendons un jour complet pour être sûr !

Pour mon hébergement, je suis chez http://www.likuid.com/fr/, et j'en suis très content, car je sollicite à mort leur base de données et leur site FTP !

Ma limite actuelle est de 50Go / mois, mais je suis en réalité à 65 Go. Alors je dégraisse msn !

Si tu veux voir mon site : http://www.blueman.name

avec une page qui plait beaucoup aux gens : http://www.blueman.name/Des_Videos_Remarquables.php

Encore merci de ton aide généreuse et très sympathique !

Je te tiens au courant pour les résultats !

À bientôt, cordialement,

BlueManCa.

[Skynet]

j'ai viré les lignes de LIMIT

D'accord, tu verras bien. Sinon tu testeras mon autre solution.

Pour ton hébergeur je ne connaissais pas, c'est Canadien .

Alors je dégraisse msn !

Au plaisir alors .

[Skynet]

Bonjour Skynet !

Bon ben...ça ne marche pas ! :

msnbot-207-46-199-29.search.msn.com

Il me semble que j'en ai moins mais... comment expliquer que cela n'arrête pas la requête émanant de cette adresse ?

Retour au point mort....

Ah, un point important : "msnbot-207-46-199-29.search.msn.com" est la résolution de l'IP du site demandant la connexion à mon site.
A+

BlueMan.

EDIT :

Re-bonjour !

Alors, après avoir bien regardé, voici ma conclusion :

Le code :

Code: Tout sélectionner

SetEnvIfNoCase User-Agent "^msnbot" bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot

fonctionne, mais pas à 100%.

Pourquoi ? Je n'en sais rien.

Ce qui est sûr, c'est que je ne vois plus msnbot à l'exception d'une seule fois. Donc il y a un net progrès.

Je vous tiens au courant de la suite des évènements.

A+

BlueMan,

[Skynet]

Re,

je pense que le code fonctionne parfaitement . Voir mon explication à ceci :

Il me semble que j'en ai moins mais... comment expliquer que cela n'arrête pas la requête émanant de cette adresse ?

En fait on bloque l'accès à ce bot, mais pas le fait de se présenter.

C'est comme un démarcheur à domicile qui viendrait chez toi, tu peux refuser qu'il entre mais tu n'as pas pu empêcher qu'il sonne à ta porte .

Et bien là c'est identique. Msnbot se présente, le htaccess lui dit "NON !!!" en verrouillant l'accès et soit il insiste en obtenant toujours la même réponse, soit il s'en va.

Ce qui est sûr, c'est que je ne vois plus msnbot à l'exception d'une seule fois. Donc il y a un net progrès.

Ok, mais dans cette seule et unique fois, tu as eu quoi dans tes logs aussi ?

[bluemanca]

Salut !

Je viens de lire ton explication, mais en fait ca ne marche pas car l'adresse du demandeur d'une page, je la stoke dans ma base données dès qu'un visiteur vient sur l'une des pages de mon site.

Aussi, si cette adresse apparaît dans outil de suivi, c'est que le bot a réussi à accéder à page qui a déclenché l'insertion de la donnée dans la BDD.

Ainsi, on est sur que l'interdiction a échoué hélas.

Bon, en regardant dans la base plus en arrière de ce qui s'est passé durant la nuit, je vois que d'autres msbot sont présents.

Total : ça ne marche pas.

Il faudrait trouver une solution avec les fonctions RewriteCond et ReWriteRule.

A+

BlueMan.

[Skynet]

C'est bizarre, tu le mets où ton .htaccess ?

Sinon, tu n'as pas répondu à ceci :

tu as eu quoi dans tes logs aussi ?

Je demande pas un log complet, mais juste la ligne d'une visite de msnbot depuis la mise en place du nouveau .htaccess.

Aussi :

As-tu tenté simplement ceci :

Code: Tout sélectionner

<limit GET POST>
  Order Allow,Deny
  Allow from all
  Deny from *.msn.com
</limit>

@+

[bluemanca]

Oui j'ai essayé, mais cela ne marche pas.

Ce n'est pas un log mais une appli web que j'ai développée et qui va chercher les actions de mes visiteurs, actions que je stocke dans MySQL.

A+

BlueMan.

[webmaster]

Sinon il y a l'autre méthode.

Code: Tout sélectionner

RewriteCond %{HTTP_USER_AGENT} ^.*(msnbot).* [NC]      # Si le user agent contient la chaine msnbot RewriteRule .* http://msnbot.go.away.forever [L]     # on redirige toutes les pages vers le site.

Attention, valable aussi pour les info que t'as données skynet, la récriture d'url et autres s'appliquent au répertoire dans lequel tu mets le fichier .htaccess et à tous les sous répertoires de ton site à condition que les sous-répertoires ne contiennent pas eux même un .htaccess avec des règles de récriture. Sinon tu devras reporter ça aussi dans les autres fichiers .htaccess.

En espérant que ça roule


Je précise aussi que msn étant le bot du moteur de bing.com et/ou msn, tu peux l'interdire par un simple robots.txt

[bluemanca]

Merci WebMaster ! : je vais essayer ta solution.

Pour le fichier robots.txt, oublie ! : cela ne marche pas : c'est juste consultatif ! Donc aucun intéret...

Je te reviens demain !

A+

BlueMan.

[Skynet]

Ce n'est pas un log mais une appli web que j'ai développée et qui va chercher les actions de mes visiteurs, actions que je stocke dans MySQL.

D'accord, mais tu as bien un rapport (un log) fourni par ton hébergeur non ?

Mais je maintiens que c'est bizarre que ça ne fonctionne pas et je me dis, bien que la solution de web est valide, que ça ne devrait pas fonctionner non plus alors.

Tu es certain d'avoir mis ton .htaccess à la racine et qu'il ne comporte pas une ligne de code dont toi seul a connaissance et qui met le bordel ?

@+

[bluemanca]

Des nouvelles :

Le code :

Code: Tout sélectionner

RewriteCond %{HTTP_USER_AGENT} ^.*(msnbot).* [NC]
RewriteRule .* http://msnbot.go.away.forever [L]


marche !!! Si si ! Depuis quelques heures, je ne vois plus de msnbot.quelquechose

Je vais maintenant en essayer un autre qui interdit l'accès au lieu de rediriger.

je vous tiens au courant !

A+

BlueMan.