Avis sur les bots soi-disant normaux...

[Skynet]

Salut,

je voudrais savoir si vous avez des expériences similaires avec des bots qui ont un drôle de comportement.

Je viens de bloquer (en partie) Yandex l'homologue de Google en Russie, sur une rangée d'IP : 93.158.150.0 à 93.158.150.255

Ce bot teste une centaine de fois par jour à référencer des dossiers en testant des noms au hasard.

Je sais que Yandex possède différents bots, mais je trouve ses pratiques douteuses ! C'est le premier dans la liste :

Liste des robots Yandex

Voici les Yandex Bots :

* Yandex/1.01.001 (compatible; Win16; I) : robot principal; sa fréquence de crawl est assez élevée et il est de loin le plus assidu des robots pour un site russe, même petit, au netlinking très faible et aux mises à jour rares. Ce robot est également de plus en plus présent sur les sites non-russophones.
* Yandex/1.01.001 (compatible; Win16; H) : robot dédié aux sites miroirs et contenus dupliqués
* Yandex/1.01.001 (compatible; Win16; P) : robot images
* Yandex/1.02.000 (compatible; Win16; F) : robot favicons
* Yandex/1.03.000 (compatible; Win16; M) : robot servant au surlignage des mots-clés dans le cache
* Yandex/1.03.003 (compatible; Win16; D) : robot actif lors de l'ajout d'URL à Yandex
* YaDirectBot/1.0 (compatible; Win16; I) : robot pour les sites qui installent un code Yandex Direct (régie publicitaire de Yandex)
* YandexBlog/0.99.101 (compatible; DOS3.30,B) : robot dédié aux fichiers XML pour Blog Search (RSS/Atom) http://blogs.yandex.ru/
* YandexSomething/1.0 : robot Yandex News news.yandex.ru
* Yandex/2.01.000 (compatible; Win16; Dyatel; C) : robot vérifiant si les sites présents dans l'annuaire Yandex fonctionnent; si non, les sites sont supprimés rapidement
* Yandex/2.01.000 (compatible; Win16; Dyatel; D) : contrôle les liens sponsorisés Yandex Direct
* Yandex/2.01.000 (compatible; Win16; Dyatel; Z) : robot de Yandex Bookmark

Bref OUT !!

C'est qui le prochain ? Baidu ?

[Ask to Old Man]

Ce sera mon seul commentaire.

[Skynet]

Oui .

Je te passe le passage où le fameux bot tente le dossier (qui n'existe pas) "Passwords" hummmm !

Imaginez si Google faisait pareil... Bien que des fois...

[Ask to Old Man]

...Imaginez si Google faisait pareil... Bien que des fois...

Il se dit que si l'on est GoogleMail user, il est préférable de ne pas laisser sa messagerie ouverte durant la navigation...

Certains laissent entendre que, si c'est le cas, la base de données de Google est capable de "s'enrichir"
de nos habitudes de navigations à des fins de ciblage publicitaire.

J'ai toujours affirmé être "parano léger", mais ma messagerie (bis) Google est sitôt lue, vidée & fermée.

PS: Mon "No Comment" est lié à ma totale méconnaissance des subtilités de fonctionnement des bots.

[Skynet]

Bah disons que j'étais déjà au courant depuis longtemps en ce qui concerne la Russie, mais là ce qui me surprend c'est de la part d'un bot "légitime".

Mais je viens de voir que je suis loin, très loin d'être le seul.

Voici deux citations au hasard :

Bonjour à tous.

Depuis quelques jours je subis les attaques de spams à chaque fois précédés de l'arrivée de
Invité Adresse IP : 77.88.27.26 »
Yandex/1.01.001 (compatible; Win16; I)

Yandex est un moteur de recherche. Je ne dois donc pas l'interdire. Comment éviter que le robot crée un compte (qu'il ne peut semble-t-il pas valider, ce qui est déjà ça) ?

Il ne valide jamais son inscription, mais il crée tout de même 5 à 6 comptes par jours qui restent alors en suspens et encombrent inutilement la liste des utilisateurs, et par conséquent nos stats.

Merci pour votre aide.

~Blocking yandex.ru bot~

I want to block all request from yandex.ru search bot. It is very traffic intensive (2GB/day). I first blocked one C class IP range, but it seems this bot appear from different IP ranges.

For example:

spider31.yandex.ru -> 77.88.26.27 spider79.yandex.ru -> 95.108.155.251 etc..

I can put some deny in robots.txt but not sure if it respect this. I am thinking of blocking a list of IP ranges.

Can somebody suggest some general solution.

Quand même 2 Go de trafic par jour !

Lui aussi il ne fait pas semblant, première faute et pan ! On ne va quand pas se laisser embêter par le number one Russe des moteurs de recherche .

Il se dit que si l'on est GoogleMail user, il est préférable de ne pas laisser sa messagerie ouverte durant la navigation

Je veux bien croire, je ne suis pas Gmail User.

[Ask to Old Man]

... citations au hasard :

Bonjour à tous.

Depuis quelques jours je subis les attaques de spams à chaque fois précédés de l'arrivée de
Invité Adresse IP : 77.88.27.26 »
Yandex/1.01.001 (compatible; Win16; I)

Yandex est un moteur de recherche. Je ne dois donc pas l'interdire. Comment éviter que le robot crée un compte (qu'il ne peut semble-t-il pas valider, ce qui est déjà ça) ?

En quel honneur ?? Il doit donc "autoriser" un "Pollueur"... ...Ce serait moi, c'est direct dehors le machin!!

Il se dit que si l'on est GoogleMail user, il est préférable de ne pas laisser sa messagerie ouverte durant la navigation

Je veux bien croire, je ne suis pas Gmail User.

Je la garde malgré tout suite à mes mésaventures avec Packard-Bell en 2005/2006.
Quoi qu'il en soit, cette boite est vidée intégralement chaque jour.

Au même titre que ma boite normale qui depuis 1998 ne doit comporter qu'une vingtaine de messages archivés.

[Skynet]

En quel honneur ?? Il doit donc "autoriser" un "Pollueur"... ...Ce serait moi, c'est direct dehors le machin!!

C'est ce qu'il a fini par faire aussi.

[r@in | b0w]

Bonjour à vous deux.

Sur mon site tk aussi, il fait partie du top 3:

Code: Tout sélectionner

WordPress    561    46.71 Ko    24 Sep 2010 - 19:28
Googlebot    204+27    7.15 Mo    24 Sep 2010 - 23:22
Yandex bot    173+22    709.26 Ko    24 Sep 2010 - 15:25

Ps: dis-moi, tu pourrais éditer mon 2ème message ici et enlever le passage:

Oui, j'ai pris plusieurs domaines gratuits cumulés sur le premier et**** ils pointent tous vers le même site.

Si tu peux hein

[Skynet]

C'est fait et dans ce topic aussi.

++

[r@in | b0w]

C'est fait et dans ce topic aussi.

Huhu, je le savais que tu le ferais et que tu penserais au dernier message en cours.

L'édition des messages à changé non? Je croyais qu'on pouvait s'éditer longtemps après... J'ai peut-être rêvé.

Merci chef

[Skynet]

De rien & oui on ne peut plus éditer les posts qui sont devenus trop vieux .

@+