Surveillez le positionnement sur Google, chaque jour, sans proxy

Il y a quelques mois est sorti l’excellent outil SEObserver qui permet de monitorer les SERP sur 50 000 mots clés ~ avec un retour en arrière de 310 jours à la date de rédaction, sur les 130 premières positions.

L’outil est génial, mais l’abo est un peu cher à mon gout pour l’utilisation que j’en ai (99€ HT / mois). Je vais d’ailleurs faire quelques comparaisons avec cet outil dans la suite du billet, si vous vous laisser tenter, harcelez Kevin pour un code promo sur [email protected]

J’ai développé il y a un moment un outil avec beaucoup moins de fonctionnalités, mais qui remplit parfaitement son but. Le principe général est le même que SEObserver : on aspire les SERP par rapport à un mot clé, et on stocke le tout chaque jour pour voir les progressions de ses sites, mais aussi de ses concurrents.

SEObserverva beaucoup plus loin en liant les données de Majestic, Semrushs, et d’autres API, mais les mots clés géolocalisés sont quasi absent (mis à part paris, lyon, etc …).

Je vais vous expliquer la méthodologie, les problèmes que j’ai pu rencontrer, et quelques morceaux de code en PHP qui pourraient vous faire gagner du temps.

Sur des requêtes précises, manuellement, j’ai toujours tendances à regarder autant le positionnement de mon site que celui des concurrents. Lorsqu’on monte un bot qui va regarder chaque jour son positionnement, on lui fait consulter ce genre d’url :

https://www.google.fr/search?q=plombier+missy+les+pierreponts&hl=fr&prmd=imvns&start=0&sa=N&num=100

et on regarde lien par lien si notre site est présent dans les 100 premiers (et donc, pas les 130 comparés à SEObserver :-P).

Je prépare donc un tableau à deux dimensions avec comme première clé l’url du site, en seconde clé le mot clé recherché et j’y attribuerai la position du site.

Ça donne un truc de ce genre :

$check = array('super-plombier.com' => array('plombier missy les pierreponts', 'plombier liesse notre dame', 'plombier saint erme outre et ramecourt'));

Quand on parcours le tableau, on va contrôler mot clé par mot clé le positionnement.

Passer les captchas

Premier problème que l’on va rencontrer : le nombre maximum de requêtes avant d’être détecté par Google comme un robot, et de ce bouffer des captchas.

3 solutions à mon sens :

• utiliser des proxy. C’est pratique, mais ça peut vite revenir cher en fonction de son nombre de mot clé

• utiliser un résolver de captchas : deathbycaptcha propose des solutions à 7$ les 5000 résolutions. S’pas trop cher, et ça fonctionne pas trop mal. Mais ça reste payant.

• utiliser les propres serveurs de Google : c’est la solution que j’ai choisi. C’est gratos, c’est rapide, et l’IP change à quasiment chaque appel.

Le principe est donc de passer par Google App Engine pour aller scraper les SERPs. Mon serveur classique va aller consulter une url spécifique sur l’App Engine, et c’est l’App Engine qui va aller consulter google.fr et me retourner l’intégralité des données de la SERP.

Etiqueté le:,,

Un commentaire pour “Surveillez le positionnement sur Google, chaque jour, sans proxy

  1. Pingback: SEObserver : 3 nouvelles fonctionnalités de la mort