Full crawl trés incomplet

[BDGest]

Ce mois ci, google à complètement oublié une partie de mon site (le forum) lors du full crawl alors que le mois dernier, il était bien passé partout. Voici mon fichier robots.txt que j'ai mis en place suite à l'url rewriting. Vous croyez que cela peut venir de ça :

Code: Tout sélectionner

User-agent: *
Disallow: /images/
Disallow: /old_forum/
Disallow: /old_forum_sav/
Disallow: /ftp/
Disallow: /images/
Disallow: /forum/login.php
Disallow: /forum/modcp.php
Disallow: /forum/posting.php
Disallow: /forum/privmsg.php
Disallow: /forum/search.php
Disallow: /forum/viewonline.php
Disallow: /forum/viewmessage
Disallow: /forum/viewforum.php
Disallow: /forum/viewtopic.php
Disallow: /forum/statistics.php
Disallow: /forum/site_hist.php
Disallow: /forum/profilephoto_mod.php
Disallow: /forum/profile.php
Disallow: /forum/memberlist.php
Disallow: /forum/ranking.php
Disallow: /forum/groupcp.php
Disallow: /forum/ranking.php

[Kmacleod]

Comment pourrait on dire le contraire
Dans ton site il y a des liens style /forum/viewforum.html lequel pointe sur /forum/viewforum.php (par exemple)
mais le fichier physique est interdit par le Disallow
Enfin c'est ce que j'en comprends

[mixmax06]

Salut.
Ca c'est sur, aucun moteur n'iras sur ces pages.
La fonction disallow est pour tes pages d'admin de ton site, pas pour ton site entier

[BDGest]

Ben oui mais Google voit les fichiers viewforum.html et non viewforum.php ??? Donc si il demande le html, il s'en fout que derriere ce soit un php qui charge la page ? non ?

[Mitirapa]

Ben oui mais Google voit les fichiers viewforum.html et non viewforum.php ??? Donc si il demande le html, il s'en fout que derriere ce soit un php qui charge la page ? non ?

oui mais c'est le sereur qui donne... google demande le viewforum.html et le serveur donne SI IL A LE DROIT le viewforum.php
dans ton cas le serveur n'a pas donnée tes fichiers du forum

[BDGest]

Ce n'est pas comme ça que je comprenais le fonctionnement d'un fichier robots.txt. Pour moi ce fichier est lu exclusivement par les robots (le serveur s'en fout) pour savoir où ils ont le droit de se ballader.

Quelqu'un peut confirmer ou infirmer ?

[Kmacleod]

Dans ta problèmatique, il y a conflit entre les interdictions du robot et le .htaccess.

Si un fichier est dans le robot.txt, considère que pour Google il n'existe pas.
Même s'il lit le fichier .html, à un moment donné il faut bien qu'il aille lire le fichier.php, or le robot ne le veut pas.

[Mitirapa]

oops ce que j'ai dit est faux je me suis mélangé les pinceaux dsl.

[BDGest]

Dans ta problèmatique, il y a conflit entre les interdictions du robot et le .htaccess.

Si un fichier est dans le robot.txt, considère que pour Google il n'existe pas.
Même s'il lit le fichier .html, à un moment donné il faut bien qu'il aille lire le fichier.php, or le robot ne le veut pas.

Ben non puisque le robot ne sait jamais qu'il demande un fichier html. C'est totalement trasnparent pour lui

[Ben]

Ce mois ci, google à complètement oublié une partie de mon site (le forum) lors du full crawl alors que le mois dernier, il était bien passé partout. Voici mon fichier robots.txt que j'ai mis en place suite à l'url rewriting.

Ton fichier robots.txt a l'air correct, le full crawl n'est pas encore fini je pense, il passera peut etre encore dans ton forum.

Je peux me tromper mais je pense qu'il doit y avoir un delai avant que les nouveaux liens soient pris en compte, j'imagine que google se base encore sur les anciens liens vers ton forum pour crawler a la recherche de nouvelles pages (mais il ne le fait pas a cause du robots.txt). Si il ne les prends pas a ce full crawl il les prendra sans doute au prochain...

Ben

[BDGest]

Ben ce qui m'inquiète c'est qu'il avait bien scanné les page au précédent fc en février mais pas ce coup ci