Site non indexé apres 2 mois

bitonio2 · 9 Janvier 2012

Bonjour à tous,

Cela fait maintenant plus de 2 mois que j'attend l'indexation de mon site sur google (http://www.ojetables.fr) mais toujours rien. J'ai bien vérifié que j'ai bien la balise <meta name="robots" content="INDEX,FOLLOW" />. J'ai fait quelques liens entrants sur des sites régulièrement crawlés et j'ai meme soumis à google le site pour etre sur... toujours rien.
Quelqu'un voit d'ou ça peut venir ? car là je seche un peu :-/

Merci.

robinpc · 9 Janvier 2012

Ta méta est

Code:

<meta name="robots" content="INDEX,FOLLOW" />

Essaye peut-être avec

Code:

<meta name="robots" content="index, follow" />

Pas du tout sûr que ça change quelque chose mais ça peut valoir le coup d'essayer

zeb · 9 Janvier 2012

google a mis en place une politique pro écolo donc tu est blacklisté

plus sérieusement tu n'est vraiment pas indexé (en tous cas vue de chez moi) -https://www.google.com/search?q=site

jetables.fr

As tu des liens vers ton site autre part qu'ici ?

Code:

<meta name="robots" content="INDEX,FOLLOW" />

totalement inutile, le comportement par défaut est d'indexer donc mis a part si tu souhaite indiquer que tu ne veux pas indexer cette balise c'est de la littérature de salon.

j'arrive pas a voir ton robots.txt c'est bizare la gestion de urls faudrait regarder par là aussi.

UsagiYojimbo · 9 Janvier 2012

Etrange en effet, tu as déjà quelques backlink (même s'ils viennent a priori tous de la même source) et il n'y a pas de robots.txt ou de meta noindex qui pourrait poser souci. Tu as validé le site sous Google Webmaster Tools ?

alaincassis · 9 Janvier 2012

Zéro pages indexées en 2 mois c'est pas du tout normal, il y a un problème.

Pourquoi l'entête http de -http://www.ojetables.fr ( redirection 302 depuis le NDD sans les www, mais ça c'est une autre histoire) renvoie-elle une erreur 404 ?

Pourquoi les cookies sont expirés avant d'être envoyés ? ?

En tout cas si 'index du site renvoie une erreur 404, normal que les robots ne viennent jamais indexer le site.

C'est un problème d'index.php , car l'entete renvoyée par des page profondes est bien 200 OK .

Je pense que c'est un bordel dans le rewriting.
Quel interet de rewriter les pages profondes en :
/index.php/vaisselles-cocktail-jetable/verrines-cocktails-jetables.html
au lieu de :/vaisselles-cocktail-jetable/verrines-cocktails-jetables.html ??

Il doit y avoir un bug dans le htaccess, qui fait que le ndd/index.php tout seul sans rien derrière provoque une erreur 404 , mais est redirigé tout de meme vers index.php, car il doit y avoir un traitement de l'erreur 404.

La bonne nouvelle, c'est que comme aucune page n'est encore indéxée, tu n'as rien à perdre a changer le rewriting vers -http://www.ojetables.fr/verrines-cocktails-jetables.html
en supprimant /index.php/ de l'URL rewrité.

ybet · 9 Janvier 2012

La page d'entrée n'est même pas dans le cache . Ca semlble pas être du duplicate content non plus

Codage débil je pense. Dans le code source de la page "Le conditionement est de : 240 (24x10p) Ces verres à " n'est même pas connu (par contre, le code source affiche des errurs de login "Le type de la carte ne correspond pas au num\u00e9ro de la carte de cr\u00e9dit.","Please enter a valid credit card verification number.":"Veuillez entrer un num\u00e9ro de v\u00e9rification de carte de cr\u00e9dit valide.","Please use only letters (a-z or A-Z), numbers (0-9) or underscore(_) in this field, first character should be a letter.":"Veuillez utiliser seulement des lettres (a-z ou A-Z), des chiffres (0-9) ou des tirets bas (_) dans ce champ, le premier caract\u00e8re doit \u00eatre une lettre.","Please input a valid CSS-length. For example 100px or 77pt or 20em or .5ex or 50%.":"Veuillez entrer une longueur CSS valide. Par exemple, 00\u00a0px ou 77\u00a0pt ou 20\u00a0em ou 0,5\u00a0ex ou 50\u00a0%.","Maximum length exceeded.":"Longueur maximale exc\u00e9d\u00e9e.","Your session has been expired, you will be relogged in now.":"Votre session a \u00e9t\u00e9 termin\u00e9e, vous allez \u00eatre \u00e0 pr\u00e9sent reconnect\u00e9.","Incorrect credit card expiration date.":"Date d'expiration de la carte incorrecte.". ¨Parie que le développement est à base de javascript, inconnu par GG.

A mon avis, c'est tout le codage qui n'est pas accessible aux robots.

alaincassis · 9 Janvier 2012

J'avais pas vu le source !
C'est du Magento on dirait.
Ca n'a pas l'air évident à paramétrer, la preuve ....

MikeR · 9 Janvier 2012

Quand on regarde la page (source), il n'y a strictement aucun texte dans ta page, pas une seule phrase avec des mots clés en contexte. Que veux tu que GG indexe?

bitonio2 · 10 Janvier 2012

Merci à tous pour ces indices, effectivement, je pense que mon paramétrage magento est un peu merdique...
Je vais creuser tout ça, je vous tiens au courant !

bitonio2 · 11 Janvier 2012

Bon, j'ai fait un peu le tour, mais je ne vois rien de spécial dans mon .htaccess, ni dans mon fichier conf apache.
Les voici si ca peut vous aider à trouver quelques chose :

Fichier apache

Code:

<VirtualHost *:80>
    ServerName www.ojetables.fr
    ServerAlias ojetables.fr
    ServerAdmin webmaster@ojetables.fr
    DocumentRoot /path_to_site/ojetables.fr

    <Directory "/path_to_site/ojetables.fr/">
        Options -Indexes FollowSymLinks
        AllowOverride All
        Order allow,deny
        Allow from all

    </Directory>

    LogLevel Info
    CustomLog /var/log/apache2/www.ojetables.fr.access.log combined
    ErrorLog /var/log/apache2/www.ojetables.fr.error.log

    ServerSignature Off

</VirtualHost>

.htaccess :

Code:

############################################
## uncomment these lines for CGI mode
## make sure to specify the correct cgi php binary file name
## it might be /cgi-bin/php-cgi

#    Action php5-cgi /cgi-bin/php5-cgi
#    AddHandler php5-cgi .php

############################################
## GoDaddy specific options

#   Options -MultiViews

## you might also need to add this line to php.ini
##     cgi.fix_pathinfo = 1
## if it still doesn't work, rename php.ini to php5.ini

############################################
## this line is specific for 1and1 hosting

    #AddType x-mapp-php5 .php
    #AddHandler x-mapp-php5 .php

############################################
## default index file

    DirectoryIndex index.php

<IfModule mod_php5.c>

############################################
## adjust memory limit

#    php_value memory_limit 64M
    php_value memory_limit 256M
    php_value max_execution_time 18000

############################################
## disable magic quotes for php request vars

    php_flag magic_quotes_gpc off

############################################
## disable automatic session start
## before autoload was initialized

    php_flag session.auto_start off

############################################
## enable resulting html compression

    #php_flag zlib.output_compression on

###########################################
# disable user agent verification to not break multiple image upload

    php_flag suhosin.session.cryptua off

###########################################
# turn off compatibility with PHP4 when dealing with objects

    php_flag zend.ze1_compatibility_mode Off

</IfModule>

<IfModule mod_security.c>
###########################################
# disable POST processing to not break multiple image upload

    SecFilterEngine Off
    SecFilterScanPOST Off
</IfModule>

<IfModule mod_deflate.c>

############################################
## enable apache served files compression
## http://developer.yahoo.com/performance/rules.html#gzip

    # Insert filter on all content
    ###SetOutputFilter DEFLATE
    # Insert filter on selected content types only
    #AddOutputFilterByType DEFLATE text/html text/plain text/xml text/css text/javascript

    # Netscape 4.x has some problems...
    #BrowserMatch ^Mozilla/4 gzip-only-text/html

    # Netscape 4.06-4.08 have some more problems
    #BrowserMatch ^Mozilla/4\.0[678] no-gzip

    # MSIE masquerades as Netscape, but it is fine
    #BrowserMatch \bMSIE !no-gzip !gzip-only-text/html

    # Don't compress images
    #SetEnvIfNoCase Request_URI \.(?:gif|jpe?g|png)$ no-gzip dont-vary

    # Make sure proxies don't deliver the wrong content
    #Header append Vary User-Agent env=!dont-vary

</IfModule>

<IfModule mod_ssl.c>

############################################
## make HTTPS env vars available for CGI mode

    SSLOptions StdEnvVars

</IfModule>

<IfModule mod_rewrite.c>

############################################
## enable rewrites

    Options +FollowSymLinks
    RewriteEngine on

############################################
## you can put here your magento root folder
## path relative to web root

    #RewriteBase /magento/

############################################
## workaround for HTTP authorization
## in CGI environment

    RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]

############################################
## always send 404 on missing files in these folders

    RewriteCond %{REQUEST_URI} !^/(media|skin|js)/

############################################
## never rewrite for existing files, directories and links

    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteCond %{REQUEST_FILENAME} !-l

############################################
## rewrite everything else to index.php

    RewriteRule .* index.php [L]

</IfModule>


############################################
## Prevent character encoding issues from server overrides
## If you still have problems, use the second line instead

    AddDefaultCharset Off
    #AddDefaultCharset UTF-8

<IfModule mod_expires.c>

############################################
## Add default Expires header
## http://developer.yahoo.com/performance/rules.html#expires

    ExpiresDefault "access plus 1 year"

</IfModule>

############################################
## By default allow all access

    Order allow,deny
    Allow from all

###########################################
## Deny access to release notes to prevent disclosure of the installed Magento version

    <Files RELEASE_NOTES.txt>
        order allow,deny
        deny from all
    </Files>

############################################
## If running in cluster environment, uncomment this
## http://developer.yahoo.com/performance/rules.html#etags

    #FileETag none

alaincassis · 11 Janvier 2012

Tant que la page d'entrée du site repondra par une erreur 404, il ne sera pas indexé par Google.

Ca semble une erreur de paramétrage assez classique chez Magento. Sur ce forum, quelqu'un a le souci inverse: toutes ses pages se voient bien, mais toutes retournent une en-tête http 404, sauf l'index qui lui renvoie correctement un 200 OK.

-http://www.magentocommerce.com/boards/viewthread/223804/#t310826

UsagiYojimbo · 11 Janvier 2012

Le bout de code JS présent dans le source n'est en rien bloquant. Je bosse sur pas mal de Magento bien indexés où cela apparaît également. Le moteur du CMS crache bien des pages HTML indexables sans souci. Reste en effet, dans ton cas, ce problème de 404

bitonio2 · 11 Janvier 2012

j'ai mis en commentaire la ligne et la home renvoi toujours la 404 en header http, mais ensuite les pages de détails me petent une 404.
Du coup j'ai remis en ordre car sinon le site en plus de pas etre référencé, n'est plus fonctionnel.
Je n'ai pas compris le pb du js...

UsagiYojimbo · 11 Janvier 2012

bitonio2 a dit:
Je n'ai pas compris le pb du js...

Il n'y a pas de problème avec le JS. Ce n'est en tout cas pas un point bloquant concernant Magento.

zeb · 11 Janvier 2012

ça c'est ce que renvoie l'accueil :

Détails de la requête
GET / HTTP/1.1
User-Agent: Opera/9.80 (X11; Linux x86_64; U; fr) Presto/2.9.168 Version/11.52
Host: http://www.ojetables.fr
Accept: text/html, application/xml;q=0.9, application/xhtml+xml, image/png, image/webp, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1
Accept-Language: fr-FR,fr;q=0.9,en;q=0.8
Accept-Encoding: gzip, deflate
Cookie: frontend=eu0v1k3ndd2qhic3h3c89767i5
Cache-Control: no-cache
Connection: Keep-Alive
Corps de la requête

Aucune donnée de requête
Détails de la réponse
HTTP/1.1 404 Not Found
Date: Wed, 11 Jan 2012 10:01:49 GMT
Server: Apache/2.2.14 (Ubuntu) DAV/2 SVN/1.6.6 mod_fcgid/2.3.4 mod_python/3.3.1 Python/2.6.5 PHP/5.3.2-1ubuntu4.9 with Suhosin-Patch mod_ssl/2.2.14 OpenSSL/0.9.8k
X-Powered-By: PHP/5.3.2-1ubuntu4.9
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Set-Cookie: frontend=eu0v1k3ndd2qhic3h3c89767i5; expires=Wed, 11-Jan-2012 11:01:49 GMT; path=/; domain=www.ojetables.fr; httponly
Status: 404 File not found
Keep-Alive: timeout=15, max=100
Connection: Keep-Alive
Content-Type: text/html; charset=UTF-8

Je pense que le souci viens de là :

Code:

############################################
## never rewrite for existing files, directories and links

    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteCond %{REQUEST_FILENAME} !-l

############################################
## rewrite everything else to index.php

    RewriteRule .* index.php [L]

les conditions de réécriture sont entre autre "fichier non trouvé" (donc 404) vers ton script frontal (index.php), donc fatalement le serveur doit renvoyer un corps de réponse avec un entête type 404.
Ce qui défini cela c'est les !-f d ou l

Il existe certaines variantes spéciales d'expressions de comparaison. A la place d'une expression rationnelle, vous pouvez utiliser :

'<expression' (inférieur au sens lexicographique)
Traite l'expression comme une chaîne de caractères et la compare lexicographiquement à chaîne de test. La condition est satisfaite si chaîne de test est inférieure au sens lexicographique à l'expression.
'>expression' (supérieur au sens lexicographique)
Traite l'expression comme une chaîne de caractères et la compare lexicographiquement à chaîne de test. La condition est satisfaite si chaîne de test est supérieure au sens lexicographique à l'expression.
'>expression' (égal au sens lexicographique)
Traite l'expression comme une chaîne de caractères et la compare lexicographiquement à chaîne de test. La condition est satisfaite si chaîne de test est égale au sens lexicographique à l'expression (les deux chaînes sont exactement identiques, caractère pour caractère). Si expression est "" (deux guillemets), chaîne de test est comparée à la chaîne vide.
'-d' (est un répertoire)
Traite chaîne de test comme un chemin et vérifie s'il existe ou pas, et s'il s'agit d'un répertoire.
'-f' (est un fichier régulier)
Traite chaîne de test comme un chemin et vérifie s'il existe ou pas, et s'il s'agit d'un fichier régulier.
'-s' (est un fichier régulier d'une certaine taille)
Traite chaîne de test comme un chemin et vérifie s'il existe ou pas, et s'il s'agit d'un fichier régulier dont la taille est supérieure à zéro.
'-l' (est un lien symbolique)
Traite chaîne de test comme un chemin et vérifie s'il existe ou pas, et s'il s'agit d'un lien symbolique.

voir : http://httpd.apache.org/docs/current/mod/mod_rewrite.html#rewritecond

Je pense qu'en réécrivant les condition de réécriture avec qque chose de plus adapté tu devrais pouvoir éviter le code serveur 404. Seul souci je voie pas avec quoi.

bitonio2 · 12 Janvier 2012

Bon on a trouvé d'ou venait le problème. C'est d'un pb de cookie au niveau de magento. Apparement la page "noroute" par défaut était mal renseigné et donc revoyait une 404. Pour ceux qui galère avec magento, j'ai seulement mis cms/index dans le champs "URL pas de route par défaut" dans Systeme/configuration/internet/pages par défaut.
J'ai pas vraimen tout compris ... mais ca marche

... maintenant y'a plus qu'à attendre que google veuillent bien repasser sur le site... faut que je fasse un truc particulier à votre avis ? ou j'attends ?

zeb · 12 Janvier 2012

un petit coup de pingomatic sur la home et ça devrait décoller tout de suite.

bitonio2 · 12 Janvier 2012

parfait merci du tuyaux

UsagiYojimbo · 13 Janvier 2012

Et / ou quelques liens frais

bitonio2 · 13 Janvier 2012

c'est bon, j'ai resoumis une sitemap dans le webmaster tool et la nuit aidant, j'apparait maintenant

Y'a plus qu'a travailler le reste maintenant

Merci pour votre aide à tous !

alaincassis · 13 Janvier 2012

62 pages en une nuit, et toutes dans l'index primaire... Google semble vouloir rattraper son retard