google и несуществующие урлы

[smart]

Здравствуйте, в общем проблема актуальна думаю для многих, стал часто наблюдать, что гугл в ошибках выдает огромные списки несуществующих страниц, при заходе на которые выдается 404. В базе галлер с такими десками что у гугла с 404, нету и никогда небыло, некоторые дески обрезанные.. В связи с этим возникает вопрос, откуда такое может браться ? Кэш ?

Обновлений никаких не производилось, изменений тоже.

[smart]

В общем один из аспектов нашел, откуа берутся такие линки и почему их нет в базе смарта, по порядку.

1. непонятно как работает поиск внутри админки, ввожу деск

Code: Select all

danica-collins-opens-her-christmas-presents-and-gets-a-sexy-suprise

поиск ничего не находит, убираю тире, так же ничего не находит и только когда начинаю искать по порядку по словам, тоесть пишу

Code: Select all

danica-collins-opens

и галлера находится
2. какого то хрена урлы галлер которые имеют статус pool, preload индексируются гуглом, но выдаются как 404, от этого как то нужно избавиться, потому что по такой логике, гугл может индексировать все что угодно и потом выдавать горы ошибок, что собственно и наблюдается.

собственно воникает вопрос, как исправить имеющиеся ситуации ?

[admin]

Возможно он видит как вы на них заодите по запросам браузера, а потом сам туда идет ?
Или например они были активны а потом вы их выключили.

В целом лучше пойти по очереди

Как я понимаю тут 2 вопроса

1. не ищет по какому-то описнаию которое точно есть
2. у вас выводит галеры на сайте, которые не активны

давайте и разберем эти 2 вопроса - скидывайте админку и где что смотреть.

[stZerg]

очень интересно
прошу отписать тут а не в личке автору поста
заранее спасибо

[admin]

Что именно тут описать ?

[stZerg]

Что именно тут описать ?

даже затрудняюсь что и сказать... тупняк чисто у него на ресах или глобальный?
все же не проверишь, при том что все меняется чуть ли не каждый день

[admin]

Ясно
Я пока не знаю, ждем smart

[smart]

В общем логика такая по своей сути и она везде будет одинаковая, гугл бот может индексировать любой урл, только как он о нем узнает, к примеру
domain.com/gallery/32523453/index.html

Смартом выдаст как для удаленной галлеры страницу, соответсвенно так можно что угодно парсить и выдавать 404, а затем толкать в идекс и в ошибки в гвт. Но основной вопрос в том, откуда гугл бот узнал об галлере которая находится в прелоад и никогда ранее не добавлялась на сайт?

Основная мысль что в голову приходит, это давать реальный ответ 404, а не посредствам скрипта

[admin]

1. откуда гугл знает - я не знаю
2. чем скриптовый 404 отличается от серверного ?

[Molic]

отпишусь здесь если можно
в гугл вебмастерс в Ошибки сканирования куча урлов вида

domain.com/gallery/this-sweet-girl-has-long-brown/function.array-rand
domain.com/gallery/super-girl-iwia-shaved-pussy/function.array-rand
и тд

если вместо function.array-rand поставить index.html то галера грузится норм

вопрос , откуда взялись такие урлы с function.array-rand вместо index.html , и что нужно делать ?