Гугл и куда нам идти дальше

[gufs]

Я так понимаю основная проблема смарта в том что гугл индексирует кучу однотипных страниц(около 500k на домен) с параметром ?4x4634x346 и тэг rel="canonical" тут не помогает. Причём которые ведут не понятно куда, то на трейд то на контент. Когда масса страниц достигла определённого веса забанил сам скрипт по типовым признакам. Нужно ориентироваться на тех кто впереди: на большинстве крупных тубо-сиджей сейчас нет парметра ротации для категорий. Т.е. часть мусорных страниц вида *.html?4x4634x346 уже не попадает в индекс
Если закрыть в robots.txt все страницы категорий с ?4x4634x346, то это тоже будет не совсем верным, так как не понятно как будет распределяться вес между страницами
Как убрать их грамотно из индексации?
На kvs тоже есть параметр ротации, но там гугл страницы клеит хорошо. Возможно дело в ?pqr=4x4634x346 ротации, а не просто ?4x4634x346
Т.е. возможно гугл не может адекватно игнорировать мусорные дубли пока полностью не проиндексирует и это ему не нравится

[smart]

Я так понимаю основная проблема смарта в том что гугл индексирует кучу однотипных страниц(около 500k на домен) с параметром ?4x4634x346 и тэг rel="canonical" тут не помогает. Причём которые ведут не понятно куда, то на трейд то на контент.

поддержу, каноникал не помогает, индексируется куча одинаковых страниц

[admin]

Я так понимаю основная проблема смарта в том что гугл индексирует кучу однотипных страниц(около 500k на домен) с параметром ?4x4634x346 и тэг rel="canonical" тут не помогает. Причём которые ведут не понятно куда, то на трейд то на контент. Когда масса страниц достигла определённого веса забанил сам скрипт по типовым признакам. Нужно ориентироваться на тех кто впереди: на большинстве крупных тубо-сиджей сейчас нет парметра ротации для категорий. Т.е. часть мусорных страниц вида *.html?4x4634x346 уже не попадает в индекс
Если закрыть в robots.txt все страницы категорий с ?4x4634x346, то это тоже будет не совсем верным, так как не понятно как будет распределяться вес между страницами
Как убрать их грамотно из индексации?
На kvs тоже есть параметр ротации, но там гугл страницы клеит хорошо. Возможно дело в ?pqr=4x4634x346 ротации, а не просто ?4x4634x346
Т.е. возможно гугл не может адекватно игнорировать мусорные дубли пока полностью не проиндексирует и это ему не нравится

"Возможно дело в ?pqr=4x4634x346 ротации" - Без проблем, это это ж все в темпелйтах и реврайтах.

[admin]

Я так понимаю основная проблема смарта в том что гугл индексирует кучу однотипных страниц(около 500k на домен) с параметром ?4x4634x346 и тэг rel="canonical" тут не помогает. Причём которые ведут не понятно куда, то на трейд то на контент.

поддержу, каноникал не помогает, индексируется куча одинаковых страниц

Кром етого ни раз видел как в каноникал прописано было именно с парамтером ротации или ошибки в синтаксисе. Часто копипаст идет вообщ не задумываясь зачем это надо.

[admin]

а еще не корректо работает в разделе /scj/admin/?operation=settings&sub=cj_settings& персональный ским для типа трафика , а конкретно для spider . в админке получается стоит 100 ским , однако никакого скима 100% по сути не получается. что если жестко прописать спайдерам 100% ским как то. даже если бот зайдет на такую страницу http://xxx.com/videos/title/index.html?40x6x607633 . те сделать так чтобы не при каких обстоятельствах бота не пускало не на трейд не на брокера , только на галю.

Покажите плз при каких настройках бот уходит на трейд на таком урле.

[gufs]

а еще не корректо работает в разделе /scj/admin/?operation=settings&sub=cj_settings& персональный ским для типа трафика , а конкретно для spider . в админке получается стоит 100 ским , однако никакого скима 100% по сути не получается. что если жестко прописать спайдерам 100% ским как то. даже если бот зайдет на такую страницу http://xxx.com/videos/title/index.html?40x6x607633 . те сделать так чтобы не при каких обстоятельствах бота не пускало не на трейд не на брокера , только на галю.

Покажите плз при каких настройках бот уходит на трейд на таком урле.

100% ботов нельзя определить. По крайней мере в рамках скрипта. Нужно просто как добиться того чтобы не индексировались мусорные страницы с доп параметрами. Для категорий было бы очень хорошо сделать вариант ротации без get параметров. Т.е. клики по морде/клики на категорию или показы/клики. На сколько сложно это реализовать?

Кром етого ни раз видел как в каноникал прописано было именно с парамтером ротации или ошибки в синтаксисе. Часто копипаст идет вообщ не задумываясь зачем это надо.

Даже при правильных тегах не клеит полностью) Он учитывает их выше, но в индексе куча страниц категорий с доп параметрами у любого смарта и гулы это похоже не нравится

[admin]

Сейчас пробуем сделать без парамтера ротации для категорий
Это для категорий реально кроме того что cell k не будет работать

Для тумб тоже реально, но если это 1 тумба на галеру, с бОльшим кол-во пока не ясно как.