Статистика

[richmantrade]

Долго (а скорей всего всегда) наблюдаю разницу в статистике между сайтами. Особенно это заметно на больших сайтах с большим количеством СЕ. Решил все-таки разобраться.
Думаю стоит начать с конкретного примера.
Есть два сайта, оба - свои. Сервера разные, но время на серверах одинаковое - это к тому что статистика имеет один и тот же период.
Сайт А говорит что послал на Сайт Б - 452 хита
Сайт Б говорит что получил от Сайт А - 242 хита (потерялось 210 ~ 47%)

В свою очередь
Сайт Б говорит что послал на Сайт А - 209 хита
Сайт А говорит что получил от Сайт Б - 174 хита (потерялось 35 ~ 17%)


Идем дальше. Смотрю ИП_ы, посланные на Сайт Б от Сайт А и ищу эти ИП_ы на Сайте Б.
1. В отправленных преимущественно ИП_ы Google. А разве так должно быть ? Это что - спайдерсы что ли ? Или это SE хиты ? Тогда почему у этих хитов ИП гугла, логично что должен быть ИП пользователя.
При этом в статистике Сайта Б вообще нет этих ИП , не только как от Сайта А ,а вообще нет.

2. Теперь по количеству. Беру конкретный ИП. Сайт А говорит что отправил на Сайт Б 10 хитов. На Сайте Б в стате по этому ип_у имеем лишь 4 от Сайта А:

Code: Select all

Trader 	Hits 
mobile 	11
Сайт А	4
noref 	2
SE 		2
notrade 	1
3.smartcj.tds 	1
other_site.com 	1

Следующее наблюдение, точнее подозрение.
Как мне кажется большое количество хитов, отправленных с Сайта А, на Сайте Б засчитываются как noref. Точнее не совсем так. Наблюдались такие вещи:
Сайт А говорит что отправил на Сайт Б 10 хитов с конкретным ИП_оп , а в стате Сайта Б я вижу лишь 1 ин засчитанный как от Сайта А , и еще 9 - как нореф. Или, к примеру 7 - нореф , 1 - СЕ , 1 - букмарк.

И последнее, опять таки подозрение, не утверждение.
Как мне кажется такие глюки с засчитыванием клика к конкретному трейдеру имеют место быть именно с мобильным трафиком. Вижу на сиджах достаточно много трафика с диапазона ИП: 141.0.12...,141.0.13...,141.0.14 и т.д. Opera Software AS Netops. Как я понял это юзеры с включенным Opera Turbo. Так вот именно они, когда отправляются от Сайта А на Сайт Б , засчитываются там только 1, а остальные как нореф.

Подобная ситуация, повторюсь, не на одном сайте, а наверное на всех наших (и думаю не только на наших). Просто на мелких не шипко заметно. Предлагаю коллективно разобраться!

[admin]

Идем дальше. Смотрю ИП_ы, посланные на Сайт Б от Сайт А и ищу эти ИП_ы на Сайте Б.
1. В отправленных преимущественно ИП_ы Google. А разве так должно быть ? Это что - спайдерсы что ли ? Или это SE хиты ? Тогда почему у этих хитов ИП гугла, логично что должен быть ИП пользователя.
При этом в статистике Сайта Б вообще нет этих ИП , не только как от Сайта А ,а вообще нет.

Если ИП гугла - значит это клики спайдера, не СЕ хиты конечно.

Те пришел спайдер - кликнул, его отправило на трейдера, но страницу трейдера спайдер грузить не стал.
Получилось что на одном аут есть, на другом ина нет.

[richmantrade]

пришел спайдер - кликнул, его отправило на трейдера

А разве спайдера должно отправлять в трейд ?
...
Немного подумав: или же это клики по топлисту ?

[admin]

А у спайдера 100 стоит ?
вообще можно проставить линки и посмотреть на что именно спайдер кликает, какая то часть на топ конечно есть .

[richmantrade]

Да, конечно у спайдера 100 стоит.
Да, щас поставлю link на топлист и на галеры (не подумал об этом раньше).
Короче говоря, этот момент прочекаю - отпишу.
А вообще есть предложение не писать в статистику ауты от спайдеров. Тут даже дело не в том что чисто визуально стата ломается, а в том что ломается формула трейда. Т.е. скрипт считает что отправил хиты, а обратки должным образом не получил.

А какие мысли есть касательно того что часть кликов одного и того же ИП_а засчитывается не к этому трейдеру ? Как чётко проверить можно ? Может лог какой писать ?

[admin]

Можем поставить лог, но технически разные люди могут быть через проксю с одним ИП.
Но проверить всегда за.

[richmantrade]

Можем поставить лог

Да, отлично!
Подскажите плиз, как я могу писать в лог ауты только к определенному трейдеру от определенного диапазона IP ?
И соотв-но как писать в лог ин_ы только от определенного диапазона IP и то как он определился скриптом (засчитался к трейдеру или noref).
Вот, кстати, раньше в v.51 был такой прикольный массив: $GLOBALS['log_redirects_to_file'] . Решал много вопросов без вашего вмешательства. Сейчас он видимо как то по другому называется ?

Или вы предлагаете как то по-другому проверить ?
На всякий случай данные:
На обеих доменах TCMS. Cookie Engine: Store data in internal cache

Насчёт вчерашних спайдерсов. Поставил линки, проверил. Тут все ок - спайдеры уходят только с топлистов.
НО! Я еще раз хотел бы озвучить рацуху : давайте не будем писать в ауты к трейдеру спайдерсов. Ведь портит всю стату, причем не только визуально, но и технически схема трейда нарушаеся.

[admin]

Добавлено $GLOBALS['log_redirects_to_file'], хотя с точки зрения красоты програминга оно не очень нравится ) но пока сойдет.

не считать спайдеры: добавлена опция в сеттинги

Count Spider's clicks to traders

[richmantrade]

Count Spider's clicks to traders

Спасибо! Это частично "подлечило"

Почти трое суток был включен лог. Сейчас, проанализировав его, вижу что все же часть кликов теряется. Точнее не засчитываются трейдеру, а засчитываются в нореф. Все эти клики от двух диапазонов ИП, хуиз которых говорит что это Opera Software AS Netops.
Причем не всегда - примерно 3-5% все-таки засчитывается к трейдеру как положено.

Теперь конкретно.
Вот Сайт А пишет в логе что послал на сайт Б клик

Code: Select all

2016-11-16 17:04:32: 141.0.12.212 click at /out.php?url=/galleries/SLUG/ ref:  : trader: bookmarks to http://Сайт_Б/ at 50 

А Сайт Б в стате ( /scj/admin/?operation=trade&sub=stats&subsub=stats_ips& ) говорит что этот ИП

Code: Select all

mobile 1
noref 1

И да - все эти клики - mobile. Их (кликов с этих диапазонов) очень много, и как то не хочется их терять. Я имею ввиду терять как клики от трейдера, ибо это сильно нарушает трейд между сайтами... Скрипт считает что отправил много а ответа не получил.

ИП_ов у этой Opera Software AS Netops достаточно дофига: http://tools.tracemyip.org/search--isp/opera+mini+proxy . Конкретно в тестируемые дни у меня замечены только два диапазана: 141.0.12.0 - 141.0.15.255 и 82.145.0.0 - 82.145.255.255

Как быть ? Есть мысли ?

[admin]

Это прокся оперы котоаря вероятно не передает реф.

Это можно проверить если посмотреть в логе апача входящие хиты с этого ИП и посмотреть какой там реф.