привет
обновили все сайты до 51 версии
1. на одном из мастер-сайтов появились ИНы в ноутрейд со своих же слейвов. Кликов с них нет, только ИНы, в чем может быть проблема? Повторно ап проводили - не помогло. По хистори видно, что это началось сразу после апа.
2. в группах выставлены размеры тумб 240_180, тумба - Main only, кеей нет (я так понимаю в этом случае в роли кея - название группы). включаю импорт и наблюдаю, что появляются новые тумбы 320_240. где это можно поправить?
ап 51 проблемы
Re: ап 51 проблемы
1. те совершенно точно со слейва хитов нет. а оно показывает ?
2. как конкретно вы импортируете ?
2. как конкретно вы импортируете ?
Don't forget to run script update
Re: ап 51 проблемы
1. со слейвами трейда нет, форсов с них нет, а в ноутрейд пишется траф на мастере. интересно, что пишутся ИНы, без кликов.
2. импортирую через встроенный парсер. thumbs size - 240_180, import - yes, embed only - yes, thumbs - main only. такие установки для каждой группы выставлены. парсятся тумбы с 320_240.
Дополнение:
глянул подробнее рефы в ноутрейд на мастере, получается много хитов с морд слейвов, а также по 1 хиту подобного рода
http://master.com/...8.4644.2314.6029.5762.2050.
http://slave.com/?x=9274.4481.5762.7533.
и таких рефов - портянка
Дополнение 2:
3. сейчас заметил, что выводятся пустые категорийные тумбы. т.е. в группе нет галер, а она выводится на сайте как пустая ячейка без тумбы и при переходе на нее - без контента.
2. импортирую через встроенный парсер. thumbs size - 240_180, import - yes, embed only - yes, thumbs - main only. такие установки для каждой группы выставлены. парсятся тумбы с 320_240.
Дополнение:
глянул подробнее рефы в ноутрейд на мастере, получается много хитов с морд слейвов, а также по 1 хиту подобного рода
http://master.com/...8.4644.2314.6029.5762.2050.
http://slave.com/?x=9274.4481.5762.7533.
и таких рефов - портянка
Дополнение 2:
3. сейчас заметил, что выводятся пустые категорийные тумбы. т.е. в группе нет галер, а она выводится на сайте как пустая ячейка без тумбы и при переходе на нее - без контента.
Re: ап 51 проблемы
1. куда 404 на мастере прописан ?
2. может в кроп профайле копи тумб стоит ? покажите плз лог граба одной галеры
3. а у вас стоит лимит что б не выводило пустые ?
2. может в кроп профайле копи тумб стоит ? покажите плз лог граба одной галеры
3. а у вас стоит лимит что б не выводило пустые ?
Don't forget to run script update
Re: ап 51 проблемы
1. никуда не прописывал. при запросе несуществующего урла - 404 Not Found
nginx/1.2.1
2. где это можно глянуть? в контент_граббер.лог нет ничего за вчера, там старые данные какие-то. кроп профиль посмотрел, в поле Real Thumb Size Create real thumbs using выбрано GROUP thumb settings, т.е. 240_180
3. нет, ничего не вставлял, все работало в 50 версии без вопросов, а в 51 вылезли пустые категории на морду. где это можно указать?
nginx/1.2.1
2. где это можно глянуть? в контент_граббер.лог нет ничего за вчера, там старые данные какие-то. кроп профиль посмотрел, в поле Real Thumb Size Create real thumbs using выбрано GROUP thumb settings, т.е. 240_180
3. нет, ничего не вставлял, все работало в 50 версии без вопросов, а в 51 вылезли пустые категории на морду. где это можно указать?
Re: ап 51 проблемы
1. ок, могу точно сказать что придумать хиты скрипт не может. проверьте логи вебсервака, посомтрите хиты с рефом слейва и найдете откуда такие запросы идут.
2. preload.log
3. в <category надо указать лимит кол-ва тумб если у вас есть пустые категории. либо наполнить их.
2. preload.log
3. в <category надо указать лимит кол-ва тумб если у вас есть пустые категории. либо наполнить их.
Don't forget to run script update
Re: ап 51 проблемы
1. еще не общался с админами
2. речь про это?
2014-03-27 13:45 Processing http://www.pornhub.com/view_video.php?v ... 1835407927 (647080) (0.05128812789917, 0.05128812789917)
2014-03-27 13:45 Total images 1 (0.054051160812378, 0.002763032913208)
2014-03-27 13:45 Downloading img http://smartcj.com/tg/thumbs/346/912/big_thumb.jpg (../tmp/ca269f3182d3c6a24f3b1a756f73605a89.tmp) (0.055107116699219, 0.0010559558868408)
2014-03-27 13:45 Source Size 13004 (0.15781307220459, 0.10270595550537)
2014-03-27 13:45 Process thumb (CF: 1) (0.15805006027222, 0.00023698806762695)
2014-03-27 13:45 Copy thumb (0.15850520133972, 0.00045514106750488)
2014-03-27 13:45 Grab: http://www.pornhub.com/view_video.php?v ... 1835407927 : Looks like we already have this thumb http://1111.com/636/118__Thai.jpg, skip... (0.15947699546814, 0.00097179412841797)
2014-03-27 13:45 Grab: http://www.pornhub.com/view_video.php?v ... 1835407927 : Looks like we already have this thumb http://11111.com/636/118__Thai.jpg, skip... (0.1599280834198, 0.00045108795166016)
2014-03-27 13:45 Deleting source item (0.16004610061646, 0.00011801719665527)
3. понятно
2. речь про это?
2014-03-27 13:45 Processing http://www.pornhub.com/view_video.php?v ... 1835407927 (647080) (0.05128812789917, 0.05128812789917)
2014-03-27 13:45 Total images 1 (0.054051160812378, 0.002763032913208)
2014-03-27 13:45 Downloading img http://smartcj.com/tg/thumbs/346/912/big_thumb.jpg (../tmp/ca269f3182d3c6a24f3b1a756f73605a89.tmp) (0.055107116699219, 0.0010559558868408)
2014-03-27 13:45 Source Size 13004 (0.15781307220459, 0.10270595550537)
2014-03-27 13:45 Process thumb (CF: 1) (0.15805006027222, 0.00023698806762695)
2014-03-27 13:45 Copy thumb (0.15850520133972, 0.00045514106750488)
2014-03-27 13:45 Grab: http://www.pornhub.com/view_video.php?v ... 1835407927 : Looks like we already have this thumb http://1111.com/636/118__Thai.jpg, skip... (0.15947699546814, 0.00097179412841797)
2014-03-27 13:45 Grab: http://www.pornhub.com/view_video.php?v ... 1835407927 : Looks like we already have this thumb http://11111.com/636/118__Thai.jpg, skip... (0.1599280834198, 0.00045108795166016)
2014-03-27 13:45 Deleting source item (0.16004610061646, 0.00011801719665527)
3. понятно
Re: ап 51 проблемы
2014-03-26 14:42 Processing http://www.pornhub.com/view_video.php?v ... e41cc06106 (636262) (0.043030023574829, 0.043030023574829)
2014-03-26 14:42 Total images 1 (0.046425104141235, 0.0033950805664062)
2014-03-26 14:42 Downloading img http://smartcj.com/tg/thumbs/361/462/big_thumb.jpg (../tmp/02b66416e2ab23ac01a54a37208d98e70.tmp) (0.047459125518799, 0.0010340213775635)
2014-03-26 14:42 Source Size 12560 (0.15378212928772, 0.10632300376892)
2014-03-26 14:42 Process thumb (CF: 1) (0.15392708778381, 0.00014495849609375)
2014-03-26 14:42 Copy thumb (0.15434098243713, 0.00041389465332031)
2014-03-26 14:42 Insert 646955 (0.15760111808777, 0.0032601356506348)
2014-03-26 14:42 Saving thumb (0.18597197532654, 0.02837085723877)
2014-03-26 14:42 Rot save (646955): title:Fucking an licking balls - Pornhub.com, desc:() (0.18609213829041, 0.00012016296386719)
2014-03-26 14:42 Deleting temporary files (0.20137500762939, 0.015282869338989)
2014-03-26 14:42 Deleting source item (0.20165801048279, 0.00028300285339355)
2014-03-26 14:42 FTP link is active (0.2127640247345, 0.011106014251709)
2014-03-26 14:42 Total images 1 (0.046425104141235, 0.0033950805664062)
2014-03-26 14:42 Downloading img http://smartcj.com/tg/thumbs/361/462/big_thumb.jpg (../tmp/02b66416e2ab23ac01a54a37208d98e70.tmp) (0.047459125518799, 0.0010340213775635)
2014-03-26 14:42 Source Size 12560 (0.15378212928772, 0.10632300376892)
2014-03-26 14:42 Process thumb (CF: 1) (0.15392708778381, 0.00014495849609375)
2014-03-26 14:42 Copy thumb (0.15434098243713, 0.00041389465332031)
2014-03-26 14:42 Insert 646955 (0.15760111808777, 0.0032601356506348)
2014-03-26 14:42 Saving thumb (0.18597197532654, 0.02837085723877)
2014-03-26 14:42 Rot save (646955): title:Fucking an licking balls - Pornhub.com, desc:() (0.18609213829041, 0.00012016296386719)
2014-03-26 14:42 Deleting temporary files (0.20137500762939, 0.015282869338989)
2014-03-26 14:42 Deleting source item (0.20165801048279, 0.00028300285339355)
2014-03-26 14:42 FTP link is active (0.2127640247345, 0.011106014251709)
Re: ап 51 проблемы
То был порнхаб, сейчас начал парситься редтубе и тумбы пошли 160_120...
И, кстати, не понятен алгоритм парсинга тубов. Тубы в группах прописаны через запятую разные, а грабит он один какой-то, в след раз другой. Получается неравномерно заполняются тубы?
И, кстати, не понятен алгоритм парсинга тубов. Тубы в группах прописаны через запятую разные, а грабит он один какой-то, в след раз другой. Получается неравномерно заполняются тубы?
Re: ап 51 проблемы
1. ок, еще можете погуглить - ничего сложного в посмотреть текстовый файл лога нету.
Может сами лог поставить
http://smartcj.com/wiki/doku.php?id=ru: ... 0%BD%D0%BE
2. да, видно что просто копирует.
Был такой баг в 51.
Првоедите ап еще раз, удалите те которые стоят на граб и подождите когда сграбяться новые.
3. грабит как получится, никакого специального рендома что б равномерно грабил туб импорт нету.
Может сами лог поставить
http://smartcj.com/wiki/doku.php?id=ru: ... 0%BD%D0%BE
2. да, видно что просто копирует.
Был такой баг в 51.
Првоедите ап еще раз, удалите те которые стоят на граб и подождите когда сграбяться новые.
3. грабит как получится, никакого специального рендома что б равномерно грабил туб импорт нету.
Don't forget to run script update