Page 1 of 2

перестало грабить :(

Posted: Wed Dec 26, 2012 3:39 pm
by Andrew1
Hi,

на новом сж после удаления одного из спонсоров (с ид=6, например) перестал грабиться контент для новых спонсоров (ид=7 и выше). Но для "старых" (ид=1-5) - все нормально добавляется.
В случае "новых" скрипт запускается, контент из статуса "Wait. Custom Gallery" переходит в "To Grab" и потом пропадает в никуда...

В чем может быть причина?
Tnx.

Re: перестало грабить :(

Posted: Wed Dec 26, 2012 3:48 pm
by admin
От номера это никак не зависит однозначно.
Скорее всего на серваке какие то проблемы
что в preload.log ?

Re: перестало грабить :(

Posted: Wed Dec 26, 2012 4:06 pm
by Andrew1
вот такое вот:
2012-12-26 11:03 Processing http://maledom.net/scj/tube/?content_id ... 090cafaa87 (2633) (0.10760593414307, 0.10760593414307)
2012-12-26 11:03 Looking for video files (0.12725710868835, 0.019651174545288)
2012-12-26 11:03 Downloading video http://content.animatedkink.com/imagedb ... 748_st.flv (../tmp/88ecbb8214d5a0764887cb090cafaa8716.flv) (0.12768697738647, 0.00042986869812012)
2012-12-26 11:03 Redirect http://bitcast-r.v1.iad1.bitgravity.com ... 748_st.flv (0.47182893753052, 0.34414196014404)
2012-12-26 11:03 Redirect http://bitcast-r.v1.iad1.bitgravity.com ... 748_st.flv (0.50258612632751, 0.030757188796997)
2012-12-26 11:03 Can not DL http://content.animatedkink.com/imagedb ... 748_st.flv (0.50330710411072, 0.00072097778320312)
2012-12-26 11:03 Total images 1 (0.50349998474121, 0.00019288063049316)
2012-12-26 11:03 DL movie http://content.animatedkink.com/imagedb ... 748_st.flv to check video duration (0.50382113456726, 0.0003211498260498)
2012-12-26 11:03 Redirect http://bitcast-r.v1.iad1.bitgravity.com ... 748_st.flv (0.51079511642456, 0.0069739818572998)
2012-12-26 11:03 Can not DL http://content.animatedkink.com/imagedb ... 748_st.flv. Error Not 200 answer (302) (0.51150798797607, 0.00071287155151367)
2012-12-26 11:03 DL movie http://content.animatedkink.com/imagedb ... 748_st.flv to check video duration (0.5117769241333, 0.00026893615722656)
2012-12-26 11:03 Redirect http://bitcast-r.v1.iad1.bitgravity.com ... 748_st.flv (0.52986097335815, 0.018084049224854)
2012-12-26 11:03 Can not DL http://content.animatedkink.com/imagedb ... 748_st.flv. Error Not 200 answer (302) (0.53056192398071, 0.00070095062255859)
2012-12-26 11:03 Downloading img http://img.maledom.net/thumbs/galleries/0/233/ (../tmp/808bfe79b9640439bc2fef9dd1c2c17b76.tmp) (0.53084897994995, 0.00028705596923828)
2012-12-26 11:03 Can not download http://img.maledom.net/thumbs/galleries/0/233/ (Can not get URL/write file) (0.6124861240387, 0.081637144088745)

Re: перестало грабить :(

Posted: Wed Dec 26, 2012 4:23 pm
by admin
скриншот импорта в студию плз

Re: перестало грабить :(

Posted: Wed Dec 26, 2012 4:50 pm
by Andrew1
del

Re: перестало грабить :(

Posted: Wed Dec 26, 2012 4:53 pm
by admin
да, при хотлинке контента не дает с него нарезать тумбы
добавил в багтрекер

Re: перестало грабить :(

Posted: Wed Dec 26, 2012 5:21 pm
by Andrew1
проверил с другого сервера с той же галерой - все нормально прошло..

Re: перестало грабить :(

Posted: Wed Dec 26, 2012 5:29 pm
by admin
значит там добавлено как то иначе думаю

Re: перестало грабить :(

Posted: Thu Dec 27, 2012 8:43 pm
by admin
проверил конкретно этот мувик - там стоит довольно странная система распределения нагрузки видимо.
редиректит инодга на одни и теже урлы
с 3го раза его скачало, но стабильности нет
вы уверены что хотите его хотлинковать ? это можут в любой момент убрать.

Re: перестало грабить :(

Posted: Thu Dec 27, 2012 9:24 pm
by Andrew1
это bitgravity.com CDN, держит кучу контента и игнорировать их не получится :(

Как на Ваш взгляд, проблемы с грабом - это из-за того, что у них там что-то нестабильно работает и есть шанс, что "само пройдет", или у них там анти-хотлинк какой-то хитрый и требуется скрипт править?