Graber постоянно грабит

[hrulik]

Обратил внимание что что грабер постоянно грабит и в очереди находиться 50-150 галер. При этом новых галер в базу не добавляется. Начал разбираться почему такое происходит. Галеры добавляютсяи з фидов, в мессеждах вот такие дела:

Code: Select all

	2015-10-18 01:15:24 : Grab: http://domain.com/scj/tube/?content_id=935580b6f8517d88b4403ce069a28734 : Looks like we already have this thumb /796/004_Curves_Petite.jpg, skip...
	2015-10-18 01:15:20 : Grab: http://domain.com/scj/tube/?content_id=935580b6f8517d88b4403ce069a28734 : Looks like we already have this thumb /796/003_Petite_Petite.jpg, skip...
	2015-10-18 01:15:17 : Grab: http://domain.com/scj/tube/?content_id=935580b6f8517d88b4403ce069a28734 : Looks like we already have this thumb /796/002_Petite_Petite.jpg, skip...
	2015-10-18 01:14:30 : Grab: http://domain.com/scj/tube/?content_id=715aee3bb3458c9803c1389b79f63923 : Looks like we already have this thumb /815/265_Only_You.jpg, skip...
	2015-10-18 01:14:29 : Grab: http://domain.com/scj/tube/?content_id=715aee3bb3458c9803c1389b79f63923 : Looks like we already have this thumb /815/264_Only_You.jpg, skip...
	2015-10-18 01:14:27 : Grab: http://domain.com/scj/tube/?content_id=715aee3bb3458c9803c1389b79f63923 : Looks like we already have this thumb /815/263_You_You.jpg, skip...
	2015-10-18 01:14:25 : Grab: http://domain.com/scj/tube/?content_id=715aee3bb3458c9803c1389b79f63923 : Looks like we already have this thumb /815/262_Only_You.jpg, skip...
	2015-10-18 01:14:24 : Grab: http://domain.com/scj/tube/?content_id=715aee3bb3458c9803c1389b79f63923 : Looks like we already have this thumb /815/261_You_You.jpg, skip...
	2015-10-18 01:14:23 : Grab: http://domain.com/scj/tube/?content_id=715aee3bb3458c9803c1389b79f63923 : Looks like we already have this thumb /815/260_Only_Only.jpg, skip...
	2015-10-18 01:14:22 : Grab: http://domain.com/scj/tube/?content_id=715aee3bb3458c9803c1389b79f63923 : Looks like we already have this thumb /815/259_You_You.jpg, skip...
	2015-10-18 01:14:21 : Grab: http://domain.com/scj/tube/?content_id=715aee3bb3458c9803c1389b79f63923 : Looks like we already have this thumb /815/258_You_Only.jpg, skip...
	2015-10-18 01:14:19 : Grab: http://domain.com/scj/tube/?content_id=715aee3bb3458c9803c1389b79f63923 : Looks like we already have this thumb /815/257_Only_You.jpg, skip...
	2015-10-18 01:14:18 : Grab: http://domain.com/scj/tube/?content_id=715aee3bb3458c9803c1389b79f63923 : Looks like we already have this thumb /815/256_Only_Only.jpg, skip...
	2015-10-18 01:14:17 : Grab: http://domain.com/scj/tube/?content_id=715aee3bb3458c9803c1389b79f63923 : Looks like we already have this thumb /815/255_Only_Only.jpg, skip...
	2015-10-18 01:14:15 : Grab: http://domain.com/scj/tube/?content_id=715aee3bb3458c9803c1389b79f63923 : Looks like we already have this thumb /815/254_Only_You.jpg, skip...
	2015-10-18 01:14:14 : Grab: http://domain.com/scj/tube/?content_id=715aee3bb3458c9803c1389b79f63923 : Looks like we already have this thumb /815/253_Only_Only.jpg, skip...
	2015-10-18 01:14:13 : Grab: http://domain.com/scj/tube/?content_id=715aee3bb3458c9803c1389b79f63923 : Looks like we already have this thumb /815/252_Only_Only.jpg, skip...
	2015-10-18 01:14:12 : Grab: http://domain.com/scj/tube/?content_id=715aee3bb3458c9803c1389b79f63923 : Looks like we already have this thumb /812/816_You_You.jpg, skip...
	2015-10-18 01:13:54 : Grab: http://domain.com/scj/tube/?content_id=139e27c8bc05ea2dbf7b258d0e652a55 : Looks like we already have this thumb /811/025_Workout_Workout.jpg, skip...
	2015-10-18 01:13:51 : Grab: http://domain.com/scj/tube/?content_id=139e27c8bc05ea2dbf7b258d0e652a55 : Looks like we already have this thumb /811/024_Partner_Workout.jpg, skip...

В настройках Grab error action стоит Mark as grab error. Несмотря на это такие галеры не попадают в grab error а просто удаляются. поэтому они опять и опять переграбливаются когда дергается фид. загружая бесполезной работой и без того пригруженный сервер. В общем надо чтоб такие галерки тоже соотвестсвенно настроек попадали в grab error.

SmartCJ Pro V 1.51 Build 201506030910

[admin]

Да, в таком варианте действительно не отмечало как grab error
Добавлен фикс в апдейт.

[hrulik]

Да, спасибо сейчас попадает в граб еррор.
Еще одна проблема выявилась с грабером, перестало делать кастомы из metart галер. Вот пример галеры http://access.met-art.com/track/170.MA.1.2.5.80160.0/
подозреваю проблема в том что линк на большую пикчу https. поэтому кастом делается только в режиме DL ALL, в режиме Make thumb/Hotlink big нет
вот кусок лога:

Code: Select all

2015-10-20 22:28 Total images 18 (0.085695028305054, 0.012314081192017)
2015-10-20 22:28 Downloading img http://domain.comhttps://static-fhg.metart.com/media/D671D54EE98AD1B4E974829C92FA6D0D/w_143E81DC33733A044D6BED6D8042798D.jpg (../tmp/186cae28d2bad6f580a7d45c2a3803492.tmp) (0.086890935897827, 0.0011959075927734)
2015-10-20 22:28 set ref (0.90843105316162, 0.82154011726379)
2015-10-20 22:28 Can not download http://domain.comhttps://static-fhg.metart.com/media/D671D54EE98AD1B4E974829C92FA6D0D/w_143E81DC33733A044D6BED6D8042798D.jpg (Not 200 answer (0) ) (0.90899896621704, 0.00056791305541992)
2015-10-20 22:28 Unlink ../tmp/186cae28d2bad6f580a7d45c2a3803492.tmp (0.90944695472717, 0.00044798851013184)
2015-10-20 22:28 No thumbs were created, Marking as bad (0.90954494476318, 9.7990036010742E-5)
2015-10-20 22:38 Processing http://domain.com/scj/tube/?content_id=8f72380e4761e22c13cc05054ca32349 (873489) (1.5568959712982, 1.5568959712982)

SmartCJ Pro V 1.51 Build 201506030910

[hrulik]

Еще один момент, после апдейта одна тумба в галере получается битая

[admin]

Думаю там проблема в цдн
Сейчас я пытался оттуда открыть картинки просто из браузера - грузит половину картинки и дальше висит.

[admin]

Например

https://static-fhg.metart.com/media/D67 ... 39CBD7.jpg

[admin]

Попробовал ради теста заменить https на http - пошло нормально.

Думаю можно заменить в коде.

[hrulik]

т.е. сейчас будет в коде менятся https на http?

[hrulik]

Вижу что пока еще ничего не меняется....
После последнего апдейта по граберу, создается лишняя битая тумба, вот такая <img src="http://domain.com/scj/thumbs" id="th_873747"> в каждой новой галере, которая застревает в processing и которую приходится удалять в ручную

[hrulik]

Будем фиксить то?