Page 1 of 2

TCMS иморпт галер hotlink тумб

Posted: Sat May 06, 2017 11:03 am
by billion
TCMS вчерашний билд
Вчера добавил на 2 разных мастера 340к галер. Настройки импорта 2х мастеров:
http://prntscr.com/f4r16w
http://prntscr.com/f4r1t1
Стоит точно hotlink thumb. В настройках гал граббера стоит 400 в минуту. Сервер без трафа ЛА 1.
Утром смотрю - почти ничего не сграбилось. По цифрам на сринах видна очередь граба.
Полез посмотреть граб лог, а он на новом сайте уже 22 метра а там:
2017-05-06 10:55:22: Downloading img http://domain.com/thumbs/new2/0151/b7ef ... 519659.jpg (../tmp/54326/tmp//471464.jpg) (1.3900010585785, 0.00011396408081055)
2017-05-06 10:55:22: Cleanup tmp folder ../tmp/54326 (1.4018290042877, 0.011826038360596)
2017-05-06 10:55:22: Processing http://687cb7c25a246c7b64c9891bea7b20aa/ (54327) (1.4085600376129, 0.0067300796508789)
2017-05-06 10:55:22: Gallery description is empty: Update with 'Hot sex movie' (1.4100871086121, 0.0015230178833008)
2017-05-06 10:55:22: Content type: 4 (1.4118599891663, 0.0017638206481934)
2017-05-06 10:55:22: Creating thumb (240x180) (Crop profile: 1) (1.4124300479889, 0.00056791305541992)
2017-05-06 10:55:22: Downloading img http://domain.com/thumbs/new2/0151/ef4c ... cb6fc9.jpg (../tmp/54327/tmp//321603.jpg) (1.4125661849976, 0.00013303756713867)
2017-05-06 10:55:22: Cleanup tmp folder ../tmp/54327 (1.4230799674988, 0.010510921478271)
2017-05-06 10:55:22: Processing http://8bbe65d516339971e49163aacb7c28ce/ (54328) (1.4279880523682, 0.0049049854278564)
2017-05-06 10:55:22: Gallery description is empty: Update with 'Hot sex movie' (1.4291920661926, 0.0012030601501465)
2017-05-06 10:55:22: Content type: 4 (1.4308230876923, 0.0016260147094727)
2017-05-06 10:55:22: Creating thumb (240x180) (Crop profile: 1) (1.4313530921936, 0.00052809715270996)
2017-05-06 10:55:22: Downloading img http://domain.com/thumbs/new2/0151/d5bd ... 99d2f0.jpg (../tmp/54328/tmp//584657.jpg) (1.4314739704132, 0.00011801719665527)
2017-05-06 10:55:22: Cleanup tmp folder ../tmp/54328 (1.4431121349335, 0.011635065078735)
2017-05-06 10:55:22: Processing http://38265a968e45ccb1404ff5014086d02d/ (54329) (1.4519920349121, 0.0088870525360107)
2017-05-06 10:55:22: Gallery description is empty: Update with 'Hot sex movie' (1.4550411701202, 0.0030419826507568)
2017-05-06 10:55:22: Content type: 4 (1.459400177002, 0.0043511390686035)
2017-05-06 10:55:22: Creating thumb (240x180) (Crop profile: 1) (1.4609589576721, 0.0015530586242676)
2017-05-06 10:55:22: Downloading img http://domain.com/thumbs/new2/0150/4030 ... 47a0e1.jpg (../tmp/54329/tmp//593393.jpg) (1.4613060951233, 0.00033998489379883)
2017-05-06 10:55:22: Cleanup tmp folder ../tmp/54329 (1.4747569561005, 0.013437032699585)
2017-05-06 10:55:22: Processing http://5d2d9f2f60618ff47174c2bde14c4b8a/ (54330) (1.4815189838409, 0.0067598819732666)
2017-05-06 10:55:22: Gallery description is empty: Update with 'Hot sex movie' (1.4827539920807, 0.0012331008911133)
2017-05-06 10:55:22: Content type: 4 (1.4842700958252, 0.0015110969543457)
2017-05-06 10:55:22: Creating thumb (240x180) (Crop profile: 1) (1.4847769737244, 0.00050497055053711)
2017-05-06 10:55:22: Downloading img http://domain.com/thumbs/new2/0151/54ca ... 26291d.jpg (../tmp/54330/tmp//107805.jpg) (1.4848961830139, 0.00011706352233887)
2017-05-06 10:55:22: Cleanup tmp folder ../tmp/54330 (1.4957780838013, 0.010879039764404)
2017-05-06 10:55:22: Batch done (31) (1.4984631538391, 0.002683162689209)
Как убрать такое поведение?

Re: TCMS иморпт галер hotlink тумб

Posted: Sat May 06, 2017 2:02 pm
by admin
Скачивает что б проверить что такой тумбы в базе нет

Re: TCMS иморпт галер hotlink тумб

Posted: Sat May 06, 2017 3:07 pm
by billion
Ага. А как узнать почему так долго получается? Вроде обычно раньше быстрее отрабатывал.
В какую сторону отправить админов?

Re: TCMS иморпт галер hotlink тумб

Posted: Sun May 07, 2017 3:26 pm
by admin
Раньше не проверял и добавлял сразу
Потом был топик что проверять надо тк по хотлинку бывают одинаковые тумбы.

Re: TCMS иморпт галер hotlink тумб

Posted: Wed May 10, 2017 3:26 pm
by billion
А можно это опционально сделать?

Re: TCMS иморпт галер hotlink тумб

Posted: Wed May 10, 2017 3:41 pm
by billion
База в 340к грузится с 5.05 и еще 120к осталось. Как-то безумно долго на сервере без трафика... Надо выключить иметь возможность.

Re: TCMS иморпт галер hotlink тумб

Posted: Wed May 10, 2017 4:29 pm
by admin
Технически можно дописать как то но если 120 осталось то значит уже 240к в базе - разве этого недосточно что б начать ?

Re: TCMS иморпт галер hotlink тумб

Posted: Wed May 10, 2017 5:04 pm
by billion
Это да. Но вообще база полная у нас около 600к. Это экспериментальная обрезанная.

Re: TCMS иморпт галер hotlink тумб

Posted: Wed May 10, 2017 5:08 pm
by admin
Думаю оно сможет порядка 50-100к в сутки точно качать
Скорость поднимали граббера ?

Re: TCMS иморпт галер hotlink тумб

Posted: Wed May 10, 2017 5:19 pm
by billion
А как поднять? поставил в настройках 400 в минуту вроде