TCMS : ускорить граббер

darkover
Posts: 1574
Joined: Sat Apr 13, 2013 8:59 pm

Re: TCMS : ускорить граббер

Post by darkover »

таки не, тупо в одну группу, без выборок всяких вообще

сейчас шел скину и адмнку
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: TCMS : ускорить граббер

Post by admin »

ok
Don't forget to run script update
darkover
Posts: 1574
Joined: Sat Apr 13, 2013 8:59 pm

Re: TCMS : ускорить граббер

Post by darkover »

Лемон, новости есть ? Работа чет стоИт (
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: TCMS : ускорить граббер

Post by admin »

добавляет в базу как и надо по 500 каждую минуту
2016-11-01 22:02:22: ImportSet: Added: 500, Dupes: Skip: 0 (11.873142004013, 11.831740856171)
2016-11-01 22:03:22: ImportSet: Added: 500, Dupes: Skip: 0 (12.030229091644, 11.979140043259)
2016-11-01 22:04:24: ImportSet: Added: 500, Dupes: Skip: 0 (13.748360872269, 13.62345290184)
2016-11-01 22:05:23: ImportSet: Added: 500, Dupes: Skip: 0 (12.480031967163, 12.431967973709)
2016-11-01 22:06:22: ImportSet: Added: 500, Dupes: Skip: 0 (11.83474111557, 11.773807048798)


но несмотря на то что это хотлинк мы пишем в базу размеры исходных тумб что б в темплейте можно было потом вывести их размеры, получается у вас конкретно на каждую галеру - 50 тумб, 50 тумб скачать и проверить их размеры и занимает время.

единственный варинат который я тут вижу - в импорте добавить указание размера что б его не проверять и сразу писать в базу.
Don't forget to run script update
darkover
Posts: 1574
Joined: Sat Apr 13, 2013 8:59 pm

Re: TCMS : ускорить граббер

Post by darkover »

Ну у меня стоит 15 в базу добавлять.
Так получается вот что, ну залили мы 500 в базу сразу, можно и 1000 сразу залить, только активных галер от этого больше не станет. Они активируются по 10-15 штук в минуту, это как бы и есть настоящая скорость грабинга.
В дампах обычно размера тумб нет, это опять костыли, или особым образом готовить дампы перед импортом.
Нет возможности в конфиге написать что-то типа $узнавать_размер_тубм = false ?
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: TCMS : ускорить граббер

Post by admin »

Я проверил парочку - в каком то из дампов стоит добавлять все ибо показывало по 50 добавлений.

Хм, а какой размер пистаь в базу тогда ? и конечно прям в конфиг как то криво, надо подумать над более элегантным решением ..
Don't forget to run script update
darkover
Posts: 1574
Joined: Sat Apr 13, 2013 8:59 pm

Re: TCMS : ускорить граббер

Post by darkover »

Хм, не, вроде не было такого. 15 ток. да там в дампах и нет 50-ти )
Так если хотлинк ( много людей используют хотлинк вообще ?) - как используется размер ? Точнее для чего размер тумбы нужен.

Просто у меня складывается ощущение, что если это дело еще и резать, то скорость вообще к нулю будет стремиться.


ps сейчас в личку большой трактат напишу, почему, что и как.
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: TCMS : ускорить граббер

Post by admin »

50 точно было
если будет критично могу проверить где именно

если резать то да, кроме скачивания добавится еще нарезание 50 тумб и логично что это тоже занимает время.

размер надо если тянется дизайн например и надо в дизе указать разные размер для разных тумб, например секс.ком
Don't forget to run script update
darkover
Posts: 1574
Joined: Sat Apr 13, 2013 8:59 pm

Re: TCMS : ускорить граббер

Post by darkover »

Ну не на хотлинке же )
и кстати, в импортсетах, нельзя явно указать размеры тумб, нет таких опций
и попробовал сейчас поставить 1 тумбу, таж самая скорость, проверяет все 50 тумб в поле с тумбой.
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: TCMS : ускорить граббер

Post by admin »

Да. проверил.

1. убрали в апедйте что б проверяло размер для хотлинка
2. если в импорте указываются тумбы - то дщобавляет именно все указанные, те если указано 50 то 50 и добавлит. если вам надо меньше 50 то в импорте надо указывать именно нужное кол-во.
Don't forget to run script update
Post Reply