Вопросы в тему:
1) Как на счёт сделать чтоб обновлялось по клику в админке? Кошмарит каждый раз логиниться через ссш и проводить апдейт.
2) Может сделать автоапдейт, скажем в админке ставим, автоапдейт каждую неделю в 04:00 ?
Что скажите?
TCMS : ускорить граббер
Re: TCMS : ускорить граббер
Блин, тут чуть ли не каждый день добавляются штуки интересные, на крон ставить апдейт шоле?
Вопросы в тему:
1) Как на счёт сделать чтоб обновлялось по клику в админке? Кошмарит каждый раз логиниться через ссш и проводить апдейт.
2) Может сделать автоапдейт, скажем в админке ставим, автоапдейт каждую неделю в 04:00 ?
Что скажите?
Вопросы в тему:
1) Как на счёт сделать чтоб обновлялось по клику в админке? Кошмарит каждый раз логиниться через ссш и проводить апдейт.
2) Может сделать автоапдейт, скажем в админке ставим, автоапдейт каждую неделю в 04:00 ?
Что скажите?
Я обожаю SmartCJ 
Re: TCMS : ускорить граббер
Через веб оно не сможет тк разные юзеры.
Авто - не вопрос, поставьте строку в крон на нужное время и будет работать)
Авто - не вопрос, поставьте строку в крон на нужное время и будет работать)
Don't forget to run script update
Re: TCMS : ускорить граббер
У всех нормальных людей пхп работает от имени пользователя владельца файлов домена.admin wrote:Через веб оно не сможет тк разные юзеры
Да можно к тому же сделать проверку на владельца, нет - апдейт через веб не доступен, есть - пожалуйста.
Апдейтить через кнопку было бы чертовски удобно!
Я обожаю SmartCJ
Re: TCMS : ускорить граббер
Я первый раз слышу что б запуск пхп от имени юзера с веба был номарльной практикой.
В основном это большая дыра в серьюрити и одина из причин почему скрипт надо ставить в шела, а не веба.
В основном это большая дыра в серьюрити и одина из причин почему скрипт надо ставить в шела, а не веба.
Don't forget to run script update
Re: TCMS : ускорить граббер
Хотя да, гоню, правда ваша.
Но дыра в безопасности это кривые скрипты в первую очередь
Не, ну честно, харит апдейтится через шелл
Но дыра в безопасности это кривые скрипты в первую очередь
Не, ну честно, харит апдейтится через шелл
Я обожаю SmartCJ
Re: TCMS : ускорить граббер
У вас наверняка есть какая-то панелька управления хостингом, можете попросить админа туда добавить кнопку что б запускала от вашего имени баш скрипт в шеле, а там уже будет запуск апдейта например. такое решение которое можно с ходу сделать.
Don't forget to run script update
Re: TCMS : ускорить граббер
привет! апну тему!
вот с чем столкнулся.
ротация мне не нужна ( выключили в настройках ) - грабер не пашет
ротацию включаешь - грабер пашет. Это первый момент.
Второй.
Беру большой дамп, скажем на 100 мегабайт, галер там много. Делаю импорт сет, не через веб, а путем до файла на диске прямо.
Ставлю а настройках грабера грабить 500 в минуту.
В импорт сете ставлю 10 тумб и грабить не нужно - а нужно делать хотлинк.
В итоге скорости набивки базы в 500 урлов в минуту нет - это раз.
тцмс зачем-то на каждое добавление. в scj/tmp делает и удаляет папки
Насколько я понимаю, самый муторный процесс это кропать тумбы, там все зависоны. Но что бы хотлинк делать - тут можно и 2к в минуту загонять, да хоть 20к. А по факту не получается.
2016-10-29 04:28:19: Content type: 4 (87.911179065704, 0.0033237934112549)
2016-10-29 04:28:22: Cleanup tmp folder ../tmp/2192 (91.472936153412, 3.5617530345917)
2016-10-29 04:28:22: Gallery description is empty: Update with 'admin added' (91.49073600769, 0.017796039581299)
2016-10-29 04:28:22: Content type: 4 (91.49347114563, 0.0027270317077637)
2016-10-29 04:28:26: Cleanup tmp folder ../tmp/2194 (95.118774175644, 3.6253020763397)
2016-10-29 04:28:26: Gallery description is empty: Update with 'admin added' (95.159234046936, 0.040451049804688)
2016-10-29 04:28:26: Content type: 4 (95.162431001663, 0.0031900405883789)
2016-10-29 04:28:30: Cleanup tmp folder ../tmp/2196 (98.744349002838, 3.5819129943848)
2016-10-29 04:28:30: Gallery description is empty: Update with 'admin added' (98.757158041, 0.012804985046387)
2016-10-29 04:28:30: Content type: 4 (98.761771202087, 0.0046060085296631)
2016-10-29 04:28:33: Cleanup tmp folder ../tmp/2198 (102.35077404976, 3.5889999866486)
2016-10-29 04:28:33: Gallery description is empty: Update with 'admin added' (102.36672616005, 0.015946865081787)
2016-10-29 04:28:33: Content type: 4 (102.36986517906, 0.0031352043151855)
вот с чем столкнулся.
ротация мне не нужна ( выключили в настройках ) - грабер не пашет
ротацию включаешь - грабер пашет. Это первый момент.
Второй.
Беру большой дамп, скажем на 100 мегабайт, галер там много. Делаю импорт сет, не через веб, а путем до файла на диске прямо.
Ставлю а настройках грабера грабить 500 в минуту.
В импорт сете ставлю 10 тумб и грабить не нужно - а нужно делать хотлинк.
В итоге скорости набивки базы в 500 урлов в минуту нет - это раз.
тцмс зачем-то на каждое добавление. в scj/tmp делает и удаляет папки
Насколько я понимаю, самый муторный процесс это кропать тумбы, там все зависоны. Но что бы хотлинк делать - тут можно и 2к в минуту загонять, да хоть 20к. А по факту не получается.
2016-10-29 04:28:19: Content type: 4 (87.911179065704, 0.0033237934112549)
2016-10-29 04:28:22: Cleanup tmp folder ../tmp/2192 (91.472936153412, 3.5617530345917)
2016-10-29 04:28:22: Gallery description is empty: Update with 'admin added' (91.49073600769, 0.017796039581299)
2016-10-29 04:28:22: Content type: 4 (91.49347114563, 0.0027270317077637)
2016-10-29 04:28:26: Cleanup tmp folder ../tmp/2194 (95.118774175644, 3.6253020763397)
2016-10-29 04:28:26: Gallery description is empty: Update with 'admin added' (95.159234046936, 0.040451049804688)
2016-10-29 04:28:26: Content type: 4 (95.162431001663, 0.0031900405883789)
2016-10-29 04:28:30: Cleanup tmp folder ../tmp/2196 (98.744349002838, 3.5819129943848)
2016-10-29 04:28:30: Gallery description is empty: Update with 'admin added' (98.757158041, 0.012804985046387)
2016-10-29 04:28:30: Content type: 4 (98.761771202087, 0.0046060085296631)
2016-10-29 04:28:33: Cleanup tmp folder ../tmp/2198 (102.35077404976, 3.5889999866486)
2016-10-29 04:28:33: Gallery description is empty: Update with 'admin added' (102.36672616005, 0.015946865081787)
2016-10-29 04:28:33: Content type: 4 (102.36986517906, 0.0031352043151855)
Re: TCMS : ускорить граббер
1. Если надо просто запускать граббер - можно в крон засунуть именно gallery_grabber.php
2. да, создает ибо иначе надо все анализировать заранее, надо создавать или не надо и тп, а процедура создания папки быстрая. Время на самом деле у вас занимает вставка в базу наверняка.
2. да, создает ибо иначе надо все анализировать заранее, надо создавать или не надо и тп, а процедура создания папки быстрая. Время на самом деле у вас занимает вставка в базу наверняка.
Don't forget to run script update
Re: TCMS : ускорить граббер
1 - поставил
2 - вот сейчас скорость всего 16 галер в минуту
2016-10-29 14:41:01: Cleanup tmp folder ../tmp/20764 (50.249300956726, 3.5902750492096)
2016-10-29 14:41:01: Gallery description is empty: Update with 'admin added' (50.277691841125, 0.028388977050781)
2016-10-29 14:41:01: Content type: 4 (50.279387950897, 0.0016889572143555)
2016-10-29 14:41:05: Cleanup tmp folder ../tmp/20766 (53.860673904419, 3.5812871456146)
2016-10-29 14:41:05: Gallery description is empty: Update with 'admin added' (53.913894891739, 0.053214073181152)
2016-10-29 14:41:05: Content type: 4 (53.917168855667, 0.0032639503479004)
2016-10-29 14:41:09: Cleanup tmp folder ../tmp/20767 (57.473634004593, 3.556450843811)
2016-10-29 14:41:09: Gallery description is empty: Update with 'admin added' (57.500216960907, 0.026579141616821)
2016-10-29 14:41:09: Content type: 4 (57.50214099884, 0.001917839050293)
2016-10-29 14:41:12: Cleanup tmp folder ../tmp/20768 (61.152825832367, 3.6506869792938)
2016-10-29 14:41:12: Gallery description is empty: Update with 'admin added' (61.210783004761, 0.057939052581787)
2016-10-29 14:41:12: Content type: 4 (61.213418006897, 0.0026278495788574)
2016-10-29 14:41:16: Cleanup tmp folder ../tmp/20770 (64.823787927628, 3.6103689670563)
2016-10-29 14:41:16: Gallery description is empty: Update with 'admin added' (64.90074801445, 0.076953172683716)
2016-10-29 14:41:16: Content type: 4 (64.902400970459, 0.0016508102416992)
2016-10-29 14:41:20: Cleanup tmp folder ../tmp/20772 (68.460481882095, 3.5580670833588)
2016-10-29 14:41:20: Gallery description is empty: Update with 'admin added' (68.487215042114, 0.026730060577393)
2016-10-29 14:41:20: Content type: 4 (68.489145040512, 0.0019221305847168)
2016-10-29 14:41:23: Cleanup tmp folder ../tmp/20774 (72.111383914948, 3.6222400665283)
2016-10-29 14:41:23: Gallery description is empty: Update with 'admin added' (72.22252202034, 0.11112594604492)
2016-10-29 14:41:23: Content type: 4 (72.225828886032, 0.0033040046691895)
2016-10-29 14:41:27: Cleanup tmp folder ../tmp/20776 (75.841495037079, 3.6156489849091)
2016-10-29 14:41:27: Gallery description is empty: Update with 'admin added' (75.872274875641, 0.030776977539062)
2016-10-29 14:41:27: Content type: 4 (75.874846935272, 0.0025701522827148)
2016-10-29 14:41:31: Cleanup tmp folder ../tmp/20778 (79.503726005554, 3.6288688182831)
2016-10-29 14:41:31: Gallery description is empty: Update with 'admin added' (79.534929037094, 0.031201124191284)
2016-10-29 14:41:31: Content type: 4 (79.537729978561, 0.0027978420257568)
2016-10-29 14:41:34: Cleanup tmp folder ../tmp/20780 (83.149134874344, 3.6113901138306)
2016-10-29 14:41:34: Gallery description is empty: Update with 'admin added' (83.179417848587, 0.030279874801636)
2016-10-29 14:41:34: Content type: 4 (83.181397914886, 0.0019731521606445)
2016-10-29 14:41:38: Cleanup tmp folder ../tmp/20782 (86.83674287796, 3.6553409099579)
2016-10-29 14:41:38: Gallery description is empty: Update with 'admin added' (86.865677833557, 0.028930902481079)
2016-10-29 14:41:38: Content type: 4 (86.867701053619, 0.0020170211791992)
2016-10-29 14:41:42: Cleanup tmp folder ../tmp/20784 (90.479070901871, 3.6113660335541)
2016-10-29 14:41:42: Gallery description is empty: Update with 'admin added' (90.50762796402, 0.02855396270752)
2016-10-29 14:41:42: Content type: 4 (90.509526014328, 0.0018908977508545)
2016-10-29 14:41:45: Cleanup tmp folder ../tmp/20786 (94.124735832214, 3.6152050495148)
2016-10-29 14:41:45: Gallery description is empty: Update with 'admin added' (94.155311822891, 0.030571937561035)
2016-10-29 14:41:45: Content type: 4 (94.157469987869, 0.0021510124206543)
2016-10-29 14:41:49: Cleanup tmp folder ../tmp/20788 (97.806156873703, 3.6486830711365)
2016-10-29 14:41:49: Gallery description is empty: Update with 'admin added' (97.833889961243, 0.027729034423828)
2016-10-29 14:41:49: Content type: 4 (97.835870027542, 0.0019738674163818)
2016-10-29 14:41:53: Cleanup tmp folder ../tmp/20790 (101.47937083244, 3.6434969902039)
2016-10-29 14:41:53: Gallery description is empty: Update with 'admin added' (101.50698685646, 0.027611970901489)
2016-10-29 14:41:53: Content type: 4 (101.50891089439, 0.0019171237945557)
2016-10-29 14:41:56: Cleanup tmp folder ../tmp/20792 (105.09387588501, 3.5849599838257)
LA вообще не поднимается. Нужно более детально посмотреть, может у меня где косяк или затык. Но такая скорость вообще не вариант. Нужно придумать, как этот процесс ускорить )
2 - вот сейчас скорость всего 16 галер в минуту
2016-10-29 14:41:01: Cleanup tmp folder ../tmp/20764 (50.249300956726, 3.5902750492096)
2016-10-29 14:41:01: Gallery description is empty: Update with 'admin added' (50.277691841125, 0.028388977050781)
2016-10-29 14:41:01: Content type: 4 (50.279387950897, 0.0016889572143555)
2016-10-29 14:41:05: Cleanup tmp folder ../tmp/20766 (53.860673904419, 3.5812871456146)
2016-10-29 14:41:05: Gallery description is empty: Update with 'admin added' (53.913894891739, 0.053214073181152)
2016-10-29 14:41:05: Content type: 4 (53.917168855667, 0.0032639503479004)
2016-10-29 14:41:09: Cleanup tmp folder ../tmp/20767 (57.473634004593, 3.556450843811)
2016-10-29 14:41:09: Gallery description is empty: Update with 'admin added' (57.500216960907, 0.026579141616821)
2016-10-29 14:41:09: Content type: 4 (57.50214099884, 0.001917839050293)
2016-10-29 14:41:12: Cleanup tmp folder ../tmp/20768 (61.152825832367, 3.6506869792938)
2016-10-29 14:41:12: Gallery description is empty: Update with 'admin added' (61.210783004761, 0.057939052581787)
2016-10-29 14:41:12: Content type: 4 (61.213418006897, 0.0026278495788574)
2016-10-29 14:41:16: Cleanup tmp folder ../tmp/20770 (64.823787927628, 3.6103689670563)
2016-10-29 14:41:16: Gallery description is empty: Update with 'admin added' (64.90074801445, 0.076953172683716)
2016-10-29 14:41:16: Content type: 4 (64.902400970459, 0.0016508102416992)
2016-10-29 14:41:20: Cleanup tmp folder ../tmp/20772 (68.460481882095, 3.5580670833588)
2016-10-29 14:41:20: Gallery description is empty: Update with 'admin added' (68.487215042114, 0.026730060577393)
2016-10-29 14:41:20: Content type: 4 (68.489145040512, 0.0019221305847168)
2016-10-29 14:41:23: Cleanup tmp folder ../tmp/20774 (72.111383914948, 3.6222400665283)
2016-10-29 14:41:23: Gallery description is empty: Update with 'admin added' (72.22252202034, 0.11112594604492)
2016-10-29 14:41:23: Content type: 4 (72.225828886032, 0.0033040046691895)
2016-10-29 14:41:27: Cleanup tmp folder ../tmp/20776 (75.841495037079, 3.6156489849091)
2016-10-29 14:41:27: Gallery description is empty: Update with 'admin added' (75.872274875641, 0.030776977539062)
2016-10-29 14:41:27: Content type: 4 (75.874846935272, 0.0025701522827148)
2016-10-29 14:41:31: Cleanup tmp folder ../tmp/20778 (79.503726005554, 3.6288688182831)
2016-10-29 14:41:31: Gallery description is empty: Update with 'admin added' (79.534929037094, 0.031201124191284)
2016-10-29 14:41:31: Content type: 4 (79.537729978561, 0.0027978420257568)
2016-10-29 14:41:34: Cleanup tmp folder ../tmp/20780 (83.149134874344, 3.6113901138306)
2016-10-29 14:41:34: Gallery description is empty: Update with 'admin added' (83.179417848587, 0.030279874801636)
2016-10-29 14:41:34: Content type: 4 (83.181397914886, 0.0019731521606445)
2016-10-29 14:41:38: Cleanup tmp folder ../tmp/20782 (86.83674287796, 3.6553409099579)
2016-10-29 14:41:38: Gallery description is empty: Update with 'admin added' (86.865677833557, 0.028930902481079)
2016-10-29 14:41:38: Content type: 4 (86.867701053619, 0.0020170211791992)
2016-10-29 14:41:42: Cleanup tmp folder ../tmp/20784 (90.479070901871, 3.6113660335541)
2016-10-29 14:41:42: Gallery description is empty: Update with 'admin added' (90.50762796402, 0.02855396270752)
2016-10-29 14:41:42: Content type: 4 (90.509526014328, 0.0018908977508545)
2016-10-29 14:41:45: Cleanup tmp folder ../tmp/20786 (94.124735832214, 3.6152050495148)
2016-10-29 14:41:45: Gallery description is empty: Update with 'admin added' (94.155311822891, 0.030571937561035)
2016-10-29 14:41:45: Content type: 4 (94.157469987869, 0.0021510124206543)
2016-10-29 14:41:49: Cleanup tmp folder ../tmp/20788 (97.806156873703, 3.6486830711365)
2016-10-29 14:41:49: Gallery description is empty: Update with 'admin added' (97.833889961243, 0.027729034423828)
2016-10-29 14:41:49: Content type: 4 (97.835870027542, 0.0019738674163818)
2016-10-29 14:41:53: Cleanup tmp folder ../tmp/20790 (101.47937083244, 3.6434969902039)
2016-10-29 14:41:53: Gallery description is empty: Update with 'admin added' (101.50698685646, 0.027611970901489)
2016-10-29 14:41:53: Content type: 4 (101.50891089439, 0.0019171237945557)
2016-10-29 14:41:56: Cleanup tmp folder ../tmp/20792 (105.09387588501, 3.5849599838257)
LA вообще не поднимается. Нужно более детально посмотреть, может у меня где косяк или затык. Но такая скорость вообще не вариант. Нужно придумать, как этот процесс ускорить )
Re: TCMS : ускорить граббер
Походу узкое место сразу :
- раскладывание по группам \ тегам
- check bd for dupes в импорт сете
Сразу вопросы
- при импорте в базу, сфинкс используется для поиска или нет ?
- если загружать все в одну группу, а уже после попробовать разложить по тегам - оно не сдохнет на 20-30 лямах галер ?
Все равно лучше посмотреть.
- раскладывание по группам \ тегам
- check bd for dupes в импорт сете
Сразу вопросы
- при импорте в базу, сфинкс используется для поиска или нет ?
- если загружать все в одну группу, а уже после попробовать разложить по тегам - оно не сдохнет на 20-30 лямах галер ?
Все равно лучше посмотреть.