Export из List thumbs

billion
Posts: 394
Joined: Wed Feb 06, 2013 1:42 pm
Contact:

Export из List thumbs

Post by billion »

Добрый день. Что-то давно перестал у меня работать экспорт. Если выбрать в List thumbs всю базу (а она довольно мелкая 130к), то после доооолгого ожидания скрипт отваливается. Выбираю всего url|description|group.
На всех моих мастерах и доменах.
В какую сторону смотреть?
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Export из List thumbs

Post by admin »

Приветствую!
скрипт отваливается - это что конкретно значит?
Don't forget to run script update
billion
Posts: 394
Joined: Wed Feb 06, 2013 1:42 pm
Contact:

Re: Export из List thumbs

Post by billion »

ошибка сервера на http
на https уже другое что-то не помню
оно по 20 минут висит

может какие логи показать? где посмотреть?
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Export из List thumbs

Post by admin »

ошибка сервера это видимо 500
скорее всего сервак перегружен и просто отдает таймаут

варианты что делать:
1 разгрузить сервак
2 доставать по частям
3 доставать прямо из мускла
4 поднимать таймаут пхп
Don't forget to run script update
billion
Posts: 394
Joined: Wed Feb 06, 2013 1:42 pm
Contact:

Re: Export из List thumbs

Post by billion »

3 доставать прямо из мускла
А поможешь с этим плиз?
url|desc|groups
и
thumb|embed
вот такое бы достать
billion
Posts: 394
Joined: Wed Feb 06, 2013 1:42 pm
Contact:

Re: Export из List thumbs

Post by billion »

В любом случае раньше экспорт был отдельной опцией и работал. Сейчас, к сожалению, им пользоваться нельзя или у нас что-то ужасно не так настроено.
Только что проверил:
- Нишевая база в 30к выгрузилась за 40сек.
- Другая база в 123к вылетела после 29:40 минут работы
Сдается мне это неправильное поведение.
Идексы, движки таблиц, может еще чего?
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Export из List thumbs

Post by admin »

Вариант "а раньше работало" проходили миллион раз
раньше сервак не был нагружен например а сейчас нагружен и не успевает отработать

29 минут работы? точно? что-то я сильно симневаюсь что такое таймаут у вас стоит у вебсервера
как конкретно вы проверяете?
Don't forget to run script update
billion
Posts: 394
Joined: Wed Feb 06, 2013 1:42 pm
Contact:

Re: Export из List thumbs

Post by billion »

А раньше это в 1.52, когда экспорт был отдельной страницей.
LA на сервере в районе 10.
https://prnt.sc/qu4eg1

29 минут - это по секундомеру на телефоне от нажатия на кнопку экспорт и до появления сообщения об ошибке.
Ну как можно проверить? Беру и жму кнопку export на странице list thumbs
https://prnt.sc/qu1qp
Ставил в поле Limit сначала 1к, 10к, 20к и так далее. до 20-30к быстро и норм все. 50к уже долго. 70к капец долго.

как отдебажить?

Или если можно то запрос сразу в базу
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: Export из List thumbs

Post by admin »

Что именно по скрину я должен увидеть?

Зарпос в базу: включите в мускле slow_log и оно напишет конкретный запрос, я не знаю как что у вас выбрано там в фильтре, какие споны группы и тп - не могу угадать запрос.
Don't forget to run script update
billion
Posts: 394
Joined: Wed Feb 06, 2013 1:42 pm
Contact:

Re: Export из List thumbs

Post by billion »

Привет. Посмотрели админы, не могут поймать проблему
Не видно медленных запросов по базе, запросы были, но быстро выполнялись
видно, что скрипт приконектился, запрос один висит в слипе
| 2728592358 | юзер | localhost | база | Sleep | 671 | | | 118039 | 119368 |
Тестили маленькие выгрузки, которые проходят, постепенно увеличивая кол-во в экспорте

В итоге попросили показать запрос напрямую в базу

Что я выбрал в Listh thumbs:
все селекты в положение all
все статусы
Выгружать поля tube url | alt | group

https://prnt.sc/qvn2yn
Post Reply