SmartCJ Support Forum

SmartCJ Support Forum
https://smartcj.com/forum/

Сломался граббер

https://smartcj.com/forum/viewtopic.php?t=92921

Page 1 of 1

Сломался граббер

Posted: Tue Dec 27, 2016 7:48 pm
by SAS
Последние дни начала часто падать база (через сетс добавлял большие дампы)

Вот последние записи mysqli_error.log

Code: Select all

2016-12-27 00:41:23 : Mysql error: 1053 (Server shutdown in progress) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 1053 (Server shutdown in progress) in query SELECT   gs.gallery_id, gs.thumb_id, gi.sponsor_id, gi.content_count, gi.content_type, gs.total_shows, gs.total_clicks, gs.total_ctr, gt.thumb_url, gd.*, gi.content_count, gi.crop_profile_id, gi.activation_date, gi.added_date, gi.duration, gi.url, gi.gallery_total_shows, gi.sponsor_id, gi.source_url, gi.custom_gallery  FROM rot_gallery_stats1 as gs  JOIN rot_gallery_data1 as gd on gd.gallery_id = gs.gallery_id 
			JOIN rot_gallery_info as gi on gi.gallery_id = gs.gallery_id JOIN rot_thumbs as gt on gt.thumb_id = gs.thumb_id
			WHERE 1 = 1  AND gi.gallery_status = 'active'  AND gi.gallery_type = 0  and gs.best_thumb = 'yes'  and gs.group_id = 0  and gd.alt LIKE '%mature big breast on beach%'  ORDER BY  gs.total_ctr DESC  LIMIT 0, 1# queryitems 
2016-12-27 00:41:23 : Mysql error: 1053 (Server shutdown in progress) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 1053 (Server shutdown in progress) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 1053 (Server shutdown in progress) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 1053 (Server shutdown in progress) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 1053 (Server shutdown in progress) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 1053 (Server shutdown in progress) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 1053 (Server shutdown in progress) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 1053 (Server shutdown in progress) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 1053 (Server shutdown in progress) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'  
2016-12-27 00:41:23 : Mysql error: 2006 (MySQL server has gone away) in query UPDATE rot_settings SET value = '0' WHERE name = 'rot_cron_running'
Сегодня утром решил что-то делать с этим.
1) Перенес базу на отдельный сервер
2) Включил $config['big_database_flag'] = true;

Поначалу думал что все отлично перенеслось, все работает, "летает"... Но потом заметил, что в спонсорах "Ту граб" растет, а вот "Актив" нет..

gallery_grabber.log ничего нового не показывает, вот последние записи (почти сутки назад)

Code: Select all

2016-12-27 00:05:19: Saving ../thumbs/2/323//408_Teen_cumshots.jpg (source ../tmp/510557/tmp//0.jpg.thumb.jpg) (5408.4873518944, 0.00019693374633789)
2016-12-27 00:05:35: Cleanup tmp folder ../tmp/510557 (5424.1096248627, 15.622272014618)
2016-12-27 00:05:39: Batch done (81) (5428.3841929436, 4.2745661735535)
и в чем проблема не пойму :(

апдейт до последней версии провел
Build 201612241201 (Lastest build: 201612241201 )
не помог

крон вроде работает, полный ребут сервака тоже ничего не дал и в логах ничего найти не могу

почему перестал работать граббер и как снова его завести не пойму
admin нужна помощь :( данные доступа скину в ЛС сейчас

Re: Сломался граббер

Posted: Tue Dec 27, 2016 8:00 pm
by admin
Кроны прописаны ?

если руками запустить

php gallery_grabber.php

работает? ошибок нет ?

вывод ошибок в пхп ини включен ?

Re: Сломался граббер

Posted: Tue Dec 27, 2016 11:02 pm
by SAS
странно но получается практически сразу после размещения поста здесь, начал работать, судя по логу

Code: Select all

2016-12-27 00:05:08: IM Cmd custom : /usr/bin//convert   -resize 240x180^ -gravity Center -crop 240x180+0+0 -filter Blackman -modulate 105,102,100 -enhance -sharpen 1x1 -quality 85 -strip ../tmp/510557/tmp//0.jpg.thumb.jpg.tmp.jpg ../tmp/510557/tmp//0.jpg.thumb.jpg  (5397.6034829617, 0.00018405914306641)
2016-12-27 00:05:19: Rot save (2323408): title:Teen Sucks Like A Champ teen amateur teen cumshots swallow dp anal, desc:()  (5408.4871530533, 10.883668899536)
2016-12-27 00:05:19: Saving ../thumbs/2/323//408_Teen_cumshots.jpg (source ../tmp/510557/tmp//0.jpg.thumb.jpg) (5408.4873518944, 0.00019693374633789)
2016-12-27 00:05:35: Cleanup tmp folder ../tmp/510557 (5424.1096248627, 15.622272014618)
2016-12-27 00:05:39: Batch done (81) (5428.3841929436, 4.2745661735535)2016-12-27 20:22:12: Processing http://www.tube8.com/gay/twink/cute-stud-gay-porn-gays-gay-cumshots-swallow-stud-hunk/8207261/ (510616) (0.14555191993713, 0.14555597305298)
2016-12-27 20:22:12: Gallery description is empty: Update  with 'Hot Porn Video Online'  (0.2125837802887, 0.067030906677246)
2016-12-27 20:22:12: Content type: 4 (0.23689699172974, 0.024309873580933)
2016-12-27 20:22:12: Downloading img http://cdn2e.image.tube8.phncdn.com/201301/14/8207261//190x143/1.jpg (../tmp/510616/tmp//0.jpg) (0.24861788749695, 0.011718988418579)
2016-12-27 20:22:12: Source Size 4479 (0.51638078689575, 0.26776385307312)
или вы заходили ко мне и что-то правили?

Re: Сломался граббер

Posted: Wed Dec 28, 2016 5:56 am
by admin
Нет, ничего не трогал.

Re: Сломался граббер

Posted: Wed Dec 28, 2016 3:55 pm
by SAS
интересно что на отдельном сервере тоже БД не справляется

Can not connect to database server ...

Image

Intel Xeon E3 1245v2 4c/8t 3.4GHz+
32 GB
240 GB SSD

CentOS 7.3-1611 (64bits)
5.5.52-MariaDB

я правда еще тюнинговать не пробовал никак, но и трафика пока нет еще
по сути один импорт дампов сейчас и нагружает
но как-то уж очень сильно

Re: Сломался граббер

Posted: Wed Dec 28, 2016 6:07 pm
by SAS
подкорректировал немного my.cnf

Code: Select all

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
symbolic-links=0

skip-external-locking
key_buffer_size = 2G
max_allowed_packet = 128M
table_open_cache = 1024
sort_buffer_size = 1M
read_buffer_size = 1M
read_rnd_buffer_size = 4M
myisam_sort_buffer_size = 64M
thread_cache_size = 8
query_cache_size= 128M
thread_concurrency = 8

max_heap_table_size = 512M
tmp_table_size = 512M

#innodb_use_native_aio = 0
innodb_file_per_table

innodb_buffer_pool_size = 4G
innodb_additional_mem_pool_size = 64M
innodb_log_file_size = 64M
innodb_flush_log_at_trx_commit = 0


max_connections=777
max_user_connections=250
wait_timeout=10
interactive_timeout=50
long_query_time=5


#slow_query_log=1
#slow_query_log_file=/var/log/mysql-slow-queries.log


[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

#
# include all files from the config directory
#
!includedir /etc/my.cnf.d
надеюсь Can not connect to database server ... больше не будет

Image

Re: Сломался граббер

Posted: Thu Dec 29, 2016 5:51 am
by admin
У вас по процу нагрузка - можно значит в processlist посмотреть какие запросы грузят.
И попробуйте вместо марии запустить обычный mysql 5.6 и посомтреть будет ли разница.

Re: Сломался граббер

Posted: Thu Dec 29, 2016 7:57 am
by SAS
admin wrote:У вас по процу нагрузка - можно значит в processlist посмотреть какие запросы грузят.
И попробуйте вместо марии запустить обычный mysql 5.6 и посомтреть будет ли разница.
после тюнинга ночь прошла нормально

пока вроде все стабильно, памяти стало больше кушать но это я так понимаю нормально
Image

думаю дело было в маленьком значении max_allowed_packet

так как вчера были ошибки ERROR 2006 (HY000): MySQL server has gone away

Re: Сломался граббер

Posted: Thu Dec 29, 2016 9:00 am
by admin
Однозначно нет

Если бы вопрос был в max_allowed_packet то просто часть запросов, котоыре по мнению базы длинные просто игнорировались бы, и нагрузка наоборот была бы меньше.
All times are UTC
Page 1 of 1

Powered by phpBB® Forum Software © phpBB Limited