SmartCJ Wiki

User Tools

Site Tools

Trace:
ru:tcms_install

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision		Previous revision
ru:tcms_install [2015/08/11 07:30] – [Sphinx Config] adminru:tcms_install [2022/07/04 12:56] (current) – [Default Rewrites] admin
Line 1: Line 1:
-====== Thumb CMS ======+====== Trade CMS ======
  
 Thumb CMS - это следующий шаг в развитии SmartCJ. Thumb CMS - это следующий шаг в развитии SmartCJ.
Line 59: Line 59:
 RewriteRule ^([^/]{2})/(.*)$ $2?force_lng=$1&%{QUERY_STRING} [L] RewriteRule ^([^/]{2})/(.*)$ $2?force_lng=$1&%{QUERY_STRING} [L]
  
-RewriteRule ^category/([^/]+)/$ /script_folder_name/cgi/out.php?url=content&p=100&dont_count_in_trade=true&skip_sell=true&group_name=$1&order=ctr&%{QUERY_STRING} [L] + 
-RewriteRule ^category/([^/]+)/([^/]+)/([^/]+)/$ /script_folder_name/cgi/out.php?url=content&p=100&dont_count_in_trade=true&skip_sell=true&group_name=$1&order=$2&page=$3&%{QUERY_STRING} [L]+# add &dont_count_in_trade=true if you dont want to count these clicks 
 +RewriteRule ^category/([^/]+)/$ /script_folder_name/cgi/out.php?url=content&p=100&skip_sell=true&group_name=$1&order=ctr&%{QUERY_STRING} [L] 
 +RewriteRule ^category/([^/]+)/([^/]+)/([^/]+)/$ /script_folder_name/cgi/out.php?url=content&p=100&skip_sell=true&group_name=$1&order=$2&page=$3&%{QUERY_STRING} [L]
  
 #slug galleries #slug galleries
Line 67: Line 69:
  
 #tags #tags
-RewriteRule ^tag/([^/]+)/([^/]+)/([^/]+)/$ /script_folder_name/tube/index.php?tag=$1&page=$3&order=$2&%{QUERY_STRING} [L] +RewriteRule ^tag/([^/]+)/([^/]+)/([^/]+)/$ /?tag=$1&page=$3&order=$2&%{QUERY_STRING} [L] 
-RewriteRule ^tag/([^/]+)/([^/]+)/$ /script_folder_name/tube/index.php?tag=$1&page=$2&%{QUERY_STRING} [L] +RewriteRule ^tag/([^/]+)/([^/]+)/$ /?tag=$1&page=$2&%{QUERY_STRING} [L] 
-RewriteRule ^tag/([^/]+)/$ /script_folder_name/tube/index.php?tag=$1&%{QUERY_STRING} [L]+RewriteRule ^tag/([^/]+)/$ /?tag=$1&%{QUERY_STRING} [L]
  
 #model galleries #model galleries
-RewriteRule ^model_galleries/([^/]+)/$ /script_folder_name/tube/?model_slug=$1&force_template=model_galleries [L] +RewriteRule ^model_galleries/([^/]+)/$ /?model_slug=$1&force_template=model_galleries [L] 
-RewriteRule ^model_galleries/([^/]+)/([^/]+)/$ /script_folder_name/tube/?model_slug=$1&page=$2&force_template=model_galleries [L]+RewriteRule ^model_galleries/([^/]+)/([^/]+)/$ /?model_slug=$1&page=$2&force_template=model_galleries [L]
  
-RewriteRule ^model/([^/]+)/$ /script_folder_name/tube/?model_slug=$1&force_template=model_galleries&%{QUERY_STRING} [L] +RewriteRule ^model/([^/]+)/$ /?model_slug=$1&force_template=model_galleries&%{QUERY_STRING} [L] 
-RewriteRule ^model/([^/]+)/([^/]+)/([^/]+)/$ /script_folder_name/tube/?model_slug=$1&force_template=model_galleries&order=$2&page=$3&%{QUERY_STRING} [L]+RewriteRule ^model/([^/]+)/([^/]+)/([^/]+)/$ /?model_slug=$1&force_template=model_galleries&order=$2&page=$3&%{QUERY_STRING} [L]
  
-RewriteRule ^search/([^/]+)/([^/]+)/$ /script_folder_name/tube/index.php?search=$1&page=$2&%{QUERY_STRING} +RewriteRule ^search/([^/]+)/([^/]+)/$ /?search=$1&page=$2&%{QUERY_STRING} 
-RewriteRule ^search/([^/]+)/([^/]+)/([^/]+)/$ /script_folder_name/tube/index.php?search=$1&order=$2&page=$3&%{QUERY_STRING}+RewriteRule ^search/([^/]+)/([^/]+)/([^/]+)/$ /?search=$1&order=$2&page=$3&%{QUERY_STRING}
  
 </code>  </code> 
 +
 +
 +Для nginx 
 +
 +<code> 
 +
 +server {
 +        
 +        ....
 +        
 +        
 +        
 + location /scj/scj2.lic {
 +     return 404;
 + }
 +
 + location / {
 +
 +                .....
 +
 + if (!-e $request_filename) { 
 +     rewrite "^/([^/]{2})/(.*)$" /$2?force_lng=$1&$query_string ; 
 + } 
 +
 + }
 +
 + location /gallery {
 +     rewrite ^/gallery/([^/]+)/index.html$ /script_folder_name/cgi/out.php?url=content&slug=$1&$query_string ;
 +     rewrite "^/gallery/([^/]+)/([0-9]{1,2}).html$" /script_folder_name/cgi/out.php?url=content&slug=$1&item_id=$2&$query_string ;
 + }
 +
 + location /category { 
 +     rewrite ^/category/([^/]+)/$ /script_folder_name/cgi/out.php?url=content&p=100&dont_count_in_trade=true&skip_sell=true&group_name=$1&order=ctr&$query_string ; 
 +     rewrite ^/category/([^/]+)/([^/]+)/([^/]+)/$ /script_folder_name/cgi/out.php?url=content&p=100&dont_count_in_trade=true&skip_sell=true&group_name=$1&order=$2&page=$3&$query_string ; 
 + } 
 +
 + location /tag { 
 + rewrite ^/tag/([^/]+)/([^/]+)/([^/]+)/$ /?tag=$1&page=$3&order=$2&$query_string ; 
 + rewrite ^/tag/([^/]+)/([^/]+)/$ /?tag=$1&page=$2&$query_string ; 
 + rewrite ^/tag/([^/]+)/$ /?tag=$1&$query_string ; 
 + }
 +
 +
 + location /model_galleries { 
 + rewrite ^/model_galleries/([^/]+)/$ /?model_slug=$1&force_template=model_galleries ; 
 + rewrite ^/model_galleries/([^/]+)/([^/]+)/$ /?model_slug=$1&page=$2&force_template=model_galleries ; 
 + } 
 +
 + location /model { 
 + rewrite ^/model/([^/]+)/$ /?model_slug=$1&force_template=model_galleries&$query_string ; 
 + rewrite ^/model/([^/]+)/([^/]+)/([^/]+)/$ /?model_slug=$1&force_template=model_galleries&order=$2&page=$3&$query_string ; 
 + } 
 +
 + location /search { 
 + rewrite ^/search/([^/]+)/([^/]+)/$ /?search=$1&page=$2&$query_string; 
 + rewrite ^/search/([^/]+)/([^/]+)/([^/]+)/$ /?search=$1&order=$2&page=$3&$query_string; 
 + }
 +
 +
 +</code> 
 +
 +
 +===== Search =====
 +
 +По дефолту для поиска используется конструкция примерно WHERE description LIKE '%search_term%'. В настройках ротации есть пункт 
 +
 +Search fields
 +If you don't use Sphinx the script will use Mysql
 +built-in functionality. It's slower so we limit amount of fields
 +Please, read the last WIKI about the last option. 
 +
 +
 +По дефолту скрипт ищет по в description, в этом пункте можно настроить поиск в Title (Alt), либо по обоим полям сразу, что конечно создает несколько больше нагрузки.
 +
 +Лучший вариант - это настройка Sphinx о чем рассказано ниже.
 +
 +Но есть компромисный вариант: FullText Search для Mysql (последний из пунктов опции Search fields). Его смысл в том, что Mysql так же умеет искать учитывая морфологию, однако до версии 5.6 он это делал только для таблиц MyISAM.
 +
 +Итого если вы хотите использовать этот вариант, который несоклько проще варианта Sphinx в настройке надо для таблиц rot_gallery_data* добавить индекс 
 +
 +<code>
 +        ALTER TABLE `rot_gallery_data1` ADD FULLTEXT (
 + `alt` ,
 + `description`
 + )
 +</code>
 +
 +И переключить в настройках опцию на поиск FullText.
 +
  
  
 ===== Sphinx Config ===== ===== Sphinx Config =====
 +
 +Обратите внимание, что в Sphinx Settings в 99% случае надо писать 127.0.0.1 
  
 Пример конфига  Пример конфига 
Line 96: Line 189:
  listen      = your_port:mysql41  listen      = your_port:mysql41
  
-основное тут - доавление mysql41, новый вариант для сфинкс слушать по протоколу mysql +основное тут - добавление mysql41, новый вариант для сфинкс слушать по протоколу mysql 
  
 Далее пример для базы Далее пример для базы
Line 116: Line 209:
  LEFT JOIN rot_tags as t on t.tag_id = g2t.tag_id \  LEFT JOIN rot_tags as t on t.tag_id = g2t.tag_id \
  WHERE g2t.gallery_id = gi.gallery_id) as tags, \  WHERE g2t.gallery_id = gi.gallery_id) as tags, \
 + (SELECT group_concat(tag_id) FROM rot_gal2tag g2t \
 + WHERE g2t.gallery_id = gi.gallery_id) as tag_ids, \
 + (SELECT group_concat(name) FROM rot_groups  \
 + WHERE rot_groups.id in (SELECT group_id FROM rot_gallery_stats1 WHERE rot_gallery_stats1.gallery_id = gi.gallery_id AND group_id != 0) ) as group_names, \
 +                                                                  \
 + (SELECT group_concat(name) FROM rot_groups  \
 + WHERE rot_groups.id in (SELECT group_id FROM rot_gallery_stats1 WHERE rot_gallery_stats1.gallery_id = gi.gallery_id AND group_id != 0) ) as group_names, \
 +
  (SELECT group_concat(gss.group_id) FROM rot_gallery_stats1 as gss \  (SELECT group_concat(gss.group_id) FROM rot_gallery_stats1 as gss \
  WHERE gss.gallery_id = gi.gallery_id AND group_id != 0) as categories \  WHERE gss.gallery_id = gi.gallery_id AND group_id != 0) as categories \
Line 122: Line 223:
  JOIN rot_gallery_stats1 AS gs ON gs.gallery_id = gi.gallery_id \  JOIN rot_gallery_stats1 AS gs ON gs.gallery_id = gi.gallery_id \
  WHERE gallery_status = 'active' and gallery_type = 0 \  WHERE gallery_status = 'active' and gallery_type = 0 \
- and gs.best_thumb = 'yes' and gs.group_id = 0+ and gs.best_thumb = 'yes' and gs.group_id = 0 AND gs.group_id NOT IN (SELECT group_id FROM rot_groups_data WHERE status != 1)
  
  
Line 131: Line 232:
  sql_attr_uint     = content_type  sql_attr_uint     = content_type
     sql_attr_multi = uint categories from field;      sql_attr_multi = uint categories from field; 
 +    sql_attr_multi = uint tag_ids from field; 
  
- sql_query_info = SELECT * FROM rot_gallery_info WHERE gallery_id=$id 
 } }
  
Line 148: Line 249:
 </code> </code>
  
 +
 +
 +
 +
 +===== Sphinx Delta Config =====
 +
 +При создании индекса sphinx делает индекс текущего состояния базы и если после индексирования в базе были какие-либо изменения, то  sphinx не найдет новых данных, тк они были добавлены после индексирования.
 +
 +Логический вывод из этого: надо проводить реиндексацию после каждого изменения в базе, однако проблема в том, что  если база достаточно большая то индексация может занимать длительное время. И индексация это затратный по ресурсам процесс.
 +
 +Что бы решить эту проблему придумали delta index – это индекс в который попадут измения, которые произошли с момента полной индексации и до момента создания дельта индекса. При этом, поскольку индексируется малое кол-во данных, операция проходит очень быстро.
 +
 +При поиска sphinx будет искать и в основном индексе и в дельта индексе, и таким образом будет видеть все измения. Создание дельта индекса можно поставить как угодно часто.
 +
 +
 +Итого :
 +
 +в основную часть, которая у вас уже есть надо добавить после 
 +
 +  sql_query_pre = SET NAMES utf8
 +
 +строку
 +
 +  sql_query_pre = UPDATE rot_settings SET value = (SELECT MAX(gallery_id) FROM rot_gallery_info) WHERE name = 'sphinx_max_gallery_id'
 +
 +
 +Теперь надо добавить создание дельта индекса
 +
 +<code>
 +
 +source delta : your_name_source
 +{
 +    sql_query_pre = SET NAMES utf8
 +
 + sql_query = SELECT gi.gallery_id, UNIX_TIMESTAMP(gi.activation_date) as date, \
 +                                                                                 \
 + gd.alt, gd.description, gi.duration, gi.sponsor_id, gs.total_ctr, gi.content_type, rot_sponsors.sponsor_name, rot_sponsors.sponsor_site,\
 +                          \
 +                                                                                 \
 + (SELECT group_concat(tag_id) FROM rot_gal2tag g2t                               \
 + WHERE g2t.gallery_id = gi.gallery_id) as tag_ids,                               \
 +                                                                                 \
 + # TAGS START you can remove this part up to TAG END                             \
 + # this part indexes tags, if you remove it - tags wont be indexed               \
 + # ligther index = less memory usage and faster search                           \
 + (SELECT group_concat(tag_name) FROM rot_gal2tag g2t                             \
 + LEFT JOIN rot_tags as t on t.tag_id = g2t.tag_id                                \
 + WHERE g2t.gallery_id = gi.gallery_id) as tags,                                  \
 +                                                                 \
 + # TAGS END                                                                      \
 +                                                                                 \
 +                                                                                 \
 + # GROUP START you can remove this part up to TAG END                            \
 + # this part indexes group names, if you remove it - it  wont be indexed         \
 + # ligther index = less memory usage and faster search                           \
 + (SELECT group_concat(name) FROM rot_groups                                      \
 + WHERE rot_groups.id in (SELECT group_id FROM rot_gallery_stats1                \
 + WHERE rot_gallery_stats1.gallery_id = gi.gallery_id AND group_id != 0)         \
 + ) as group_names,                                                              \
 +                                                                                 \
 +                                                               \
 + # GROUP END                                                                     \
 +                                                                                 \
 + # Models START you can remove this part up to MODEL END                         \
 + # this part indexes model names, if you remove it - it  wont be indexed         \
 + # ligther index = less memory usage and faster search                           \
 + (SELECT group_concat(model_name) FROM rot_models                                \
 + WHERE rot_models.model_id in (SELECT model_id FROM rot_gal2model               \
 + WHERE rot_gal2model.gallery_id = gi.gallery_id)                                \
 + ) as model_names,                                                              \
 +                                                                                 \
 + # MODEL END                                                                     \
 +                                                                                 \
 +                                                                                 \
 + (SELECT group_concat(distinct(gss.group_id)) FROM rot_gallery_stats1 as gss     \
 + WHERE gss.gallery_id = gi.gallery_id AND group_id != 0) as categories           \
 +                                                                                 \
 + FROM rot_gallery_info AS gi                                                     \
 + JOIN rot_sponsors on rot_sponsors.sponsor_id = gi.sponsor_id                    \
 + JOIN rot_gallery_data1 AS gd ON gi.gallery_id = gd.gallery_id                   \
 +                                                              \
 +                                                                                 \
 + JOIN rot_gallery_stats1 AS gs ON gs.gallery_id = gi.gallery_id                  \
 + WHERE gallery_status = 'active' and gallery_type = 0                            \
 + and gs.best_thumb = 'yes' and gs.group_id = 0                                   \
 + AND gs.group_id NOT IN (SELECT group_id FROM rot_groups_data WHERE status != 1) and gi.gallery_id > ( SELECT value FROM rot_settings WHERE name = 'sphinx_max_gallery_id' )
 +    
 +}
 +
 +
 +index delta : your_name_index
 +{
 +    source = delta
 +    path = /your_full_path/data/delta
 +}
 +
 +
 +</code>
 +
 +
 +Как можно заметить запрос такой же, отличается только наличием в выборке по sphinx_max_gallery_id.
 +
 +После этого надо доабвить в крон индексацию новых записей так часто, как вам нравится строкой 
 +
 +  indexer --rotate delta
 +
 +После создания индекса надо прописать delta в Sphinx Delta Index  настройках ротации.
 +
 +и раз в сутки например можно присоединять дельта индекс к основному
 +
 +  indexer --rotate --merge your_name_index delta
 +
 +
 +Все.
ru/tcms_install.1439278240.txt.gz · Last modified: by admin