SmartCJ Wiki

User Tools

Site Tools

Trace:
ru:import_sets

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision		Previous revision
ru:import_sets [2021/11/05 06:51] – [Deletion Feed] adminru:import_sets [2024/11/18 17:21] (current) – [Import Sets Type Deletion and Hamster] admin
Line 1: Line 1:
 ====== Import Sets ====== ====== Import Sets ======
  
 +Суть импорт сетов в том, что можно автоматически, через указынный промежуток времени, импортировать галеры практически из любого источника, при этом выполняя с ними любые действия как при ручном импорте, например создать кастом гали, добавить в несколько категорий, опредлить создание дополнительных тумб и тп.
  
-Разные спонсоры предоставляют урлы в разных форматах: RSS (причем многие используют не описанные стандартом поля), XML, дампы. И если RSS можно был добавлять прописав их в группах, то XML и дампы можно был добавлять только руками. Это неудобно для автоматического наполнения контентом. Теперь для этого существуют импорт сеты. Обратите внимание, что РСС в группах и спонсорах остались только для того, что бы оттуда можно было скопировать данные. +Как это работает: Rotation  - Import Sets, жмем "Add New" - открывается форма Import с единственным исключением - вверху форма для ввода урла. Надо ввести URL дампа или rss, время переграба (24 = каждые 24 часа) и разделитель. Разделитель актуален для дампов, и обычно это символ "|". Жмем Test - скрипт пытается опредлить поля в предлагаемом урле. Для неопределнных полей надо или Skip или самостоятельно выбрать что в этом поле. Наже выбираем параметры импорта как в привычной форме импорта. Жмем Save. Все.
- +
-Преимущество импорт сетов в том, что можно автоматически, через указынный промещуток времени, импортировать галеры практически из любого источника, при этом выполняя с ними любые действия как при ручном импорте, например создать кастом гали, досбавить в несколько категорий,опредлить создание дополнительных тумб и тп. +
- +
-Как это работает: Rotation  - Import Sets, жмем "Add New" - открывается форма Import с единственным исключением - вверху форма для ввода урла. Надо ввести URL дампа или rss, время переграба (24 = каждые 24 часа) и разделитель. Разделитель актуален для дампов, и обычно это символ "|". Жмем Test - скрипт пытается опредлить поля в контента предлагаемом урле. Для неопределнных полей надо или Skip или самостоятельно выбрать что в этом поле. Наже выбираем параметры импорта как в привычной форме импорта. Жмем Save. Все.+
  
 ===== Hints ===== ===== Hints =====
Line 20: Line 17:
 Существует 2 типа import set: add и deletion. Соответственно урлы найденные в типе add - добавляются в базу, deletion - удаляются из базы. Существует 2 типа import set: add и deletion. Соответственно урлы найденные в типе add - добавляются в базу, deletion - удаляются из базы.
  
-Это удобно для автоматического удаления галер. Те если в обычной ситуации что-то проверить что галеры, на которые вы линкуете, рабочие - вам надо было бы запускать [[Gallery Checker]] и тем самым дополнительно нагружать и свой сервак и сервак спонсора, то в этом случае спонсор дает вам конкретный урл где обновляемый список удаленных урлов - и скрипт, раз в сколько-то часов проверяет его и удаляет эти урлы у вас из базы.+Это удобно для автоматического удаления галер. Те если в обычной ситуации что бы проверить что галеры, на которые вы линкуете, рабочие - вам надо было бы запускать [[Gallery Checker]] и тем самым дополнительно нагружать и свой сервак и сервак спонсора, то в этом случае спонсор дает вам конкретный со списком удаленных урлов - и скрипт, раз в Х часов проверяет его и удаляет эти урлы у вас из базы. 
 + 
 +Обратите внимание, что скирпт может удалять по частичному совпадению, например ваш урл http://sponsor.com/gallery/index.html?id=your_id а спонсор отдает только http://sponsor.com/gallery/index.html
  
 **Если у вас какие-то свои ресурсы, вы можете сделать агрегацию deletion feed.** **Если у вас какие-то свои ресурсы, вы можете сделать агрегацию deletion feed.**
Line 42: Line 41:
 ===== Большие импортсеты ===== ===== Большие импортсеты =====
  
-Смотрю один сайт и вижу, что rot.php работает как-то дольше, чем должен. Заглядываю в лог, а там типа+В целом суть опции в том чтобы периодически проверять url и добавлять галереи, например сайт добавляет 10-20-100-1000 урлов каждый день, вы раз в день вытаскиваете обновление и добавляете у себя. те импортсет url проверяется каждый день (раз в Х часов)
  
-  * 2011-11-28 13:19 ImportSet....: Added: , Dupes: 10000 +Но например вам надо добавить сразу 1М урлов, такой файл можно добавить в импортсет как обычно. Смарт его скачает и будет добавлять урлы из него пока не добавит из файла все урлы в базу, после этого импортсет будет автоматически поставлен на паузу, те не будет проверять его каждый день на наличие новых урлов.
-  * 2011-11-28 13:20 ImportSet....: Added: , Dupes: 20000 +
-  * 2011-11-28 13:21 ImportSet....: Added: , Dupes: 30000+
  
-и так далее, те в импортсетах много РСС\дампов, где выдает не последние 10-50-100 урлов, а списки с десятками тысяч урлов и все это стоит на проверку каждый час. +===== Import Sets Type Deletion and Hamster =====
- +
- +
-Думаю, что смысл ошибки понятен, она не критичная, но тк скрипту надо каждую минуту делать по 30к запросов к базе проверяя есть ли в ней урлы из этого списка, то ресурсов серваку это не прибавляет. +
- +
-В апедйте 49 было добавлено ограничение на размер импортсета для защиты пользователей от самих себя :) +
- +
-===== Import Sets Type Deletion и Hamster (как пример, но актуально и для других) =====+
  
  
Line 92: Line 82:
 **Вариант 2** **Вариант 2**
  
-Например, у вас добавлено http://gallery/1234.html, а туб поменял урлы на http://gallery/1234/  или deletionn feed выдает только 1234, одним словом урл который вы импортировали не совпадает с тем, что выдает deletion feed. +Например, у вас добавлено http://gallery/1234.html, а туб поменял урлы на http://gallery/1234/  или deletion feed выдает только 1234 (NL галеры на тубе), одним словом урл который вы импортировали не совпадает с тем, что выдает deletion feed.  
 + 
 +В этом случае надо эти новые данные (http://gallery/1234/ или 1234, те именно то что выдает deletion feed) добавлять в custom var1 (2, 3) или можно создать свою custom var, назвать ее например tube_id и добавлять ID галеры на тумбе в эту переменную.  
 + 
 +Например, для нового импорта мы импортим как url|custom_var1 (где в кастом вар находится то что отдает deletion feed например 1234)
  
-В этом случае надо эти новые данные (http://gallery/1234/ или 1234, те именно то что выдает deletion feed) добавлять в custom var1 (2, 3). те для нового импорта мы импортим как url|custom_var1 (где в кастом вар находится то что отдает deletion feed например 1234), а для тех урлов которые уже есть в базе - идем в rotation - massedit и добавляем в аналогичном формате url|custom_var1  где url это то что у нас уже есть в базе, custom_var1 - то что выдает deletion feed (например  http://gallery/1234.html|1234)+Deletion import set для этого туба например состоит только из ИД галер, тогда при настройке Deletion import set мы ставим для 1234  имя поля - custom_var1 (или например custom_var_tube_id если вы решили завести свою переменную для этого поля).
  
-Суть в том, что при процессинге deletion feed скрипт так же смотрит на совпадения по custom var.+Обратите внимание, что проверка идет на совпадение поля **И** спонсора. 
 +Например, у 2х спонсоров оказалось совпадение ид (1234) - в этом случае что б не удалить 2 галеры, а только нужную - мы проверяем и ИД спонсора.
 ===== Import Sets - Page ===== ===== Import Sets - Page =====
  
ru/import_sets.1636095074.txt.gz · Last modified: by admin