Differences

This shows you the differences between two versions of the page.

--- ru:import_sets [2014/01/29 18:19] – external edit 127.0.0.1
+++ ru:import_sets [2024/11/18 17:21] (current) – [Import Sets Type Deletion and Hamster] admin
@@ Line 1: / Line 1: @@
 ====== Import Sets ======
+Суть импорт сетов в том, что можно автоматически, через указынный промежуток времени, импортировать галеры практически из любого источника, при этом выполняя с ними любые действия как при ручном импорте, например создать кастом гали, добавить в несколько категорий, опредлить создание дополнительных тумб и тп.
-Разные спонсоры предоставляют урлы в разных форматах: RSS (причем многие используют не описанные стандартом поля), XML, дампы. И если RSS можно был добавлять прописав их в группах, то XML и дампы можно был добавлять только руками. Это неудобно для автоматического наполнения контентом. Теперь для этого существуют импорт сеты. Обратите внимание, что РСС в группах и спонсорах остались только для того, что бы оттуда можно было скопировать данные.
+Как это работает: Rotation  - Import Sets, жмем "Add New" - открывается форма Import с единственным исключением - вверху форма для ввода урла. Надо ввести URL дампа или rss, время переграба (24 = каждые 24 часа) и разделитель. Разделитель актуален для дампов, и обычно это символ "|". Жмем Test - скрипт пытается опредлить поля в предлагаемом урле. Для неопределнных полей надо или Skip или самостоятельно выбрать что в этом поле. Наже выбираем параметры импорта как в привычной форме импорта. Жмем Save. Все.
-Преимущество импорт сетов в том, что можно автоматически, через указынный промещуток времени, импортировать галеры практически из любого источника, при этом выполняя с ними любые действия как при ручном импорте, например создать кастом гали, досбавить в несколько категорий,опредлить создание дополнительных тумб и тп.
-Как это работает: Rotation  - Import Sets, жмем "Add New" - открывается форма Import с единственным исключением - вверху форма для ввода урла. Надо ввести URL дампа или rss, время переграба (24 = каждые 24 часа) и разделитель. Разделитель актуален для дампов, и обычно это символ "|". Жмем Test - скрипт пытается опредлить поля в контента предлагаемом урле. Для неопределнных полей надо или Skip или самостоятельно выбрать что в этом поле. Наже выбираем параметры импорта как в привычной форме импорта. Жмем Save. Все.
 ===== Hints =====
-  * В РСС часто тумба идет не как прямой урл до тумбы, а как таг <img src=....>. Для этого поля надо выбирать не Thumb, а Parse Thumb.
+  * В РСС бывает тумба идет не как прямой урл до тумбы, а как таг <img src=....>. Для этого поля надо выбирать не Thumb, а Parse Thumb.
   * Delimiter - это разделение полей, в дампах это обычно | , в RSS обычно item, но бывает еще video. Разобраться с этим несложно: надо открыть урл в браузере и посомтреть в код страницы, 99% вы сразу догадаетесь что писать.
+===== Deletion Feed =====
-Обратите внимание, что существует 2 типа import set: add и deletion. Соответственно урлы найденные в типе add - добавляются в базу, deletion - удаляются из базы.
+Существует 2 типа import set: add и deletion. Соответственно урлы найденные в типе add - добавляются в базу, deletion - удаляются из базы.
+Это удобно для автоматического удаления галер. Те если в обычной ситуации что бы проверить что галеры, на которые вы линкуете, рабочие - вам надо было бы запускать [[Gallery Checker]] и тем самым дополнительно нагружать и свой сервак и сервак спонсора, то в этом случае спонсор дает вам конкретный со списком удаленных урлов - и скрипт, раз в Х часов проверяет его и удаляет эти урлы у вас из базы.
-===== Большие импортсеты =====
+Обратите внимание, что скирпт может удалять по частичному совпадению, например ваш урл http://sponsor.com/gallery/index.html?id=your_id а спонсор отдает только http://sponsor.com/gallery/index.html
-Смотрю один сайт и вижу, что rot.php работает как-то дольше, чем должен. Заглядываю в лог, а там типа
+**Если у вас какие-то свои ресурсы, вы можете сделать агрегацию deletion feed.**
-  * 2011-11-28 13:19 ImportSet....: Added: , Dupes: 10000
+Например, у вас 10 мест откуда собираются списки удаленных галер + у вас свой контент (свои кастом галеры). При этом эти галеры используются на 100  других сайтах. Что бы не добавлять эти фиды 100 раз, можно на 1 сайте добавить их все, и поставить тип импорта mark inactive (offline). Те у вас будет 1 сайт с базой удаленных урлов. Лучше сделать его просто как базу, те без траффика.
-  * 2011-11-28 13:20 ImportSet....: Added: , Dupes: 20000
-  * 2011-11-28 13:21 ImportSet....: Added: , Dupes: 30000
-и так далее, те в импортсетах много РСС\дампов, где выдает не последние 10-50-100 урлов, а списки с десятками тысяч урлов и все это стоит на проверку каждый час.
+На этом сайте создаем отдельный темплейт last_deleted вида
+<code>
+<thumb num=1-100 order=date gallery_status=inactive>
+урл галеры
+</thumb>
+</code>
-Думаю, что смысл ошибки понятен, она не критичная, но тк скрипту надо каждую минуту делать по 30к запросов к базе проверяя есть ли в ней урлы из этого списка, то ресурсов серваку это не прибавляет.
-В апедйте 49 было добавлено ограничение на размер импортсета для защиты пользователей от самих себя :)
+и по урлу domain.com/?force_template=last_deleted у вас будет список удаленных галер (последние 100 в данном примере). И вы сможете добавить только этот урл на другие сайты.
-===== Import Sets Type Deletion и Hamster (как пример, но актуально и для других) =====
+Обратите внимание, что если у вас сеть сайтов мастер-слейв, то можно добавлять deletion feed только на один них них, тк в этом варианте они используют одну базу.
+===== Большие импортсеты =====
+В целом суть опции в том чтобы периодически проверять url и добавлять галереи, например сайт добавляет 10-20-100-1000 урлов каждый день, вы раз в день вытаскиваете обновление и добавляете у себя. те импортсет url проверяется каждый день (раз в Х часов)
+Но например вам надо добавить сразу 1М урлов, такой файл можно добавить в импортсет как обычно. Смарт его скачает и будет добавлять урлы из него пока не добавит из файла все урлы в базу, после этого импортсет будет автоматически поставлен на паузу, те не будет проверять его каждый день на наличие новых урлов.
+===== Import Sets Type Deletion and Hamster =====
@@ Line 67: / Line 79: @@
 Те и для [[Gallery Checker]] и для импорт сет deletion type  - надо знать исходный урл. Если у туба\спонсора есть deletion rss - предпочтительнее юзать его. Если нет - [[Gallery Checker]].
+**Вариант 2**
+Например, у вас добавлено http://gallery/1234.html, а туб поменял урлы на http://gallery/1234/  или deletion feed выдает только 1234 (NL галеры на тубе), одним словом урл который вы импортировали не совпадает с тем, что выдает deletion feed.
+В этом случае надо эти новые данные (http://gallery/1234/ или 1234, те именно то что выдает deletion feed) добавлять в custom var1 (2, 3) или можно создать свою custom var, назвать ее например tube_id и добавлять ID галеры на тумбе в эту переменную.
+Например, для нового импорта мы импортим как url|custom_var1 (где в кастом вар находится то что отдает deletion feed например 1234)
+Deletion import set для этого туба например состоит только из ИД галер, тогда при настройке Deletion import set мы ставим для 1234  имя поля - custom_var1 (или например custom_var_tube_id если вы решили завести свою переменную для этого поля).
+Обратите внимание, что проверка идет на совпадение поля **И** спонсора.
+Например, у 2х спонсоров оказалось совпадение ид (1234) - в этом случае что б не удалить 2 галеры, а только нужную - мы проверяем и ИД спонсора.
+===== Import Sets - Page =====
+Иногда фид ограничен страницами, например выдает по 50 штук за раз и дальше надо менять параметр &page= ... Для этого добавлен таг {PAGE}. Когда импорт сет запускает первый раз то скрипт заменяет его на 1, каждый следующий раз - добавляет единицу. Таким образом можно перебрать весь сет. Останавливается когда урл ничего не вернет.
+Если вы редактируете сет, то этот параметр скидывается на 1.
 ===== Import Sets - personal name =====