User Tools

Site Tools


import_sets

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
import_sets [2015/06/10 15:09]
admin
import_sets [2015/06/10 15:10]
admin
Line 1: Line 1:
 ====== Import Sets ====== ====== Import Sets ======
 + 
  
 Various sponsors provide URLs in various formats: RSS (and some sponsors use nonstandard fields), XML, dump. Before update 47 you could add only standard RSS feed and It was inconvenient for automatic feeding of you site. Import Set introduced for take care of this. With Import Sets you can automatically import galleries from virtually any source with any options including Custom Galleries, additional thumbs and so on. Various sponsors provide URLs in various formats: RSS (and some sponsors use nonstandard fields), XML, dump. Before update 47 you could add only standard RSS feed and It was inconvenient for automatic feeding of you site. Import Set introduced for take care of this. With Import Sets you can automatically import galleries from virtually any source with any options including Custom Galleries, additional thumbs and so on.
Line 15: Line 16:
  
  
-===== Import Sets Type Deletion и Hamster ​(как пример,​ но актуально и для других) ​=====+===== Import Sets Type Deletion и Hamster ​ ===== 
 + 
  
 +This is just an example based on xhamster, but it can be used with any other data sourse.
  
-В принципе это относится не только к Хамстеруно поскольку вопрос возник именно на его примере - описываю ​ проблему на его примере. +Let's say you import embedded videos from xhamsterto do so you added 'Import Set' like
- +
-Вводная:​ Хамстер дает ембеды,​ вы решили сделать на эмбедах сайт. Дабы было постоянное автоматическое пополнение сиджа настроили ​Import Set и добавили туда дамп Хамстера+
  
   http://​partners.xhamster.com/​2export.php?​ch=!&​cnt=4&​tmb=4&​tcnt=10&​tl=on&​ord=1&​url=off&​em=1&​ttl=on&​chs=on&​sz=on&​dlm=|   http://​partners.xhamster.com/​2export.php?​ch=!&​cnt=4&​tmb=4&​tcnt=10&​tl=on&​ord=1&​url=off&​em=1&​ttl=on&​chs=on&​sz=on&​dlm=|
-  ​который выдает в формате ​#​EMBED|#​THUMB|#​TITLE|#​CHANNEL|#​DURATION|+  ​format ​#​EMBED|#​THUMB|#​TITLE|#​CHANNEL|#​DURATION|
  
-Как бы этого достаточно,​ все работает и все хорошо.+It it fine and works good.
  
-Вопрос возникнет позже - когда надо будет добавить автоматическое удаление галер удаленных на хамстере +But you might get into a trouble later, if a video will be deletedxhamster provides a list of deleted videos as a set of urlsbut when you imported videos you didn't import URL (#​EMBED|#​THUMB|#​TITLE|#​CHANNEL|#​DURATION|**) ​
-хамстер выдает список урлов удаленных видео**но в нашем то импорт сете урла нет ​(#​EMBED|#​THUMB|#​TITLE|#​CHANNEL|#​DURATION|**) ​и потому Смарт не сможет на автомате удалять удаленные видео (сорри за тавтологию но смысл надеюсь ясен).+
  
  
-**Что делать:** урл дампа хамстера надо поменять такчто б там появился урл гали, примерно так ​+**What to do:** just add URL to the Import Setfor example ​
  
   http://​partners.xhamster.com/​2export.php?​ch=!&​cnt=4&​tmb=4&​tcnt=10&​tl=on&​ord=1&​url=on&​em=1&​ttl=on&​chs=on&​sz=on&​dlm=|   http://​partners.xhamster.com/​2export.php?​ch=!&​cnt=4&​tmb=4&​tcnt=10&​tl=on&​ord=1&​url=on&​em=1&​ttl=on&​chs=on&​sz=on&​dlm=|
-  ​тогда дамп будет выдавать урл гали ​#​EMBED|#​THUMB|#​URL|#​TITLE|#​CHANNEL|#​DURATION| +  ​ie now it looks like  ​#​EMBED|#​THUMB|**#URL**|#​TITLE|#​CHANNEL|#​DURATION|
-  те добавлено #URL +
- +
- +
-Смарт будет добавлять гали в базу с пометкой source url = ... и соответственно сможет автоматически удалять у себя в базе удаленные видео хамстера. +
- +
- +
-PS Это так же актуально если вы проверяете доступность галер с помощью [[Gallery Checker]]. +
- +
-Будет не лишним сделать небольшое отступление:​ еще до импортсетов появился [[Tube Import]], который может автоматически добавлять видео с тубов к вам. Однако тубы периодически удаляют контент и соответственно у вас на сайте оказывались ссылки на удаленое видео или , если видео было добавлено как ембед, переставало работать. Дабы избежать такой ситуации появился [[Gallery Checker]], который по кейвордам проверяд не удалено ли видео. Если кратко,​ то у [[Gallery Checker]] есть список вида domain- keyword, например xhamster.com - video was deleted и чекер проходит по всем видео и проверяет,​ что на страницах такого слова нет и значит видео все еще работает. +
- +
-Однако с ростом баз стало ясно, что если в базе 500к урлов, то появляется некоторая проблема с проверкой такого кол-ва урлов, и как раз к этому моменту у продвинутых тубов начали появляться deletion rss - те рсс со списками удаленных урлов, и соответственно можно было не проверять все урлы с помощью [[Gallery Checker]], а сразу точечно удалять нужные урлы - для этого у импорт сета появился тип deletion. +
- +
-Те и для [[Gallery Checker]] и для импорт сет deletion type  - надо знать исходный урл. Если у туба\спонсора есть deletion rss - предпочтительнее юзать его. Если нет - [[Gallery Checker]].+
  
  
-===== Import ​Sets - personal name =====+And now you can use Deletion RSS provided from xhamster, and add it as Import ​Set :: type deletion. The script will automatically delete videos from this RSS.
  
-Для удобства пользования у каждого импортсета появилось опциональное имя. Можно его не вводить и список импортсетов будет выглядеть как раньше,​ а можно дать каждому импорсету персональное имя. 
  
import_sets.txt · Last modified: 2015/06/10 15:10 (external edit)