Повторная проверка после Import Replacement

[S_Flash]

Привет!
Можно ли реализовать повторную проверку дублирующих урлов добавляемых галерей уже после этапа Import Replacement?
Сомтрю у меня куча галерей с одинаковых после нескольких импортов из Sets. Фид тянется, в урле меняется https на http! Одни и теже галеры по 100 раз добавляются, так как сравнивается урл только до Import Replacement..

[admin]

Приветствую!

пока нет - import replacements могут быть долгими (например переводы) и будет таймаутит если это делать для всего импорта на лету.

но если одинаковые урлы то значит одинаковые тумбы и их отсеит

[S_Flash]

Вилка какая-то..
В фиде спонсора идут урлы без протокола, начинающиеся с "//domain.com" - такие не грабятся.

Code: Select all

2019-04-08 16:04:27: Loading gallery //Anilos.com/video/watch/69914?coupon=10259&c=0 (11.900427103043, 0.1961510181427)
2019-04-08 16:04:27: Not 200 answer (0)  (11.900568008423, 0.00014591217041016)
2019-04-08 16:04:27: Cleanup tmp folder ../tmp/12988 (11.900589942932, 1.3113021850586E-5)
2019-04-08 16:04:27: Deleting gallery (11.900820016861, 0.00023102760314941)

Делаю замену в Import Replacement "//" -> "http://" - галеры не проверяются на дубли. Проверка по тумбе на дубль не сработала (Check for dupe thumbs - Yes). Проверка дубля по деску не срабатывает, так как там тоже реплейсмент или синонимизация (Check for dupe description - Yes).

Как ещё можно не допустить дубли, например по полую var1?..

[admin]

проверил на этой галере - дуль чек тумб сработал

добавьте плз галеру эту с нужной заменой
она сграбится , сохраните лог ее граба

потом еще раз добавьте , по идее ее даст добавить
и сохраните лог ее граба

и после сравним как получилось что оно прошло чек тумб