Как бороться с дубликатами?

[eagleowl]

Проблема такая - люди заливают одно и то же видео с одним и тем же деском на кучу тубов одновременно. В результате я с разных тубов получаю фактически идентичное видео с идентичными тумбами и идентичными десками. В сортировке по дате эти тумбы идут подряд что очень некрасиво и вообще садит проду. Как с этим можно бороться? Ротатор при импорте это за дубликаты не считает. Уникальность по деску проверять я как-то не нашел. Есть какие-то варианты?

[admin]

В настрйоках включено

Check for dupe thumbs

?

[eagleowl]

Нет, если бы так было просто, но не получается.
Тумбы на разных тубах срезаются с секундным смещением почему-то, в итоге выглядят практически идентично но скрипт их за дубликаты не считает. Кроме того, я для каждого видео сохраняю 5 тумб.

[eagleowl]

Очень хотелось бы проверять уникальность именно по дескам.

[Semen_ssr]

admin/?operation=rotation&sub=rot_import& - Check DB for Dupes
и
admin/?operation=rotation& - Check for dupe thumbs
script calculates MD5 check summ for each created thumb
if we already have the same MD5 - this usually means that thumb was created
from the same content
for example, FHG with the same content but diff. design/url

Второе справляется с дубликатами в каждой версии по разному, я особо не нуждался в этом, поэтому и не заморачивался.

[eagleowl]

Первое мимо, т.к. у меня импорт через сеты идет.
Второе включено понятно, но не справляется.
Опять таки, допустим есть два эмбеда, у каждого по 5 тумб. 4 тумбы совпадают, одна нет. И что тогда?

[admin]

Ок, добавили такую опцию в апдейт.

[eagleowl]

Ага вижу. Вот это спасибо большое, массу проблем решили.

[admin]

NP

[admin]

Проведите еще ап, обнаружились дески похожи с пробелами просто.
Учли и это.