Page 1 of 1
Как бороться с дубликатами?
Posted: Tue Mar 14, 2017 7:31 pm
by eagleowl
Проблема такая - люди заливают одно и то же видео с одним и тем же деском на кучу тубов одновременно. В результате я с разных тубов получаю фактически идентичное видео с идентичными тумбами и идентичными десками. В сортировке по дате эти тумбы идут подряд что очень некрасиво и вообще садит проду. Как с этим можно бороться? Ротатор при импорте это за дубликаты не считает. Уникальность по деску проверять я как-то не нашел. Есть какие-то варианты?
Re: Как бороться с дубликатами?
Posted: Wed Mar 15, 2017 4:37 am
by admin
В настрйоках включено
Check for dupe thumbs
?
Re: Как бороться с дубликатами?
Posted: Thu Mar 16, 2017 1:06 am
by eagleowl
Нет, если бы так было просто, но не получается.
Тумбы на разных тубах срезаются с секундным смещением почему-то, в итоге выглядят практически идентично но скрипт их за дубликаты не считает. Кроме того, я для каждого видео сохраняю 5 тумб.
Re: Как бороться с дубликатами?
Posted: Thu Mar 16, 2017 1:09 am
by eagleowl
Очень хотелось бы проверять уникальность именно по дескам.
Re: Как бороться с дубликатами?
Posted: Thu Mar 16, 2017 1:38 am
by Semen_ssr
admin/?operation=rotation&sub=rot_import& - Check DB for Dupes
и
admin/?operation=rotation& - Check for dupe thumbs
script calculates MD5 check summ for each created thumb
if we already have the same MD5 - this usually means that thumb was created
from the same content
for example, FHG with the same content but diff. design/url
Второе справляется с дубликатами в каждой версии по разному, я особо не нуждался в этом, поэтому и не заморачивался.
Re: Как бороться с дубликатами?
Posted: Thu Mar 16, 2017 1:49 am
by eagleowl
Первое мимо, т.к. у меня импорт через сеты идет.
Второе включено понятно, но не справляется.
Опять таки, допустим есть два эмбеда, у каждого по 5 тумб. 4 тумбы совпадают, одна нет. И что тогда?
Re: Как бороться с дубликатами?
Posted: Thu Mar 16, 2017 11:01 am
by admin
Ок, добавили такую опцию в апдейт.
Re: Как бороться с дубликатами?
Posted: Fri Mar 17, 2017 2:14 am
by eagleowl
Ага вижу. Вот это спасибо большое, массу проблем решили.
Re: Как бороться с дубликатами?
Posted: Fri Mar 17, 2017 8:55 am
by admin
NP
Re: Как бороться с дубликатами?
Posted: Fri Mar 17, 2017 9:23 am
by admin
Проведите еще ап, обнаружились дески похожи с пробелами просто.
Учли и это.