Page 1 of 2

xhamster dump

Posted: Tue May 12, 2020 11:01 am
by igor
хомяк перешел на новый формат урлов
и возникла проблема с символом _ в них

пробовал использовать дамп хомяка на удаление галер в rot_import_sets
поудаляло много не удаленных галер, я начал смотреть почему и понял что это _
например, вот их дамп за последние 30 дней удаленные
https://partners.xhamster.com/export/del_month_xh.csv

например, берем удаленную галеру
https://xh.video/v/c_v2

и смарт убивает мне на сайтике сразу 4 галеры

https://xh.video/v/CQV2
https://xh.video/v/c_v2
https://xh.video/v/cWv2
https://xh.video/v/cBV2

т.к. нижние подчеркивание идет за любой символ, я так понял

можно это пофиксить, и что бы за любой символ канала * как принято ?

т.е. что бы по совпадению с нижним слэшем прибивало только одинаковые урлы

спасибо

скрин вывода на сайте по приведенным урлам прилагаю,
пос

Re: xhamster dunp

Posted: Tue May 12, 2020 11:33 am
by admin
дубль?

Re: xhamster dunp

Posted: Tue May 12, 2020 11:51 am
by igor
да, дубль, один прибить надо видимо

Re: xhamster dump

Posted: Tue May 12, 2020 11:56 am
by admin
Что бы не находило надо поменять тип поля

ALTER TABLE `rot_gallery_info` CHANGE `source_url` `source_url` VARCHAR(255) CHARACTER SET latin1 COLLATE latin1_general_cs NOT NULL;

минус только в том, что русские буквы в урлы нельзя будет добавлять. Тут или то или то, совместить нельзя.

Re: xhamster dump

Posted: Tue May 12, 2020 11:56 am
by admin
И провести ап что б заработал пропуск подчеркивания

Re: xhamster dump

Posted: Tue May 12, 2020 12:25 pm
by igor
мне не поиск галер важен по урлу, а что бы не удаляло не удаленные галеры из дампа

это возможно сделать ?
еще раз потерять отротированные галеры не хочется.

Re: xhamster dump

Posted: Tue May 12, 2020 12:30 pm
by admin
поиск и удаление по поиску - одно и то же
надо сделать то что написано выше

Re: xhamster dump

Posted: Wed May 13, 2020 12:28 pm
by igor
админам отписал - сказали сделали
смарт апнул

не работает

https://xh.video/v/Z_D3

http://joxi.ru/zANqBWXC6PaYk2



вышло 3 галеры - смотрим их урлы в edit item



https://xh.video/v/ZZD3

https://xh.video/v/Z-D3

https://xh.video/v/Z9D3



ниодин не совпал, поэтому что-то не работает, нижнее подчеркивание заменяет любой символ по-прежнему


админы ответили что :

вот такая структура таблицы сейчас
отпишите ему сами.

CREATE TABLE `rot_gallery_info` (
`gallery_id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`gallery_type` tinyint(4) unsigned NOT NULL DEFAULT 0,
`url` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL,
`source_url` varchar(255) CHARACTER SET latin1 COLLATE latin1_general_cs NOT NULL,
`sponsor_id` int(10) unsigned NOT NULL,
`content_count` mediumint(8) unsigned NOT NULL,
`content_type` tinyint(3) unsigned NOT NULL,
`duration` smallint(5) unsigned NOT NULL,
`added_date` datetime NOT NULL,
`activation_date` datetime NOT NULL,
`custom_gallery` enum('yes','no') NOT NULL DEFAULT 'no',
`embed_template` varchar(50) DEFAULT NULL,
`embed_code` text NOT NULL,
`flv_url` varchar(255) NOT NULL,
`flv_size_x` smallint(5) unsigned NOT NULL,
`flv_size_y` smallint(5) unsigned NOT NULL,
`flv_thumb_url` varchar(255) NOT NULL,
`content_server_id` smallint(5) unsigned NOT NULL,
`content_crop_profile_id` smallint(5) unsigned NOT NULL,
`content_gallery_text` varchar(1024) NOT NULL,
`content_thumbs` text NOT NULL,
`content_grab_options` varchar(1024) NOT NULL,
`gallery_total_shows` int(10) unsigned NOT NULL,
`rating` decimal(6,4) NOT NULL,
`crop_profile_id` smallint(5) unsigned NOT NULL,
`thumbs` varchar(8192) NOT NULL,
`grab_options` varchar(4096) NOT NULL,
`gallery_owner` varchar(50) NOT NULL,
`last_checked` int(10) unsigned NOT NULL,
`gallery_status` enum('to_grab','processing','grab_error','preload','active','pool','old','to_delete','to_regrab','inactive','banned','off_till_activation') NOT NULL DEFAULT 'to_grab',
PRIMARY KEY (`gallery_id`),
UNIQUE KEY `sponsor_id` (`gallery_id`,`sponsor_id`),
KEY `url` (`url`),
KEY `source_url` (`source_url`),
KEY `rot_content_id` (`custom_gallery`),
KEY `flv_url` (`flv_url`),
KEY `gallery_type` (`gallery_type`),
KEY `gallery_status` (`gallery_status`)
) ENGINE=InnoDB AUTO_INCREMENT=130564 DEFAULT CHARSET=utf8

Re: xhamster dump

Posted: Wed May 13, 2020 4:03 pm
by admin
скиньте плз админку или дамп, проверю на нем

Re: xhamster dump

Posted: Wed May 13, 2020 5:27 pm
by igor
скинул