xhamster dump

igor
Posts: 86
Joined: Sun Oct 28, 2018 10:37 am

xhamster dump

Post by igor »

хомяк перешел на новый формат урлов
и возникла проблема с символом _ в них

пробовал использовать дамп хомяка на удаление галер в rot_import_sets
поудаляло много не удаленных галер, я начал смотреть почему и понял что это _
например, вот их дамп за последние 30 дней удаленные
https://partners.xhamster.com/export/del_month_xh.csv

например, берем удаленную галеру
https://xh.video/v/c_v2

и смарт убивает мне на сайтике сразу 4 галеры

https://xh.video/v/CQV2
https://xh.video/v/c_v2
https://xh.video/v/cWv2
https://xh.video/v/cBV2

т.к. нижние подчеркивание идет за любой символ, я так понял

можно это пофиксить, и что бы за любой символ канала * как принято ?

т.е. что бы по совпадению с нижним слэшем прибивало только одинаковые урлы

спасибо

скрин вывода на сайте по приведенным урлам прилагаю,
пос
Attachments
33.jpg
33.jpg (207.02 KiB) Viewed 3282 times
Last edited by igor on Tue May 12, 2020 11:51 am, edited 1 time in total.
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: xhamster dunp

Post by admin »

дубль?
Don't forget to run script update
igor
Posts: 86
Joined: Sun Oct 28, 2018 10:37 am

Re: xhamster dunp

Post by igor »

да, дубль, один прибить надо видимо
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: xhamster dump

Post by admin »

Что бы не находило надо поменять тип поля

ALTER TABLE `rot_gallery_info` CHANGE `source_url` `source_url` VARCHAR(255) CHARACTER SET latin1 COLLATE latin1_general_cs NOT NULL;

минус только в том, что русские буквы в урлы нельзя будет добавлять. Тут или то или то, совместить нельзя.
Don't forget to run script update
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: xhamster dump

Post by admin »

И провести ап что б заработал пропуск подчеркивания
Don't forget to run script update
igor
Posts: 86
Joined: Sun Oct 28, 2018 10:37 am

Re: xhamster dump

Post by igor »

мне не поиск галер важен по урлу, а что бы не удаляло не удаленные галеры из дампа

это возможно сделать ?
еще раз потерять отротированные галеры не хочется.
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: xhamster dump

Post by admin »

поиск и удаление по поиску - одно и то же
надо сделать то что написано выше
Don't forget to run script update
igor
Posts: 86
Joined: Sun Oct 28, 2018 10:37 am

Re: xhamster dump

Post by igor »

админам отписал - сказали сделали
смарт апнул

не работает

https://xh.video/v/Z_D3

http://joxi.ru/zANqBWXC6PaYk2



вышло 3 галеры - смотрим их урлы в edit item



https://xh.video/v/ZZD3

https://xh.video/v/Z-D3

https://xh.video/v/Z9D3



ниодин не совпал, поэтому что-то не работает, нижнее подчеркивание заменяет любой символ по-прежнему


админы ответили что :

вот такая структура таблицы сейчас
отпишите ему сами.

CREATE TABLE `rot_gallery_info` (
`gallery_id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`gallery_type` tinyint(4) unsigned NOT NULL DEFAULT 0,
`url` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL,
`source_url` varchar(255) CHARACTER SET latin1 COLLATE latin1_general_cs NOT NULL,
`sponsor_id` int(10) unsigned NOT NULL,
`content_count` mediumint(8) unsigned NOT NULL,
`content_type` tinyint(3) unsigned NOT NULL,
`duration` smallint(5) unsigned NOT NULL,
`added_date` datetime NOT NULL,
`activation_date` datetime NOT NULL,
`custom_gallery` enum('yes','no') NOT NULL DEFAULT 'no',
`embed_template` varchar(50) DEFAULT NULL,
`embed_code` text NOT NULL,
`flv_url` varchar(255) NOT NULL,
`flv_size_x` smallint(5) unsigned NOT NULL,
`flv_size_y` smallint(5) unsigned NOT NULL,
`flv_thumb_url` varchar(255) NOT NULL,
`content_server_id` smallint(5) unsigned NOT NULL,
`content_crop_profile_id` smallint(5) unsigned NOT NULL,
`content_gallery_text` varchar(1024) NOT NULL,
`content_thumbs` text NOT NULL,
`content_grab_options` varchar(1024) NOT NULL,
`gallery_total_shows` int(10) unsigned NOT NULL,
`rating` decimal(6,4) NOT NULL,
`crop_profile_id` smallint(5) unsigned NOT NULL,
`thumbs` varchar(8192) NOT NULL,
`grab_options` varchar(4096) NOT NULL,
`gallery_owner` varchar(50) NOT NULL,
`last_checked` int(10) unsigned NOT NULL,
`gallery_status` enum('to_grab','processing','grab_error','preload','active','pool','old','to_delete','to_regrab','inactive','banned','off_till_activation') NOT NULL DEFAULT 'to_grab',
PRIMARY KEY (`gallery_id`),
UNIQUE KEY `sponsor_id` (`gallery_id`,`sponsor_id`),
KEY `url` (`url`),
KEY `source_url` (`source_url`),
KEY `rot_content_id` (`custom_gallery`),
KEY `flv_url` (`flv_url`),
KEY `gallery_type` (`gallery_type`),
KEY `gallery_status` (`gallery_status`)
) ENGINE=InnoDB AUTO_INCREMENT=130564 DEFAULT CHARSET=utf8
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: xhamster dump

Post by admin »

скиньте плз админку или дамп, проверю на нем
Don't forget to run script update
igor
Posts: 86
Joined: Sun Oct 28, 2018 10:37 am

Re: xhamster dump

Post by igor »

скинул
Post Reply