NATS - проверка дубликатов FHG

[S_Flash]

Одна и та же галерея:
http://galleries.allover30.com/mature/A ... MTk5Lj[b]A[/b]uMS4xLjAuNjAwMDkxOC4wLjAuMA
http://galleries.allover30.com/mature/A ... MTk5Lj[b]I[/b]uMS4xLjAuNjAwMDkxOC4wLjAuMA
Скрипт определяет их как разные, соответственно при автоматическом импорте из фида будет куча дублей. Можно ли как-то при импорте обходить проверку ?nats=MTk5LjIuMS4xLjAuNjAwMDkxOC4wLjAuMA параметра в сравнении дублей и сравнивать чисто сам урл http://galleries.allover30.com/mature/A ... dmvdO/Z03/ ? Вобщем как быть.

[admin]

оно должно отсеить тогда по чеку дублей тумб - он включен ?

[S_Flash]

оно должно отсеить тогда по чеку дублей тумб - он включен ?

По тумбам не хочется сравнивать, так как в дампе сейчас 2,5к галер и он как бы по логике должен увеличиваться. Получается, что если поставить этот дамп в Import sets, то он каждый раз будет скачиваться (имею ввиду качаться будет весь контент с галерей) пусть даже не каждый день, а потом уж по тумбам определять дубли.
Как по мне это архи не рационально.

[admin]

1. а зачем один и тот же дамп постоянно добавлять ? почем уне добавлять новое только ?
2. если уж никакой возможности не добавлять одно и тоже по многу раз то можно оставлять гали в базе с отметкой grab error , если ничего не сграблено из-за того что дубы тумбы - она останется и не добавлиться сл раз кк дуп по урлу.

[S_Flash]

1. а зачем один и тот же дамп постоянно добавлять ? почем уне добавлять новое только ?

Ну это фид по сути. Как тогда можно не добавлять фид больше одного раза, если его надо парсить порстоянно!?

2. если уж никакой возможности не добавлять одно и тоже по многу раз то можно оставлять гали в базе с отметкой grab error , если ничего не сграблено из-за того что дубы тумбы - она останется и не добавлиться сл раз кк дуп по урлу.

Ну конченый натс или спонсор, хз почему меняется эта бува в урле..! А через неделю он опять поменяет букву и ещё 2,5 к галер влезет в базу хоть и с grab error.

Я сам не хочу нагружать скрипт лишним функционалом, просто хотел убедиться, что нет решения хоть через костыли не учитывать GET параметры на галерее, ведь по сути 90% таких параметров не влияют на уникальность галереи. + 99% FHG имеют только ?id=webmasterID, который так же не может повлиять на уникальность.

[admin]

2.5к фид это много, обычно 100-200-300 галер.
Может стоит грабить фид реже если там постоянно посторяется одно и тоже.

И ГЕТ все же нужен, даже если это 1%. Лучше решить вопрос с 1 споном чем с кучей других
Есть у него какие то другие варианты экспорта ?

[S_Flash]

2.5к фид это много, обычно 100-200-300 галер.
Может стоит грабить фид реже если там постоянно посторяется одно и тоже.

И ГЕТ все же нужен, даже если это 1%. Лучше решить вопрос с 1 споном чем с кучей других
Есть у него какие то другие варианты экспорта ?

RSS и дамп. Дамп можно как RSS по ссылке. Самый обычный натсовый интерфейс.
Можно попробовать раскодировать, но хз, чем это может быть чревато.
Пока попробую сам разобраться.

[admin]

Ok