SmartCJ Support Forum

по идее надо выставить кроп профайл, дописать его в опции граба и поставить ту граб
но так с ходу 100% решения нет, надо тестировать

можно ли это сделать ? да

но с тем же успехом может оказаться что что=то было сделано не так и оно не так грабило, а потом это вылезло и что-то не работает.

сейчас же фактически дампы все еще есть
оно первые 10к галер засунет в пару минут
но пока грабер сделает эти 10к тумб - парсер успеет напихать в базу все то что там уже есть

что б это сделать надо потратить 5 минут: тормознуть импортсет, поменять настройки и запустить сначала

какие тут минусы?

admin wrote: Fri Nov 05, 2021 4:05 pm по идее надо выставить кроп профайл, дописать его в опции граба и поставить ту граб
но так с ходу 100% решения нет, надо тестировать

можно ли это сделать ? да

но с тем же успехом может оказаться что что=то было сделано не так и оно не так грабило, а потом это вылезло и что-то не работает.

сейчас же фактически дампы все еще есть
оно первые 10к галер засунет в пару минут
но пока грабер сделает эти 10к тумб - парсер успеет напихать в базу все то что там уже есть

что б это сделать надо потратить 5 минут: тормознуть импортсет, поменять настройки и запустить сначала
какие тут минусы?

Грабится так как надо, мне нужно было быстро и без резки тумб, что бы была одна большая база со всех тубов, что бы на ней сделать свой экспорт фид для наполнения своих ресурсов, и получения урлов удалённых галер из базы. Пробовал сделать на коленке такое, но оставил эту идею, раз есть смарт )) Благо дампы он кушает на ура, есть сфинкс, сортировки разные и тд и тп и нужно вот сейчас, точнее вчера. По этому, тумбы резать сразу смысла нет как такового и долгий процесс.

Уже позже пришла мысль как можно использовать копию данной базы, но там уже нужны нарезанные тумбы, по этому вопрос у меня и возник. Можно ли перекропать хотлинкованные тумбы. Т.е. ресурс новый существует на копии этой базы, картинки хотлинкуются но в фоне идет процесс перекропа, вот что мне интересно, сейчас уже там 7кк активных галь.

" мне нужно было быстро и без резки тумб"
"картинки хотлинкуются"

что перерезать? я видимо не понимаю ситуацию..

admin wrote: Sat Nov 06, 2021 8:30 am " мне нужно было быстро и без резки тумб"
"картинки хотлинкуются"

что перерезать? я видимо не понимаю ситуацию..

Окей, поехали с начала )
12 717 383 галер, при импорте ( в импорт сет ) указано, что тумбы резать не нужно, нужно хотлинковать. Теперь нужно их нарезать, как это сделать с помощью костылей, что бы сайт одновременно работал и рекроп/реграб шел фоном

ответ пока тот же
что б сделать костыль надо какое то время
есть вероятность что на костыль надо будет еще один костыль и тп
можно сделать вариант номер 2
поднять на том же домене еще одну копию и туда добавить тот же импортсет но уже с грабом тумб
на это уйдет например 20 минут
когда сграбит - переключить просто пути на новую копию
можем пойти путем 2 : потратить пару часов на собрание и тесторирование костылей и ожидать не вылезет ли чего ползже

понимаете в чем моя точка зрения? так что если есть желание попробовать словить баг какой то можем пойти и методом костыей,
это тоже не проблема

admin wrote: Sat Nov 06, 2021 12:13 pm ответ пока тот же
что б сделать костыль надо какое то время
есть вероятность что на костыль надо будет еще один костыль и тп
можно сделать вариант номер 2
поднять на том же домене еще одну копию и туда добавить тот же импортсет но уже с грабом тумб
на это уйдет например 20 минут
когда сграбит - переключить просто пути на новую копию
можем пойти путем 2 : потратить пару часов на собрание и тесторирование костылей и ожидать не вылезет ли чего ползже

понимаете в чем моя точка зрения? так что если есть желание попробовать словить баг какой то можем пойти и методом костыей,
это тоже не проблема

Я понимаю, по этому и задал сей вопрос, а можно ли сделать так то и так-то ) Я просто хотел уже использовать уже собранную базу из разных импорт сетов с разных тубов, на другом сайте, что бы контент уже был сразу, все эти уже 15кк галер с хотлинком для начала, и само оно там резалось в тумбы как-то, потом, в фоне. Ибо сразу резать столько тумб это звиздец винтам, и куча времени ) И я понял, что сейчас, вот так раз и нахрапом не получится. И я понял, что если я захочу заюзать эту здоровую базу но с накроплеными тумбами, то мне нужно экспортнуть и потом на _новом_ сайте сделать новый импорт сет, и уже с кропом.

так этот вариант я ж сразу и предлагал
на главном - 15М тумб

из этих 15М как я понимаю будут делаться другие сайты, для чего с сайта 15М будет какой-то экспорт и испорт в новый сайт

вот новый сайт и будет делать тумбы размером под себя

такой вариант ок?

admin wrote: Sat Nov 06, 2021 3:42 pm так этот вариант я ж сразу и предлагал
на главном - 15М тумб

из этих 15М как я понимаю будут делаться другие сайты, для чего с сайта 15М будет какой-то экспорт и испорт в новый сайт

вот новый сайт и будет делать тумбы размером под себя

такой вариант ок?

Ну а если других вариантов то нет, то оке, что делать то ))

вариант с костылями - есть
более того - не вопрос, можем заниматься
я просто сразу предупредил что он может занять времени намного больше чем если действовать по варианту выше
но если вам нравится сам процесс подпиливания и наблюдения результатов - давайте займемся

admin wrote: Sat Nov 06, 2021 4:51 pm вариант с костылями - есть
более того - не вопрос, можем заниматься
я просто сразу предупредил что он может занять времени намного больше чем если действовать по варианту выше
но если вам нравится сам процесс подпиливания и наблюдения результатов - давайте займемся

Изначально была идея, раз уж есть база - то вот, взять ее и ради интереса сделать из нее ресурс, благо она уже _есть_, но гугель не любит хотлинк, значит нужно кропать ) И что-то мне подсказывает, что тут слишком много чего нужно костылить, и никак не 10 строчек кода ) Если это потом добавлять в функционал скрипта, я в теории могу поучаствовать в эксперименте ) А если это нудно только мне, то смысла нет имхо, мы это обсуждаем гораздо дольше, чем сделать фид из этой базы и воткнуть в другой сайт и забыть о нем )