SmartCJ Support Forum

Posted: **Thu Oct 24, 2019 12:01 pm**

Пытаюсь сграбить галереи типа
https://www.wifebucket.com/albums/20190 ... g4LjAuMC4w
но не получается.
в логах:

2019-10-24 12:05:38: Loading gallery https://www.wifebucket.com/albums/20190 ... g4LjAuMC4w (11.645370960236, 0.0040569305419922)
2019-10-24 12:05:39: Gallery description is empty: Update with 'WifeBucket | Free 51 pics of Nudes Selfies And Porn From Chubby Martha' (12.136610984802, 0.49124503135681)
2019-10-24 12:05:39: Downloading files for a custom gallery (12.172091007233, 0.035470008850098)
2019-10-24 12:05:39: Downloading img https://wifebucket.net/albums/201909/20 ... /fhg-1.jpg (../tmp/15210/tmp//34896.jpg) (12.172271966934, 0.00017905235290527)
2019-10-24 12:05:39: set ref (12.374207019806, 0.20194101333618)
2019-10-24 12:05:39: Source Size: 0 (12.427299976349, 0.053092956542969)
2019-10-24 12:05:39: Can not download https://wifebucket.net/albums/201909/20 ... /fhg-1.jpg (Not 200 answer (0) ) (12.427407026291, 0.00010013580322266)
2019-10-24 12:05:39: Looks like this is a custom gallery, trying to download source from a saved gallery (12.427541971207, 0.00012707710266113)
2019-10-24 12:05:39: Custom gallery not an array, skipping (12.427608013153, 6.413459777832E-5)
2019-10-24 12:05:39: Can not make thumb for this item, skipping ... (12.427659988403, 5.0067901611328E-5)
2019-10-24 12:05:39: Downloading img https://wifebucket.net/albums/201909/20 ... /fhg-2.jpg (../tmp/15210/tmp//810860.jpg) (12.427742958069, 8.1062316894531E-5)
2019-10-24 12:05:39: set ref (12.630337953568, 0.20260119438171)
2019-10-24 12:05:39: Source Size: 0 (12.683068990707, 0.052721977233887)
2019-10-24 12:05:39: Can not download https://wifebucket.net/albums/201909/20 ... /fhg-2.jpg (Not 200 answer (0) ) (12.683130979538, 5.6028366088867E-5)
2019-10-24 12:05:39: Looks like this is a custom gallery, trying to download source from a saved gallery (12.683231115341, 9.7036361694336E-5)
2019-10-24 12:05:39: Custom gallery not an array, skipping (12.683276891708, 4.3869018554688E-5)
2019-10-24 12:05:39: Can not make thumb for this item, skipping ... (12.683326005936, 4.6014785766602E-5)
2019-10-24 12:05:39: Downloading img https://wifebucket.net/albums/201909/20 ... /fhg-3.jpg (../tmp/15210/tmp//867834.jpg) (12.683403968811, 7.6055526733398E-5)
2019-10-24 12:05:40: set ref (12.887245893478, 0.20385193824768)
2019-10-24 12:05:40: Source Size: 0 (12.94047498703, 0.053219795227051)

и т.д.

Все картинки нормально открываются в браузере. Есть ли какойто способ или никак?

Posted: **Thu Oct 24, 2019 3:31 pm**

Мне выдает 403 по урлу

https://wifebucket.net/albums/201909/20 ... /fhg-1.jpg

Posted: **Fri Oct 25, 2019 5:03 am**

по урлу картинки да. А если открывать картинку, кликая по ней непосредственно с галеры, то нормально открывается. Я не копенгаген, но такое ощущение, что при открытии картинки мониторится реф, что бы он был соответствующий. Если это так, то каким то образом может смарт сграбить такие галеры?

Posted: **Fri Oct 25, 2019 5:09 am**

так оно и с рефом пробует

2019-10-24 12:05:39: set ref (12.374207019806, 0.20194101333618)
2019-10-24 12:05:39: Source Size: 0 (12.427299976349, 0.053092956542969)
2019-10-24 12:05:39: Can not download https://wifebucket.net/albums/201909/20 ... /fhg-1.jpg (Not 200 answer (0) ) (12.427407026291, 0.00010013580322266)

попробуйте из шела самостоятеьно - скачивает wget тот же?

Posted: **Fri Oct 25, 2019 10:01 am**

Я может не правильно выразился. Непосредственно с галеры, если кликнуть по тумбе, то картинка нормально открывается, без 403. Если скопировать урл большой картинки и попробовать его вставить в браузер - тогда даёт 403 ошибку. Т.е. сами по себе большие картинки существуют и доступ к ним есть, но как то ограничен. Можно ли как то обойти это ограничение средствами смарта?

Posted: **Fri Oct 25, 2019 10:06 am**

admin wrote: Fri Oct 25, 2019 5:09 am так оно и с рефом пробует

Ну так для проформы спрошу - а с каким рефом? у галеры один домен, а у картинки другой. Так какой реф подставляется от галеры или от картинки?

Posted: **Fri Oct 25, 2019 6:36 pm**

Да, не заметил сразу, спасибо!

доабвил в ап, попробуйте сейчас плз

Posted: **Mon Oct 28, 2019 6:50 am**

проапгрейдил. попробовал.
не работает.
Видимо там как то более сложно?

2019-10-28 06:57 processed_galleries = 2, memory = 29.3 Mb limit 512M (6.409658908844, 0.00085306167602539)
2019-10-28 06:57 Processing http://join.wifebucket.com/gallery/MjQw ... gzLjAuMC4w (15230) (6.4114408493042, 0.0017819404602051)
2019-10-28 06:57 Downloading img https://wifebucket.net/albums/201909/20 ... /fhg-1.jpg (../tmp/15230/tmp//297585.jpg) (7.4803259372711, 1.0688850879669)
2019-10-28 06:57 unset ref (7.6813468933105, 0.20102095603943)
2019-10-28 06:57 Source Size: 0 (7.7330048084259, 0.051657915115356)
2019-10-28 06:57 Can not make thumb for this item, skipping ... (7.7330958843231, 9.1075897216797E-5)
2019-10-28 06:57 Downloading img https://wifebucket.net/albums/201909/20 ... /fhg-2.jpg (../tmp/15230/tmp//406606.jpg) (7.7331848144531, 8.8930130004883E-5)
2019-10-28 06:57 unset ref (7.9356858730316, 0.20250105857849)
2019-10-28 06:57 Source Size: 0 (7.9892678260803, 0.053581953048706)
2019-10-28 06:57 Can not make thumb for this item, skipping ... (7.9894080162048, 0.00014019012451172)

ЗЫ. Прежде чем пытаться открыть картинку, сначала надо открыть галерею и кликнуть по тумбе.
http://join.wifebucket.com/gallery/MjQw ... gzLjAuMC4w

Posted: **Mon Oct 28, 2019 10:15 am**

добавпил, попробуйте сейчас

если не поможет - скидывайте шел, буду смотреть плотнее

Posted: **Tue Oct 29, 2019 9:54 am**

Не работает. те же ошибки.

Code: Select all

2019-10-29 09:59:27: Processing https://www.wifebucket.com/albums/201909/20190925_naked-pics-from-slim-fit-wife-dana/free-gallery.html?nats=MjQwMDE1My4xLjMuMy4wLjIxODgyLjAuMC4w (15238) (0.0059010982513428, 0.0050539970397949)
2019-10-29 09:59:28: Loading gallery https://www.wifebucket.com/albums/201909/20190925_naked-pics-from-slim-fit-wife-dana/free-gallery.html?nats=MjQwMDE1My4xLjMuMy4wLjIxODgyLjAuMC4w (0.2789089679718, 0.27300000190735)
2019-10-29 09:59:35: Downloading files for a custom gallery (7.3165600299835, 7.0376489162445)
2019-10-29 09:59:35: Downloading img https://wifebucket.net/albums/201909/20190925_naked-pics-from-slim-fit-wife-dana/fhg/fhg-1.jpg (../tmp/15238/tmp//430301.jpg) (7.3169720172882, 0.00040793418884277)
2019-10-29 09:59:35: unset ref (7.7317280769348, 0.41476202011108)
2019-10-29 09:59:35: Source Size: 0 (7.7856011390686, 0.053869009017944)
2019-10-29 09:59:35: Can not download https://wifebucket.net/albums/201909/20190925_naked-pics-from-slim-fit-wife-dana/fhg/fhg-1.jpg (Not 200 answer (0) ) (7.7856850624084, 7.5101852416992E-5)
2019-10-29 09:59:35: Looks like this is a custom gallery, trying to download source from a saved gallery (7.7861249446869, 0.00043797492980957)
2019-10-29 09:59:35: Custom gallery not an array, skipping (7.7861740589142, 4.5061111450195E-5)
2019-10-29 09:59:35: Can not make thumb for this item, skipping ... (7.7862181663513, 4.1961669921875E-5)

Скинул шел

SmartCJ Support Forum

Возможно ли сграбить эту галерею

Возможно ли сграбить эту галерею

Re: Возможно ли сграбить эту галерею

Re: Возможно ли сграбить эту галерею

Re: Возможно ли сграбить эту галерею

Re: Возможно ли сграбить эту галерею

Re: Возможно ли сграбить эту галерею

Re: Возможно ли сграбить эту галерею

Re: Возможно ли сграбить эту галерею

Re: Возможно ли сграбить эту галерею

Re: Возможно ли сграбить эту галерею