Парсинг видео галер

GhostUser
Posts: 47
Joined: Thu Mar 25, 2021 10:30 pm

Парсинг видео галер

Post by GhostUser »

есть мувисная галера:

Code: Select all

#url|title|description|models|tags
https://fhg.metartx.com/2021-03-23/PILLOW_LOVE_2/v/|Pillow Love 2|""|Jenny Doll|""
в "Force content type" стоит Movies

граббер видос не находит, в логах:

Code: Select all

2021-04-06 20:25:02: processed_galleries = 1, memory = 5.2 Mb limit -1 (0.001863956451416, 0.0018730163574219)
2021-04-06 20:25:02: Processing https://fhg.metartx.com/2021-03-23/PILLOW_LOVE_2/v/ (36) (0.13992595672607, 0.13806295394897)
2021-04-06 20:25:02: Loading gallery https://fhg.metartx.com/2021-03-23/PILLOW_LOVE_2/v/ (0.14761710166931, 0.0076808929443359)
2021-04-06 20:25:04: No images were found (1.2241170406342, 1.076504945755)
2021-04-06 20:25:04: Cleanup tmp folder ../tmp/36 (1.2241680622101, 3.6001205444336E-5)
2021-04-06 20:25:04: Deleting gallery (1.2248809337616, 0.00071907043457031)
2021-04-06 20:25:04: Delete gallery 36   from /home/user/vhosts/scjtest.local/www/scj/bin/gallery_grabber.php (1.2252039909363, 0.00031495094299316)
2021-04-06 20:25:04: Thumb deleted (1.3439519405365, 0.11875104904175)
2021-04-06 20:25:04: Delete thumb 146  (1.4670479297638, 0.12309503555298)
2021-04-06 20:25:05: FS delete folder:  ../thumbs///user_thumbs/0/036  (2.3198671340942, 0.8528151512146)
2021-04-06 20:25:05: FS_delete_folder: ../thumbs///user_thumbs/0/036 doesnt exists (2.3201761245728, 0.00029683113098145)
2021-04-06 20:25:05: Delete gallery content 0/036 (2.321573972702, 0.0013940334320068)
как собственно работает парсинг мувисных галер: он не находит видос конкретно по подобному типу галер или нужно указывать только прямые линки на мувик вообще (в .html видосы не ищет) ?
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Парсинг видео галер

Post by admin »

<video таг не обрабатывало, добавил фикс в ап
Don't forget to run script update
GhostUser
Posts: 47
Joined: Thu Mar 25, 2021 10:30 pm

Re: Парсинг видео галер

Post by GhostUser »

в общем неправильно content type для таких видосов определяет. для вышеприведенной галеры:

Code: Select all

 2021-04-07 23:30:03: processed_galleries = 1, memory = 5.1 Mb limit -1 (0.0024819374084473, 0.0024900436401367)
2021-04-07 23:30:03: Processing https://fhg.metartx.com/2021-03-23/PILLOW_LOVE_2/v/ (37) (0.1339418888092, 0.13145899772644)
2021-04-07 23:30:03: Loading gallery https://fhg.metartx.com/2021-03-23/PILLOW_LOVE_2/v/ (0.14466190338135, 0.010712146759033)
2021-04-07 23:30:04: Downloading files for a custom gallery (1.3071510791779, 1.162495136261)
2021-04-07 23:30:04: https://static.metartx.com/media/JennyDoll/Pillow%20Love%202/MP4/640x360_3Min.mp4 is flash, not in gallery  content type limit, skip .... (1.3072240352631, 5.6982040405273E-5)
2021-04-07 23:30:04: No items was added for custom gallery (1.3072590827942, 3.0040740966797E-5)
2021-04-07 23:30:04: Cleanup tmp folder ../tmp/37 (1.3074300289154, 0.00017094612121582)
2021-04-07 23:30:04: Deleting gallery (1.3080570697784, 0.0006258487701416)
2021-04-07 23:30:04: Delete gallery 37   from /home/user/vhosts/scjtest.local/www/scj/bin/gallery_grabber.php (1.3083410263062, 0.00027894973754883)
2021-04-07 23:30:04: Thumb deleted (1.476124048233, 0.16779398918152)
2021-04-07 23:30:05: Delete thumb 147  (1.7800688743591, 0.30393505096436)
2021-04-07 23:30:05: FS delete folder:  ../thumbs///user_thumbs/0/037  (2.2978479862213, 0.51777195930481)
2021-04-07 23:30:05: FS_delete_folder: ../thumbs///user_thumbs/0/037 doesnt exists (2.2982070446014, 0.00035214424133301)
2021-04-07 23:30:05: Delete gallery content 0/037 (2.2999708652496, 0.0017540454864502)
...640x360_3Min.mp4 is flash, not in gallery content type

при импорте было установлено Force content type и Add only this type of content в Movie, но определяется как Flash
так же важно что б и тэг <!--CONTENT_TYPE--> возвращал, а макрос <thumb content_type=movie определял правильный тип для такого контента.
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Парсинг видео галер

Post by admin »

так этио ж флеш - проигрывание мувика прямо на странице
иначе флейш можно вообще убирать - его вообще нигде нет сейчас, все на других кодеках давно уже
Don't forget to run script update
GhostUser
Posts: 47
Joined: Thu Mar 25, 2021 10:30 pm

Re: Парсинг видео галер

Post by GhostUser »

всмысле, почему флэш ? эт mp4 судя по расширению - https://static.metartx.com/media/JennyD ... 0_3Min.mp4
просто я его в html5 плеер какой заварачивать могу

...а, или это смарт сам так тип видео контента, который не embed, но и не явно Flash, флэшом считает ? просто что б путаницы небыло для себя уточняю
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Парсинг видео галер

Post by admin »

когда то давно, были галеры где мувик скачивался - это мувики, для них был дефолтный темпелйт где на мувики - просто ссылки

потом появился флеш - стало возможным проигрывать на странице, делал это только флеш, для него появился отдельный темпелйт дефолтный, где не ссылка на мувик, а проигрывание в дефолтном плеере (который можно поменять)

потом появилась возможность проигрывать не только флеш, но и mp4 и другие форматы прямо в плеере на странице, из-за френы формата файла никто темплейты переименовывать не будет конечно, поэтому все так и осталось - то что проигрывается на странице - это флеш

ембед - это когда вставляется полностью ембед код с другого сайта (content_page дефолтный темплейт)
Don't forget to run script update
GhostUser
Posts: 47
Joined: Thu Mar 25, 2021 10:30 pm

Re: Парсинг видео галер

Post by GhostUser »

чисто для себя хочу понять по какому принципу делаются галерные тумбы в случае импорта мувика, а именно:

1. скрин настроек импорта типа hotlink everything
Image

на выходе на диске получаем 5 файлов тумб ротации, 0 тумб галереи (т.е. по файлам всё правильно), однако, если зайти в List thumbs/Gallery edit имеем:

Image

т.е. в базе они всё-равно есть, и вывод макроса <gallery_content> так же считает их за обычные галерные тумбы:

Code: Select all

ITEM_NUM:1
THUMB:https://static.metartx.com/media/E896D1E35BCAC264B9AA8B5F5F243945/wide_E896D1E35BCAC264B9AA8B5F5F243945.jpg
IMAGE:https://static.metartx.com/media/BjorgLarson/Reflection%20of%20Lust/MP4/640x360_3Min.mp4

ITEM_NUM:2
THUMB:../tmp/66/tmp//addedmov_f70232a7f209638ea56e1aaff52415c2_1.jpg
IMAGE:https://static.metartx.com/media/BjorgLarson/Reflection%20of%20Lust/MP4/640x360_3Min.mp4

ITEM_NUM:3
THUMB:../tmp/66/tmp//addedmov_f70232a7f209638ea56e1aaff52415c2_2.jpg
IMAGE:https://static.metartx.com/media/BjorgLarson/Reflection%20of%20Lust/MP4/640x360_3Min.mp4
отчасти это проблема, т.к. хоть и можно накрутить разные условия в шабе, смотреть тип контента и т.д. но у нас всё-равно нет способа определить настоящая ли это галерная тумба, или типа такой, как показано здесь (проверять наличие "/tmp/" в шабе - это вообще лютый хак, имхо). Более-менее можно раскидаться, если определять как тип контента, так и способ импорта (make thumbs hotlink big/hotlink everything/...).

Собственно, как определить тип импорта в шаблоне для галеры или только юзать свою custom var для каждой галеры?


2. импорт типа make thumbs hotlink big:
сейчас накатил последний апдейд - трабл пропал сам собой... хз. если кто успел прочитать - в билде 202104111148, для этого типа импорта всё норм по кол-ву галерных тумб генерится
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Парсинг видео галер

Post by admin »

Идем по очереди

а в чем тут суть кастом галеры?
те я понимаю кастом с хотлинком когда контент на удаленном хосте

а тут контент удаляется по идее после парсинга тумб с видео

не ясно какая предполагается будет кастом галера после этого всего
Don't forget to run script update
GhostUser
Posts: 47
Joined: Thu Mar 25, 2021 10:30 pm

Re: Парсинг видео галер

Post by GhostUser »

1. в общем заметил, что в случае создания экстра-тумб из мувика, смарт повторно скачивает исходный .mp4
т.е. скачали, нарезали тумбы ротации, и после повторно скачиваем для экстра. имхо лишний перерасход трафа (юзаются трейлеры в среднем по 300 метров) и замедление процесса импорта в целом. исходный видос одинаковый - имхо, его же дальше и юзать для нарезки всех остальных тумб

2. существуют ли стандартные таги для категорий (раньше я задавал этот вопрос в разрезе по моделям, но теперь интересует именно по категориям) позволяющие определить кол-во галер в разрезе по типу контента? (юзать фэйковый рандом в данном случае - не вариант) типа <!--TOTAL_ITEMS_IMAGES-->, <!--TOTAL_ITEMS_FLASH--> и т.д. ? как это можно сделать стандартными способами или как правильно добавлять свои макросы в смарт ? просто по крону rot.php мог бы это делать и писать куда-то в базу посчитанное кол-во, а активация этой ф-ности могла бы вклчюатсья/выключаться в настройках.
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Парсинг видео галер

Post by admin »

2. слишком много ньюансов может быть из разряда "все кроме этого спонсора, выключенны групп, без этого спонсора, для этого слейва" и все то что может быть указано в макросе <thumb

а с какой целью серферу надо точное кол-во картинок на сайте? ради чего напрягать базу подсчетом постоянным?
Don't forget to run script update
Post Reply