не грабится - не пойму почему

Jabar
Posts: 278
Joined: Thu Sep 20, 2012 3:32 pm

не грабится - не пойму почему

Post by Jabar »

пытаюсь сграбить галеру с урла (сделать кастом). ограничений по контенту нет (флэш,пикс,муви)
V 1.49 Build 201302131236 , получаю
Custom gallery: Nothing was grabbed from http://hentai-room.com/gallery/admin-ad ... index.html, skip gallery

но контент то есть.
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: не грабится - не пойму почему

Post by admin »

грабится галера http://hentai-room.com/gallery/admin-ad ... index.html ?

может оно просто не умеет такие флешгали грабить и по этой причине не сграбило
Don't forget to run script update
Jabar
Posts: 278
Joined: Thu Sep 20, 2012 3:32 pm

Re: не грабится - не пойму почему

Post by Jabar »

это кастом галя. Вроде ничего там затейливого нет - обычный флв внутри. Странно если не умеет грабить.
И если вдруг причина в этом, то можно ли попросить лемона дописать такую парсилку. Еще раз повторю - содержание галерки весьма типичное, обычный флв.
Ryba
Posts: 111
Joined: Tue Jan 15, 2013 3:55 pm

Re: не грабится - не пойму почему

Post by Ryba »

Ничего типичного в определении пути FLV никогда небыло, это не пиксы

Code: Select all

readyFunction=_V_.flash.onReady&eventProxyFunction=_V_.flash.onEvent&errorEventProxyFunction=_V_.flash.onError&autoplay=false&preload=auto&loop=false&muted=false&src=http%3A%2F%2Fwww.hostave3.net%2Fhvw%2Ffhg%2Fvideo%2F0293hjn%2F1.flv&
А, в чем суть грабить с сиджа ? Если это твой воспользуйся импортом..
SmartCJ Pro V 1.51 Build 201402011516
Jabar
Posts: 278
Joined: Thu Sep 20, 2012 3:32 pm

Re: не грабится - не пойму почему

Post by Jabar »

Ryba wrote: А, в чем суть грабить с сиджа ? Если это твой воспользуйся импортом..
Вот и хотел воспользоваться. Чтоб каждый раз не собирать контент, хотел просто экспорт-импорт. Но если пробовать экспортить флв, которые брались не из файла, а грабились с галеры, то поле пустое.
Ничего типичного в определении пути FLV
т.е. я правильно понимаю, что это проблема заметить в коде подобный текст
http%3A%2F%2Fwww.hostave3.net%2Fhvw%2Ffhg%2Fvideo%2F0293hjn%2F1.flv& ?
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: не грабится - не пойму почему

Post by admin »

Проблемы нет.
Но вариантов этого текста миллионы, поэтому то и невозможно написать парсер под любую галеру.

Может лучше решить вопрос с экспортом ?
Don't forget to run script update
Ryba
Posts: 111
Joined: Tue Jan 15, 2013 3:55 pm

Re: не грабится - не пойму почему

Post by Ryba »

Можно воспользоваться Import Set по RSS с этого сиджа, можно задать любые параметры для этого рсс и т.д., ах да, а чего не подключить его базу?
SmartCJ Pro V 1.51 Build 201402011516
Jabar
Posts: 278
Joined: Thu Sep 20, 2012 3:32 pm

Re: не грабится - не пойму почему

Post by Jabar »

admin wrote:Проблемы нет.
Но вариантов этого текста миллионы,
Я не программер, по этому считал , что найти строку без пробелов вида хттп:любыесимволы.флв (или мп4) достаточно. Что это не парсить урл мувика , который генерится яваскриптом. Но видимо есть ньюансы.
Просто хотелось, чтоб скрипт парсил большинство распространенных вариантов, так сказать с заделом на будущее.
admin wrote: Может лучше решить вопрос с экспортом ?
Ну прийдется (правда один раз) отдельно экспортить флв мувики, галеры, пиксы.... но не смертельно - токо один раз.
Можно воспользоваться Import Set по RSS с этого сиджа, можно задать любые параметры для этого рсс
Честно скажу с рсс не пробовал. Но если не ошибаюсь, надо поизвращаться , чтобы рсс содержал все экспортируемые поля (чего даже сам экспорт не смог вывести), что бы содержал все галеры за раз - и эктив и пул и разные категории.
а чего не подключить его базу?
Конечно это первое что рассматривалось. Но как подключать если совсем другие группы например. Опять же разные серверы, а делать шаред базы не хотелось бы. Ну и по соображениям автономности: сколько с лемоном не выясняли , так я и не проникся моментом - почему десять таблиц по 100к записей каждая, расположеных в одной базе, должны работать быстрее (менее нагружать сервер), чем 10 баз по 20к записей (ибо лишнее можно смело удалять).

Ну итого. Как бы это не смертельно - лишний часик для составления нового экспортного списка. :)
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: не грабится - не пойму почему

Post by admin »

Я не программер, по этому считал , что найти строку без пробелов вида хттп:любыесимволы.флв (или мп4) достаточно. Что это не парсить урл мувика , который генерится яваскриптом. Но видимо есть ньюансы.
Просто хотелось, чтоб скрипт парсил большинство распространенных вариантов, так сказать с заделом на будущее.
Да, для html5 варианта добавлено в 50.

Если такого варианта будет надостаточно - дайте знать, допишем экспорт.
Don't forget to run script update
Jabar
Posts: 278
Joined: Thu Sep 20, 2012 3:32 pm

Re: не грабится - не пойму почему

Post by Jabar »

допишем экспорт.
А можно пользуясь случаем попросить пару вещей добавить в экспорт?
1. выбор экспортируемого контента - муви, флэш, пикс
2. Добавить в выборе в паттерне поля типа <!--FLASH_1_URL--> <!--FLASH_2_URL--> . Или доработать FLV_URL, что бы выводить урлы самих мувиков, даже если они сграблены с галеры. А так же выводить все урлы флв мувиков если их не один на галеру а несколько.
Post Reply