Page 1 of 2
не грабится - не пойму почему
Posted: Fri Mar 01, 2013 12:18 pm
by Jabar
пытаюсь сграбить галеру с урла (сделать кастом). ограничений по контенту нет (флэш,пикс,муви)
V 1.49 Build 201302131236 , получаю
Custom gallery: Nothing was grabbed from
http://hentai-room.com/gallery/admin-ad ... index.html, skip gallery
но контент то есть.
Re: не грабится - не пойму почему
Posted: Fri Mar 01, 2013 1:54 pm
by admin
грабится галера
http://hentai-room.com/gallery/admin-ad ... index.html ?
может оно просто не умеет такие флешгали грабить и по этой причине не сграбило
Re: не грабится - не пойму почему
Posted: Sat Mar 02, 2013 7:15 am
by Jabar
это кастом галя. Вроде ничего там затейливого нет - обычный флв внутри. Странно если не умеет грабить.
И если вдруг причина в этом, то можно ли попросить лемона дописать такую парсилку. Еще раз повторю - содержание галерки весьма типичное, обычный флв.
Re: не грабится - не пойму почему
Posted: Sat Mar 02, 2013 8:03 am
by Ryba
Ничего типичного в определении пути FLV никогда небыло, это не пиксы
Code: Select all
readyFunction=_V_.flash.onReady&eventProxyFunction=_V_.flash.onEvent&errorEventProxyFunction=_V_.flash.onError&autoplay=false&preload=auto&loop=false&muted=false&src=http%3A%2F%2Fwww.hostave3.net%2Fhvw%2Ffhg%2Fvideo%2F0293hjn%2F1.flv&
А, в чем суть грабить с сиджа ? Если это твой воспользуйся импортом..
Re: не грабится - не пойму почему
Posted: Sat Mar 02, 2013 9:38 am
by Jabar
Ryba wrote:
А, в чем суть грабить с сиджа ? Если это твой воспользуйся импортом..
Вот и хотел воспользоваться. Чтоб каждый раз не собирать контент, хотел просто экспорт-импорт. Но если пробовать экспортить флв, которые брались не из файла, а грабились с галеры, то поле пустое.
Ничего типичного в определении пути FLV
т.е. я правильно понимаю, что это проблема заметить в коде подобный текст
http%3A%2F%2Fwww.hostave3.net%2Fhvw%2Ffhg%2Fvideo%2F0293hjn%2F1.flv& ?
Re: не грабится - не пойму почему
Posted: Sat Mar 02, 2013 12:55 pm
by admin
Проблемы нет.
Но вариантов этого текста миллионы, поэтому то и невозможно написать парсер под любую галеру.
Может лучше решить вопрос с экспортом ?
Re: не грабится - не пойму почему
Posted: Sat Mar 02, 2013 1:03 pm
by Ryba
Можно воспользоваться Import Set по RSS с этого сиджа, можно задать любые параметры для этого рсс и т.д., ах да, а чего не подключить его базу?
Re: не грабится - не пойму почему
Posted: Sun Mar 03, 2013 1:08 pm
by Jabar
admin wrote:Проблемы нет.
Но вариантов этого текста миллионы,
Я не программер, по этому считал , что найти строку без пробелов вида хттп:любыесимволы.флв (или мп4) достаточно. Что это не парсить урл мувика , который генерится яваскриптом. Но видимо есть ньюансы.
Просто хотелось, чтоб скрипт парсил большинство распространенных вариантов, так сказать с заделом на будущее.
admin wrote:
Может лучше решить вопрос с экспортом ?
Ну прийдется (правда один раз) отдельно экспортить флв мувики, галеры, пиксы.... но не смертельно - токо один раз.
Можно воспользоваться Import Set по RSS с этого сиджа, можно задать любые параметры для этого рсс
Честно скажу с рсс не пробовал. Но если не ошибаюсь, надо поизвращаться , чтобы рсс содержал все экспортируемые поля (чего даже сам экспорт не смог вывести), что бы содержал все галеры за раз - и эктив и пул и разные категории.
а чего не подключить его базу?
Конечно это первое что рассматривалось. Но как подключать если совсем другие группы например. Опять же разные серверы, а делать шаред базы не хотелось бы. Ну и по соображениям автономности: сколько с лемоном не выясняли , так я и не проникся моментом - почему десять таблиц по 100к записей каждая, расположеных в одной базе, должны работать быстрее (менее нагружать сервер), чем 10 баз по 20к записей (ибо лишнее можно смело удалять).
Ну итого. Как бы это не смертельно - лишний часик для составления нового экспортного списка.

Re: не грабится - не пойму почему
Posted: Mon Mar 04, 2013 7:34 pm
by admin
Я не программер, по этому считал , что найти строку без пробелов вида хттп:любыесимволы.флв (или мп4) достаточно. Что это не парсить урл мувика , который генерится яваскриптом. Но видимо есть ньюансы.
Просто хотелось, чтоб скрипт парсил большинство распространенных вариантов, так сказать с заделом на будущее.
Да, для html5 варианта добавлено в 50.
Если такого варианта будет надостаточно - дайте знать, допишем экспорт.
Re: не грабится - не пойму почему
Posted: Tue Mar 05, 2013 7:21 am
by Jabar
допишем экспорт.
А можно пользуясь случаем попросить пару вещей добавить в экспорт?
1. выбор экспортируемого контента - муви, флэш, пикс
2. Добавить в выборе в паттерне поля типа <!--FLASH_1_URL--> <!--FLASH_2_URL--> . Или доработать FLV_URL, что бы выводить урлы самих мувиков, даже если они сграблены с галеры. А так же выводить все урлы флв мувиков если их не один на галеру а несколько.