Page 1 of 1
Вопрос по грабберу, каким образом выкачиваются файлы (curl?)
Posted: Wed May 17, 2017 2:04 pm
by moteam
(c) SmartCJ Pro V 2.1 Build 201705170942
Проблема с граббером видеофайлов:
В пути до файла видео присутствуют знаки "[" и "]".
В логе:
Can not DL *** Not 200 answer (0)
Если вызывать из-под консоли курлом, то, действительно, не получается ответ 200
Code: Select all
curl -I 'http://**.***/files/*.mp4'
curl: (3) [globbing] bad range in column 21
Если добавить флаг -g - то получается 200 . Есть ли возможность как-то добавлять флаги в команду граббера? Или можно добавить в ап такой флаг
?
Re: Вопрос по грабберу, каким образом выкачиваются файлы (cu
Posted: Wed May 17, 2017 3:05 pm
by admin
Re: Вопрос по грабберу, каким образом выкачиваются файлы (cu
Posted: Wed May 17, 2017 3:46 pm
by moteam
Да, в пхп нет такой опции, только в консоли. Думал что именно под шеллом дергается команда и от этого проблема.
Не могу тогда понять отчего происходит такое по gallery_grabber.log:
Code: Select all
2017-05-17 11:37:57: Processing FLV http://***.***/files/***.mp4 (1.0391759872437, 0.51887202262878)
2017-05-17 11:37:57: Check video size (1.0392138957977, 3.0994415283203E-5)
2017-05-17 11:37:57: Downloading file http://***.***/files/***.mp4 to ../tmp/8271/tmp/134_[HH]direct_PID1211[HD].mp4 (1.0394098758698, 0.00019598007202148)
2017-05-17 11:38:35: set ref (38.883746862411, 37.844386100769)
2017-05-17 11:39:06: Can not DL http://***.***/files/***.mp4 Not 200 answer (0) (69.815515041351, 30.931725025177)
2017-05-17 11:39:06: Parsing video http://***.***/files/***.mp4 (69.815866947174, 0.00033402442932129)
2017-05-17 11:39:06: Downloading file http://***.***/files/***.mp4 to ../tmp/8271/tmp/2197_[HH]direct_PID1211[HD].mp4 (69.816007852554, 0.00013589859008789)
2017-05-17 11:39:37: set ref (100.84046792984, 31.024467945099)
2017-05-17 11:40:07: Can not DL http://***.***/files/***.mp4 Not 200 answer (0) (131.25072288513, 30.410258054733)
2017-05-17 11:40:07: Downloading files for a custom gallery (131.26267695427, 0.011934041976929)
2017-05-17 11:40:07: DL movie http://***.***/files/***.mp4 to check video duration (131.26287102699, 0.00018596649169922)
2017-05-17 11:40:07: Downloading file http://***.***/files/***.mp4 to ../tmp/8271/tmp/1379_[HH]direct_PID1211[HD].mp4 (131.26373696327, 0.00086307525634766)
2017-05-17 11:40:37: set ref (161.35015106201, 30.086426973343)
2017-05-17 11:41:07: Can not DL http://***.***/files/***.mp4 Not 200 answer (0) (191.45997190475, 30.109803915024)
2017-05-17 11:41:07: Downloading img (../tmp/8271/tmp//177290.jpg) (191.46047186852, 0.00048613548278809)
2017-05-17 11:41:07: Can not download (Not 200 answer (0) ) (191.46056485176, 8.7976455688477E-5)
2017-05-17 11:41:07: No thumb for this video, skipping ... (191.46058988571, 2.0027160644531E-5)
2017-05-17 11:41:07: No items was added for custom gallery (191.46069002151, 9.918212890625E-5)
2017-05-17 11:41:07: Cleanup tmp folder ../tmp/8271 (191.46076393127, 7.0095062255859E-5)
2017-05-17 11:41:08: Setting status 'grab error' for this gallery (191.81822896004, 0.35747694969177)
2017-05-17 11:41:08: Delete gallery 8271 mark_grab_error from /home/clients/*/domains/***.***/html/****/bin/gallery_grabber.php (191.81845998764, 0.00021505355834961)
Надо что-то тюнить на сервере?
При этом
Code: Select all
<?php
$url = "http://***.***/files/***.mp4";
$ch = curl_init($url);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch,CURLOPT_TIMEOUT,10);
$output = curl_exec($ch);
$httpcode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
curl_close($ch);
echo $httpcode;
?>
отдает 200 на этом же сайте/сервере.
Re: Вопрос по грабберу, каким образом выкачиваются файлы (cu
Posted: Wed May 17, 2017 4:12 pm
by admin
попробовал на локале - все ок.
Не знаю, скидывайте шел, буду пробовать запускать там.
Re: Вопрос по грабберу, каким образом выкачиваются файлы (cu
Posted: Tue May 30, 2017 6:09 am
by moteam
admin wrote:попробовал на локале - все ок.
Не знаю, скидывайте шел, буду пробовать запускать там.
Отправил в ЛС доступы
Re: Вопрос по грабберу, каким образом выкачиваются файлы (cu
Posted: Tue May 30, 2017 6:55 am
by admin
У вас этот мувик с туба который ограничивает скорость скачивания, у curl заканчивается timeout (тк качает его из разряда полчаса каждый ролик)
это можно поправить если добавить в config.php
$config['CURLOPT_TIMEOUT'] = 6000;
Re: Вопрос по грабберу, каким образом выкачиваются файлы (cu
Posted: Tue May 30, 2017 7:38 am
by moteam
admin wrote:У вас этот мувик с туба который ограничивает скорость скачивания, у curl заканчивается timeout (тк качает его из разряда полчаса каждый ролик)
это можно поправить если добавить в config.php
$config['CURLOPT_TIMEOUT'] = 6000;
Спасибо за то что помогли разобраться. Буду пробовать.
Re: Вопрос по грабберу, каким образом выкачиваются файлы (cu
Posted: Tue May 30, 2017 8:30 am
by admin
NP