Вопрос по грабберу, каким образом выкачиваются файлы (curl?)

[moteam]

(c) SmartCJ Pro V 2.1 Build 201705170942

Проблема с граббером видеофайлов:
В пути до файла видео присутствуют знаки "[" и "]".

В логе:
Can not DL *** Not 200 answer (0)

Если вызывать из-под консоли курлом, то, действительно, не получается ответ 200

Code: Select all

curl -I 'http://**.***/files/*.mp4'
curl: (3) [globbing] bad range in column 21

Если добавить флаг -g - то получается 200 . Есть ли возможность как-то добавлять флаги в команду граббера? Или можно добавить в ап такой флаг ?

[admin]

http://php.net/manual/en/function.curl-setopt.php

чтото я такой опции даже не вижу

[moteam]

http://php.net/manual/en/function.curl-setopt.php

чтото я такой опции даже не вижу

Да, в пхп нет такой опции, только в консоли. Думал что именно под шеллом дергается команда и от этого проблема.

Не могу тогда понять отчего происходит такое по gallery_grabber.log:

Code: Select all

2017-05-17 11:37:57: Processing FLV http://***.***/files/***.mp4 (1.0391759872437, 0.51887202262878)
2017-05-17 11:37:57: Check video size (1.0392138957977, 3.0994415283203E-5)
2017-05-17 11:37:57: Downloading file http://***.***/files/***.mp4 to ../tmp/8271/tmp/134_[HH]direct_PID1211[HD].mp4 (1.0394098758698, 0.00019598007202148)
2017-05-17 11:38:35: set ref (38.883746862411, 37.844386100769)
2017-05-17 11:39:06: Can not DL http://***.***/files/***.mp4 Not 200 answer (0)  (69.815515041351, 30.931725025177)
2017-05-17 11:39:06: Parsing video http://***.***/files/***.mp4 (69.815866947174, 0.00033402442932129)
2017-05-17 11:39:06: Downloading file http://***.***/files/***.mp4 to ../tmp/8271/tmp/2197_[HH]direct_PID1211[HD].mp4 (69.816007852554, 0.00013589859008789)
2017-05-17 11:39:37: set ref (100.84046792984, 31.024467945099)
2017-05-17 11:40:07: Can not DL http://***.***/files/***.mp4 Not 200 answer (0)  (131.25072288513, 30.410258054733)
2017-05-17 11:40:07: Downloading files for a custom gallery (131.26267695427, 0.011934041976929)
2017-05-17 11:40:07: DL movie http://***.***/files/***.mp4 to check video duration (131.26287102699, 0.00018596649169922)
2017-05-17 11:40:07: Downloading file http://***.***/files/***.mp4 to ../tmp/8271/tmp/1379_[HH]direct_PID1211[HD].mp4 (131.26373696327, 0.00086307525634766)
2017-05-17 11:40:37: set ref (161.35015106201, 30.086426973343)
2017-05-17 11:41:07: Can not DL http://***.***/files/***.mp4 Not 200 answer (0)  (191.45997190475, 30.109803915024)
2017-05-17 11:41:07: Downloading img  (../tmp/8271/tmp//177290.jpg) (191.46047186852, 0.00048613548278809)
2017-05-17 11:41:07: Can not download  (Not 200 answer (0) ) (191.46056485176, 8.7976455688477E-5)
2017-05-17 11:41:07: No thumb for this video, skipping ... (191.46058988571, 2.0027160644531E-5)
2017-05-17 11:41:07: No items was added for custom gallery (191.46069002151, 9.918212890625E-5)
2017-05-17 11:41:07: Cleanup tmp folder ../tmp/8271 (191.46076393127, 7.0095062255859E-5)
2017-05-17 11:41:08: Setting status 'grab error' for this gallery (191.81822896004, 0.35747694969177)
2017-05-17 11:41:08: Delete gallery 8271 mark_grab_error  from /home/clients/*/domains/***.***/html/****/bin/gallery_grabber.php (191.81845998764, 0.00021505355834961)

Надо что-то тюнить на сервере?

При этом

Code: Select all

<?php
$url = "http://***.***/files/***.mp4";

$ch = curl_init($url);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch,CURLOPT_TIMEOUT,10);
$output = curl_exec($ch);
$httpcode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
curl_close($ch);

echo $httpcode;
?>

отдает 200 на этом же сайте/сервере.

[admin]

попробовал на локале - все ок.
Не знаю, скидывайте шел, буду пробовать запускать там.

[moteam]

попробовал на локале - все ок.
Не знаю, скидывайте шел, буду пробовать запускать там.

Отправил в ЛС доступы

[admin]

У вас этот мувик с туба который ограничивает скорость скачивания, у curl заканчивается timeout (тк качает его из разряда полчаса каждый ролик)

это можно поправить если добавить в config.php

$config['CURLOPT_TIMEOUT'] = 6000;

[moteam]

У вас этот мувик с туба который ограничивает скорость скачивания, у curl заканчивается timeout (тк качает его из разряда полчаса каждый ролик)

это можно поправить если добавить в config.php

$config['CURLOPT_TIMEOUT'] = 6000;

Спасибо за то что помогли разобраться. Буду пробовать.

[admin]

NP