CURL timeout при граббинге
Posted: Sun Apr 11, 2021 4:05 am
похоже в самом граббере прописан таймаут в 30сек (CURLOPT_TIMEOUT). это так предполагалось или где-то есть настройки это регулирующие ? в сеттингсах ничего такого не нашёл...
в конфигах php все лимиты по максимуму, в логах грабберах такое:
специально проверял простым скриптом - всё работает:
в конфигах php все лимиты по максимуму, в логах грабберах такое:
Code: Select all
2021-04-10 23:13:05: Downloading file https://static.metartx.com/media/MaraBlake/Naked%20Morning/MP4/640x360_3Min.mp4 to ../tmp/55/tmp/9171_640x360_3Min.mp4 (2.0057001113892, 0.00026798248291016)
2021-04-10 23:13:18: Downloaded 10% (15.58900308609, 13.583321809769)
2021-04-10 23:13:35: Curl error: Operation timed out after 30000 milliseconds with 33603584 out of 322034647 bytes received (32.009005069733, 16.420006990433)Code: Select all
<?php
$movie_url = "https://static.metartx.com/media/MaraBlake/Naked%20Morning/MP4/640x360_3Min.mp4";
$ua = "Mozilla/5.0 (Macintosh; Intel Mac OS X x.y; rv:42.0) Gecko/20100101 Firefox/42.0";
$referrer = "https://fhg.metartx.com/2021-03-23/NAKED_MORNING/v/";
$fh = fopen('./test.mp4', 'w');
$ch = curl_init();
curl_setopt_array($ch, [
CURLOPT_URL => $movie_url,
CURLOPT_FILE => $fh,
CURLOPT_HEADER => 0,
CURLOPT_USERAGENT => $ua,
CURLOPT_FOLLOWLOCATION => true,
CURLOPT_REFERER => $referrer,
CURLOPT_SSL_VERIFYPEER => 0,
CURLOPT_SSL_VERIFYHOST => 0,
CURLOPT_NOPROGRESS => false,
]);
curl_exec($ch);
curl_close($ch);
fclose($fh);