CURL timeout при граббинге

Post Reply
GhostUser
Posts: 47
Joined: Thu Mar 25, 2021 10:30 pm

CURL timeout при граббинге

Post by GhostUser »

похоже в самом граббере прописан таймаут в 30сек (CURLOPT_TIMEOUT). это так предполагалось или где-то есть настройки это регулирующие ? в сеттингсах ничего такого не нашёл...

в конфигах php все лимиты по максимуму, в логах грабберах такое:

Code: Select all

2021-04-10 23:13:05: Downloading file https://static.metartx.com/media/MaraBlake/Naked%20Morning/MP4/640x360_3Min.mp4 to ../tmp/55/tmp/9171_640x360_3Min.mp4 (2.0057001113892, 0.00026798248291016)
2021-04-10 23:13:18: Downloaded 10% (15.58900308609, 13.583321809769)
2021-04-10 23:13:35: Curl error: Operation timed out after 30000 milliseconds with 33603584 out of 322034647 bytes received (32.009005069733, 16.420006990433)
специально проверял простым скриптом - всё работает:

Code: Select all

<?php
$movie_url = "https://static.metartx.com/media/MaraBlake/Naked%20Morning/MP4/640x360_3Min.mp4";
$ua = "Mozilla/5.0 (Macintosh; Intel Mac OS X x.y; rv:42.0) Gecko/20100101 Firefox/42.0";
$referrer = "https://fhg.metartx.com/2021-03-23/NAKED_MORNING/v/";

$fh = fopen('./test.mp4', 'w');

$ch = curl_init();
curl_setopt_array($ch, [
	CURLOPT_URL => $movie_url,
	CURLOPT_FILE => $fh,
	CURLOPT_HEADER => 0,
	CURLOPT_USERAGENT => $ua,
	CURLOPT_FOLLOWLOCATION => true,
	CURLOPT_REFERER => $referrer,
	CURLOPT_SSL_VERIFYPEER => 0,
	CURLOPT_SSL_VERIFYHOST => 0,
	CURLOPT_NOPROGRESS => false,
]);

curl_exec($ch);
curl_close($ch);
fclose($fh);
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: CURL timeout при граббинге

Post by admin »

да, можно в конфиг добавить например

$config['CURLOPT_TIMEOUT'] = 60000;

что б переписать дефолтное значение
Don't forget to run script update
Post Reply