Почему-то Sets стали брать не весь файл-список url, а только его часть для граббинга.
То есть в файлах дампы на 200-5000 url, а идёт в обработку штук 10-20 и на этом всё.
Потом, если еще раз запустить Set - ещё возьмет штук 20 итд.
Не пойму даже в какой лог смотреть?
Sets забирает не все URL из файла
Re: Sets забирает не все URL из файла
спасибо, посмотрел - непонятно:
в файле pornhub.txt = 7757 строк
по логу действительно берет 10 штук и потом больше к нему не возвращается:
2019-07-04 19:37:16: ImportSet: process http://***dump/pornhub.txt (6.6094269752502, 0.0019440650939941)
2019-07-04 19:37:16: ImportSet: Looks like a regular dump (6.6956491470337, 0.086218118667603)
2019-07-04 19:37:21: Importing gallery line: https://www.pornhub.com/view_video.php? ... 934|French Girl Kelly Get Cream|20:08|2019-05-16|https://di.phncdn.com/videos/201905/16/ ... -19,french (11.387923002243, 4.6922841072083)
2019-07-04 19:37:21: Import result: OK (11.457916975021, 0.069967031478882)
2019-07-04 19:37:21: Importing gallery line: https://www.pornhub.com/view_video.php? ... 1a|Paulita En Pareja|30:53|2019-06-24|https://ci.phncdn.com/videos/201906/16/ ... acial,teen (11.458142995834, 0.00021195411682129)
2019-07-04 19:37:21: Import result: OK (11.538629055023, 0.080480098724365)
2019-07-04 19:37:21: Importing gallery line: https://www.pornhub.com/view_video.php? ... 976212|BBC Inside 18 Yo Teen|22:43|2016-04-04|https://ci.phncdn.com/videos/201402/22/ ... 18-19,teen (11.538861036301, 0.00022506713867188)
2019-07-04 19:37:21: Import result: OK (11.599626064301, 0.060765027999878)
2019-07-04 19:37:21: Importing gallery line: https://www.pornhub.com/view_video.php? ... 7898|Let's Fuck Our 18 Year Old Daughter, With Mom And Daughter Strapon|5:15|2019-03-16|https://ci.phncdn.com/videos/201709/23/ ... .jpg|18-19 (11.59992313385, 0.00028395652770996)
2019-07-04 19:37:21: Import result: OK (11.648020029068, 0.048082113265991)
2019-07-04 19:37:21: Importing gallery line: https://www.pornhub.com/view_video.php? ... 3d,cartoon (11.648223161697, 0.00019598007202148)
2019-07-04 19:37:21: Import result: OK (11.69787311554, 0.049649000167847)
2019-07-04 19:37:21: Importing gallery line: https://www.pornhub.com/view_video.php? ... cfa7990|3D Ebony Babes Fucked Well And Raw|6:56|2019-04-09|https://ci.phncdn.com/videos/201904/09/ ... )12.jpg|3d (11.698101043701, 0.00021696090698242)
2019-07-04 19:37:21: Import result: OK (11.737136125565, 0.039030075073242)
2019-07-04 19:37:21: Importing gallery line: https://www.pornhub.com/view_video.php? ... 19a|Sci-Fi Elevator. Hot 3d Shemale Fucks Sexy Black Tranny In Space Station|25:19|2019-07-01|https://di.phncdn.com/videos/201906/17/ ... ot,shemale (11.737360954285, 0.00021696090698242)
2019-07-04 19:37:22: Import result: OK (11.84157204628, 0.10420513153076)
2019-07-04 19:37:22: Importing gallery line: https://www.pornhub.com/view_video.php? ... 54d2ec1|3d Shemale 405 - All New|5:05|2018-12-14|https://ci.phncdn.com/videos/201812/14/ ... 3d,cartoon (11.841788053513, 0.00021004676818848)
2019-07-04 19:37:22: Import result: OK (11.891198158264, 0.04940390586853)
2019-07-04 19:37:22: Importing gallery line: https://www.pornhub.com/view_video.php? ... 8f3d167|3D MALE FUCK FUTA AND 2 FUTAS WATCH|1:31|2019-06-20|https://di.phncdn.com/videos/201906/20/ ... oon,tattoo (11.891374111176, 0.00016999244689941)
2019-07-04 19:37:22: Import result: OK (11.996423006058, 0.10504794120789)
2019-07-04 19:37:22: Importing gallery line: https://www.pornhub.com/view_video.php? ... )12.jpg|3d (11.996720075607, 0.00028491020202637)
2019-07-04 19:38:10: Rotation Started (0.0007171630859375, 0.00072813034057617)
2019-07-04 19:38:10: Process clicks (0.021193027496338, 0.020470857620239)
2019-07-04 19:38:11: Updating Gal CTR 1 (1.1040132045746, 1.082808971405)
2019-07-04 19:38:15: Set Best thumb (select) (5.0695509910583, 3.9655199050903)
2019-07-04 19:38:15: Updating Cell CTR (5.6247951984406, 0.55524516105652)
2019-07-04 19:38:15: Check shift point (5.6731140613556, 0.048308134078979)
2019-07-04 19:38:15: Check if we have to create Rotation - Pages (5.6745131015778, 0.001384973526001)
2019-07-04 19:38:15: Schedule function process_deleted at 2019-07-04 19:38:59 ( now 2019-07-04 19:38:15) (5.6768710613251, 0.0023460388183594)
ну и с остальными так, на этом заметил, тк разница очень большая.
на другом спонсоре взял к примеру 96 из 266.
в файле pornhub.txt = 7757 строк
по логу действительно берет 10 штук и потом больше к нему не возвращается:
2019-07-04 19:37:16: ImportSet: process http://***dump/pornhub.txt (6.6094269752502, 0.0019440650939941)
2019-07-04 19:37:16: ImportSet: Looks like a regular dump (6.6956491470337, 0.086218118667603)
2019-07-04 19:37:21: Importing gallery line: https://www.pornhub.com/view_video.php? ... 934|French Girl Kelly Get Cream|20:08|2019-05-16|https://di.phncdn.com/videos/201905/16/ ... -19,french (11.387923002243, 4.6922841072083)
2019-07-04 19:37:21: Import result: OK (11.457916975021, 0.069967031478882)
2019-07-04 19:37:21: Importing gallery line: https://www.pornhub.com/view_video.php? ... 1a|Paulita En Pareja|30:53|2019-06-24|https://ci.phncdn.com/videos/201906/16/ ... acial,teen (11.458142995834, 0.00021195411682129)
2019-07-04 19:37:21: Import result: OK (11.538629055023, 0.080480098724365)
2019-07-04 19:37:21: Importing gallery line: https://www.pornhub.com/view_video.php? ... 976212|BBC Inside 18 Yo Teen|22:43|2016-04-04|https://ci.phncdn.com/videos/201402/22/ ... 18-19,teen (11.538861036301, 0.00022506713867188)
2019-07-04 19:37:21: Import result: OK (11.599626064301, 0.060765027999878)
2019-07-04 19:37:21: Importing gallery line: https://www.pornhub.com/view_video.php? ... 7898|Let's Fuck Our 18 Year Old Daughter, With Mom And Daughter Strapon|5:15|2019-03-16|https://ci.phncdn.com/videos/201709/23/ ... .jpg|18-19 (11.59992313385, 0.00028395652770996)
2019-07-04 19:37:21: Import result: OK (11.648020029068, 0.048082113265991)
2019-07-04 19:37:21: Importing gallery line: https://www.pornhub.com/view_video.php? ... 3d,cartoon (11.648223161697, 0.00019598007202148)
2019-07-04 19:37:21: Import result: OK (11.69787311554, 0.049649000167847)
2019-07-04 19:37:21: Importing gallery line: https://www.pornhub.com/view_video.php? ... cfa7990|3D Ebony Babes Fucked Well And Raw|6:56|2019-04-09|https://ci.phncdn.com/videos/201904/09/ ... )12.jpg|3d (11.698101043701, 0.00021696090698242)
2019-07-04 19:37:21: Import result: OK (11.737136125565, 0.039030075073242)
2019-07-04 19:37:21: Importing gallery line: https://www.pornhub.com/view_video.php? ... 19a|Sci-Fi Elevator. Hot 3d Shemale Fucks Sexy Black Tranny In Space Station|25:19|2019-07-01|https://di.phncdn.com/videos/201906/17/ ... ot,shemale (11.737360954285, 0.00021696090698242)
2019-07-04 19:37:22: Import result: OK (11.84157204628, 0.10420513153076)
2019-07-04 19:37:22: Importing gallery line: https://www.pornhub.com/view_video.php? ... 54d2ec1|3d Shemale 405 - All New|5:05|2018-12-14|https://ci.phncdn.com/videos/201812/14/ ... 3d,cartoon (11.841788053513, 0.00021004676818848)
2019-07-04 19:37:22: Import result: OK (11.891198158264, 0.04940390586853)
2019-07-04 19:37:22: Importing gallery line: https://www.pornhub.com/view_video.php? ... 8f3d167|3D MALE FUCK FUTA AND 2 FUTAS WATCH|1:31|2019-06-20|https://di.phncdn.com/videos/201906/20/ ... oon,tattoo (11.891374111176, 0.00016999244689941)
2019-07-04 19:37:22: Import result: OK (11.996423006058, 0.10504794120789)
2019-07-04 19:37:22: Importing gallery line: https://www.pornhub.com/view_video.php? ... )12.jpg|3d (11.996720075607, 0.00028491020202637)
2019-07-04 19:38:10: Rotation Started (0.0007171630859375, 0.00072813034057617)
2019-07-04 19:38:10: Process clicks (0.021193027496338, 0.020470857620239)
2019-07-04 19:38:11: Updating Gal CTR 1 (1.1040132045746, 1.082808971405)
2019-07-04 19:38:15: Set Best thumb (select) (5.0695509910583, 3.9655199050903)
2019-07-04 19:38:15: Updating Cell CTR (5.6247951984406, 0.55524516105652)
2019-07-04 19:38:15: Check shift point (5.6731140613556, 0.048308134078979)
2019-07-04 19:38:15: Check if we have to create Rotation - Pages (5.6745131015778, 0.001384973526001)
2019-07-04 19:38:15: Schedule function process_deleted at 2019-07-04 19:38:59 ( now 2019-07-04 19:38:15) (5.6768710613251, 0.0023460388183594)
ну и с остальными так, на этом заметил, тк разница очень большая.
на другом спонсоре взял к примеру 96 из 266.
Last edited by svenx on Thu Jul 04, 2019 8:04 pm, edited 1 time in total.
Re: Sets забирает не все URL из файла
в errror.log ничего нет? странно что обрывается на импорте, а результата импорта 10й строки нет
Don't forget to run script update
Re: Sets забирает не все URL из файла
error.log пустой
Re: Sets забирает не все URL из файла
там еще иероглифы в деске к 10й - может он на них спотыкается?
на просто на других доменах норм импортируется - иероглифы никакие не мешают
на просто на других доменах норм импортируется - иероглифы никакие не мешают
Last edited by svenx on Thu Jul 04, 2019 8:11 pm, edited 1 time in total.
Re: Sets забирает не все URL из файла
Тогда не знаю, скидывате админку или дамп, я проверю
Don't forget to run script update
Re: Sets забирает не все URL из файла
Скинул и админку и дамп