import set - помогите разобраться почему не работает

mega
Posts: 529
Joined: Fri Aug 07, 2015 6:25 pm

import set - помогите разобраться почему не работает

Post by mega »

здравствуйте,

даю сайту обычный дамп, при тесте выдаёт: http://prntscr.com/b4mmbe ну и следовательно не работает

пробую и так и сяк:
delimitr text (CSV)
XML

раньше работало, сейчас не работает - в чём может быть проблема ?

дамп самый обычный, выглядит: http://prntscr.com/b4mmwl

заранее спасибо
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: import set - помогите разобраться почему не работает

Post by admin »

Приветствую!

в скрине из скрипта видн какая то function and so on
а на том скрине где дамп - этого нет вообще

я полагаю дамп и урл в скрипте несколько разные вещи.

Проверьте какой урл и что по этому урлу именно тот дамп который вы показываете.
Don't forget to run script update
mega
Posts: 529
Joined: Fri Aug 07, 2015 6:25 pm

Re: import set - помогите разобраться почему не работает

Post by mega »

admin wrote:Приветствую!

в скрине из скрипта видн какая то function and so on
а на том скрине где дамп - этого нет вообще

я полагаю дамп и урл в скрипте несколько разные вещи.

Проверьте какой урл и что по этому урлу именно тот дамп который вы показываете.
помогите плиз разобраться в логах проскакивают такие ошибки:

Uncaught exception 'Exception' with message 'Mysql error:: 1062 (Duplicate entry '10.smartcj.sponsor-407850' for key 'domain') (db_link) in query insert into history (trader, hour, raw, uni, clicks_trade, clicks_url, quality_trade, quality_url, proxy, proxy_out, cheat, user_count, user_dis, next_click, last_click, time_spent, header, `out`) values ('10.smartcj.sponsor', '407850', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', ''). (domain.com) ' in /home/ftpaccess/domain.com/www/sgzk/includes/db_modules/mysql.php:65
Stack trace:
#0 /home/ftpaccess/domain.com/www/sgzk/includes/db_modules/mysql.php(78): db_error('insert into his...', 1062, 'Duplicate entry...', 'db_link')
#1 /home/ftpaccess/domain.com/www/sgzk/includes/db_modules/mysql.php(166): db_query('insert into his...', 'db_link')
#2 /home/ftpaccess/domain.com/www/sgzk/bin/cron.php(2226): db_perform()
#3 /home/ftpaccess/domain.com/www/sgzk/bin/cron.php(41): write_history()
#4 {main}
thrown in /home/ftpaccess/domain.com/www/sgzk/includes/db_modules/mysql.php on 65 ()

и такие:

2016-07-14 22:41 Source Size 18285 (1.2732989788055, 0.59282112121582)
2016-07-14 22:41 Error detecting image size for ../tmp/17704/0.jpg, skipping ... (1.2735199928284, 0.00022101402282715)
2016-07-14 22:41 No thumbs were created (1.2735989093781, 7.8916549682617E-5)
2016-07-14 22:41 Delete gallery content 17/704 (1.2769320011139, 0.0033330917358398)
2016-07-14 22:41 Downloading img http://xhamster.com/movies/4554333/bust ... kings.html (../tmp/17705/0.jpg) (1.2808139324188, 0.0038819313049316)
2016-07-14 22:41 Source Size 18285 (1.8715598583221, 0.59074592590332)
2016-07-14 22:41 Error detecting image size for ../tmp/17705/0.jpg, skipping ... (1.871768951416, 0.00020909309387207)
2016-07-14 22:41 No thumbs were created (1.8718569278717, 8.7976455688477E-5)
2016-07-14 22:41 Delete gallery content 17/705 (1.8743920326233, 0.0025351047515869)
2016-07-14 22:41 Downloading img http://xhamster.com/movies/4404442/busty_beauties.html (../tmp/17702/0.jpg) (1.8786280155182, 0.0042359828948975)
2016-07-14 22:41 Source Size 18285 (2.4828369617462, 0.60420894622803)
2016-07-14 22:41 Error detecting image size for ../tmp/17702/0.jpg, skipping ... (2.4830210208893, 0.00018405914306641)
2016-07-14 22:41 No thumbs were created (2.4830780029297, 5.6982040405273E-5)
2016-07-14 22:41 Delete gallery content 17/702 (2.48499584198, 0.001917839050293)

TCMS 2.0 build 201607130606
mega
Posts: 529
Joined: Fri Aug 07, 2015 6:25 pm

Re: import set - помогите разобраться почему не работает

Post by mega »

т.е я добавил .csv дамп - LA очень жёско прыгнуло (это ещё одна проблема, которую я бы хотел решить кстати), дамп добавился в to grab и после из to grab просто начали пропадать галеры

почему так происходит ? как это починить ?
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: import set - помогите разобраться почему не работает

Post by admin »

(Duplicate entry '10.smartcj.sponsor-407850' for key 'domain') (db_link) in query insert into history (


это крон запускается 2 раза

viewtopic.php?f=7&t=92480&p=150730

вот похожая тема была. Надо видимо добавить проверку этого ..



А не грабит потому что поля при импорте вы криво распределили

Downloading img http://xhamster.com/movies/4554333/bust ... kings.html (../tmp/17705/0.jpg) (1.2808139324188, 0.0038819313049316)


kings.html явно не тумба
Don't forget to run script update
mega
Posts: 529
Joined: Fri Aug 07, 2015 6:25 pm

Re: import set - помогите разобраться почему не работает

Post by mega »

admin wrote:(Duplicate entry '10.smartcj.sponsor-407850' for key 'domain') (db_link) in query insert into history (


это крон запускается 2 раза

viewtopic.php?f=7&t=92480&p=150730

вот похожая тема была. Надо видимо добавить проверку этого ..



А не грабит потому что поля при импорте вы криво распределили

Downloading img http://xhamster.com/movies/4554333/bust ... kings.html (../tmp/17705/0.jpg) (1.2808139324188, 0.0038819313049316)


kings.html явно не тумба
я разобрался с этой проблемой, и нужно это наладить конечно же, так как многие дампы просто нельзя добавить получается в автоматическом режиме, а вот руками можно

попытаюсь обьяснить:
в самой версии 2 - поля всё определились верно в SET при добавлении дампа - скриншотов нету сейчас, просто поверьте, всё раставилось по своим местам

но! .csv по каким-то причинам немного отличается от .txt или от других форматов и при конвертации из .txt в .csv там добавляются лишние символы типа ""> и прочие хз с чем это связано

и из за них смарт не добавляет некоторые дампы/галеры - т.е они попадают в to grab а дальше ничего не происходит

но посмотреть - ошибки и тд, нет возможности (это нужно изменить), нужно починить этот момент, чтоб смарт говорил что с дампом не так - что нужно убрать/пофиксить в дампе для его добавления
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: import set - помогите разобраться почему не работает

Post by admin »

Итого ситуация:

1. не работает потмоу что неправильно были распределены поля в импортсете
2. вы утверждаете что поля распределились неправильно сами по себе но показать как это происходит не можете, все объяснения "просто поверьте"

Ну что ж, верю ) будем смотреть когда будет что смотреть, пока просто смотрите где какие поля вы выставляете в импортсете.
Don't forget to run script update
mega
Posts: 529
Joined: Fri Aug 07, 2015 6:25 pm

Re: import set - помогите разобраться почему не работает

Post by mega »

admin wrote:Итого ситуация:

1. не работает потмоу что неправильно были распределены поля в импортсете
2. вы утверждаете что поля распределились неправильно сами по себе но показать как это происходит не можете, все объяснения "просто поверьте"

Ну что ж, верю ) будем смотреть когда будет что смотреть, пока просто смотрите где какие поля вы выставляете в импортсете.
в версии 2 при добавлении дампа в SET - все поля определились верно, но там есть разные элементы аля: " . > -

которых мы не видим при добавлении дампа например идёт код эмбеда 1 2 3 - ок, а в 100ом которого мы не видим при добавлении проскакивает вот такая вот " ковычка или ещё что-то и он не добавляется

а руками он добавится например, потому что такой ковычки в том месте не будет
admin
Site Admin
Posts: 38004
Joined: Wed Sep 10, 2008 11:43 am

Re: import set - помогите разобраться почему не работает

Post by admin »

Дайте плз конкретно дамп с указанием мол добавил с такими-то полями
но такая-то строка не грабится и тп

пока это "масло масленное и вода мокрая" . Какие конкретные действия можно предпринять по данному вами описанию ?
Don't forget to run script update
mega
Posts: 529
Joined: Fri Aug 07, 2015 6:25 pm

Re: import set - помогите разобраться почему не работает

Post by mega »

admin wrote:Дайте плз конкретно дамп с указанием мол добавил с такими-то полями
но такая-то строка не грабится и тп

пока это "масло масленное и вода мокрая" . Какие конкретные действия можно предпринять по данному вами описанию ?
вместе с шеллом дам дамп
Post Reply