adikalon
распарсить все, сформировать из этого один вопрос и все
Парсер будет сутки собирать, а потом одним запросом это кидать в базу? найс
Завтра
И энивей один запрос на миллиард строк быстрее, чем миллиард запросов по строке
Сергей
У тебя парсится миллиард строк?
Он в Гугле роботом работает
Завтра
Он в Гугле роботом работает
Его оттуда уволили, коли он такие вопросы задает
adikalon
Он в Гугле роботом работает
как написать код то надо было?
Владислав
Нагрузка на мускул, очевидно.
Да, БД явно не вытерпит 1 запрос за 5 секунд. Это хоть и не тру-вэй, но звучит не убедительно )
adikalon
И энивей один запрос на миллиард строк быстрее, чем миллиард запросов по строке
вот клиент убдет рад когда ему не в течении дня будет поступать инфа, а раз в сутки. Веьма полезную вещь ты мне сказал
Завтра
фоллич, разблочь в телеге, заебал
Завтра
у тебя ава пропадает
Владислав
как написать код то надо было?
Чё непонятно? Пишешь парсер, парсишь в файл, потом пишешь парсер для парсера, чтобы сделать тру-запрос к БД :D
Владислав
Извращенцы выбирают перфекционизм
Завтра
вот клиент убдет рад когда ему не в течении дня будет поступать инфа, а раз в сутки. Веьма полезную вещь ты мне сказал
Что блять? То есть у тебя есть пак данных, и из-за того, что ты его парсишь миллиард лет, клиент их получает на протяжении времени парсинга?
adikalon
постоянно приходится вместо ответа читать упреки в том, что чтото написано неправильно, но ответа как должно быть правильно так и не поступает. При этом все эти упреки один в один
Bat
товарищи, вопрос наитупейший: надо узнать длинну аудиотрека по url, гугл выдает функцию id3_get_tag, которую требует одноименное расширение, есть другие пути?
Владислав
А я о чём?
SarcasmIO
и любой из доступных тебе способов
Bat
скачать
файлов много, я хочу парсить один сайтик, не хотелось бы качать
Завтра
Пыха для того, чтобы что-то съесть, что-то выплюнуть и умереть, а не один запрос сутки выполнять
Сергей
с козырей решил зайти?
Я просто дал тебе дружеский совет.
Завтра
именно
я тебе написал, что в твоем случае нужно
Завтра
вот
adikalon
я тебе написал, что в твоем случае нужно
я не уду учить ноду чтобы сделать то, что итак работает
Завтра
я не уду учить ноду чтобы сделать то, что итак работает
Вот поэтому много вещей до сих пор и работает через пизду
adikalon
Я просто дал тебе дружеский совет.
и где же он? Я так и не понял как нужно было составить скрипт
Владислав
Пыха для того, чтобы что-то съесть, что-то выплюнуть и умереть, а не один запрос сутки выполнять
Каким образом тогда следует вообще писать парсеры (да хер с ним, парсеры, фичи, которые работают с api) и которые по определению не могут отработать быстро, т.к. много данных?
adikalon
Вот поэтому много вещей до сих пор и работает через пизду
но ты исправишь когдато, продолжай сопротивляться, так победишь
Владислав
А теперь представь, что таких кусков кода будет много.
Мне не нужно это представлять, я работаю с этим каждый день.
Завтра
но ты исправишь когдато, продолжай сопротивляться, так победишь
Я не исправляю. Я пишу нормальный код. А ты здесь задаешь тупой вопрос и удивляешься, почему тебе так же тупо отвечают
SarcasmIO
чо вы доебались за зря
SarcasmIO
в ЯП есть такая штука как парсеры, они должны абы работать и не более
SarcasmIO
и есть только 2 критерия, либо он работает либо нет
Владислав
Видимо, нет. С таким отношением.
Дело не в отношении, дело в архитектуре, которую построили задолго до моего прихода.
Владислав
И да, я не архитектор.
Сергей
в ЯП есть такая штука как парсеры, они должны абы работать и не более
Да не за парсеры речь. Как относишься к циклам с запросами к БД?)
Владислав
Да не за парсеры речь. Как относишься к циклам с запросами к БД?)
Нет, речь сейчас про парсеры, чего это вы в циклы съехали? Речь о конкретном кейсе.
Завтра
фоллич разбанил
Varyen
гайз, а yaml еще вообще кто-то использует, или появилось что-то поинтереснее? Вряд ли конечно, куда там упрощать
Завтра
ееебооой
Varyen
задача - в читаемом виде показывать структуру данных
invariance
все юзают ямл
invariance
докер, симфони
invariance
я
Varyen
я на всякий случай, мало ли появился какой-то новый хипстерский формат :)
Varyen
окей
Varyen
про докер да, валидно
Varyen
что-то забыл совсем
Владислав
Понял. С тобой бесполезно спорить.
Ну это же не ответ. Вопрос был в том, как правильно реализовывать логику в парсерах. Я, например, отправляю в БД по 100 записей за раз. Давайте ваши варианты. Сохранять в мега-большой файл и потом отправлять одним запросом смысла не вижу.
RR
RR
Господа здравствтвуйте! Заранее прошу прощения, подскажите как проправить?
RR
*поправить.
Varyen
но там же написано Table 'bd.oc_oct_popup_found_cheaper' doesn't exist
Varyen
ээ, создать таблицу эту?
RR
Ох, спс буду пробовать, просто не очень вьезжаю в это. Если не лень кому помочь за "на пиво" так сказать буду рад в лс.
Varyen
судя по префиксу это опенкарт, что-то недоустановил, таблица не создалась
RR
судя по префиксу это опенкарт, что-то недоустановил, таблица не создалась
В принципе ничего страшного, просто хотел для себя на будущее понять что это и как править. В любом случае спасибо)
Varyen
на будущее просто смотри что написано в еррорлоге
adikalon
В том числе.
но у него норм, да?
Сергей
но у него норм, да?
У тебя каждая итерация в цикле делает запрос, а он чанками скармливает.
RR
на будущее просто смотри что написано в еррорлоге
Правильно ли я понимаю что бэкапом бд я исправил бы это?