То есть не станет ли база узким местом если я в несколько воркеров делать

База почти всегда узкое место 🙂

тем более на 113М инсертов

я бы думал про несколько потоков и с разных частей файла пускать

тоже пришел к такому решению, поделить по частям, сместить указатель до нужного места и читать

тем более на 113М инсертов

ну не 113, можно инсертить несколько строк за раз

я про сумму

это да

просто БД должна все эти данные на винт скинуть

даже последовательная запись на диск 1.5 Гб время занимает 🙂

а у тебя будут рандом сики

ну если в несколько потоков

так что узким местом у тебя ну не совсем БД будет, а диск

идейно можно подумать в сторону быстрых дисков (fuision io или что там сейчас есть), но это как самолет стоит

это да

Задача очень хорошая для собеседования...

не по железу ничего не поменяешь, у меня нет доступа к базе и где она лежит я тоже не знаю)

* к серверу базы

а будут всегда инсерт или апдейты тоже?

ну не 113, можно инсертить несколько строк за раз

у нас есть похожая задача, на каждый день, запускатся по расписанию, дальше смотрит сколько строк в файле, делит по 10 000 записей и запускает 20 потоков. Каждый поток со смещением берет записи, делает транзакцию

у нас есть похожая задача, на каждый день, запускатся по расписанию, дальше смотрит сколько строк в файле, делит по 10 000 записей и запускает 20 потоков. Каждый поток со смещением берет записи, делает транзакцию

воркеры ларавеля?

воркеры ларавеля?

что ты называешь воркерами ларавеля?

у нас есть похожая задача, на каждый день, запускатся по расписанию, дальше смотрит сколько строк в файле, делит по 10 000 записей и запускает 20 потоков. Каждый поток со смещением берет записи, делает транзакцию

как смотрит количество строк в файле? проходит весь файл?

как смотрит количество строк в файле? проходит весь файл?

wc -l 🙂

что ты называешь воркерами ларавеля?

https://laravel.com/docs/5.6/queues

у тебя явно не очереди, а крон скрипт с pcnt_fork

ну первый, инициирующий скрипт смотрит количество строк и потом раздает фоновое выполнение артизан команде с параметрами смещения

Хотя... откуда я знаю 🙂

ну первый, инициирующий скрипт смотрит количество строк и потом раздает фоновое выполнение артизан команде с параметрами смещения

Абсолютно офигенное решение - мастер скрипт, который оценивает работу и запускает скрипты или генерит джобы

ну первый, инициирующий скрипт смотрит количество строк и потом раздает фоновое выполнение артизан команде с параметрами смещения

фоновое выполнение артизан команде, это что? джобы?

да нет, почему джобы

фоновое выполнение артизан команде, это что? джобы?

нет, это просто команды

мысли шире ларавела)

команды можно запускать в бэкгроунде - не ждя завершения в мастер скрипте

Окей, а отслеживать их успешность как?

system('/usr/bin/php /path/to/artisan do:somth 12000')

Окей, а отслеживать их успешность как?

ну вариантов уйма

Окей, а отслеживать их успешность как?

Если ты хочешь из скрипта родителя отслеживать - то вроде как только pcntl_fork

хотя по моему еще чем-то форкаться можно

Добрый день! Нужно залить в базу файл csv (два поля, разделитель ,) в котором 133 млн строк (размер 1,5 гб) Как это можно ускорить? Понятно что можно считать по строкам и инсертить например по 1000 штук Может можно распараллелить как то? Какие есть идеи?

Можно в csv строки преобразовать в инсерты просто заменой по файлу из командной строки и залить в любую базу без участия пхп. (mysql поддерживает импорт из csv без таких плясок)

Окей, а отслеживать их успешность как?

у нас это каждый день происходит, если при транзакции эксепшн, нас уведомляет через телеграм бота об этом. но этого ни разу не было в бою) мы не запаривались

Можно в csv строки преобразовать в инсерты просто заменой по файлу из командной строки и залить в любую базу без участия пхп. (mysql поддерживает импорт из csv без таких плясок)

этот вариант не подходит, если бы нужно было просто залить не обрабатывая строки то можно было залить базой

system('/usr/bin/php /path/to/artisan do:somth 12000')

короче этот вариант норм, попробую это

спасибо

этот вариант не подходит, если бы нужно было просто залить не обрабатывая строки то можно было залить базой

слушай, ну как вариант, если это одноразовая операция, можешь написать быстрий скрипт, чтобы из твоего CSV сваял тебе SQLDump запрос (c тучей инсертов) а потом через консольный mysql скормишь файл в терминале

слушай, ну как вариант, если это одноразовая операция, можешь написать быстрий скрипт, чтобы из твоего CSV сваял тебе SQLDump запрос (c тучей инсертов) а потом через консольный mysql скормишь файл в терминале

о, я тоже, бывает, сообщения чужие не читаю

о, я тоже, бывает, сообщения чужие не читаю

а?

Можно в csv строки преобразовать в инсерты просто заменой по файлу из командной строки и залить в любую базу без участия пхп. (mysql поддерживает импорт из csv без таких плясок)

да не, ниче)

да не, ниче)

прочитал, но он тебя не понял похоже,

он написал что надо "обрабатывать строки"

этот вариант не подходит, если бы нужно было просто залить не обрабатывая строки то можно было залить базой

ты можешь обработать строки и сформировать из них insert запросы

можем сразиться в выяснении кто кого не понял) но думаю, что тема закрыта

он написал что надо "обрабатывать строки"

да, вилидировать + еще смотреть в той же таблице в которую заливаем есть ли там уже такая строка или нет, если есть то в отдельную табличку помечать что строка есть, дубль, либо успешно добавлена

да, вилидировать + еще смотреть в той же таблице в которую заливаем есть ли там уже такая строка или нет, если есть то в отдельную табличку помечать что строка есть, дубль, либо успешно добавлена

аа ну если надо обратно в таблицу смотреть, это надолго) думай как оптимизировать

аа ну если надо обратно в таблицу смотреть, это надолго) думай как оптимизировать

индексы trgm помогли, достаточно быстро он смотрит

а инмемори нет возможности это сделать?

у меня два поля, серия и номер паспорта, там всегда цифры

у меня два поля, серия и номер паспорта, там всегда цифры

ты чтоли БД правительства Индии скачал, которую недавно слили?)) столько записей у тебя)

Кстати, если надо просто не надобавлять дублей есть - INSERT IGNORE - REPLACE или - ON DUPLICATE UPDATE они работают существенно быстрее чем SELECT и затем INSERT

Люди, подскажите, пожалуйста, как лучше (и как обычно) работают с сессиями в Laravel? Например, у нас есть таблица active_sessions, в которую должны заноситься сессии пользователей. Может ли один пользователь (и должен ли) иметь несколько сессий одновременно? Например, с домашнего компьютера и с рабочего? Соответственно, в таблице будет две записи. Извините, если выражаю свои мысли неясно, я новичок.

ты чтоли БД правительства Индии скачал, которую недавно слили?)) столько записей у тебя)

список недействительных паспортов, он общедоступный

каждый день тетя из мвд обновляет его руками)

каждый день тетя из мвд обновляет его руками)

да, этот используем

только через сервис

почаны а зачем нужны model factory?

https://laravel.com/docs/5.6/seeding#using-model-factories

https://laravel.com/docs/5.6/seeding#using-model-factories

мне кажется это был риторический вопрос от админа, типа, че вы тут обсуждате, если есть модел фактори

))

Кстати, если надо просто не надобавлять дублей есть - INSERT IGNORE - REPLACE или - ON DUPLICATE UPDATE они работают существенно быстрее чем SELECT и затем INSERT

Так мне надо отмечать какая запись дубль. Ни один из этих не вернёт мне строку

Route::get('/', \App\Http\Controllers\API\BotController::class.'@index');

как охуенно

теперь такой формат ВООБЩЕ не работает

я думал только для ресурсов

🤦‍♂️

Route::get('/', \App\Http\Controllers\API\BotController::class.'@index');

выглядит как-то громоздко

в прошлом работало?

надо глянуть как в ботмане сделано

Так мне надо отмечать какая запись дубль. Ни один из этих не вернёт мне строку

If you use INSERT IGNORE and the row is ignored, the AUTO_INCREMENT counter is not incremented and LAST_INSERT_ID() returns 0 Т.е. если вернул 0, запись - дубль

есть еще affected_rows

по которому тоже можно понять

Подскажите, можно ли получить оригинальные данные после update, getOriginal возвращает то же самое

Ребят, помогите с релейшеном: Есть таблица Products. Также есть таблица ComposedProductProducts, в ней содержатся product_id, child_product_id, amount. Комбинированный продукт состоит из нескольких обыкновенных, но тоже хранится в Products. То есть, Product имеет релейшн hasMany(ComposedProductProduct) и одновременно belongsToMany(ComposedProductProduct) ?