но есть общепринятые паттерны решения задач

их ты установил? я не в одной конторе видел как используются джейсон поля в постгресе и мускуле. Эти поля и решают проблемы используя общепринятые паттерны

Суть в другом, есть одно место в которое просится json и mongo и из за этого проект переводить на монго? Или хранить все в реляционной а продукты в монге?

Ну т.е. ты считаешь рациональным ради одного узкого места использовать монго?)

В смысле? Там же просто ключ - значение.

Ну так с этого начинать нужно, а не монго предлагать)

например не пихать в JSON, а сделать нормальную связь одну ко многим

Ну так с этого начинать нужно, а не монго предлагать)

тогда я не понял как ты цвета там собрался хранить {"red":1, "green":1} - так что ли?

не надо мне своих фантазий

0 : "Green" 1 : "Red" 2 : "Blue"

с тобой дискутировать вообще писец. ты не слышишь аппонента. говоришь безапеляцеонно. а потом съезжаешь на "это мое мнение"

Но получил в ответ - оскорбления и наезды

вот именно. а теперь найди мне продукты которые имеют красный цвет

$result = DB::table('products') ->whereIn('colors', ["red"]) ->get(); ?

обвинения что я не слышу оппонента - ложно

переходить на личности лучше в личной переписке

ну раз уж на то пошло то ты первый обвинил всех кто использует json поля в некомпитентности)

как вариант загрузить в базу из csv (если mysql)

Добрый день! Нужно залить в базу файл csv (два поля, разделитель ,) в котором 133 млн строк (размер 1,5 гб) Как это можно ускорить? Понятно что можно считать по строкам и инсертить например по 1000 штук Может можно распараллелить как то? Какие есть идеи?

Бд какая?

Redis ?

rabbit

У ларавел есть поддержка?

такой вариант не подходит, к базе нет доступа про цикл не очень понял, как его сделать?

У ларавел есть поддержка?

распарси csv на php в массив или обьект, вставляй в базу в цикле со сдвигом limit 1000, offset 1000 limit 1000, offset 2000 limit 1000 и т.д.

113 млн строк распарсить в массив?)

113 млн строк распарсить в массив?)

https://github.com/vyuldashev/laravel-queue-rabbitmq

Корректно ли правила валидации указывать в eloquent моделях?

fopen, freadcvs

А чем лучше редис?

рэдис это БД, а рэббит полноценный сервер очередей со своей БД

И что

И что

а где их тогда указывать?

я так и делаю, читаю построчно, инсерт делаю по 1000 штук, но все равно очень долго, может как то в несколько потоков можно, например начинать файл с конкретной строки, по частям

а тебе это часто надо делать или только 1 раз?