Ну можно просто формы не юзать, кто мешает.

Та по мне твиг тоже та еще ерунда. Те же спагетти, только в профиль.

это из коробки есть)

Это дока, такая себе "коробка"

Та по мне твиг тоже та еще ерунда. Те же спагетти, только в профиль.

Ну спа тоже свои минсу имеет, сср заводить и прочее.

Уот по этому концепция - symfony только апи, фронт отдельно выглядит куда выигрышнее :D Не надо рендерить всякое говно.

вообще нифига не согласен, на симфони формы клепает любой бэкендер - стоит один раз их нормально описать, и всё, дальше это работает как конструктор. плюс крутая валидация. на фронте ты все формы (даже со всякими формиками) пишешь руками, валидируешь руками и всё там мягко говоря далеко от нормальности

Да. Раньше тяжко было. Щас сделано настолько высокоуровнево все, что об ssr голову включать вообще не надо.

вообще нифига не согласен, на симфони формы клепает любой бэкендер - стоит один раз их нормально описать, и всё, дальше это работает как конструктор. плюс крутая валидация. на фронте ты все формы (даже со всякими формиками) пишешь руками, валидируешь руками и всё там мягко говоря далеко от нормальности

Помню прошлый чат, от форм плевались и сам их не люблю

возможно, я не пробовал какие-то корпоративные гриды или проекты на 1М строк, но в мелко-средних проектах близко того уровня декларативности и автоматизации как в симфони, я не видел

Мутный рендеринг. Хотя если упороться и познать дзен в кастомных теплейтах - наверное четко

возможно, я не пробовал какие-то корпоративные гриды или проекты на 1М строк, но в мелко-средних проектах близко того уровня декларативности и автоматизации как в симфони, я не видел

Пробовал хоть раз rest + какой-нибудь nuxt?

никто их не любит, но это лучше чем каждую форму описывать руками, как это происходит в жс-мире

Пробовал хоть раз rest + какой-нибудь nuxt?

не, бог миловал

А попробуй. Есть шанс, что обратно не вернешься =)

Не, vue хорош.

Не, vue хорош.

Тонкую грань соблюдает между "едрить какой простой" и "смотри как умею".

А попробуй. Есть шанс, что обратно не вернешься =)

не, вряд ли. а есть под рукой какой-нибудь пример каких-то крутых магических форм? да еще построенных по опенапи-описанию?

не, вряд ли. а есть под рукой какой-нибудь пример каких-то крутых магических форм? да еще построенных по опенапи-описанию?

Дофига их. https://github.com/vue-generators/vue-form-generator навскидку

Но справдливости ради, строительство форм и валидации на фронте - мне не понравилось нативное

Даже симфонийские формы четче)

Даже симфонийские формы четче)

Если прям упарываться в схемы - есть много решений на json. Бек возвращает чертеж формы, со всеми правилами валидации. ФРонт просто рисует. По сути те же симфони формы.

Дофига их. https://github.com/vue-generators/vue-form-generator навскидку

Пример выглядит хорошо, пока это простая форма. В симфе простые формы тоже клеваются на изи

Пример выглядит хорошо, пока это простая форма. В симфе простые формы тоже клеваются на изи

Ну. К чести сказать. Симфони формы тоже на простых штуках проблем не вызывают. А потом можно начать огребать.

На нативе вью3, ну прям очень больно показалось. Короче прям кайф не ловил, скорее обратно)) Но мб просто по аматорски строил.

Но это опять таки, потому что vue3 а на 2 были норм либы и бустрапы

и там вроде прям каеф

и там вроде прям каеф

Не ну. формочки строить все равно руками приходится и на двойке с вуетифаями. Если схема генератор не приколхоженый.

Не ну. формочки строить все равно руками приходится и на двойке с вуетифаями. Если схема генератор не приколхоженый.

Ну там бутстрапов и других плюх готовых больше

Что есть то есть.

добрый день, не подскажите как лучше сделать импорт 3млн строк из csv в бд, пробовал решить в лоб но упираюсь в конфиги php и nginx, бесконечно расширять мне кажется не очень рациональным решением, в голову приходит идея запускать из консоли консольную команду, а на фронт отдать что файл успешно загружен

добрый день, не подскажите как лучше сделать импорт 3млн строк из csv в бд, пробовал решить в лоб но упираюсь в конфиги php и nginx, бесконечно расширять мне кажется не очень рациональным решением, в голову приходит идея запускать из консоли консольную команду, а на фронт отдать что файл успешно загружен

Через генераторы, очереди и тд

Через генераторы, очереди и тд

идею понял спасибо

В лоб только через fascgi finish request

https://www.php.net/manual/ru/function.fastcgi-finish-request.php

добрый день, не подскажите как лучше сделать импорт 3млн строк из csv в бд, пробовал решить в лоб но упираюсь в конфиги php и nginx, бесконечно расширять мне кажется не очень рациональным решением, в голову приходит идея запускать из консоли консольную команду, а на фронт отдать что файл успешно загружен

а обязательно через пхп это делать? постгрес так-то сам прекрасно из csv может читать

а обязательно через пхп это делать? постгрес так-то сам прекрасно из csv может читать

Да

я бы посоветовал (впрочем, там миллион вариантов, из которых, судя по всему, вы выбрали единственный неправильный - разгребать в один поток в пхп) таки заюзать какую-то очередь - хоть в базе, хоть в редисе. то есть разделить загрузку на две части - сначала мы кладем данные куда-то, откуда их можно конкурентно обрабатывать (файл не особо годится), потом уже запускаем пачку воркеров что по одной записи оттуда их достают, обогащают (я так понимаю поэтому нужен пхп - добавить данных к каждой строке), и пишут в целевую таблицу. если нету готовых очередей в проекте что можно заюзать - заведите временную таблицу в базе

Это тестовое, я думаю поднять rabbitmq, в него ложить путь на файл, клнсюмером считать и переписать в базу

а, еще лучше, в тестовом можно и заморочиться

редис не хотите вместо кроля? проще, удобнее

но если хотите впечатлить собеседующего знанием баз данных - сделайте через постгрес и select for update, лично мне бы это понравилось - базы мало кто знает дальше круд-операций

А редисом как?

А него путь положить а как консольную команду запустить?

А него путь положить а как консольную команду запустить?

Супервизором конфиг написать

а редис из коробки - очередь. берем лист, и в простейшем случае (без ack-ов) это lpush + rpop

то есть делим наш процесс на две части (это в любом случае нужно). сначала пишем скрипт, что с помощью чего-то типа fgetcsv читает csv построчно и каждую строчку кладет в очередь (пока неважно какую)

fgetcsv - чтобы не грузить в память весь файл, а работать с ним построчно, просто двигая курсор

после того как у нас появилась копия csv в очереди, мы уже можем запустить пачку воркеров, что процессят эту очередь параллельно, с файлом так не выйдет

Хм надо обдумать вникнуть

типа первый шаг - это сделать из файла (к которому конкурентный доступ организовать сложно и неудобно) очередь, которую можно процессить в сколько угодно потоков независимо

но если хотите впечатлить собеседующего знанием баз данных - сделайте через постгрес и select for update, лично мне бы это понравилось - базы мало кто знает дальше круд-операций

Я уже так предложил ьна тестовом

Не прошел )

Все хотят слышать про о могучие очереди

не ну там сколько людей, столько и мнений, мб и да, есть смысл в том, чтобы вширь кандидата потестить

мне про очереди не особо интересно слушать, даже если он их не умеет, научить - дело пары дней

а вот людей, что базой нормально пользоваться умеют - единицы

Согласен но на собесах собеседующий бог и непонятно чем у него там в голове

Вероятнее всего от него ждут очереди

А не селект фор адейт

и типа еще лучше когда не городят инфру из кроликов чтобы попроцессить фоново 20 записей в сутки 🙂

Ну систему всеравно лучше проектировать в заделом на масштабирование

Сегодня 20 файлов, завтра 2000

Вероятнее всего от него ждут очереди

ладно, предлагаю убер-вариант: скрыть интерфейсом реализацию очереди, предложив на выбор два варианта. хотите вот вам редис, хотите - на постгре сделал, если надо придерживаться принципа минимальных зависимостей

я и так и так умею, надо и кроля подтащу

Вариант на каждцю строку сообщение круто, только не атомарно

Вдруг часть строк невалидны

Все от требований завистт

почему не атомарно? как раз наоборот, не?

Ну воркер строку получил я так понимаю

если в базе/очереди хранить прям csv line - не разбирать его

Или например файл и смещение

Как я понял твой замысел

не, прям строку по идее

смещения мутно больно

Ну вот а если 100001 строка невплидна

Следует ли импортировать остальные?

В этих гребаных заданиях часто еще не хватает условий входящих

У меня для этого поверх ребита есть либа которач позволяет создавать зависимые задачт

Я бы разбил на две подзадачи, валидацию и импорт. Сначала куча воркеров валидируют, после этого создаётся куча задач на импорт

А почему вообще проблема возникает? Кладём файл на сервер, запускаем скрипт, который считывает файл построчно и пишет в бд. Лучше конечно пачками писать. При этом не будет нагрузки по памяти, она будет очищаться. Или стоит задача с фронта загрузить файл и обработать его?

Задача с фронта получить файл, записать в бд, а потом на другой странице отрисовать данные из таблицы

Не знаю на сколько честно обсуждать тестовое с вами))