ну когда я спрашивал тимлида с прошлой работы, мы таким не занимаемся.

как лара сгенерировала так и будет

кстати symfony ставит индексы или нет самостоятельно?

хочу хайлоад сделать в миниатюре) чтоб понять разницу между разными подходами

на собесе спросили про оптимизацию поле a 100 уникальных значений поле б 10 уникальных значений с 1000 уникальных значений три выборки а.б.с как их сделать максимально быстрыми сделать ключ б и составной с,б,а где подробнее узнать об этом?

Коллеги, всем привет. Есть задача - пакетная обработка данных. Если точнее - анализатор и фиксер биллинга Кейс - берем транзакции и проверяем на ошибки и консистенность. Записей в целом не много. 42000 После 11к обработанных записей падает производительность то есть условно, первые цилкы делаются за 8мс, потом 10, потом 12 и так делее.. потом доходит до 50, 70 и дальше растет. Что еже сделал: 1) Доктрина выгребает батчами по 1000к через toIterable(), lmit\offset сделан через id > X 2) добавил dc_collect_cycles и unset 3) em->clear() разумеется память почти не растет, если до было 2 гига, то сейчас выше 250мег не поднимается.. но все равно подтекает. Что еще можно сделать чтобы ускорить?

Коллеги, всем привет. Есть задача - пакетная обработка данных. Если точнее - анализатор и фиксер биллинга Кейс - берем транзакции и проверяем на ошибки и консистенность. Записей в целом не много. 42000 После 11к обработанных записей падает производительность то есть условно, первые цилкы делаются за 8мс, потом 10, потом 12 и так делее.. потом доходит до 50, 70 и дальше растет. Что еже сделал: 1) Доктрина выгребает батчами по 1000к через toIterable(), lmit\offset сделан через id > X 2) добавил dc_collect_cycles и unset 3) em->clear() разумеется память почти не растет, если до было 2 гига, то сейчас выше 250мег не поднимается.. но все равно подтекает. Что еще можно сделать чтобы ускорить?

Как может быть 10 уз с 1000 уз?

Попытайтесь понять где именно проседает

Коллеги, всем привет. Есть задача - пакетная обработка данных. Если точнее - анализатор и фиксер биллинга Кейс - берем транзакции и проверяем на ошибки и консистенность. Записей в целом не много. 42000 После 11к обработанных записей падает производительность то есть условно, первые цилкы делаются за 8мс, потом 10, потом 12 и так делее.. потом доходит до 50, 70 и дальше растет. Что еже сделал: 1) Доктрина выгребает батчами по 1000к через toIterable(), lmit\offset сделан через id > X 2) добавил dc_collect_cycles и unset 3) em->clear() разумеется память почти не растет, если до было 2 гига, то сейчас выше 250мег не поднимается.. но все равно подтекает. Что еще можно сделать чтобы ускорить?

Запускать в режиме no-debug Отключить логгер на sql

Жесть 😱

Запускать в режиме no-debug Отключить логгер на sql

я делал setLogger(null) чот не отключился он

как переключить в режим no-debug?

А чем запускаете команды, что это? Symfny messanger или просто консольная команда?

консольная команда

—no-debug

—no-debug

на медиуме есть статья кстати где чел по 10к батчит, у меня начинает тормозить нигде не нашел как по факту работает toIterable()

Попытайтесь понять где именно проседает

А вот как блин профайлить? Это не чистый php симфа кучу говна на стек накидывает

Ну у человека было что MC растут во времени ставить логи и смотреть разницу в начале и конце. Ну и профайлер можно, он покажет что именно жрет больше всего и уже на это делать акцент

А какой профайлер посоветуешь? Xdebug и блэкфлаер?

Ой как красиво, с процесс баром :)

34 мега на обработку против раньше 2.5 гигов

Оно в логи пишет много с включенным дебагом, а логи хранятся в памяти вроде.

как думаете, в 7.1 симфы прикрутят доктрину 3?

Не, именно 3-я

Подскажите по доктрине. Есть несколько стратегий генерации. Интересуют две: 1. ORM\GeneratedValue(strategy="AUTO") (SEQUENCE) 2. ORM\GeneratedValue(strategy="IDENTITY") Под капотом сиквенсы (postgres < 10), но есть разница 1. Создается поле integer 2. Создается поле serial При изменении 2 на 1 проиcходит только ALTER TABLE table ALTER id DROP DEFAULT , то есть сиквенс и там, и там есть по сути Но есть одна существенная разница, что при persist в первом случае генерируется id, а втором нет. Не могу в доке найти про разницу, может кто в курсе, почему так?

В первом случае id обязательно при вставке тебе нужно запросить некствал Во втором посгря сама присвоит id

всем привет. кто ни будь сталкивался с ошибкой PHP Exception RuntimeException: "Failed to start the session." at /var/www/call-center/vendor/symfony/http-foundation/Session/Storage/NativeSessionStorage.php line 173 подскажите, в какую сторону копать?

для postgres используй IDEnTITY , в последних версиях доктрины он по умолчанию для postgres идет

Ну то есть в первом случае это под капотом происходит, а во втором надо самому делать (получить id при персисте)?