как типа для жавы, можно посмотреть объекты в куче, графики ЦП и мемори юзейдж

xhprof

Тебе память подебажить? Xdebug могет вроде

xhprof

он вроде не РТ, высирает отчет по завершению программы

ща попробую через xdebug

о! а может сам xdebug засирает кучу? щас попробую без него

жесть! скорость обработки без xdebug просто взлетела в небеса!

ну дык вроде искдебаг замедляет все на 50%

да тут скорость в раз 10 быстрее стала)

хотя со временем всеравно спад скорости наблюдается =\

интересно, почему же composer/php-cs-fixer его отключают и даже https://github.com/composer/xdebug-handler запилили?

интересно, почему же composer/php-cs-fixer его отключают и даже https://github.com/composer/xdebug-handler запилили?

Ну да, я читал, только особо разницы не чувствовал на композере, шо с xdebug, что без него, основное время тратится на обновление кэша пакетов

блин, хочу узнать, GC у PHP многопоточный? боюсь такое гуглить))

Это при composer update что ли?

Это при composer update что ли?

что именно?

блин, хочу узнать, GC у PHP многопоточный? боюсь такое гуглить))

сам пхп однопоточный, а сборщик многопоточный, ага

сам пхп однопоточный, а сборщик многопоточный, ага

странно, у меня одно ядро на 100% всегда. Что пхп может там считать такого?

сам пхп однопоточный, а сборщик многопоточный, ага

Дык можно расширить библиотекой ptheads и будет php многопоточный)

Дык можно расширить библиотекой ptheads и будет php многопоточный)

есть более простые способы самоубийства

есть более простые способы самоубийства

Чего уж так сразу. Вот в офф доке евсе есть) http://php.net/manual/ru/book.pthreads.php

что именно?

ну кеш пакетов особо обновлять не нужно, если у тебя пакеты в кеше и твой composer.lock не обновился. Разве что метаданные с packagist, но если у тебя это медленно — где-то проблемы с сетью, оно даже с мобильным интернетом нормально работает

Чего уж так сразу. Вот в офф доке евсе есть) http://php.net/manual/ru/book.pthreads.php

ты сам-то его юзал?

ты сам-то его юзал?

ну так один раз для тестового задания пришлось)

тогда ясно)

тогда ясно)

не если у тебя есть экспиренс использования неудачный, поделись плиз

даа, было бы круто распараллелить миграцию, там прям напрашивается. Но у меня похапе))

даа, было бы круто распараллелить миграцию, там прям напрашивается. Но у меня похапе))

что ты параллелить собрался-то?

даа, было бы круто распараллелить миграцию, там прям напрашивается. Но у меня похапе))

сделай процессинг чанками

инсерты в базу данных что ли?)

что ты параллелить собрался-то?

нет, наполнение всех объектов данными, обработку и прочее говно. Инсерты очень быстрые, но сопровождаются оверинжирингом от фреймворка и доктрины

так мб проблема как раз в том, чего быть не должно? ну там всякие фреймворки, доктрины и прочая хуитень, не понятно для чего приколхоженная

только голый пых, только харткор

да хоть голый sql, не суть

так мб проблема как раз в том, чего быть не должно? ну там всякие фреймворки, доктрины и прочая хуитень, не понятно для чего приколхоженная

Потому что структура данных в корне поменялась. В старой БД есть вся нужная инфа (которую как-будто может пользак вводить), но её нужно по-новому обработать

поэтому всё пропускается через слои приложения

мне чёт кажется, что ты не очень представляешь себе многопоточность и как она может помочь (никак) в твоей истории

чо ты ноешь, порежь на итерации по 1к и не ной

какой там 1к, по 300 бы порезать

и я не вижу проблемы написать процедуру, которая всё смигрирует

чо ты ноешь, порежь на итерации по 1к и не ной

но тогда нужно еще супервайзер мутить

это типа сложно что ле

мне кажется сложносочиненные слова англицизмы мутить сложнее

типа "супервайзер"

приведи русский аналог

ебааать я ща представил типа как фильм, 2022 или как там, цунами такое движется, "супервайзер" )))

цыкл фор

Зачем вообще паралелить миграцию?

Юзеры не увидят перфоманс

Толку тратить время

Пусть пишет хоть 20 мин

Поставил деплой и пошёл пить чай

почему не средствами базы миграцию делать) без всяких симфонидоктрин)

почему не средствами базы миграцию делать) без всяких симфонидоктрин)

Б - Бизнес логика)

можно её задублировать чисто в процедуру миграции конечно, но это уже спротивный интерес)

буду переиспользовать объекты, методом исключения уберу GC)

а где связь между бизнесс логикой и миграциями?

данные по другому хранятся и по другому считаются

и?

у тебя есть исходное их значение, и во что нужно переделать

что и?) надо пересчитать их и реструктурировать согласно того алгоритма, который есть в БЛ

ясна. короче те повезло, что база маленькая

аще, ну не такая уж и маленькая в пересчете на полезные данные. А в мегабайтах маленькая)

судя по цифре в 8к она аще пустая)

это только сущности топ левела иерархии

без нижних уровней эти 8к пролетают как по маслу

добавим порядок, всё равно пустая)

вот-вот, а в старой структуре это раздуто пиздец. ТАк что там еще и редьюс данных идет небольшой при миграции

а где связь между бизнесс логикой и миграциями?

Не рационально дрочиться с процедурами, когда ты уже построил проект с ормкой и изи можешь сделать в ущерб перфомансу, если тебе на него груби говоря пофиг ибо это миграция и никак не влияет на юзер экспириенс

Я бы так сказал

Не рационально дрочиться с процедурами, когда ты уже построил проект с ормкой и изи можешь сделать в ущерб перфомансу, если тебе на него груби говоря пофиг ибо это миграция и никак не влияет на юзер экспириенс

Только производительность этого процесса почему-то ужасно плохая, 8к записей будут мигрировать сутки где-то =\

не ну так-то конечно лучше на изи обмазаться ормками и дрочить пустую базу сутки)

Только производительность этого процесса почему-то ужасно плохая, 8к записей будут мигрировать сутки где-то =\

возьми blackfire и спрофилируй твою команду по миграции, увидишь утечку памяти

возьми blackfire и спрофилируй твою команду по миграции, увидишь утечку памяти

память не течет, это я заранее продумал, но производительность падает очень сильно со временем

как скажешь

и я это впервую очередь замониторил

и я это впервую очередь замониторил

ну то есть у тебя идет замедление производительности с течением времени и при этом никакие ресурсы никуда не утекают?)

цп утекает)

цп утекает из-за сраной портянки циклов)

значит тяжелые рассчеты или хуева туча вложеных циклов по большим массивам

массивов нет

привыкли, блять, форичем все делать )

а пых сам какой

есть генераторы и итерация идет по генераторам

не юзай генераторы впизду, делай как деды

есть генераторы и итерация идет по генераторам

а генераторы ты откуда взял?

режем слона на 100 кусков и едим потихоньку

iterate из доктрины что ли?

не юзай генераторы впизду, делай как деды

тогда вылетать будет по Trying to allocate ....

iterate из доктрины что ли?

не, DBAL

не будет, ты чисти память

не, DBAL

чёт не помню откуда в дбале генераторам взяться

while ($row = $statement->fetch()) { yield $row }

божы да воткни микротайм уже наконетс

так, отлично. мы взяли pdo чистенький. что происходит дальше? кто обращается к итератору?

foreach

внезапно.

так, отлично. мы взяли pdo чистенький. что происходит дальше? кто обращается к итератору?

DBAL а не PDO

бля, ты чё гонишь что ли)

не, пойду поработаю