Vasily
Ппц
Vasily
Ну кафка не при делах
Vasily
Но хоть код напиши нормально
Doge
но еф скорее всего обосрется
Я не уверен, что еф в такое вообще умеет. Когда я такое делал на дотнете, я напрямую оракловый драйвер бд использовал для совсем балк инсертов.
Vasily
Ну ебаный стыд же
🇺🇦 Дмитрий
шедулер слушает кафку и складывает в бд
Vasily
В таком сценарии ef вообще не нужен
Ayrat
Ну ебаный стыд же
да код как код, другое дело что EF тут как собаке пятое колесо, да еще и не позволяет нормальные запросы писать
Ayrat
если там 1000 объектов приходит, то ЕФ 1000 инсертов сделает
Ayrat
удобно
Крылатый
Можно bulk insert написать
COPY! (главное не обосраться с ним)
Doge
да код как код, другое дело что EF тут как собаке пятое колесо, да еще и не позволяет нормальные запросы писать
Всякие ETL подобные штуки я вообще не вижу смысла с большими ORM'ами делать. Там обычно не вспользуешься совсем балк инсертами конкретной бд + массовые запросы для мерджа данных и т.п. фиг два напишешь.
Ayrat
я вообще не знаю применения больших ормов честно говоря даппер тоже орм и все что от него надо - МАПИТЬ В ОБЪЕКТЫ
Ayrat
и он это делает
Ayrat
linq2db орм?
орм это все что мапит результаты запроса в объект
Doge
linq2db орм?
Он не большой ORM типа EF/EFCore/NHibernate и т.п.
Ayrat
тогда в нём есть балк инсерт
не факт что есть, это уже фичи!
Ilya
не факт что есть, это уже фичи!
ээээ... он есть, пишешь BulkInsert и ебаный синтаксис
Vasily
Короче, налицо применение инструмента не по назначению
Vasily
Хотя скорее всего где-то в компании сидит человек, оптимизирующий гуиды
Vasily
Чтобы типа было побыстрее
Vasily
Хотя чисто алгоритмический проеб
🇺🇦 Дмитрий
мне в райдере не хватает CPU Usage как в vs, в райдере есть такое? чтоб при дебаге видеть CPU, RAM, GC
Anonymous
вся линия ставок
Блять это не париматч случайно?
Anonymous
Такой ебанизм только у них
🇺🇦 Дмитрий
он самый
Anonymous
Ооо, поздравляю.
🇺🇦 Дмитрий
та чего ебанизм
Vasily
Просто ебанизм
🇺🇦 Дмитрий
это ж логи для аналитики
Vasily
И что, их теперь надо тяп ляп делать?
Anonymous
это ж логи для аналитики
То есть ты ещё не знаешь, да?
🇺🇦 Дмитрий
кого не знаю?
Anonymous
Что в Париматче Кафку ниасилили от слова совсем?
Anonymous
Не смогли документацию прочесть
🇺🇦 Дмитрий
ну расскажи мне как есть
🇺🇦 Дмитрий
И что, их теперь надо тяп ляп делать?
я не делаю тяп ляп, я стараюсь улучшить что можно, вот щас возникла проблема (а может и не проблема) с памятью, вот я и спросил как лучше искать её
Ayrat
и на линупс тоже?
на линупсе они вроде не работают
Anonymous
ну расскажи мне как есть
весь ПМ большой, я тебе конкретно за ТТЛаб могу рассказать, в частности за Лайв, Прематч, Трейдинг Кор и прочее. весь "реалтайм" в МП уже (!!!) года четыре как плотно на Кафке и большинство топиков до сих пор однопартиционные
Ayrat
на линупсе вообще с дотнет профайлингом все очень плохо
Anonymous
я помню, выше на кухню, а там два сениора общаются:
Anonymous
-- бля, кафка такое говно, сколько инстансов не запускай, все медленное
Anonymous
-- да, кафга редкое говно, - отвечает второй
Anonymous
(они оба обсуждают топик с одной партицией)
Ayrat
Ну и ладно.
Anonymous
в Париматче воообще не понимаю что такое Кафка и как ей пользоваться. люди пихают в нее весь снейпшот всего состояния.
🇺🇦 Дмитрий
могу с гордостью сказать что в моей команде по 5 партиций минимум
Ayrat
За это нам и платят
Anonymous
объекты по 250 КБ в протобафе
Anonymous
и потом удивляются, почему это медленно работает
Anonymous
но я уже немного наловчился
Anonymous
могу рассказать как
Ayrat
давай
🇺🇦 Дмитрий
вы ж на маках
Anonymous
dotnet-trace --format Chromium
Anonymous
в Хроме tracing://
Ayrat
dotnet-trace --format Chromium
а, я так тоже думал
Anonymous
и открываешь этот файл
Ayrat
и в прометей выгружать потом
Anonymous
но он не показывает толком сборки мусора
Anonymous
и мемори прешур
Ayrat
не, прям в Хроме
ну в хроме это adhoc
Ayrat
а надо ж централизованно
Anonymous
а, ты про это
Anonymous
я думал, ты для себя, типа попрофилировать быстренько
Ayrat
ну вот я думал второй инстас в докерах дотнетных запускать чтобы он выгружал инфу для прометея
Ayrat
но потом чот плюнул и сделал на джаве -_-
Anonymous
ну вот я думал второй инстас в докерах дотнетных запускать чтобы он выгружал инфу для прометея
а не понятно, есть вообще альтернатива этому сейчас, я вот не знаю