should I still use DBAL to build simple sql query strings?

т.е. при любом запросе к еластику даные будут подтягиватся из БД? или братся из памяти?

из бд

он просто быстро найдёт тебе idшники

и через IN достанет все объекты из бд

это было обидное открытие :D

сам фос эластик не умеет в гидрацию

да и откуда бы ему это знать и уметь

используем такой же подход в фалькон-проекте

и через IN достанет все объекты из бд

со своей реализацией

*не умел, сейчас не знаю точно как там дела у него... но думаю что так же

со своей реализацией

не суть, смысл такой же

у каждого свои требования. Многим именно такая и нужна реализация

ну а некоторые думаю что всё берётся из эластики когда они туда запрос отправили

и даже не подозревают

это просто, было, "между прочим"

они как-то решают проблему, когда id-шников слишком много и база запаривается парсить WHERE IN?

они как-то решают проблему, когда id-шников слишком много и база запаривается парсить WHERE IN?

может дробить на несколько запросов?

RawPaginatorAdapter у них кстати есть

может дробить на несколько запросов?

он имеет ввиду из коробки фосы как это решают

понятно что ты сам можешь что хочешь делать :)

может дробить на несколько запросов?

Ты же знаешь, что там не всё так радужно

они как-то решают проблему, когда id-шников слишком много и база запаривается парсить WHERE IN?

так нет же лимита на количество айтемов в WHERE IN

нет, но база проседает, когда там > 10k

Is there alternative for getSingleScalarResult ?

оракл говорит что ты дурак если больше 1к в IN

for dbal?

for dbal?

execute()->fetchColumn(x) ?

Is there alternative for getSingleScalarResult ?

чем тебя он не устраивает?

I thoght fetchOne

I thoght fetchOne

раскладку заело?)

чем тебя он не устраивает?

I have no ORM

I thoght fetchOne

use IDE autocomplete, Luke

I have no ORM

опиши что ты хочешь сделать

если у тебя нет ORM - то какая альтернатива тебе нужна? Под что?

да вон же ему выше ответили

PDO?

DBAL?

SELECT COUNT(*) in dbal

yes

Ты же знаешь, что там не всё так радужно

да. не уверен что тебе надо с еластика прям вот сейчас все записи по ID из БД. в основном ведь все сводится к 1 странице (не более 100 записей)

тогда тебе уже ответили

fetchColumn(x) ?

да. не уверен что тебе надо с еластика прям вот сейчас все записи по ID из БД. в основном ведь все сводится к 1 странице (не более 100 записей)

Тут имеет место то, что остались места, где идёт доп. выборки в базе после получения ID. И использовать эластик не только для коллекций, но и в логике

fetchColumn(x) ?

да

почитай доки что-ли

dbal is good designed

https://stackoverflow.com/a/39184169/444079

dbal is good designed

мгимо финишд?

The Python has meee!

The Python has meee!

питон поимел тебя?

неужто ты работу нашел

C#, Python, and Node.js : yes

Modernd PHP: no

C#, Python, and Node.js : yes

ну тогда можешь с чистой душой выходить из этого чата

неужто ты работу нашел

yes

in bank

понял, не доверять деньги банкам германии

нет, но база проседает, когда там > 10k

explain надо делать. Вангую что результат не помещается в оперативку и идет запись на диск.

нет, но база проседает, когда там > 10k

mysql же?

+

может БД потюнить? InnoDB Buffer увеличить для начала

а какие есть достойные альтернативы?

к сожалению не знаю. Суть в том, что мы используем эластик чтобы быстро искать. С ФосЭластикой быстро не получится. Так как в индексе эластика у нас сущность уже со связями, то странно получается когда после эластика идет запрос на выборку из бд по айди и далее доктрина доп запросами идет за связями. Этот момент можно разрулить подсунув кастомный квери билдер, но он его будет искать в репозитории из сервис локатора. А у нас кастомный репозиторий. Поэтому сейчас мы просто переопределяем метод transform и напрямую из него отдаем то, что вернулось из эластика не используя при этом бд. Для чего тогда этот бандл нам сейчас непонятно

к сожалению не знаю. Суть в том, что мы используем эластик чтобы быстро искать. С ФосЭластикой быстро не получится. Так как в индексе эластика у нас сущность уже со связями, то странно получается когда после эластика идет запрос на выборку из бд по айди и далее доктрина доп запросами идет за связями. Этот момент можно разрулить подсунув кастомный квери билдер, но он его будет искать в репозитории из сервис локатора. А у нас кастомный репозиторий. Поэтому сейчас мы просто переопределяем метод transform и напрямую из него отдаем то, что вернулось из эластика не используя при этом бд. Для чего тогда этот бандл нам сейчас непонятно

мой опыт работы со свеми этими бандлами для эластики только разачарует

https://github.com/ongr-io/ElasticsearchBundle

вот эта хрень получше фосовского

ERROR: S client not available

но проблемы тоже есть

особенно при большом потоке обновлений

+

есть еще редкий вариант когда index cardinalty сильно неправильный и mysql решает не юзать праймери кей и делает full table scan. Если explain показывает что PK не юзается, то простой ANALYZE TABLE должен помочь.

хотя у InnoDB это должно делаться автоматически если я правильно помню

особенно при большом потоке обновлений

Сергей а можно детальнее, какие проблемы в предложеном банле Вами были замечены "при большом потоке" - "большой" это какой, 10, 100,.. апдейтов

Сергей а можно детальнее, какие проблемы в предложеном банле Вами были замечены "при большом потоке" - "большой" это какой, 10, 100,.. апдейтов

ну там по хорошему надо все апдейты в пачку собирать и через batch api прокидывать

у нас иногда рассинхрон класстера происходил, конфликты версий. и тупо индекс иногда не соответствовал действительности

приходилось тупо по ночам его ребилдить полностью

Вопрос к разработчикам микросервисной архитектуры. Как вы защищаете свои сервисы в межсервисном пространстве? Чисто для себя интересно.

@fes0r А не напомнишь, ты как-то тут, вроде, писал, какой у вас сервис используется для сбора логов, в который сервисы приложения по UDP их шлют?

graylog, gelf udp

О, точно.

можно elk и тоже gelf

Спасибо.

чем udp будет выгоднее в данной ситуации?

Не требует подтверждения доставки?

ну там по хорошему надо все апдейты в пачку собирать и через batch api прокидывать

т.е. если средствами доктрины подкинуть в таблицу пачку записей то они имеют шанс неучитыватся еластиком при поиске ?

Плюнул лог в сеть и пошёл дальше.

чем udp будет выгоднее в данной ситуации?

кинул и забыл, и если у тебя например лэтенси до агрегатора большое (больше милисекунды) то можно сэкономить чуть-чуть

но это редко нужно

не с логами во всяком случае, тут только в надежных сетях

я вот все хочу кибану покрутить

а то живу с грейлогом уже сколько лет

а когда кибану крутил она была еще совсем сырая

кибана удобненько)

logstash maybe?

я вот все хочу кибану покрутить

там сейчас логи в еластике или сторедж прямо в кибане?

там сейчас логи в еластике или сторедж прямо в кибане?

эластик же

elk stack

кибана вообще принадлежит компании эластика

тоже хочу прикрутить

logstash maybe?

логстеш это если ты с файликов собирать хочешь