чудес не бывет, кто то должен ждать пока база вернет результат. Будь то “магический” асинхронный драйвер в своем пуле или фьюча на клиенте или просто блокирующий вызов

при неблок ио тред может делать что-то ещё, в этом разница

другой вопрос хочешь ли ты скрыть сложность этой блокировки отдав это на откуп драйверу или хочешь сам контролировать процесс и городить огород с фьючей сам

БД может юзать какие то свои специфичные оптимизации если асинхронность будет на ее стороне

(блокировка _не_ монитора, а именно на ио)

пацаны, поясните, а смысл в неблокирующем jdbc, если блокировки на уровне бд?

ну если у БД будет свое неблокирующее API

пацаны, поясните, а смысл в неблокирующем jdbc, если блокировки на уровне бд?

не у всех бд

ну если у БД будет свое неблокирующее API

это будет круто!

я сценарий в котором бд реляционная, например

целостность, все дела

pgsql же умеет вроде

не?

(блокировка _не_ монитора, а именно на ио)

согласен тогда профит в виде свободного потока

хз

я вот у вас и спрашиваю

https://www.postgresql.org/docs/9.6/static/libpq-async.html

в Java же ForkJoinPool умеет юзать ожидающие потоки

я правда сам не особо глубоко знаю как он там работает

но в доках написано что умеет

а только по join()

понятно

я вот у вас и спрашиваю

если бд не умеет, то у нее свой там тред пул, и надо аккуратно туда долбиться, чтобы не повесить

если повесил, то фиг что сделаешь со стороны аппликухи, не повезло)

короче ForkJoinPool все равно будет блокироваться IO блокировками и лучше его для этих целей не юзать

если повесил, то фиг что сделаешь со стороны аппликухи, не повезло)

будет, скажем, 5 потоков, ждущих 50 ответов из бд, остальные свободны, но юзеру, который ждет бд, от этого не легче

будет, скажем, 5 потоков, ждущих 50 ответов из бд, остальные свободны, но юзеру, который ждет бд, от этого не легче

Юзеру же можно реактивно UI обновить

После получения ответа

Юзеру же можно реактивно UI обновить

разве что ?

Посоветуйте книжку по ACID и concurrency control в СУБД. Желательно для не очень бородатых

что отсыпаешь?

Доброе день, добрый вечер, доброе утро, доброй ночи, здравствуйте. У меня вопрос про кафку. Есть топик, у него 10 partitions. Я создаю 10 консьюмиров (KafkaConsumer) с одинаковым groupId, начинаю консьмить данные с нулевого оффсета. Тренды по моим данным такие, что в продьюсере ~1.5 млн записей, новые появляется редко (1-10 записей в час). Мне нужно на эти полтора миллиона запостить snapshot в облако, а потом постить дельты на изменения. Со временем скорость забора данных падает, консьюмеры уходят в себя то на heartbeat'ах, то застревают на стадии ребалансировки. В дебаге вижу, что некоторые партиции быстрее других обрабатываются. И в конце концов, это приводит к тому, что начинается ребалансировка и длится по 15 минут на 10 консьюмерах ?‍♀️(RoundRobin) Прочитала что нужно пересоздавать консьюмеры время от времени, но это геммор тот еще - обработка оффсетов и их сохранение, чтобы следующим консьюмером начинать не сначала. Навесила RebalanceListener, а он не работает на close, так что надо как-то там перед закрытием оффсет тоже сохранить... короче, кишки и порнуха. Заменила все на 10 standalone consumers, каждую заассайнила на партицию, теперь время на ребалансировку не тратиться, так как ее тупо нет, но все равно, скорость poll падает постепенно, в итоге 50 процентов времени тратится на последние 10% данных. То есть за 8 минут обрабатывается 1.3 млн записей, остальные 150-200к тоже занимают 8 минут. Что я делаю не так, доктор? Scala-2.11.7, kafka-client-0.10.2.0. Ну хоть душу излила ?

весьма странно у меня на 6 партициях 150к в секунду живет без проблем (правда там консамер во флинке) объем в принципе такой, что здесь не зачем параллелить для ускорения чтений, хватит одного консьюмера

я бы посмотрел в сторону того, что живет за консамером, возможно эта часть не успевает срабатывать и приводит к деградации

я бы посмотрел в сторону того, что живет за консамером, возможно эта часть не успевает срабатывать и приводит к деградации

Спасибо. Я теперь все больше сеть подозреваю ?, но время позднее уже, а из дома совсем тухлый пинг. Придется завтра смотреть.

PasswordUtil

Видел бы это Егор

Видел бы это Егор

Думаешь твой код понравится Егору?

Думаешь твой код понравится Егору?

Я так не думаю :(

весьма странно у меня на 6 партициях 150к в секунду живет без проблем (правда там консамер во флинке) объем в принципе такой, что здесь не зачем параллелить для ускорения чтений, хватит одного консьюмера

флинк сам менеджит и партиции кафки, и то, как они фетчатся, итд же, тут немного другое

весьма странно у меня на 6 партициях 150к в секунду живет без проблем (правда там консамер во флинке) объем в принципе такой, что здесь не зачем параллелить для ускорения чтений, хватит одного консьюмера

как флинк в целом?)

норм, но у нас из сложного только хождение за данными в hbase, что мы разруливаем через блум фильтр

по факту нам морда больше нравится чем у спарка ?

флинк сам менеджит и партиции кафки, и то, как они фетчатся, итд же, тут немного другое

партиции он не менеджит на каждом экзекьюторе по одной консамеру

партиции он не менеджит на каждом экзекьюторе по одной консамеру

он сам назначает партиции и хранит информацию об их назначении в operator ListState

я это имел в виду, само собой не управление самими партициями

партиции он не менеджит на каждом экзекьюторе по одной консамеру

Плюс, что есть "экзекьютор"? Первый раз в терминах флинка такое слышу. Если ты имеешь в виду инстанс оператора, то да

по факту нам морда больше нравится чем у спарка ?

так вы на нем батчинг запускаете что ли? :(

так вы на нем батчинг запускаете что ли? :(

нет, потоковая обработка

батчи у нас исторически на спарке

нет, потоковая обработка

у спарка же дерьмовый стриминг?

у спарка другой стриминг, я не могу его назвать априори дерьмовым

(прикрученный сбоку к батчингу)

но лично я не фанат того что описано в пейпере, хотя он старый и хз что сейчас

Ну, называть микробатчинг стримингом у меня вообще язык не поворачивается

для меня стриминг это обработка unbounded data, остальное детали реализации

так то и кафка нано(по дефолту)батчами работает

батчи у нас исторически на спарке

какие у вас версии спарка и флинка на проде?

и флинк в целом не сырой для поставки важных данных именно в проде?

Что есть "сырой"?

ERROR: S client not available

кафка вон вообще 0.11, похоже, что сырая очень, рановато для прода, нет?

и флинк в целом не сырой для поставки важных данных именно в проде?

спарк 1.6 на джобах в новом пилоте 2.0, но он еще не попадал под нагрузку флинк стабилен у него возраст примерно как у спарка, просто популярность и буст разработки он получил год или два назад только

само собой есть проблемы местами, но где их нет

кафка вон вообще 0.11, похоже, что сырая очень, рановато для прода, нет?

В сбертехе же кафку пользуют. Или в проде еще нет ни одной системы с ней?

В сбертехе же кафку пользуют. Или в проде еще нет ни одной системы с ней?

Это вопрос? Или ответ? я ничего не понял

вопрос

кафка сила mq могила

Ну так в проде есть или wmq обмазываетесь?

кафку много где используют, к ней претензий нет про флинк знакомые с прошлого hadoop summit говорили, что только начинает выходить в массы

кафку много где используют, к ней претензий нет про флинк знакомые с прошлого hadoop summit говорили, что только начинает выходить в массы

А на сайте флинка тебе скажут, что его используют уже много компаний. и кому мне верить?

всем ку

есть кто по андройду

?

другой чат есть

скинь плз

спасиб)

@android_ru

Всем привет! Есть очень специфичный вопрос про SSL(TLS) в java. Есть кто-нибудь, кто имел опыт ? TLS соединение пишет ГРОМАДНОЕ количество информации в stdout. Проще говоря все действия в рамках TLS сессии. Это очень большая проблема. Как этого избежать ?

Изменить уровень логирования на пакете либы

javax.net.debug ?

может есть код на житхабе?

так оно в стдаут херачит, при чем тут уровень логирования?

так и вижу как кто-то юзал System.out в либе для продакта

поэтому решил что неправильная терминология, логгер кстати тоже может писать в stdout

Неужели, в Java tls логгируется в std out по дефолту ?? Что-то такое первый раз вижу

Возможно просто параметры логгирования неверно выставлены

да чего гадать, смотреть нужно))