Ну и на его базе https://github.com/scalikejdbc/scalikejdbc-async

даже если используется синхронная БД, асинхронный IO дает буст

кстати что-то вспомнилось, что и не только mysql бывает в роли mysql )) помню как запилил сервис с протоколом мускуля к собственному хранилищу, чтобы из пхп можно было стандартными драйверами пользоваться))) эх ностальжи

лучшее враг хорошего :)

даже если используется синхронная БД, асинхронный IO дает буст

оно не всегда верно. бдшка тоже не супермен. от того, что ей как можно больше запросов напихаешь - не обязательно все быстрее заработает)

даже если используется синхронная БД + пул потоков с синхронным ио + пул потокв на все остальное, даст профит, как мне кажется

оно не всегда верно. бдшка тоже не супермен. от того, что ей как можно больше запросов напихаешь - не обязательно все быстрее заработает)

я про http IO к другим сервисам

даже если используется синхронная БД + пул потоков с синхронным ио + пул потокв на все остальное, даст профит, как мне кажется

это тоже немного заблуждение, по крайней мере в такой формулировке. пул потоков используется в первую очередь для поддержания постоянных соединений к источнику и менеджинг очереди на стороне клиента. и здесь есть нюанс, если ты ожидаешь свободного потока из пула в синхронном режиме - твой исполнительный поток тоже лочится. следовательно если у тебя под капотом используется executor с джобами - то он просто не выйдет у тебя из джоба и не будет обрабатывать остальные, пока ты не закончишь. и тобишь если у тебя так все твои экзекуторы войдут в ожидание - профита в скорости никакого и не будет)

это я все упростил конечно как обычно, но суть одна)

а, ну и про пулы можно упомянуть - что это для разгрузки базы)

чтобы она не пыталась лопатить хренову тучу запросов одновременно)

эм.. чего это ему лочится?

а мне кажется вопрос был про синхронизацию фьюч, бери да в форе синхронизируй =)

это тоже немного заблуждение, по крайней мере в такой формулировке. пул потоков используется в первую очередь для поддержания постоянных соединений к источнику и менеджинг очереди на стороне клиента. и здесь есть нюанс, если ты ожидаешь свободного потока из пула в синхронном режиме - твой исполнительный поток тоже лочится. следовательно если у тебя под капотом используется executor с джобами - то он просто не выйдет у тебя из джоба и не будет обрабатывать остальные, пока ты не закончишь. и тобишь если у тебя так все твои экзекуторы войдут в ожидание - профита в скорости никакого и не будет)

как вы дао заворачиваете для стриминга чтобы красиво было ? То что перпартишн делать борров ресурса это норм, но как для постгри делаете

эм. ну ты же знаешь как пулы работают? когда ты просишь в синхронном режиме новое соединение - он ждет пока кто-нибудь освободиться и только после этого отдает тебе и лочит на это время твой поток)

не подскажешь?

не понял сути вопроса, проблема то какая?

"дао завернуть для стриминга" - это немного непонятно. дао - это дао, оно не говорит о синхронности-асинхронности, а стримы - это стримы - разные категории

эм. ну ты же знаешь как пулы работают? когда ты просишь в синхронном режиме новое соединение - он ждет пока кто-нибудь освободиться и только после этого отдает тебе и лочит на это время твой поток)

пул системных потоков + плюс пул соединений - это на работу с бд, плюс отдельно пул для бизнес логики, потоки для бизнес логики нигде не должны лочатся, вроде

между прочим, для синхронного пула можно вполне сделать асинк адаптер, который будет отдавать коннект в асинке. @krivdathetriewe наверное это как раз ответ на то, что ты хотел узнать. если нет возможности использовать асинк соединения

пул системных потоков + плюс пул соединений - это на работу с бд, плюс отдельно пул для бизнес логики, потоки для бизнес логики нигде не должны лочатся, вроде

пул системных потоков - это как раз таки совсем другое. потому что там блокировки как раз таки нет особо. система сама менеджит исполнение кода и исполняет твой байтики по пачкам и в любой момент может тебя приостановить и исполнить другой поток

а пулы соединений ждбц - они не умеют так. они ждут, пока ты все что тебе надо не выполнишь и сколько бы у тебя времени это не заняло (если нет таймаута) и только затем, после того как ты сам скажешь, что ты все - эту дорожку отдают другому просящему

Не, не про это, я просто не совсем понимаю как каноничней сделать выделение соединения, вот к примеру имеем http://pastebin.com/m4YFU56m

ну тройные же кавычки мать вашу

или ссылка на гист

ну йоптваю мать как в первом классе

или ссылка на пэйстбин

ну сюда то срать зачем?

убираю

херово тут форматирование и подсветка работают

лучше ссылку на гист

@krivdathetriewe без полной задачи ничего особо не скажешь. потому что возможно, что надо поменять общий подход к решению задачки) у тебя partitionedRecords.forEach - синхронный или асинк?

@krivdathetriewe без полной задачи ничего особо не скажешь. потому что возможно, что надо поменять общий подход к решению задачки) у тебя partitionedRecords.forEach - синхронный или асинк?

он на разных нодах кластера выполняется, то есть мне нужно написать некоторый класс, который серилизуется и при этом скрывает в себе реализацию коннешона к базе, плюс желательно. чтобы на каждом экзекьюторе соединение устонавливалось однократно ( то есть делался борров) , но и при этом я весь пул не истощил

если у тебя пул не в виде прокси для всех нод, а клиентскими средствами менеджится - то у тебя и так они не смогут истощить друг друга. а если ты боишься, что в рамках одной ноды у тебя какой-то поток будет забивать пул - то это напрасно, потому что выборка коннекта из пула синхронная и любой поток сможет вклиниться в очередь. просто не забывай возвращать в пул соединение после микродействия. либо делай буфер -

и только после накопления буфера бери коннект и пользуй его - так быстрее будет - у тебя же аналитика судя по коду, нет нужды по одному запросу гонять) но все как всегда от кейса зависит

не, я батчем, я же не пидор:)

пацан щитай)

но я такие вещи даже батчем не делаю. если упрощенно - то делаю отдельный аггрегирующий стрим и уже из него батчем - хоть в лайве, хоть delayed - самое быстрое так, если очень надо. правда и тулзы я в таких случаях другие пользую

Хорошие стикеры, распространил по чатам.

ага, один из лучших паков

tom of finland еще есть для ценителей :d

πdr štle

наконец-то нормальные стикеры

у меня их есть

раз тут все равно уже скалой не пахнет

скажите, может тут кроме политологов еще и медики есть

the sublethal (TD(50)) and lethal (LD(50)) doses, which were, respectively, 55 +/- 0.35 and 750 +/- 0.40 mg/kg.

Это ведь опечатка?

саблитал 550 а не 55 ?

это важно :>

т.е. 75 а не 750

750 +/- 0.40 дазент мейк сенс.

если погуглить эту фразу, то везде указано 750

гуглить первым куском без цифр

офк

хз как ты гуглил. в любом случае лучше ошибиться в сторону саблитал, чем вжарить 500

LD 50 мне понятен, что такое sublethal?

типа почти отъехал?

хз чего ты ожидал услышать от медиков, когда даже название вещества не вкинул, для которого TD50 и LD50 смотришь

A dose containing not quite enough of a toxin or noxious substance to cause death.

ну да, почти отъехал)

странная хрень

LD 50 - 50% подоптных умерло

скорее ты прав, да.

как мерить TD 50?

100% подопытных умерло

а, стой

TD 50 - 50 % стало хреново

50% подопытных подверглись токсикации организма

тогда может и быть такая разница

https://en.wikipedia.org/wiki/Median_toxic_dose

видимо в большой мери

тут должно быть

ну как я и сказал

все таки 55мг - хреново, 750 смерть

может , но +/-0.40 не может повлиять на 750

не поверю :)

я бы на месте @I_Rony придерживался доз до 55

так это погрешность измерени

749.6 еще живой, 750 все сдохли

кабумски

типа всем давали дозу 750 +-

749.6 еще живой, 750 все сдохли

это ж мг на кг, умножай эти 0.4 на 80 кг веса

the median toxic dose (TD50) of a drug or toxin is the dose at which toxicity occurs in 50% of cases.

вообще мне надо делить а не умножать

но не важно :)

ну между токсичностью и смерть большой гэп

так что нормальные цифры

по моему опыту так с кислотами всякими. Любая кислота проявляет свою токсичность от капли на марки, а для сметельного исхода надо влепить грамм 50 внутрь

грамм? :)

там микрограммами меряется