В чем сакральный смысл того, что в doobie я должен делать .query[Option[Instant]].unique вместо .query[Instant].option для несоставного значения?

вроде можно и второй вариант

первый вариант прост кинет exception если записей нет

первый вариант прост кинет exception если записей нет

как раз выходит наоборот: первый вариант возвращает корректный Option, а второй doobie.util.invariant$NonNullableColumnRead: SQL `NULL` read at column 1 (JDBC type Timestamp) but mapping is to a non-Option type; use Option here. Note that JDBC column indexing is 1-based. at doobie.util.atom$Atom$$anon$3.$anonfun$unsafeGet$2(atom.scala:45)

сама колонка nullable?

может у тебя там not null стоит

в целом да, у меня результат аггрегирующей функции

typechecked queries не используются

ну прикол в том, что она никогда не может быть null

покажи полностью функцию, если не сложно

(fr""" SELECT MIN(po.created_at) FROM """ ++ Fragment.const(tableName) ++ fr""" po WHERE """ ++ Fragments.in(fr"po.product_id", ids)).query[Option[Instant]].unique

created_at nullable field?

само по себе, нет

doobie о схеме ничего не знает

но в результате аггрегации null вполне может быть, если записей не оказалось

doobie о схеме ничего не знает

знает, у него в checker даже тесты на эт завязаны

само по себе, нет

тебе даже в Option не надо заворачивать сделай прост unique

тебе даже в Option не надо заворачивать сделай прост unique

тогда типы не сойдутся, я же явно хочу получить Option в результате

unique.attempt

а дальше toOption)

у меня запрос отдельно определяется, т.ч. этот способ не взлетел, но за совет спасибо)

у меня запрос отдельно определяется, т.ч. этот способ не взлетел, но за совет спасибо)

натрави checker в тесте, посмотрим что он скажет)

%) сегодня вряд ли найду время его yolo завезти

да там не нужен yolo

https://github.com/tweag/sparkle

https://github.com/tweag/sparkle

и это хорошо

Что вы используете для периодически ( редко обновляемых) справочников в рантайме ? ( то есть есть некторые справочники в базе и хотелось бы без перезагрузки приложения обновлять val userTable = loadUserTable() , какой паттерн получше будет ( естественно интересует в первую очередь перфоманс )

Ну и обновленные данные являются надмножеством старых

А какого размера справочники?

Что вы используете для периодически ( редко обновляемых) справочников в рантайме ? ( то есть есть некторые справочники в базе и хотелось бы без перезагрузки приложения обновлять val userTable = loadUserTable() , какой паттерн получше будет ( естественно интересует в первую очередь перфоманс )

Как будто у тебя много вариантов. Либо кэш держать, либо лазить в справочник. Детали зависят от кейса исключительно. "паттерн" в контексте отдает индусо-пакистанским гетто %)

Что вы используете для периодически ( редко обновляемых) справочников в рантайме ? ( то есть есть некторые справочники в базе и хотелось бы без перезагрузки приложения обновлять val userTable = loadUserTable() , какой паттерн получше будет ( естественно интересует в первую очередь перфоманс )

ВЕ <парапарампампампам> ЛО <парапарампампампам> ...

Velocity?

А какого размера справочники?

ну все в памяти нормально живёт

ну все в памяти нормально живёт

Уточни в какой, 16 мб?)

Уточни в какой, 16 мб?)

да и мегабайта нет

Один из вариантов, если по какой то причине боишься каждый раз тягать не измененные данные - сделай в словаре у поля некий «update date» и периодически переинициализируй кеш, делая запрос where updateDate > lastCacheUpdateDate. Так же можешь сделать листенер в который будут прилетать эвенты от процесса модификации справочника, чтобы этот листенер инициировал обновление кеша.

да и мегабайта нет

и ты еще паришься О_о

у меня гб в кеше и ваще похер

а чо используете для локального кеша? (это вопрос не к ребятам из тинькофф которые исопльзуют тинькофф кеш)

лiл

HashMap

а чо насчет гуавы или кафеина? (последний типа огненный но там кто знает что оно как)

redis

гуава ок

да, отличный локальный кеш редис

я беру гуаву обычно, если нужно время жизни записи

но для справочника, имхо, это не надо

а чо используете для локального кеша? (это вопрос не к ребятам из тинькофф которые исопльзуют тинькофф кеш)

Вероятно, Вы имели в виду Tinkoff MacroCache?

Вероятно, Вы имели в виду Tinkoff MacroCache?

кстате гооря это он?

Но это решение выходящее далеко за "локальный кеш"

тот магический кеш который тут прли

прли?

пиарили*

пиарили* ?

да; хвастались неким тинкоф кешем, который не был доступен общественности, на сколько я помню

если на столько вспоминать, то это он

я уже спрашивал этот вопрос тут; является ли макрокеш тем самым кешем мой вопрос пропустили ):

значит надо смотреть

Там кеш, который по дефолту поставлятся с TrieMap ой

Но где-то там он привязан к хазелкасту у нас

Уж лучше хз притащить

У хз есть ж локальный кэш

Уж лучше хз притащить

Ну макрокеш - это ДСЛ для любого кеша

Просто тайпсейфовый и с гибкими тайпсефовыми правилами инвалидации

ERROR: S client not available

а

Друзья, можно ли сделать спарк стримингу стрим из селекта? Но так, чтобы каждый цикл/батч запрос выполнялся заново. Или низзя и надо костылем делать пустой стрим, внутри которого селект в датафрейм?

Друзья, можно ли сделать спарк стримингу стрим из селекта? Но так, чтобы каждый цикл/батч запрос выполнялся заново. Или низзя и надо костылем делать пустой стрим, внутри которого селект в датафрейм?

Стрим с одними и теми же данными? В спарке есть констант стрим

Стрим с одними и теми же данными? В спарке есть констант стрим

"каждый батч запрос выполнялся заново" Понятно дело, записи в таблице меняются. Да и запрос будет с where условием по времени

"каждый батч запрос выполнялся заново" Понятно дело, записи в таблице меняются. Да и запрос будет с where условием по времени

Если тебе нужно делать постоянный селект к чему либо периодически ты можешь сделать констант стрим , делать оттуда селект и делать с твоими данными то, что тебе необходимо

https://github.com/jaceklaskowski/spark-streaming-notebook/blob/master/spark-streaming-constantinputdstreams.adoc

Не, нужен каждый раз свежий запрос и свежие данные. Смешно, но я требую от спарка батч-процессинга, т.е. практически то, чем он является. Но так как он весь такой стриминговый, напрямую это не катит.

Не, нужен каждый раз свежий запрос и свежие данные. Смешно, но я требую от спарка батч-процессинга, т.е. практически то, чем он является. Но так как он весь такой стриминговый, напрямую это не катит.

кто мешает делать запрос в обработчике констант стрима?

Хз, незнание. Наверно потому и спрашиваю совета

кто мешает делать запрос в обработчике констант стрима?

Спасибо! Полистал сорсы, нашел магический compute, уверовал. Буду экспериментировать.

а чо используете для локального кеша? (это вопрос не к ребятам из тинькофф которые исопльзуют тинькофф кеш)

https://github.com/ben-manes/caffeine

правда на нагрузках не гонял его, но выглядит неплохо

https://github.com/cb372/scalacache

правда на нагрузках не гонял его, но выглядит неплохо

lа на нем тоже остановился

я бы просто хотел какой-нибудь грязый хак, который стопает все треды и делает подмену синглтон обжекта :(

я бы просто хотел какой-нибудь грязый хак, который стопает все треды и делает подмену синглтон обжекта :(

shutdown -r now

я бы просто хотел какой-нибудь грязый хак, который стопает все треды и делает подмену синглтон обжекта :(

O_o

Постойте треды, не стучи сигнлтоном Обжект не такой как был вчера...

К тестировщице родной, с последним релизом Спешу показаться на глаза.

Не жди ты релиза, тестировщица Нина Того, что должен был быть еще вчера.

O_o

короче посыл такой, что не охот мутить сложный кеш :( хочется чтобы доступ был быстрый и задорный, а для этого можно бы и тормознуть все треды , в рантайме обновить как-нибудь оч грязно синглтон обжект и пустить вперед

аа точно, тормоза же там

shutdown -r now

ну походу так и будет на самом деле

Его мы сломали бесконечным стримом Все надо переписовать на акторА.

Ну вот вы сметесь , а есть желание избежать стопа сервиса , если справочник там раз в 10 дней дополняется одной записью

Сейчас все операции со справочником в синглтон объекте и нет проблем с доступом к нему как к глобальной переменной.

т.е. выходит твой справочник вообще можно заменить третрадкой с ручкой и перформанс не просядет?

AtomicRef?

Да я думаю о механизме хотсвапа ( или как там работает JRebel). Хотя мне кажется нужно будет просто заморочиться с ролями нод. И стопать их немножко

@krivdatheliggen анус какой-т делаешь)

@krivdatheliggen анус какой-т делаешь)

согласен наверн :(