Как бы тетсить Ha на виртуалках не очень)

дебажить, увы, приходится

либо придется создавать виртуальные интерфейсы, но имхо виртуалку проще поднять - один раз настроил, снял снепшот и готово

зачем? что ты этим протестируешь? если ты тестируешь логику кластера - не важно где работают инстансы, на одной машине или на разных. если тестируешь сеть - с виртуалками сподручнее, чтобы не ебаться с локальными роутами в оси. если проводишь тест на отказ при ограниченных ресурсах и поднимаешь для этого виртуалки на локальной машине - занимаешься самообманом)

тестировать кластер без тестирования сетки не имеет особого смысла, как мне кажется

скидываешь пласт возможных проблем и все

> чтобы не ебаться с локальными роутами в оси да, поэтому поднимаешь виртуалку и тестируешь комплексно e2e тестами

вот после таких тестов и появляются статьи - "100500 ошибок которые мы сделали и в чем обманулись при тестировании"

лол :)

Всем привет) Народ, может кто подсказать, надо сделать автоматическую сортировку по полям таблицы в Slick. Нужно это что бы был полноценный rest. Т.е. ... user?sort=+family,-name Я сейчас перевожу это в формат seq(string, boolean), но теперь на основе этого надо через slick сформировать корректно запрос, на этом и стопнулся. Может кто подсказать куда смотреть?

а он не позволяет цепочку сделать? q.sortBy().sortBy() ?

это можно, но у меня есть seq(string, boolean) Из string я могу вытащить собственно название поля по которому надо сортировать, по boolean - как сортировать. Но sortBy() работает по типу sortBy(_.family.asc) и вот как это сделать - я не знаю... ведь в seq() family - это string. Как это правильно надо делать тчо бы получилось?

нужно этот seq конвертнуть в Seq[slick.lifted.ColumnOrdered[T]]

*маппер написать то бишь

и потом можно будет зафолдить ее уже в Query, думаю

Хм... щас буду пробовать, правда не уверен что всё верно понял... Но - спасибо, попробую)

Эм.. а под "зафолдить" вы что имели в виду? Потому что я сейчас вижу вариант прогнать всё через foreach при этом используя var...

Можно на "ты" :) val query: Query[...] = ... val sortedQuery = resultSeq.foldLeft(query)((sort, q) => q.sortBy(sort))

тож самое в целом

кто-нибудь работал с scalalike-jdbc-async и postgres драйвером в проде? у scalalike-jdbc-async в readme сказано что проект в бете, но кажется это давно так написано

я что-то не осилил быстро к плею прикрутить. забил, использую синхронный + отдельный пул

отдельный Thread Pool + jdbc Connection Pool?

синхронный scalikejdbc

там какой-то другой по-умолчанию пул вроде

как люди этот slick используют, там шаг в сторону от crud и ты попадаешь в бассейн с крокодилами

в scalikejdbc в худшем самом сложном случае можно plaintext sql написать

в принципе там можно sql”select * from foo” писать

в слике можно. в некоторых случаях так и делал

там можно эти sql"..." компоновать?

в scalikejdbc можно и очень удобно строить запросы из разных кусочков полу plaintext запросов

а вообще не хочу начинать новый холивар :)

я хочу собрать deb, о чем писал в четверг! сегодня я буду всем надоедать здесь этим :D

там можно эти sql"..." компоновать?

составить из отдельных кусочков запрос, не уверен на самом деле

для начала надо проверить, будет ли работать без фильтра таска

продолжим-с :)

Scalikejdbc, насколько я помню, норовит под все сделать prepared statements... Поэтому использовать его с каким-то пулером коннектов надо осторожно. Например, для случая postgresql + pgbouncer.

Можно на "ты" :) val query: Query[...] = ... val sortedQuery = resultSeq.foldLeft(query)((sort, q) => q.sortBy(sort))

Прошу прощения, отходил. Вот сейчас я собственно получаю sortFuncs: Seq[slick.lifted.ColumnOrdered[T]]* , в итоге остается val table: TableQuery[MTI] sortFuncs.foldLeft(table).... Так? или опять что-то не так делаю?

Парни подскажите пожалуйста какую нибудь дельную книгу по распределенным системам, ну чтоб там начиная с кап теоремы звканчивая рафтом

Scalikejdbc, насколько я помню, норовит под все сделать prepared statements... Поэтому использовать его с каким-то пулером коннектов надо осторожно. Например, для случая postgresql + pgbouncer.

а что в этом плохого, если использовать запросы с параметрами?

Прошу прощения, отходил. Вот сейчас я собственно получаю sortFuncs: Seq[slick.lifted.ColumnOrdered[T]]* , в итоге остается val table: TableQuery[MTI] sortFuncs.foldLeft(table).... Так? или опять что-то не так делаю?

думаю, да

@Nirland http://book.mixu.net/distsys/single-page.html

> Sergey Tolmachev а что в этом плохого, если использовать запросы с параметрами? На уровне протокола постгреса вызов prepared query - это в упрощенном виде передача по протоколу идентификатора запроса и списка параметров. Соответственно, если bouncer отдаст коннект, где запроса с таким id не будет - это приведет к понятным последствиям.

думаю, да

Эм... не работает...

> Sergey Tolmachev а что в этом плохого, если использовать запросы с параметрами? На уровне протокола постгреса вызов prepared query - это в упрощенном виде передача по протоколу идентификатора запроса и списка параметров. Соответственно, если bouncer отдаст коннект, где запроса с таким id не будет - это приведет к понятным последствиям.

я не очень все это понимаю, но почему его может не быть?

типа препаред стейтмент на уровне коннекта существует?

я не очень все это понимаю, но почему его может не быть?

Естессно, на уровне коннекта

я не знаю, как это работает под капотом, но как-то это работает с этим :)

Эм... не работает...

но собирается?

но собирается?

неа, я тут вот такой вариант нашел: http://scadiddle.blogspot.ru/2013/06/paging-and-sorting-with-slick-and-scala.html Сейчас думаю как бы его переделать под вариант с одним общим методом, но тут уже не так сложно. Осталось придумать вариант с передачей не только как сортирвоать, но и функции с тем как искать :) И будет всё хорошо)

ужас, ну так его переделать надо что бы ужаса не было)

https://github.com/fcomb/fcomb/blob/develop/fcomb-persist/src/main/scala/io/fcomb/persist/PaginationActions.scala#L28-L45 у меня такой generic метод

q.sortBy { t => val c = f(t).applyOrElse(column, unknownSortColumnPF) val sortOrder = order match { case SortOrder.Asc => Ordering(Ordering.Asc) case SortOrder.Desc => Ordering(Ordering.Desc) } ColumnOrdered(c, sortOrder) }

на самом деле хороший пример в примере Play REST в Activator'е, но вот именно его я и пытаюсь на слик переложить, уже все остальное переложил, только сортировка осталась

https://github.com/fcomb/fcomb/blob/develop/fcomb-persist/src/main/scala/io/fcomb/persist/PaginationActions.scala#L28-L45 у меня такой generic метод

если не ошибаюсь он возвращает просто список из полей и ипов сортировки типа asc/desc, так?

если не ошибаюсь он возвращает просто список из полей и ипов сортировки типа asc/desc, так?

нет, он берет Query[_, _, _] (Например таблицу юзеров), потом список таплов (поле, тип портировки) и применяет их к этому query, возвращая новый query

т.е. применяет .sortBy

https://github.com/fcomb/fcomb/blob/develop/fcomb-persist/src/main/scala/io/fcomb/persist/OrganizationGroupsRepo.scala#L103-L107 вот пример сортировки по колонкам

не нужно писать проверку на каждое поле и на asc/desc

лучше способ без макросов я не нашел

Вот я примерно это и хотел... только мозгов не хватает видимо пока самому такое делать. Буду изучать тогда ваш пример)

если что, могу помочь ибо там все без доки

Буду благодарен, ибо разбираюсь я на... достаточно низком уровне по моему мнению..)

это все работает из play?

да

Собственно начинал я с play-api-rest который можно взять через Activator. Но я хочу это видеть в работе через slick. Как идут данные внутри - я разобрался. А вот с самим сликом пока не могу. Собственно что делаю: Для каждой таблички есть подобные методы: val sortingFields = Seq("id", "login") def sortingFunc(fieldsWithOrder: (String, Boolean)): (UserTableDef) => ColumnOrdered[_] = { fieldsWithOrder match { case ("id", ASC) => _.id.asc case ("id", DESC) => _.id.desc case ("login", ASC) => _.login.asc case ("login", DESC) => _.login.desc } }

т.е. я смотрю какие поля разрешены к сортировке и выдаю их в формате seq(string, boolean)

Если там косяк - значит выдаю косяк

case ("id", ASC) => _.id.asc case ("id", DESC) => _.id.desc не ужели нельзя взять колумн и потом к нему применить asc || desc ?

ASC|DESC это что за тип?

Можно, но я пока делаю по примеру, и просто хочу сделать что бы оно работало

Boolean

а

лучше енум

я думал там enum

или в виде обжектов, но не бул

object Sorting { final val ASC = false final val DESC = true }

пока там так

sealed trait SortOrder object SortOrder { final case object Asc extends SortOrder final case object Desc extends SortOrder }

fieldsWithOrder: (String, Boolean) -  над названиями как всегда поработать надо. тупл называть "поля" во множественном числе - странновато

fieldsWithOrder: (String, Boolean) -  над названиями как всегда поработать надо. тупл называть "поля" во множественном числе - странновато

There are only two hard problems in Computer Science: cache invalidation and naming things

Соглашусь про названия, но я опять же пока беру названия из примеров, целые куски кода оттуда беру

А так да, проблемы всегда проблемы

Собственно что дергаю в методе котроллера: Users.page(1L, sortingFields, p, s) //Сортировка def page(id: Long, sortingFields: Seq[(String, Boolean)], p: Int, s: Int) = Future.successful { val tbl = table //Тут по идее условие для filter должно быть val filterFunc: UserTableDef => Rep[Boolean] = { u => (u.id === id) } //Тут дергаем уже общий для всех моделей метод и скармливаем ему функцию с фильтров и данные по сортировке super.page(p, s)(filterFunc)(sortingFields.map(sortingFunc): _*) Page(Seq(User(1, "login", "passwd", Some("email"),false)),1,1,1) }

Вот этот общий метод: ` def page[T](p: Int, s: Int)(filterFunc: T => Rep[Boolean])(sortFuncs: Seq[slick.lifted.ColumnOrdered[T]]*) = { var res = table sortFuncs.foldLeft(res)((r,q) => r.sortBy(q) ) res.filter(filterFunc) //Ну и тут по идее надо вернуть Page где sorted уже запрос с сортировкой и фильтрами // Page( // items = (sorted.drop((p - 1) * s).take(s)), // page = p, // size = s, // total = (sorted.size) // ) }

Вот примерно как-то так. Где-то я не туда завернул, а где - понять не могу

а есть же какие то веб сервисы для шаринга кода прямо вот в реальном времени да?

ага, даже в идею плагинчиком цепляется

и можно краудсорсингом в лайве заниматься

но честно говоря быстро надоедает, не функционально

ну сюда копипастить код тоже не очень крутая практика

ну или хотя бы моноспейсед если немного кода

или ссылка на пастбин

c9 умеет

если сюда вставить то и скалафиддл всякие есть) я что-то про коллаборацию вспомнил - парное программирование удаленное)

https://floobits.com/

wow, даже имакс есть

вот этот как-то давно пользовал, для опенсорса шарить и водить чела по коду удаленно вполне удобно, но не более) выделяешь кусок кода - у него тоже выделяется, болтаете обсуждаете туда сюда гуляете)

Рябят по спарку вопрос; как получить адрес локальной директории воркеров для конретного джоба? чтото типа по дефолту это /tmp/spark/app-appid

вообще даже драйвера

spark.local.dir из конфига вытащить?

аа, конкретной джобы/экзекьютора?