S S S S a

s3a больше нравится

можно по расширению файлов определять. с кудрявыми скобками - File.scala, с отступами - File.py

да можно что угодно сделать

кто-нибудь кстати пользуется обновленным scastie?

Переключил бэкенд на scala.js, хелловорлд завелся. Но мееедлеенноооо.

circe может из коробки сделать декодинг в shapeless-овский record? судя по документации и тестам в circe все должно работать, но не компилится

https://github.com/circe/circe/blob/master/modules/tests/shared/src/test/scala/io/circe/shapes/ShapelessSuite.scala#L48

ребя, подскажите структуру данных для хранения сообщений приложения типа чатик

Домашка?)

собеседование на junior

давай как на SO пишешь конкретную проблему, её пытаемся разобрать а то докапываясь до требований может всё перевернуться

ребя, подскажите структуру данных для хранения сообщений приложения типа чатик

Мы в одном проекте хранили в виде свусвязного списка бакетов по N сообщений. Бакеты отденльно индексировались полнотекстовым поиском.

собеседование на junior

https://github.com/donnemartin/system-design-primer/blob/master/README.md

там много всякого

Мы в одном проекте хранили в виде свусвязного списка бакетов по N сообщений. Бакеты отденльно индексировались полнотекстовым поиском.

а хеш сет не рассматривали?

а хеш сет не рассматривали?

При чем тут хэшсет?

ребя, подскажите структуру данных для хранения сообщений приложения типа чатик

LSM-tree

При чем тут хэшсет?

Не, не так Почему хэш сет?

блокчейн

При чем тут хэшсет?

подгружать историю сообщений

блокчейн

эфир? XD

зато секурно

ну предположим у тебя есть такой хэш сет с сообщениями как ты будешь подгружать историю?

можно прям пример кода

_.sort(_.createdAt) кривая рожа.жпг

_.sort(_.createdAt) кривая рожа.жпг

желательно чтоб Дмитрий сам пришел к каким то выводам вероятно в силу опыта ему нужны наводящие вопросы

всем спасибо, ребята

_.sort(_.createdAt) кривая рожа.жпг

Без троллинга давайте

подгружать историю сообщений

scala> val xs = collection.mutable.HashSet("10 msg", "2 msg", "5 msg", "3 msg") xs: scala.collection.mutable.HashSet[String] = Set(3 msg, 2 msg, 5 msg, 10 msg) scala> xs.head res3: String = 3 msg

для пятницы, кстати, норм чат будет)

если без троллинга, то разновидности CRDT вроде часто используют

если без троллинга, то разновидности CRDT вроде часто используют

Вот это интересно.

Вряд ли на позицию джуниора требуется распределенное решение

Вопрос скорее в конкурентном доступе к одному ресурсу

У нас была какая тема. Наше хранилище сообщений для чатика должно было а) быстро, желательно за один поход в лоулевел-сторадж получить список сообщений б) быстро получать следующие экраны (скроллинг). в) искать сообщения полнотекстовым поискаом выводя их с контекстом и возможностью опять же поскроллить вверх-вниз. По этому поверх произвольного KV с поддержкой CAS мы накрутили двусвязный список списков по N сообщений.

scala> val xs = collection.mutable.HashSet("10 msg", "2 msg", "5 msg", "3 msg") xs: scala.collection.mutable.HashSet[String] = Set(3 msg, 2 msg, 5 msg, 10 msg) scala> xs.head res3: String = 3 msg

Звучит как идея для моднейшего стартапа за миллиард на пример. Чат где все сообщения вперемешку. Хэшчат.

Место где царит веселье и радость

и хэш

Привет. Написал пост на Хабре по мотивам своего курса на Степике: https://habrahabr.ru/post/329176/

У нас была какая тема. Наше хранилище сообщений для чатика должно было а) быстро, желательно за один поход в лоулевел-сторадж получить список сообщений б) быстро получать следующие экраны (скроллинг). в) искать сообщения полнотекстовым поискаом выводя их с контекстом и возможностью опять же поскроллить вверх-вниз. По этому поверх произвольного KV с поддержкой CAS мы накрутили двусвязный список списков по N сообщений.

Простите, а в этом двусвязном списке вы хранили ссылки на сообщения или сам текст сообщений? Просто если необходимо разнести хранение на несколько нод, как это оптимальнее сделать?

Простите, а в этом двусвязном списке вы хранили ссылки на сообщения или сам текст сообщений? Просто если необходимо разнести хранение на несколько нод, как это оптимальнее сделать?

У нас были ссылки. Но как сейчас мне кажется можно было было сразу в бакеты класть сообщения.

У нас были ссылки. Но как сейчас мне кажется можно было было сразу в бакеты класть сообщения.

А сообщения в кейсклассах или сериализованы в json например?

А сообщения в кейсклассах или сериализованы в json например?

В базе ве хранилось в json. Сами сообщения могли быть разного типа (наследовались от одного sealed trait). Например текст, стрикер, ну и всякие специфические вещи.

Привет. Написал пост на Хабре по мотивам своего курса на Степике: https://habrahabr.ru/post/329176/

да , почитали , спасибо большое

Привет. Написал пост на Хабре по мотивам своего курса на Степике: https://habrahabr.ru/post/329176/

?

В базе ве хранилось в json. Сами сообщения могли быть разного типа (наследовались от одного sealed trait). Например текст, стрикер, ну и всякие специфические вещи.

На Ваш взгляд следующий подход с кешированием оправдан? В бд хранить совсем древнее, свежие сообщения кидать кеш, а затем шедуллером дописывать в бд?

На Ваш взгляд следующий подход с кешированием оправдан? В бд хранить совсем древнее, свежие сообщения кидать кеш, а затем шедуллером дописывать в бд?

В нашем случае любые сообщения имели ценность, по этому они сразу писались бд.

В нашем случае любые сообщения имели ценность, по этому они сразу писались бд.

Спасибо за консультацию.

На Ваш взгляд следующий подход с кешированием оправдан? В бд хранить совсем древнее, свежие сообщения кидать кеш, а затем шедуллером дописывать в бд?

Во многих базах свежие и так будут висеть в кэше

Во многих базах свежие и так будут висеть в кэше

Т.е. если понадобится к ним обратиться это будет эквивалентно обращению в кеш?

да но всегда есть нюансы (как с любым кэшом) и для точного понимания (для приближения к этому) надо изучать уже конкретные базы

дьявол в деталях

да но всегда есть нюансы (как с любым кэшом) и для точного понимания (для приближения к этому) надо изучать уже конкретные базы

Спасибо, пойду смотреть матчасть. В проекте бд слабое место.

я сейчас наброшу, а есть бенчмарки горутин и правильно организованных скалафьюч ?

я сейчас наброшу, а есть бенчмарки горутин и правильно организованных скалафьюч ?

ну этот ваш го, у меня есть поинтереснее задачка. Если взять CRDT G-counter, и запустить 4 треда с ним которые будут его инкрементить и мержить в бекграунде, сможет ли такое решение обогнать те же 4 треда и расшаренный atomicLong?

сомнительно

чет сдается мне что нет

слишком много оверхеда ради i=i+1

если каждый тред будет свою thread-local копию обновлять, и раз в секунду синхронизировать с другими

должно же быстрее быть чем CAS у atomicLong? или тут что-то хитрое должно быть?

Привет. Написал пост на Хабре по мотивам своего курса на Степике: https://habrahabr.ru/post/329176/

Добавил в избранное =)

На Ваш взгляд следующий подход с кешированием оправдан? В бд хранить совсем древнее, свежие сообщения кидать кеш, а затем шедуллером дописывать в бд?

В LSM-tree подобный подход и используется.

В LSM-tree подобный подход и используется.

К сожалению тогда не знал этого, пришлось велосипедить.

должно же быстрее быть чем CAS у atomicLong? или тут что-то хитрое должно быть?

CAS же вроде на уровне процессорной инструкции реализуется, нативнее некуда

с одной стороны да, с другой где-то должно быть число тредов при котором CAS становится медленнее

надо будет написать небольшой бенч

для проверки гипотезы

тут уже могут быть нюаньсики на уровне архитектуры проца, кмк: L2 кэш же шарится между ядрами, во всяком случае у некоторых intel, почему бы не выполнять CAS через него

и intel же рассказывают, что они контрибутят в jvm по части оптимизаций для своих процов

А чо там Ибрагим то опять активизировался?

Оптимизации на уровне процов вам нужны будут примерно никогда хотя мож кто-то и работает в конторах, где стоимость оптимизации хардварно специфичного кода оправдывает все (с учетом того, что железо у вас будет меняться относительно быстро, чуть режем чем рождаются новые js фреймворки). Сегодня тюнили пропускную способность под одно железо, через полгода нам привезли новое с другими характеристиками. Возможны отдельные моменты связанные с нума и прочее но опять же, это требует понимания принципа, но не ковыряния в деталях. В jvm это спрятано глубоко, имеет специфичные реализации для разных архитектур, может меняться время от времени. Там свои оптимизации и ваши попытки что-то сделать на таком уровне не приведут к результату (с вероятностью около 1). Что вы можете делать. Мониторить ресурсы приложения, чтобы знать где проблема и принимать решения либо оптимизировать логику приложения, либо купить железа потому что оптимизировать дорого/некуда.

надо будет написать небольшой бенч

зависит от характера нагрузки писать бенч нужно сугубо под свой кейс

А чо там Ибрагим то опять активизировался?

пишет? )

пишет? )

Только что

https://github.com/olafurpg/scala-repos/blob/1225fa10eb67934d7c15fec745ceefe43005533b/repos/PredictionIO/data/src/main/scala/io/prediction/data/api/EventServer.scala#L334-L385 спрей роуты в хаскопитоновском стиле %)

А чо там Ибрагим то опять активизировался?

А куда зовет?

Откройте реддит, там новости с каждым днем смешней и смешней

А тебя не IVAN зовут?

Не, иван -это не я.

Или все русские - иваны?

а то знаете это самый крутой вопрос

do you know someone called IVAN, he is a scala developer?

Какой правильный ответ?

Ничо се. А чо еще спрашивает?

Ибрагим не работает на эту компанию я специально спрашивал

https://github.com/olafurpg/scala-repos/blob/1225fa10eb67934d7c15fec745ceefe43005533b/repos/PredictionIO/data/src/main/scala/io/prediction/data/api/EventServer.scala#L334-L385 спрей роуты в хаскопитоновском стиле %)

чет страшно

я хз чо это он вдруг

типа удаленка есть туда сюда

хай лоад во все щели

А чо за контора?

не говорит

Java?

хз

завтра узнаем

но если четсно, то что то как то стремно

Java?

scala

А вот и Иван видимо )

или Ибрагим

мне тоже пишет