@scala_ru
Yuriy27.06.2017
16:48:44
16:48:44
Неа - просто вопросы есть
Nick27.06.2017
16:54:57
16:54:57
в это плане, все недостатки становятся несущественными по сравнению с реляционками, а преимущества становятся очевидными
с тем же успехом можно в постргесе json хранитьYuriy27.06.2017
16:55:26
16:55:26
Мне не нужен код, просто есть ряд вопросов, которые для меня открыты: в частности 1) функции map/reduce в rdd соответствуют ли сигнатурам описанных в псевдокоде или требуется другой подход? 2) правильно ли я понимаю, что этот алоритм подразумевает расшаренное для всех воркеров пространство памяти для хранения Vertex ?
Oleg27.06.2017
16:59:23
16:59:23
Мне не нужен код, просто есть ряд вопросов, которые для меня открыты: в частности 1) функции map/reduce в rdd соответствуют ли сигнатурам описанных в псевдокоде или требуется другой подход? 2) правильно ли я понимаю, что этот алоритм подразумевает расшаренное для всех воркеров пространство памяти для хранения Vertex ?
Раз уж эксперты молчат, отвечу я
1. в RDD такой map называется flatMap, такой reduce называется reduceByKey
2. Этот алгоритм подразумевает некую мутабельную распределённую коллекцию, в спарке таких нет, но для таких дел есть GraphX
Google
Митко Соловец?27.06.2017
16:59:47
16:59:47
с тем же успехом можно в постргесе json хранить
я не видел нормального джавогого апи для работы с джэйсон в постгресепри этом тот же спринг даёт первоклассную поддержку монги на всех уровнях
писать хранимки мне не хочется, как и запросы вручную
AlexandrOleg27.06.2017
17:04:19
17:04:19
Мне не нужен код, просто есть ряд вопросов, которые для меня открыты: в частности 1) функции map/reduce в rdd соответствуют ли сигнатурам описанных в псевдокоде или требуется другой подход? 2) правильно ли я понимаю, что этот алоритм подразумевает расшаренное для всех воркеров пространство памяти для хранения Vertex ?
В качествн альтернативы можно было бы придумать несложный код, который итеративно обходит граф в ширину
Aleksey27.06.2017
17:06:18
17:06:18
Юра, привет!
A27.06.2017
17:08:06
17:08:06
Главное дз добросовестно делать
Oleg27.06.2017
17:10:16
17:10:16
Ой да хватит вам, как можно любить дз
Митко Соловец?27.06.2017
17:10:21
17:10:21
апи монго драйвера и спринг дата монги по сравнению с этим, как феррари и жигули
A27.06.2017
17:10:43
17:10:43
GoogleМитко Соловец?27.06.2017
17:11:10
17:11:10
но отдельные поля без схемы
A27.06.2017
17:11:24
17:11:24
И миграции писать
Митко Соловец?27.06.2017
17:11:25
17:11:25
Map<String, ?>
Nikita27.06.2017
17:11:35
17:11:35
постгрес при апдейте одного ключа в jsonb пишет всю строку в wal
Митко Соловец?27.06.2017
17:11:35
17:11:35
орешь чтоли)
A27.06.2017
17:11:47
17:11:47
Будешь
Митко Соловец?27.06.2017
17:11:56
17:11:56
не буду
A27.06.2017
17:12:10
17:12:10
Например для нормализации
Когда окажется, что какое-то поле в 10 вариантах, а тебе поиск нужен
Митко Соловец?27.06.2017
17:13:14
17:13:14
краевой случай
Митко Соловец?27.06.2017
17:13:55
17:13:55
в любом случае, мы посчитали, что саппорт и удобство со стороны монги лучше
Митко Соловец?27.06.2017
17:14:43
17:14:43
я пользовался еще монго 2.х в своё время
это был кусок собачьего дерьма
сейчас довели до состояния вменяемого
GoogleOleg27.06.2017
17:15:09
17:15:09
Какого дерьма теперь это кусок?
Митко Соловец?27.06.2017
17:18:31
17:18:31
кстати, а в скале вообще орм, одм пользуются? или у вас свои супер пупер крутые либы для маппинга
Mikhail27.06.2017
17:19:21
17:19:21
кстати, а в скале вообще орм, одм пользуются? или у вас свои супер пупер крутые либы для маппинга
че там мапить то?
case class MyModel(col1:String, col2:Fuck, col3:Suck)
- вся мапа, йопт
IvanA27.06.2017
17:20:40
17:20:40
Стикеры уикеры
Митко Соловец?27.06.2017
17:21:06
17:21:06
@fomkin Я тут думал долго
5 минут думал
я понял в чем убер-фича твоего фреймворка Королев
фронтендера на Королеве никогда не назовут обезьяной
KrivdaTheTriewe27.06.2017
17:31:29
17:31:29
но джава макакичи останутся навсегда
Alexander27.06.2017
17:32:32
17:32:32
Grigory27.06.2017
17:33:56
17:33:56
был какой-то выпуск
Alexander27.06.2017
17:34:47
17:34:47
Вот такая задача получилась даже без фриманаток, на чистом finally tagless.
Однако если ты вместо врайтера воспользуешься фриманатками для всех сервисов( а они тоже генерятся либератором из коробки) , в качестве результата ты фактически получишь план исполнения, который сможешь очень-очень подробно проверить вручную, если тебе нужно
А можно узнать принципиальную разницу между фри и тэглес? Последнее мне показалось удобнее в Скале в плане использования и описания синтаксически.Oleg27.06.2017
17:44:47
17:44:47
А можно узнать принципиальную разницу между фри и тэглес? Последнее мне показалось удобнее в Скале в плане использования и описания синтаксически.
Фри/Инжект подразумевает промежуточное дерево суммы АДТ, а ФТ не подразумевает. ФТ подразумевает просто полиморфный код. В использовании оно действительно удобней, но нетривиальный код усложняется из-за отсутсвия в скале нормальных полиморфных функции.
А так во многих практических ситуациях они изоморфныПросто юзаешь aecor/liberator и у тебя есть и то, и другое
Yuriy27.06.2017
17:47:58
17:47:58
Раз уж эксперты молчат, отвечу я
1. в RDD такой map называется flatMap, такой reduce называется reduceByKey
2. Этот алгоритм подразумевает некую мутабельную распределённую коллекцию, в спарке таких нет, но для таких дел есть GraphX
В graphx уже попробовал решение по модели pregel но тк в кассандре у меня есть adjucency list то хочу и вот такой попробовать. Спасибо за ответ. А верно ли я понимаю что можно apache ignite попробовать для такой коллекции заюзать?В качествн альтернативы можно было бы придумать несложный код, который итеративно обходит граф в ширину
Если я правилтно понимаю то это называется Bulk synchronous parallel - уже пробовалGoogle
guga27.06.2017
18:05:52
18:05:52
@dmsol а почему монго? По-сути вы же её как кэш используете разве не проще взять редис?
Митко Соловец?27.06.2017
18:06:51
18:06:51
@dmsol а почему монго? По-сути вы же её как кэш используете разве не проще взять редис?
не просто кэш, отдельное приложение еще на основе данных от рестфул-сервиса свои данные создаетт.е. персистентность какая никакая требуется
AdminERROR: S client not available
guga27.06.2017
18:08:19
18:08:19
Ну редис тоже умеет на диск скидывать ?
Sergey27.06.2017
18:25:28
18:25:28
а datomic юзал кто-нибудь по серьезке?
Alex27.06.2017
18:29:00
18:29:00
А можно узнать принципиальную разницу между фри и тэглес? Последнее мне показалось удобнее в Скале в плане использования и описания синтаксически.
фри нужно если ты анализируешь промежуточное представление, т.е. пишешь чтото типа миникомпиляторавот например в scalaz-stream/fs2 оно используется для оптимизаций насколько я знаю
Alexander27.06.2017
18:47:13
18:47:13
фри нужно если ты анализируешь промежуточное представление, т.е. пишешь чтото типа миникомпилятора
Ага, т.е. основная разница в том, что с тэглес мы не можем модифицировать АСТ?Alex27.06.2017
18:48:51
18:48:51
ага
Nick27.06.2017
19:28:47
19:28:47
я не видел нормального джавогого апи для работы с джэйсон в постгресе
В смысле? Строкой sql написал и всеТам ж jdbc
guga27.06.2017
19:30:03
19:30:03
Запроса
Nick27.06.2017
19:30:19
19:30:19
Это проблема?
GoogleNick27.06.2017
19:41:14
19:41:14
Но типобезопастные запросы приятнее будут
А типа в монга драйвере такие? Да и чем полезнее то? Сложные запросы сходи напиши, агаguga27.06.2017
19:42:09
19:42:09
А типа в монга драйвере такие? Да и чем полезнее то? Сложные запросы сходи напиши, ага
Нет конечно. Но хотелось быNick27.06.2017
19:42:25
19:42:25
Не понимаю зачем тебе типо безопасность?
guga27.06.2017
19:42:53
19:42:53
Что бы не тестами проверять, а компилятором?
Nick27.06.2017
19:42:56
19:42:56
Вон в doobie тест чекер написал, он проверит
Что бы не тестами проверять, а компилятором?
Компилятор кстати не все поймает, у него нет метадаты с базыguga27.06.2017
19:44:54
19:44:54
Компилятор кстати не все поймает, у него нет метадаты с базы
Конечно, но у него же есть описание твоей схемыNick27.06.2017
19:45:55
19:45:55
Ну он тебе ещё и sql парсить должен?)
Alexander27.06.2017
20:18:56
20:18:56
Mikhail27.06.2017
20:20:25
20:20:25
Тоже интересно стало.
если это действительно следствие конкретной реализации, то интересного мало) просто продукт без изьянов крайне сложно сделать и всегда приходиться чем-то жертвовать)
Открыть в Telegram