
Timur
25.02.2017
20:02:13
да
с ssh

Mikalai
25.02.2017
20:04:20

Timur
25.02.2017
20:20:31
Действительно, код с интернета, http пример helloworld работает, спасибо большое

Google

Ivan
26.02.2017
07:37:22
Помогите с выбором хранилища для данных http://telegra.ph/Est-li-takaya-nosql-02-26 , postgres как вариант понятен, оно и сейчас там, но надоели кучи джойнов, хочется какой то документной базы.

Daniel
26.02.2017
07:46:52
Удивительно
Надоели джойны - сделай одну таблицу, в ней два столбца
Первый - уникальный индекс
Во второй свали сериализованным все остальное
Да хоть jsonом

Ivan
26.02.2017
07:49:08
Так, лады. Свалил.

Daniel
26.02.2017
07:49:26
И будет ТОЧНО как в nosql

Viktor
26.02.2017
07:49:27
where по приjoin таблице будет?

Daniel
26.02.2017
07:50:01
Конечно! Полным перебором

Ivan
26.02.2017
07:50:10
Ну да, а выбирать то как потом, мне потмо запросы нужны пот по той , json части выборки

Viktor
26.02.2017
07:50:23
тогда перфомансу конец

Ivan
26.02.2017
07:50:40
Я посути про это и спрашиваю, есть ли такая база который этот json или чего там, может индексировать и эфективно потом выбирать

Google

Daniel
26.02.2017
07:50:46
А почему вы решили, что в nosql иначе?

Viktor
26.02.2017
07:50:55
в nosql будет тоже самое

Ivan
26.02.2017
07:51:05
Я не решил так, я знаю что во многих так, но вдруг есть которая может

Daniel
26.02.2017
07:51:21
Постгрес

Viktor
26.02.2017
07:51:26
я бы делал две таблицы

Daniel
26.02.2017
07:51:31
Кассандра

Viktor
26.02.2017
07:51:34
и смотрел откуда фильтровать будет дешевле

Daniel
26.02.2017
07:51:37
Аэроспайк

Ivan
26.02.2017
07:51:41
я наслышан есть какие то aggregation frameworks и всякие там прочие вторичные индексы

Viktor
26.02.2017
07:51:46
кассандра не поможет

Phil
26.02.2017
07:51:47

Daniel
26.02.2017
07:51:48
С монгой не работал
Но

Viktor
26.02.2017
07:52:12
jsonb тоже не панацея
даже с индексами

Daniel
26.02.2017
07:52:46
Nosql - это именно таблица из двух столбцов плюс вторичные индексы
Наслаждайтесь

Viktor
26.02.2017
07:53:19
ну в mongo можно будет сделать на встроенном aggregate framework map-reduce
только это перебор будет

Daniel
26.02.2017
07:53:47
Именно

Google

Viktor
26.02.2017
07:54:31
меня только одно интересует нафига такие схемы данных выбираете чтобы потом боль испытывать?

Ivan
26.02.2017
07:54:57
Ладно, это понятно. Я понимаю что key-value это таблица с двумя полями.
Просто то что люди как то это юзают, заставляет меня думать что они как то умеют эти вторичные индексы строить так что б эфективно внутрь лазить.
Ведь мой вопрос он про вторичный индекс, сможет ли он индексировать как бы массив внутри этого документа.

Viktor
26.02.2017
07:55:31
postgresql сможет
но до определенных пределов
советую посмотреть в jsonb секцию и индексы

Ivan
26.02.2017
07:55:57
Спасибо. Посмотрю.

Daniel
26.02.2017
07:55:57

Viktor
26.02.2017
07:56:00
сделать тестовую таблицы и погонять explain

Мерлин
26.02.2017
07:56:03
И быстрее на запись

Viktor
26.02.2017
07:56:16
mongodb тормоз будет
он только как write-only хорошо работает

Ivan
26.02.2017
07:56:51
Мне шардирование пофигу, у меня небольшая база, и вообще всё маленькое.
Получается судя по докладу Даниеля мне вообще в постгрес и там жить.

Viktor
26.02.2017
07:57:03
тогда да

Ivan
26.02.2017
07:57:04
Но когда я беру постгрес у меня руки сами джойны делают, без всяких jsonb

Phil
26.02.2017
07:57:11
Слушайте, а просто колонку индекса добавлять не?

Ivan
26.02.2017
07:57:30
А как, там же массив внутри то

Viktor
26.02.2017
07:57:35
если данных мало до 1М то постгресс это очень быстро даже

Мерлин
26.02.2017
07:57:40
https://www.postgresql.org/docs/9.6/static/datatype-json.html

Google

Daniel
26.02.2017
07:57:46

Ivan
26.02.2017
07:58:22
Т.е там условно, список статусов , какая колонка то, это ж уже таблица и джойн опять.

Viktor
26.02.2017
07:58:47
если у тебя строк до 1М сделай джоин уже
это будет быстро

Daniel
26.02.2017
07:58:56
Это ты как хочешь

Ivan
26.02.2017
07:59:55
Парни, смотрите, там джойны есть и они работают уже. Ну т.е. вариант РСУБД работает, и особых претензий к нему нет.
Но все вокруг ходят с вейпами и nosql , и тоже же хочется.
Поэтому я хочу понять как люди то делают в тех полях. Полный перебор чтоль каждый раз, когда выбрать по телу документа.
Или так хранят, что все возможные ключи дублированы.

Viktor
26.02.2017
08:00:50
приведу пример с монгой

Ivan
26.02.2017
08:01:00
Если не затруднит

Viktor
26.02.2017
08:01:19
есть большой поток данных, нужно с него снять метаданные какие-либо для последующего анализа и записать

Мерлин
26.02.2017
08:01:22

Viktor
26.02.2017
08:01:36
mongo отлично подходит с шардированием для такого wirte-only процесса
далее реально происходит полный перебор через map-reduce, делаются выводы, данные отправляются как бы в архив в пределах той же монги
делать это на SQL можно, но транзакционность убьет нахрен производительность

Daniel
26.02.2017
08:03:01
Сложнее
Но - да
Примитивная структура позволяет лопатить данные быстрее

Viktor
26.02.2017
08:03:52
именно

Мерлин
26.02.2017
08:04:01

Daniel
26.02.2017
08:04:32
И не апдейтишь их потом, так?

Google

Ivan
26.02.2017
08:05:14

Daniel
26.02.2017
08:05:18
В кассандре - не апдейтишь

Мерлин
26.02.2017
08:06:08

Ivan
26.02.2017
08:06:09
Я понял про что вы пишете, но хочется иногда веритьчто кто то всю работу возьмет и за тебя сделает.
У меня данные (статусы эти ) апдейтятся, и вручную поддерживать индекс, уж лучше поди продолжать постгрю.

Мерлин
26.02.2017
08:06:29

Ivan
26.02.2017
08:07:32
Да нет же
А можете так, однимм словом, вот я там запросы написал в посте-вопросе, сможет монга такие индексы построить и выбирать без перебора?

Мерлин
26.02.2017
08:08:21
Знаете для чего удобна монга?
Хуяк хуяк и прототип
Прям ваще

Ivan
26.02.2017
08:09:14
Т.е. ей лезть внутрь документа и выбирать там по паре полей внутри массива, это возможно?
Index Arrays with Embedded Documents это оно?

Мерлин
26.02.2017
08:11:41
https://docs.mongodb.com/manual/core/index-multikey/

Ivan
26.02.2017
08:16:11
Спасибо.
А вот "уметь такие" индексы это в целом стандарт для nosql или тока монга

Daniel
26.02.2017
08:17:29
Я везде видел, где вообще есть вторичные

Ivan
26.02.2017
08:20:39
Понятно, спасибо

Jonh
26.02.2017
11:01:31

Mars
26.02.2017
11:07:33

Anton
26.02.2017
11:15:20
проводили простенькие тесты в монге, иногда тупило на поиске по индексу аж 500-800мс... может конечно с диском еще были проблемы :D коллекция была всего 30кк записей

Ivan
26.02.2017
12:07:56
А вот godep надо использовать, или что то уже на замену пришло?

Constantine
26.02.2017
12:08:34
мне глайд нравится, каким бы он ни был глючным