@ru_python
Sergey23.06.2016
07:09:06
07:09:06
даже если бы это был не пайтон чат, я бы предположил что ты юзаешь пробелы вместо табов
Если бы это не был Python чат, то я бы предположил, что ты не следуешь pep8 и используешь табы вместо пробелов.
Vadim23.06.2016
07:09:19
07:09:19
А уникальность как будешь гарантировать или она не нужна ? У uuid1 / 4 все равно есть вариант повторений, он конечно очень мал но есть. В свое время столкнулся с такой же задачей, правда решал ее на Clojure. Но не факт тогда посмотрел как это делает Twitter, а они написали проект который гарантирует уникальность ID. https://github.com/twitter/snowflake. Сейчас они его вроде как смержили в twitter-server
уникальность нужна очень, сейчас одна подобная проблема, но с потенциально очень небольшим количеством ид решается просто генерацей uuid4, попыткой сохранить объект, в случае неудачи начать сначала. но для большого потока такое не прокатит думаю
abc23.06.2016
07:14:50
07:14:50
если использовать ObjectID от MongoDB тогда и писать нужно в MongoDB
Googleabc23.06.2016
07:15:16
07:15:16
Ведь MongoDB гарантирует уникальность ObjectID в пределах активной БД
Belegnar23.06.2016
07:15:54
07:15:54
уникальность нужна очень, сейчас одна подобная проблема, но с потенциально очень небольшим количеством ид решается просто генерацей uuid4, попыткой сохранить объект, в случае неудачи начать сначала. но для большого потока такое не прокатит думаю
Шифруй ююид с именем компа и еще парой уникальных параметров, и будет он уникальнымabc23.06.2016
07:16:47
07:16:47
проще тогда считать SHA256 хеш от какого то значения из сохраняемых данных ( при условии что они неизменяемые) и добавлять стандартный ид от постгреса
Cykooz23.06.2016
07:17:00
07:17:00
Ведь MongoDB гарантирует уникальность ObjectID в пределах активной БД
Монга гарантирует это обычным использование уникального индекса. А сам ObejctID можно сгенерировать в питоне. В документации можно даже найти описание из чего он строится и примерно оценить вероятность коллизий.Vadim23.06.2016
07:17:07
07:17:07
если использовать ObjectID от MongoDB тогда и писать нужно в MongoDB
завести монго только для хранение юзеров? она уже научилась без танцев не терять данные кстати?abc23.06.2016
07:17:55
07:17:55
чтобы монга не теряла данные ееж надо в кластере использовать с репликой. один инстанс монги это сам себе буратино
Sergey23.06.2016
07:17:57
07:17:57
Ведь MongoDB гарантирует уникальность ObjectID в пределах активной БД
Я вот не уверен, в доках по монге это не написано.
ObjectId(<hexadecimal>)¶
Returns a new ObjectId value. The 12-byte ObjectId value consists of:
a 4-byte value representing the seconds since the Unix epoch,a 3-byte machine identifier,a 2-byte process id, anda 3-byte counter, starting with a random value.Vadim23.06.2016
07:18:02
07:18:02
точенй посетителей, а не совсем юзеров
abc23.06.2016
07:18:09
07:18:09
но в 90% случаев монга не нужна это да. просто хайп и модно
я сейчас активно использую RethinkDB как замену MongoDB, там плющек больше язык запросов более широкий, и одни только changefeed чего стоят
H23.06.2016
07:19:33
07:19:33
а когда она теряет данные? я за джва года не сталкивался ни разу
при интерте или апдейте? есть ли issue?
abc23.06.2016
07:20:28
07:20:28
я слышал но у меня тоже не было. наверное такое бывает если диск у монги закончился. она же практически ничего не говорит когда так
Googleabc23.06.2016
07:20:47
07:20:47
или при резком шатдаун. а синк на диск еще не успел пройти
H23.06.2016
07:21:20
07:21:20
я с монги перехожу на постгрес 9.5 сейчас
abc23.06.2016
07:21:33
07:21:33
в версии монги 2, журнал включался опционально вроде.. чтобы инсерты быстрее шли его отключали
H23.06.2016
07:21:55
07:21:55
тоже буду обьекты хранить, но постгрес 9.5 чета совсем клевый
Sergey23.06.2016
07:22:03
07:22:03
Я тоже много слышал, что монга данные теряет, но так никто из так, кто это говорит, никаких примеров не смог привести.
abc23.06.2016
07:22:11
07:22:11
вот бы постгрес научился масштабироваться горизонтально как монга, было бы вообще хорошо. но пока он только вертикально может
основная причина использования монги если убрать весь хайп, это легкое масштабирование. воткнул еще одну ноду и все
H23.06.2016
07:23:08
07:23:08
не знаю, не знаю
мне было лень придумывать схему для нового проекта, поэтому просто обьекты хранил
по 10 раз меняю структуру в неделю
abc23.06.2016
07:23:42
07:23:42
ну и в много есть GridFS я ее активно использую. потому как не надо думать как размазывать файлы по серверам, за тебя это делает GridFS
Sergey23.06.2016
07:23:45
07:23:45
тоже буду обьекты хранить, но постгрес 9.5 чета совсем клевый
Он уже научился строить уникальный индекс по json/array полям?H23.06.2016
07:24:00
07:24:00
теперь когда в проде, можно и схему сделать для релейшенов, но чет лень
Cykooz23.06.2016
07:24:06
07:24:06
У меня были реальные примеры корапта данных в монге, но они были из-за того, что в монге нет транзакций, а все нужные данные нельзя было сохранить/обновить за один запрос к только одному документу.
H23.06.2016
07:24:26
07:24:26
abc23.06.2016
07:24:40
07:24:40
там как бы есть "шутливые" транзакции в пределах одного документа)))
GoogleSergey23.06.2016
07:24:52
07:24:52
вроде как я видел что-то такое
9.4 точно не умел, в итоге после месяца тестов мы решили ехать на монгу.abc23.06.2016
07:24:59
07:24:59
в общем если джоины не нужны то можно и в монгу
но например у меня есть проект бухгалтерии, и я низачто не буду переводить его на монгу) только транзакции только postgresql
Sergey23.06.2016
07:26:27
07:26:27
Монга хороша своей нереляционнной природой. Там, где данные не реляционны, это даёт огромный профит по производительности из-за отсутствия join-ов
abc23.06.2016
07:27:22
07:27:22
иногда очень трудно сразу же понять природу данных. монга и рефинк дб подходят круто если приходит какой то json мы пока не знаем че там, просто сохраним как есть. потом разберемся
Sergey23.06.2016
07:27:24
07:27:24
Запросит поле из одного документа явно быстрее, чем сджойнить 10 табличек
abc23.06.2016
07:27:51
07:27:51
но rethinkdb на голову выше монги по построению запросов просто как небо и земля
Cykooz23.06.2016
07:28:00
07:28:00
в общем если джоины не нужны то можно и в монгу
Это слишком расплывчатое определение, не покрывающее всех кейсов. Я бы уточнил - если не нужна консистентность, все запросы будут не зависимы и допустимо выполнить первую чать запросов, а вторую часть запросов зафейлить.abc23.06.2016
07:28:20
07:28:20
ну да монго же не гарантирует ACID
Sergey23.06.2016
07:28:36
07:28:36
А транзакции скорее всего будут, wired tiger их умеет.
Уже в 3.2 есть read concern
abc23.06.2016
07:29:02
07:29:02
если будут транзакции то у монги будет проблема с репликами как я думаю
монга это же CAP больше
abc23.06.2016
07:29:45
07:29:45
если у постгреса убрать транзакции то он будет масштабироваться как монга)
H23.06.2016
07:30:36
07:30:36
9.4 точно не умел, в итоге после месяца тестов мы решили ехать на монгу.
не, 9.4 не интересен, в 9.5 как раз добавили работу с обьектами, я ждал когда добавят редактирование полей, а не замена обьектовSergey23.06.2016
07:30:40
07:30:40
если будут транзакции то у монги будет проблема с репликами как я думаю
С репликами или с шардами? Реплики-то тут причём?abc23.06.2016
07:30:57
07:30:57
да шарды верно ссори
Sergey23.06.2016
07:31:18
07:31:18
Ну на шардах транзакции никак не сделать, это хоть где
GoogleSergey23.06.2016
07:31:55
07:31:55
Ну или крайне сложно и с кучей ограничений
Cykooz23.06.2016
07:32:12
07:32:12
http://source.wiredtiger.com/2.4.1/transactions.html
Хм, а можете подсказать ссылочку на применение всего этого отнсительно MongoDB? Я вот когда стал использовать 3.2 с WiredTiger так и не нашёл ничего про настоящие транзакции. Не нашёл ни какого описания как открыть транзакцию, закомитить или сделать ролбек.Sergey23.06.2016
07:32:38
07:32:38
Хм, а можете подсказать ссылочку на применение всего этого отнсительно MongoDB? Я вот когда стал использовать 3.2 с WiredTiger так и не нашёл ничего про настоящие транзакции. Не нашёл ни какого описания как открыть транзакцию, закомитить или сделать ролбек.
А где я писал про mongodb? Я написал, что wired tiger умеет, а не mongodb умеетCykooz23.06.2016
07:33:15
07:33:15
Зачем тогда этот WiredTiger без монги? Лучше уж тогда сразу PostgreSQL пользовать.
H23.06.2016
07:34:54
07:34:54
не понимаю, зачем люди берут монгу и хотят там транзакции, база ведь не об этом...
abc23.06.2016
07:36:39
07:36:39
привычка. большинство по привычке в монге пилит документы на коллекции и потом пытается их джоинить
Cykooz23.06.2016
07:37:22
07:37:22
не понимаю, зачем люди берут монгу и хотят там транзакции, база ведь не об этом...
Это всё маркетинговый хайп, желание попробовать что то новое и модное, и вера в то что большая чать данных можно представить без связей, что можно всё запихачить в один документ.abc23.06.2016
07:37:27
07:37:27
я был свидетелем, как один проект выбрал монгу. хотя там вся структура отлично ложилась на РСУБД. ох какие танцы были когдда клиент захотел отчеты в разных разрезах...
Cykooz23.06.2016
07:39:45
07:39:45
На монгу неплохо ложится кейс когда надо только вставлять данные, но не изменять их потом. Иначе сталкиваешься с необходимостью поддерживать "денормализованное" состояние документов (например поменял имя юзера, и надо его поменять во всех других документах, в которых оно есть)
AdminERROR: S client not available
abc23.06.2016
07:40:37
07:40:37
да верно. и это реальная проблема, ошибка архитектора при выборе базы я бы сказал. за такое увольняют потом. потому что пойдут просто офигенные издержки
H23.06.2016
07:41:08
07:41:08
ну вот у меня так и есть, надо только апдейтить поля, не связанные никак друг с другом, что довольно удобно
Cykooz23.06.2016
07:41:37
07:41:37
Ну и правилльно выше писали, что единственный значимый плюс монги - это лёгкое шардирование из коробки. Больше особых плюсов нету.
H23.06.2016
07:41:42
07:41:42
статью на хабре тут смотрю, ебать тут индекс у пострес
https://habrastorage.org/files/4c1/01d/d32/4c101dd32fe1465088bb16e40b505c58.png
полгига!
Sergey23.06.2016
07:42:03
07:42:03
H23.06.2016
07:42:04
07:42:04
юзает кто-то jsonb сейчас в постгресе?
Richard23.06.2016
07:42:06
07:42:06
А отсутствие схемы?
GoogleRichard23.06.2016
07:42:18
07:42:18
И сколько должно быть данных чтобы потребовалось шардирование?
H23.06.2016
07:42:37
07:42:37
отсутствие схемы - jsonb
H23.06.2016
07:42:45
07:42:45
где угодно храни
Cykooz23.06.2016
07:42:51
07:42:51
H23.06.2016
07:42:57
07:42:57
https://habrahabr.ru/post/274313/
Sergey23.06.2016
07:43:07
07:43:07
jsonb даже в 9.5 с ограничениями
Richard23.06.2016
07:43:52
07:43:52
Мы используем json как и положено: для хранения безструктурных данных.
H23.06.2016
07:44:21
07:44:21
без поиска вообще?
Cykooz23.06.2016
07:44:23
07:44:23
статью на хабре тут смотрю, ебать тут индекс у пострес
Так то в постгре индексирование jsonb гораздо лучше чем в монге. В монге например нельзя запилить индекс на ключ. Можно только на значение.Richard23.06.2016
07:44:27
07:44:27
24 миллиона было полгода назад, сейчас под тридцатник уже, наверное.
H23.06.2016
07:44:42
07:44:42
подтягиваешь объект по id?
abc23.06.2016
07:45:32
07:45:32
и кстати. если все таки нужен NoSQL и джоины, то тогда лучше брать RethinkDB. там джоины между таблицами (а таблицы без структуры) из коробки
Sergey23.06.2016
07:45:36
07:45:36
Так то в постгре индексирование jsonb гораздо лучше чем в монге. В монге например нельзя запилить индекс на ключ. Можно только на значение.
Ага, только gin индексы и btree - сильно разные вещиRichard23.06.2016
07:45:40
07:45:40
без поиска вообще?
Ищем, но т.к. в json данные без структуры по всей таблице но по строке. Т.е. строки определённого типа содержат одинаковые записи. И вот когда ты все нужные строки отфильтровал там их так мало оказывается что дальше просто поиск по json нормально работает.так, мой клиент не позволяет редактировать сообщения :/
Какой клиент под мак это позволяет?
H23.06.2016
07:46:44
07:46:44
официальный?
Richard23.06.2016
07:47:15
07:47:15
Telegram? Не Telegram Desktop?
H23.06.2016
07:47:21
07:47:21
т.е у вас там совсем каша в базе? просто у меня одинаковые обьекты, но различаются немного
Открыть в Telegram