Для статистики. Эта вот фраза про диктовку бизнеса она характерная.

30

Хехе а что за статистика?

Нам нужно много хранить. Ну как минимум пол года

Пофиг. Важно как потом парсить.

Пофиг. Важно как потом парсить.

Что парсить?

Хехе а что за статистика?

+1

Хехе а что за статистика?

Про "диктовал бизнес" обычно говорят молодые люди, ну до 30 лет примерно. Как я понял, это ретрансляция корпоративных треннингов итп)

А потом они что делают? Увольняются? =)

Сначала бизнес им позволил спроектировать криво а потом начал бить

Бизнес сам ничего никогда не знает почти всегда

Через год требуются новые подходы, новые технологии появляются

часто бизнес даже не в курсе, что спроектировано криво)

А потом они что делают? Увольняются? =)

Перестают быть губками бобами)

работает и ладно)

часто бизнес даже не в курсе, что спроектировано криво)

А это не важно. Его проблемы.

Так кривизна проектирования - это вообще субъективная относительно бизнес направления вещь.

Так кривизна проектирования - это вообще субъективная относительно бизнес направления вещь.

Да. И что?

Любая архитектура может в момент стать кривой если чуть поменять бизнес задачу.

Так кривизна проектирования - это вообще субъективная относительно бизнес направления вещь.

кривизна проектирования — это ообъем технического долга, предельная величина кривизны — это когда переписать с нуля проще, чем доработать)

Ну, в коммерческой разработке приходится на это реагировать.

Любая архитектура может в момент стать кривой если чуть поменять бизнес задачу.

Зачем логи кидать в rdbms? Зачем героически бороться за скорость сменой базы в этом случае?

Ну потому что сначала была основная БД и логов было чуть чуть. Никого это не напрягало.

А потому вдруг выяснилось что логи очень важны и их стали копить терабайтами.

кривизна проектирования — это ообъем технического долга, предельная величина кривизны — это когда переписать с нуля проще, чем доработать)

Не предельная, чсх

Про "диктовал бизнес" обычно говорят молодые люди, ну до 30 лет примерно. Как я понял, это ретрансляция корпоративных треннингов итп)

Вообще-то я вообще на тренинги не хожу.

У нас тоже много логов в бд пишется

А потому вдруг выяснилось что логи очень важны и их стали копить терабайтами.

А потом 2 раза переставляли кровати

Вообще-то я вообще на тренинги не хожу.

Ходишь, но бессознательно

А потом 2 раза переставляли кровати

Этот случай - всего лишь один из 2^64 вариантов который мог произойти в бизнесе. Всего никогда не предспроектируешь.

Этот случай - всего лишь один из 2^64 вариантов который мог произойти в бизнесе. Всего никогда не предспроектируешь.

Вы перебором вариантов фигачите?)

Вот у меня на прошлой работе все проектировалось под хайлоад, основатель всех убеждал что очень скоро в системе будут миллионы пользователей. В итоге щас спустя 3 года все проекты и все пользователи способны уместиться на виртуалке за 2000 рублей в месяц.

Че мы там тока не накостыляли. И реббит для очередей, и редис для кеширования и постгрес, и elasticsearch для крутого поиска.

Че мы там тока не накостыляли. И реббит для очередей, и редис для кеширования и постгрес, и elasticsearch для крутого поиска.

)))

хайлоад — это же стильно, модно, молодежно)

Ничего такого так проще. Тоже все перечисленое юзали на ненагруженном

Бывало по 2 часа спорили, выдержит ли какой-нибудь счетчик 2 миллиона людей онлайн.

Вот у меня на прошлой работе все проектировалось под хайлоад, основатель всех убеждал что очень скоро в системе будут миллионы пользователей. В итоге щас спустя 3 года все проекты и все пользователи способны уместиться на виртуалке за 2000 рублей в месяц.

У нас ситуация была обратная. Говорили, что будет немного, в итоге вырос монстр.

Бывало по 2 часа спорили, выдержит ли какой-нибудь счетчик 2 миллиона людей онлайн.

Ну 2М онлайн - это круто

Да только там 50к регистраций всего ;)

)))

Это кстати как раз был типичный спор - надо было для каждого пользователя хранить timestamp когда он последний раз заходил в проект.

Я говорил своему оппоненту - пиши просто в поле в базе к юзеру. А он такой: но если будет 2 миллиона онлайн то база рухнет!

Что есть "заходил"? )

Ну обращение к веб странице.

В итоге мы накостыляли предварительную запись в список в redis, а оттуда уже агрегированная сборка в базу.

Можно в ненормализованном виде это хранить и тогда два ляма это чих

В общем у меня после всего этого сильно поубавилась воля к хорошим правильным решениям. Когда 4 месяца зарплату не платили :)

Я говорил своему оппоненту - пиши просто в поле в базе к юзеру. А он такой: но если будет 2 миллиона онлайн то база рухнет!

Почему рухнет?

Потому что постгрес работает на порядок медленнее чем редис.

Нет

Ну да же.

Смотря что именно те 2М будут делать...

Есть бенчмарки :)

Потому что постгрес работает на порядок медленнее чем редис.

Жигули медленнее электрички?

Есть бенчмарки :)

Они измеряют что?

На редисе можно на обычной машинке сделать 30-60 тысяч инсертов в секунду, на постгресе получится в лучшем случае 1000

Rdbms оперируют таблицами с миллиардами строк

На редисе можно на обычной машинке сделать 30-60 тысяч инсертов в секунду, на постгресе получится в лучшем случае 1000

Бред

Ты недоговариваешь что-то

На редисе можно на обычной машинке сделать 30-60 тысяч инсертов в секунду, на постгресе получится в лучшем случае 1000

Ну 1000 то можно, но можно и больше :)

Лично тестили, и без труда делал 30К

На одном тазике

====== LPUSH ====== 10000 requests completed in 0.04 seconds 50 parallel clients 3 bytes payload keep alive: 1Вот что я сейчас увидел, запустив локально бенчмарк редиса

Не самом мощном

Как ты понимаешь скорость операций просто в другом классе так сказать :)

Там где оттюненный постгрес будет инсертить 30к в секунду, редис будет 900к инсертить спокойно.

Вопрос только зачем

Ну у меня на проде сейчас 100К вставок в монго, но это не значит, что она полностью заменит Постгре

ERROR: S client not available

Как ты потом без индекса искать будешь там

Как ты потом без индекса искать будешь там

у редиса прямой доступ к памяти по хешу, там не нужны индексы.

Вам ведь потом последнее обращение юзера найти надо

у редиса прямой доступ к памяти по хешу, там не нужны индексы.

А ты хорош!

скоро бувьійдет версия 3.0, где будет и триде)

у редиса прямой доступ к памяти по хешу, там не нужны индексы.

Ну это если по первичному ключу)

Так что можно искать со скоростью сетевого соединения

Так что можно искать со скоростью сетевого соединения

Это медленно тащемта

Ну это если по первичному ключу)

Ну вот взять элемент из списка занимает O(1)

Ну вот взять элемент из списка занимает O(1)

Это медленно блин

Индексы быстрее

А что есть быстрее? ?

А что есть быстрее? ?

ЛЮБОЙ индекс

Какая у него асимптотическая сложность поиска? =)

)))

Какая у него асимптотическая сложность поиска? =)

Ну я правильно понял что ты предлагаешь в памяти последовательным перебором искать?

Ну мы вот на работе думаем, как вмеже БД на CSS-е сделать)))

В свободное время хочется что-то типа разбита написать.

Распределенного

Чисто попробовать

Ну я правильно понял что ты предлагаешь в памяти последовательным перебором искать?

Не совсем. Я просто хотел сказать - что вот есть вставка в редис со скоростью больше чем в 10 раз в самый оттюненный потсгрес. А вопрос как потом искать - он тоже стоит, но это уже другой вопрос.

И есть задачи когда искать и не нужно. А надо просто взять 100 последних значений например.

Не совсем. Я просто хотел сказать - что вот есть вставка в редис со скоростью больше чем в 10 раз в самый оттюненный потсгрес. А вопрос как потом искать - он тоже стоит, но это уже другой вопрос.

Под каждое требование, своё решение.

Не совсем. Я просто хотел сказать - что вот есть вставка в редис со скоростью больше чем в 10 раз в самый оттюненный потсгрес. А вопрос как потом искать - он тоже стоит, но это уже другой вопрос.

Я утверждаю что простая вставка работает одинаково примерно

Ну может в 10 раз отличается, что не принципиально

Да не может там такого быть. Постгрес делает еще кучу дополнительной работы по обсепечению целостности и всяких проверок.

Ну может в 10 раз отличается, что не принципиально

)))))

Да не может там такого быть. Постгрес делает еще кучу дополнительной работы по обсепечению целостности и всяких проверок.

Не делает если это не надо.

Оттюненый

Ну ты покажи конфиг :)

Ну ты покажи конфиг :)

Оплатишь?

)))