@dba_ru
lost30.04.2018
07:20:10
07:20:10
так же можно через cte сделать, быстрое гугление показало, что hive таки в него умеет
Denis30.04.2018
07:36:29
07:36:29
Господа, приветствую. Есть и здесь эксперты по redis-у?)
Собственно вопрос о том как научить персистентно сохранять данные сразу в базу, мне критично важно всегда иметь данные вне зависимости от обрывов питания.
Я нашел решение в виде включения appendonly yes этого флага, и вроде как все стало хорошо. Меня волнует только что теперь два файла в зависимости от наполнения данными.. начинают неуклонно расти в размере :)
Я конечно могу нагуглить.. но, думаю, спрошу здесь для экономии времени :)
Вопрос в целесообразности , обычного подобные опции сильно замедляют редис в итоге
Игорь30.04.2018
07:38:31
07:38:31
Вопрос в целесообразности , обычного подобные опции сильно замедляют редис в итоге
Ну в прочем да...
Просто на редис глаз впал из-за того, что он мелкий и легковесный и очень легко и просто по ключу/значению все хранить и выставлять экспирейшн дейт.
В монге с этим посложнее.. надо создавать индекс с условием... хранить таймштамп в записях чтобы они автоматом через время удалялись (не хочется крон-таску вешать...).идея в том, что мне прилетают импульсы от нескольких девайсов.. и мне надо хранить их с таймштампом в БД (прилетать могут очень быстро), но если сервак крашнется из-за перебоя питания, то потерять данные нельзя ни в коем случае
GoogleИгорь30.04.2018
07:40:05
07:40:05
а потом у меня уже есть deferred sender, который с этой локальной базы вынимает данные, форматирует и уже шлет на основной бекенд кусками по 500-1000 записей в mssql
Denis30.04.2018
07:40:25
07:40:25
Если вопрос в ттл могу ошибаться но кассандра кажется с ттл
+ редис работает синхронно и блокирует пока не освободится ресурс , то есть при всплеске потока все равно есть шанс потери
Игорь30.04.2018
07:42:00
07:42:00
до этого у меня стояла монга. Она отлично справлялась
и что мне нравилось.. даже когда перебой питания был во время записи... БД вообще не крашилась никогда
просто хотел попробовать что-нибудь полегче и попроще
KrivdaAllStars30.04.2018
07:58:40
07:58:40
Dmitrii30.04.2018
10:53:18
10:53:18
То есть для каждой date1 нужно посмотреть следущую date2 в сосед колонке , но возможно в другой строке
Если постгрес то LAG() / LEAD() функцииKrivdaAllStars30.04.2018
10:56:08
10:56:08
Если постгрес то LAG() / LEAD() функции
а как лаг лидом смотреть вот есть колонки date1 и date2 в первой идет скажем 5-9 дат каких то до какой=то опредленнойво второй идет подряд 4-8 null
потом 9 идет дата какая -то
Dmitrii30.04.2018
10:57:30
10:57:30
Ты делаешь OVER (PARTITION BY ...) тогда оно пройдется только по чанку данных который размечен в пределах партишена
KrivdaAllStars30.04.2018
10:57:46
10:57:46
ну а как партишен выбрать
GoogleKrivdaAllStars30.04.2018
10:57:52
10:57:52
по чему партицировать то
Dmitrii30.04.2018
10:59:04
10:59:04
Ну ты же гоовишь что дата бывает нул
Спартицируй по не-нул
date IS NOT NULL
KrivdaAllStars30.04.2018
10:59:57
10:59:57
и что в окне у меня будет
Dmitrii30.04.2018
11:01:05
11:01:05
Ну ты начни уже пробовать )
KrivdaAllStars30.04.2018
11:01:51
11:01:51
что пробовать, вы мне только что рассказали, про оконные функции , про которые я знаю, и предлагаете рандомно выбирать окно
это так не работает
Dmitrii30.04.2018
11:04:57
11:04:57
Я же не знаю вашей схемы
Смотрите сами какой окно вам нужно, в пределах него сделайте LEAD()
KrivdaAllStars30.04.2018
11:05:22
11:05:22
но я вверху же ее расписал
Смотрите сами какой окно вам нужно, в пределах него сделайте LEAD()
так я не могу определить окно, о чем выше и написалDmitrii30.04.2018
11:07:16
11:07:16
Окном может быть () — вся таблица
Я лишь предложил убить из нее NULL значения которые вам мешали
Ilgiz30.04.2018
15:31:52
15:31:52
Тут у меня вопрос по postgresql, я сделал дамп текущей базы на sql файл, и хотел импорнуть его на локалную базу, делаю psql databasename < filename
там внутри куча ошибок про то что нету определенных ролей и т.д, мне что надо создать ролей как на проде? и такие ошибки "$$PATH$$/3590.dat" не найдено такой папки, я что-то туплю, думал будет по проще как в mysql
Dmitrii30.04.2018
16:45:31
16:45:31
Ilgiz30.04.2018
16:45:59
16:45:59
да разобрался
Ravil01.05.2018
14:10:59
14:10:59
Коллеги всем привет! Вопрос немного не в тему. Собираюсь с визитом в РФ. Мне необходимо будет периодически подключаться к своему офису,используя cisco any connect. Используя 4g модем от Билайна или же другого оператора,будет ли такая возможность. Нет ли ограничений на такие подключения используя 4g сети?
Valeriy01.05.2018
14:56:28
14:56:28
Сегодня пока не будет проблем. Что будет завтра - мы не знаем.
?
Ilia01.05.2018
14:57:54
14:57:54
GoogleIlia01.05.2018
15:16:53
15:16:53
Да
Al01.05.2018
15:20:28
15:20:28
Так ты из них?
Игорь02.05.2018
08:55:45
08:55:45
господа. А как вообще редис работает с огромными данными? Например.. когда данных будет где-то 20-30гб?
поиск по данным и прочее..
Maxim ??02.05.2018
09:04:23
09:04:23
смотря еще какое железо
8+ ядер, 32+ Гб RAM, SSD диск и твоя редиска будет летать быстрее пули
и то в случае, если на серваке кроме редиски ничего не бдует больше
Vladislav02.05.2018
09:20:46
09:20:46
господа. А как вообще редис работает с огромными данными? Например.. когда данных будет где-то 20-30гб?
Что значит огромные данные? Множество записей или значения у ключей большие?Игорь02.05.2018
09:21:13
09:21:13
огромное количество записей
а еще… хотел спросить. Я так понимаю 32битная монга не могет хранить данные более 2гб в объеме, да?
AdminERROR: S client not available
Игорь02.05.2018
09:22:50
09:22:50
ОЗУ маловато
хотя ладно, не нужно мне пытаться из редиса сделать упрощенную монгу
Artem02.05.2018
09:23:08
09:23:08
а еще… хотел спросить. Я так понимаю 32битная монга не могет хранить данные более 2гб в объеме, да?
Неужели 32бит монгу используют?Vladislav02.05.2018
09:23:08
09:23:08
Это уже ваши проблемы
Редис как бы в памяти работает
GoogleИгорь02.05.2018
09:24:13
09:24:13
да то я так.. то отдельная история)
Artem02.05.2018
09:24:47
09:24:47
Если я не ошибаюсь, с переходом на wt монга 64 битная
Shokha02.05.2018
11:35:49
11:35:49
rebyat
у меня ест базе таблица user
оказвается в базе тоже ест завадской user таблица
в запросах дает ощибка! че делат помогите
Vasiliy02.05.2018
11:37:49
11:37:49
Переименовать свою таблицу?
Pavel02.05.2018
11:38:24
11:38:24
да, конечно
Shokha02.05.2018
11:38:29
11:38:29
другой вариант нету?
Vasiliy02.05.2018
11:38:50
11:38:50
что за субд то?
Vasiliy02.05.2018
11:39:13
11:39:13
вынеси свои структуры в отдельную схему, и пиши запросы там
Anton03.05.2018
08:02:56
08:02:56
Гуру SQL Server подскажите
какая польза от конструкции вида (выделено жирным)
Открыть в Telegram