https://github.com/coreos/etcd

вот мне тоже непонятно, когда в официальной доке пишут "ну чтобы протестить, возьмите машину и натравите на нее"

https://www.consul.io/

и как же стока народу работают - непонятно

Человек может привыкнуть ко всему :3 даже к виндовс с ванакраем и петьками

inspec? test kitchen? state-based convergence? не, не слышали

вот вам решение для кв конфигов

inspec? test kitchen? state-based convergence? не, не слышали

ой да ладно

все это в той или иной мере присутствует даже у анса

самое смешное - это конфиги в виде ямла, в которые пытаются вкрутить процессинг, сравнимый с языком программирования

inspec и test kitchen? да, потому что парни из чефа написали адаптеры, но коммьюнити энсибла все равно это не нужно

самое смешное - это конфиги в виде ямла, в которые пытаются вкрутить процессинг, сравнимый с языком программирования

Хехе, у меня тоже от ямла задница пригорает иногда, как затейно ансибл из него сделал почти императивный яп

так а чем файлы не подходят?

вопрос только, если веб-приложение у меня активно будет этот файл читать, соответственно у меня есть необходимость читать этот конфиг из памяти, не с диска. Если рсубд таблицу мне закеширует, то какова вероятность, что linux закеширует мне этот cfg-файл?

оспаде

третий раз написать etcd

сколько сотен раз в секунду оно будет его читать?

третий раз написать etcd

я посмотрел, буду щупать, спасибо

сколько сотен раз в секунду оно будет его читать?

на каждый запрос от юзера (веб-приложение)

на каждый запрос перечитывать конфиг

мммм

У вас там php что ли? Он и так наверняка не меньше сотни файлов на каждый запрос читает, бросьте.

Не говоря уж о том, что один из этих файлов - стопроцентно файл конфига

У вас там php что ли? Он и так наверняка не меньше сотни файлов на каждый запрос читает, бросьте.

В моем случае python, но сути не меняет, да. Спасибо, мне было просто интересно узнать, как такой вопрос решается в промышленной разработке.

Обычно все инструменты довольно неплохо терпят любой абьюз, поэтому с точки зрения производительности здесь разницы практически никакой. В линуксе я так понимаю все равно page cache будет кэшировать частые запросы к фс, но тут лучше у кого-то пболее компетентного осведомиться.

Обычно все инструменты довольно неплохо терпят любой абьюз, поэтому с точки зрения производительности здесь разницы практически никакой. В линуксе я так понимаю все равно page cache будет кэшировать частые запросы к фс, но тут лучше у кого-то пболее компетентного осведомиться.

linux кеширует файлы, но если у меня что-то активно начнет потреблять память, то он в праве этот кеш сбросить

linux кеширует файлы, но если у меня что-то активно начнет потреблять память, то он в праве этот кеш сбросить

В общем случае RDBMS-cache тоже может быть swapped-out на диск.

Очередной хардкор? Дб для хранения конфигов? А где тогда хранить конфиг подключения к дб? Завести дб поменьше? :)

Вообще не понимаю проблемы... Конфиг для бизнес логики и приложения, у которого есть база. В чем проблема хранить в самой базе... Если прям много обращений от пользователей, то возможно стоит нормально написать приложение, а не городить огород из девопс приложений?

Хотя сам подобную логику сейчас пихнул на гит и хуки ?

Господа, я опять прошу прощения за очередной холиварный вопрос, но все же - какой оптимальный способ хранения эфемерных данных и логов (в моем случае, это ip и user-agents) юзеров? С учетом того, что это изначально будет парсится руками, затем автоматом (файл отпадает). Гугл подсказывает юзать redis и riak, здравый смысл пока что - лепить отдельные таблицы в бд со связью many-to-many.

как вы с ними потом работаете?

поправлю, логика требует хранить все логи юзера всё время

как вы с ними потом работаете?

как пример, просмотр, с каких ip заходил юзер и под какими устройствами (user-agent)

как пример, просмотр, с каких ip заходил юзер и под какими устройствами (user-agent)

Чет мне казалось что именно для этого и делают логфайлы

в реляционку должно нормально влезть. канонично это скармливать эластиксерчу, но он будет жрать больше, и в ближайшей перспективе не имеет больших преимуществ. riak и redis тупо не поддерживают вышеописанную задачу поиска по атрибуту.

то есть riak может и да, но лучше не насиловать его

Чет мне казалось что именно для этого и делают логфайлы

да, но если он заходит 10 раз в день, то и 10 записей в лог будет, парсится это будет очень долго

да, но если он заходит 10 раз в день, то и 10 записей в лог будет, парсится это будет очень долго

Парсится это будет ровно как реализовано. Никто не знает сколько у вас юзеров. И как часто оно вам нужно. И как долго вы это хотите хранить.

в реляционку должно нормально влезть. канонично это скармливать эластиксерчу, но он будет жрать больше, и в ближайшей перспективе не имеет больших преимуществ. riak и redis тупо не поддерживают вышеописанную задачу поиска по атрибуту.

Ок, спасибо. Считается ли нормальным хранить это в одной бд вместе с данными бизнес-логики (т.е. хранить рядом те данные, которые к ней не относятся)?

Но у меня впечатление что без дб уже скоро и в туалет никто ходить не будет.

Зависит от уровня пуритантства. Но если у вас все серьезно, выносите на отдельный сервер, чтобы если кто-то и забил все место, то не на основной прод-базе

Зависит от уровня пуритантства. Но если у вас все серьезно, выносите на отдельный сервер, чтобы если кто-то и забил все место, то не на основной прод-базе

Дык мясное отдельно от молочного. И посуду не путать.

Парсится это будет ровно как реализовано. Никто не знает сколько у вас юзеров. И как часто оно вам нужно. И как долго вы это хотите хранить.

я выше уточнил, что лог файл не подойдет - юзеров много (>1000), ходят они часто (записей в лог будет много), хранить нужно вечно.

Дык мясное отдельно от молочного. И посуду не путать.

если там вся база на шестьдесят мегабайт и один человек занимается и разработкой, и поддержкой, то какой смысл?

Зависит от уровня пуритантства. Но если у вас все серьезно, выносите на отдельный сервер, чтобы если кто-то и забил все место, то не на основной прод-базе

Понял, спасибо. Собственно, почему задавал вопрос - есть небольшая вероятность, что на соседнем проекте нужно будет чекать те же самые ip-шники юзеров.

тогда у вас это отдельный сервис, который точно нужно выносить уже из соображений ведения проектов

тогда у вас это отдельный сервис, который точно нужно выносить уже из соображений ведения проектов

Благодарю за советы, буду думать.

Ок, спасибо. Считается ли нормальным хранить это в одной бд вместе с данными бизнес-логики (т.е. хранить рядом те данные, которые к ней не относятся)?

Не всегда имеет смысл, я уж молчу про нормализацию... А для хранения, если прям много и хочется быстро, должен не плохо зайти кликхаус.

11 июля состоится встреча московской группы пользователей MySQL http://www.opennet.ru/opennews/art.shtml?num=46788 11 июля в 18:00 в офисе компании Mail.Ru состоится очередная встреча московской группы пользователей MySQL (Moscow MySQL User Group). Специальный гость встречи - Пётр Зайцев (CEO, Percona). Пётр сделает два доклада и ответит на вопросы участников встречи. Вход свободный. #opennet

Коллеги, здравствуйте. У меня вопрос по mysql. Есть 2 ssd intel dc d3710. Согласно бенчмаркам вендора максимальную производительность они показывают если писать/читать блоками по 4kb с глубиной очереди = 32 Как в mysql выставить размер блока я нашёл, а вот с глубиной очередью нет. Есть настройка, которая заставляет mysql использовать определённую глубину очереди? Спасибо.

это на уровне драйвера блочного устройства

народ, привет. Вообщем появилась неообходимость сделать бд, почитал немного инфы о типах сущностей и связях и решил сделать инфографическую модель своей бд для начала.

не совсем понимаю, как сделать, чтобы в зависимости от роли user была доступна или заблокирована сущность

извините за свою малограмотность

не совсем понимаю, как сделать, чтобы в зависимости от роли user была доступна или заблокирована сущность

чего?

к примеру , есть сущности: курсы, пользователь. регистрируется user, он получает число автоматом( user =1 ), ему доступны одни возможности, он оплачивает к примеру курс по web-технологиям/back-end/php , он получает статус vip, и соответсвующий курс

народ, привет. Вообщем появилась неообходимость сделать бд, почитал немного инфы о типах сущностей и связях и решил сделать инфографическую модель своей бд для начала.

и как стало понятно что " появилась необходимость"?

к примеру , есть сущности: курсы, пользователь. регистрируется user, он получает число автоматом( user =1 ), ему доступны одни возможности, он оплачивает к примеру курс по web-технологиям/back-end/php , он получает статус vip, и соответсвующий курс

вы точно понимаете что такое ДБ а что такое приложение?

ERROR: S client not available

возможно, нет

и что одно не заменяет другое

возможно, нет

ну вот у вас есть шкаф, это БД, а есть горничная, которая складывает/достает вещи в/из шкафа и это приложение

:)

шкафу вообще пофигу что и куда вы складываете

статус вип

статус вип

угу, прикинь эти люди хотят продавать курсы ПО ТЕХНОЛОГИЯМ!!!

ну в общем, если кому интересно, разница между neo4j и janus у которого кассандра не тюненая на бэкенде. составила neo4j - 1 минута, janus -6,6 секунд.

подозреваю что если настроить кассандру нормально с индексом и нормальным кэшем в памяти, то скорость еще прирастет

Всем дня хорошего! В IQ option требуются сильные DBA инженеры, Готовы платить от 180к. Если у вас совсем иные зп. ожидания и вы мега скилованный спец, пишите, все готовы обсуждать https://spb.hh.ru/vacancy/20171295

Всем дня хорошего! В IQ option требуются сильные DBA инженеры, Готовы платить от 180к. Если у вас совсем иные зп. ожидания и вы мега скилованный спец, пишите, все готовы обсуждать https://spb.hh.ru/vacancy/20171295

А куда вы старых деваете?) или они сами больше месяца не задерживаются?

они не находятся

А куда вы старых деваете?) или они сами больше месяца не задерживаются?

Да в том и дело, что нет старых сейчас, ждем пару челвоек и смотрит еще

А куда вы старых деваете?) или они сами больше месяца не задерживаются?

Мрут как мухи

=)

Старые умирают, молодые стареют

Да в том и дело, что нет старых сейчас, ждем пару челвоек и смотрит еще

ты постишь ваккансию ещё с декабря

а ваши ищут ещё с осени

ну вот так срочно им нужно :). представляю какой там ахтунг накопился

ну вот так срочно им нужно :). представляю какой там ахтунг накопился

Не, мы же находим и люди к нам выходят. Просто растем активно

Не, мы же находим и люди к нам выходят. Просто растем активно

и до скольки ДБА вы уже доросли? ну просто интересно

и до скольки ДБА вы уже доросли? ну просто интересно

Сейчас пара человек есть

Сейчас пара человек есть

А нужно failover с кворумом?

один работает, двое - спят

видимо 2 ДБА не могут принять решения. нужен третий

Нужен человек на постоянной основе на базы

Сейчас ими занимаются ребята, у которых много иных задач