cp?

а с решардингом как? расположение шардов разное в кластерах

Количество серверов в кластерах тоже не совпадает.

Migrate?

Migrate?

Тут еще проблема в том, что кластеры в разных датацентрах и друг друга не видят.

Туннель подними

Ну и migrate консистентность кластера нарушит скорее всего, шарды то не совпадут

Там в одном кластере 24 сервера в другом 30, и шарды раскиданы в первом как попало.

Туннели строить что ли каждого сервера с каждым в таком случае?

Туннели строить что ли каждого сервера с каждым в таком случае?

А кто маршпутизацию отменил?

Двое связаны, остальные через них ходят

А кто маршпутизацию отменил?

Это вариант... Правда похоже придется все стопить и ждать пока несколько сотен Гб данных отрешардятся, даже обычный решард внутри кластера занимал часов 10

Но при внутреннем решарде можно было делать запросы а при таком переезде придется все сервисы останавливать

Потому что они в этот редис сотню тысяч раз за секунду лезут что нибудь читать и обновлять

Видимо придется таки все остановить, объединить все в один кластер и сделать решард с указанием 0 для веса старых серверов

Ansible просто, как и большую часть софта, пишет коллектив мудаков

После того как его купили там ваще пиздец

Ни дня без палки

а вот если чисто гипотетически

снапшоты ZFS были бы применимы в данном кейсе?

Не-а. Данные то изменятся

Все равно стопать сервисы

Читая в очередной раз про order by Rand, timeseries в MySQL хочется порой написать статьи из разряда вредных советов про вот это вот все

Читая в очередной раз про order by Rand, timeseries в MySQL хочется порой написать статьи из разряда вредных советов про вот это вот все

мне чисто любопытно, я в mysql их не храню - но какая база лучше подходит?

InfluxDB что-то как-то говно оказался

сурпрыз, бля

мне чисто любопытно, я в mysql их не храню - но какая база лучше подходит?

смотря что ты потом будешь делать ) тут на сосденем канале про прометея говорят вот

например

смотря что ты потом будешь делать ) тут на сосденем канале про прометея говорят вот

ну, у меня основной запрос - срезы делать за разные промежутки + выборка по простейшим условиям

ElastickSerch ?

https://wiki.openattic.org/display/OP/List+of+Other+Ceph+Management+Tools

что из этого не говно?

https://wiki.openattic.org/display/OP

смотря что ты потом будешь делать ) тут на сосденем канале про прометея говорят вот

а он лучше influx? скейлится?

ElastickSerch ?

толсто

не скейлится, но ему и не надо

не скейлится, но ему и не надо

ну как не надо, мне туда данные из кафки слать большими кусками

вы заебали базосрач

инфлюкс вот просто вообще не умеет, плюс он нестабильный, как зараза,

вы заебали базосрач

я не срусь, мне интересно

я совета спросил :)

ну как не надо, мне туда данные из кафки слать большими кусками

зачем из кафки

зачем из кафки

потому что она у нас - главный источник данных

а почему нет?

прометей - это же про метрики

зачем метрики через кафку?

я поэтому с ходу и сказал что вопрос в задачах

зачем метрики через кафку?

у нас не метрики через кафку. У нас кафкой от клиентов данные потоком летят, и на этой кафке сидят Scala/Java-скрипты, которые ее фильтруют и высчитывают эти самые метрики

и их надо куда-то класть, желательно в том же реалтайме

сейчас у нас для этого используется InfluxDB, но он шибко неудобный и тормозной

сейчас у нас для этого используется InfluxDB, но он шибко неудобный и тормозной

версия релизная тормозная?

Вроде у нас на некоторых проектах пользовались и нормально было

и их надо куда-то класть, желательно в том же реалтайме

прометей заточем под другое

версия релизная тормозная?

ну просто поток данных большой, плюс, графана с инфлюксом дружила всегда хорошо

прометей заточем под другое

спасибо, почитаю про него. А какие еще варианты?

У меня под метрики графит сейчас используется, думал как раз в инфлакс когда нибудь мигрировать, правда он слабее графита по возможностям аггрегации и выборок

графит - это wisper, а wisper формат тот еще

@Enchantner что из себя представляют метрики?

инфлюкс просто непригоден

графит - это wisper, а wisper формат тот еще

при всех его недостатках он оптимальный с точки зрения чтения-записи если тебе не нужны тэги

он, может, и оптимальный, но на сотнях тысяч метрик начинает вести себя странно

просто вот это открыть-закрыть файл начинает жрать существенное время

@Enchantner что из себя представляют метрики?

ну, грубо говоря, например, сколько записей определенного типа прошло сквозь анализатор за последние 10 минут

просто вот это открыть-закрыть файл начинает жрать существенное время

не замечал, но там много своих тонкостей

ну, грубо говоря, например, сколько записей определенного типа прошло сквозь анализатор за последние 10 минут

ну тогда пром должен подойти.

ну тогда пром должен подойти.

а сколько записей в секунду он умеет?

ERROR: S client not available

хотя ладно, сам поищу

а сколько записей в секунду он умеет?

сами разрабы говорят о чем-то в духе 1 ляма в секунду на сервер

звучит неплохо, но как-то много

не преувеличивают?

пром быстрый.

@Enchantner мы у себя сейчас эксперементируем с clickhouse'ом как заменой виспера в графите.

это он на одной ноде лям в секунду выдает?

а транзакции там есть или не очень?

я понимаю, что он не для этого, но все же)

это он на одной ноде лям в секунду выдает?

https://prometheus.io/docs/introduction/overview/ да глянь вот что они пишукт о себе

а транзакции там есть или не очень?

неа

спасибо

@Enchantner мы с кликхаусом эксперементируем еще, если не очень смущает что будет доп задержка, то в него можно в графит-совместимом формате писать порядка 2.5 млн в секунду (на 2xE5-2620v3, 128GB Ram, SAS SSD)

и это упирается в общем в сеть (2.4млн - примерно гигабит)

а апдейтить?

апдейтить сложно )

по сути мне нужен хэш в памяти :)

а с этим проблемы

по сути мне нужен хэш в памяти :)

хэш в памяти можно на Го написать за полчаса )

если тебе не нужна история и прочее

и их надо куда-то класть, желательно в том же реалтайме

Не в Clickhouse случаем ли?

хэш в памяти можно на Го написать за полчаса )

на сях тоже за полчаса, и нет, го там не особо к месту

надо потом к этому хэшу обращаться извне уметь нормально и быстро

Не в Clickhouse случаем ли?

тоже как вариант, но фиг знает пока что

надо потом к этому хэшу обращаться извне уметь нормально и быстро

https://github.com/boltdb/bolt Не канает?

Я помню что там один поток пишет, а много - читают.

Всем привет, тут есть 1сники ?

ну что же вы с порога оскорбляете

КОНЕЦЕСЛИ!!!!

Всем привет, тут есть 1сники ?

Я не хочу с тобой здороваться!