256, кажется

не помню

оно у меня слегка с кассандрой в голове перепуталось

а документы по проекту уж на внешний винт уехали

вот вы этим мереньем мне сейчас всю малину обломали

а?

85м в сутки.

это же 1000 записей в секунду

да

и это мало. и для этого нужны много нод ?

да

вернее - нет

много нод нужно для надежности

для логов надо много нод ? или для чего то более ценного ?

у нас логи были ценным

а ок.

мы ес под аналитику мучаем... и тяжело.

под аналитику он никак, по-моему

тяжело потому что индексы нельзя как бы закрывать, и в постоянном скане несколько млрд объектов...

и в память это не вмещается никак. и постоянные скана дисков...

ну я больше 500М пока ни в какую базу не складывал ничего

500М в активе, конечно же

в закрытых индексах сколько угодно может лежать

кстате. вы же делали обзор ФС распредленной на одном из хайлоадов ?

*распределенных

да

что то изучали с тех времен ? )

может эксплуатировали.

та фс переехала на кассандру

и касссандру я теперь зову сосандрой

прям данные хроните там блобами ?

чанками по 64К

тоска. это она сама так ? как риак ?

как раз риака я не пробовал

почему-то

она mmap files использует

это, как выяснилось, означает 100% утилизации диска на чтение

риак бьет бинарные данные на куски по 4кб и распихивает.

даже при небольшом количестве запросов

а были тесты ceph/swift ?

так что всем, кто хочет ее на больших датасетах юзать, прописан кеш на ssd

в режиме S3 ?

s3 нам не годится

в решиже фс - были, тормозят

ceph мы не осилили, потому что слишком высокое потребление памяти.... swift вроде ничо... вторые сутки тестится...

Думаю вам понравится 😂

У тебя есть предложения?

да. ты умеешь оказывать услуги в нише программирования

я могу найти людей, которые оплатят твои услуги

))

Хах) не настолько я шарю

примеры работ есть?

Есть

Залито сюда

https://github.com/AceLewis/my_first_calculator.py/blob/master/my_first_calculator.py

ему на ГО нада писат ьи код генерейшен юзать )

баянчик же :)

😑

Залито 2 минуты назад уже баян

А у меня вот поиск сделан на Solr

4 шарда, в каждом 2 реплики

Примерно 1.2 млрд документов

Памяти уходит где-то по 12Gb на инстанс JVM

Ну и ничо - работает, вроде

но это не логи да ?

Нет

Не логи

а что за доки индексировал?

у нас парни аналитики тоже смотрят на солар, но времени нету пока ехать, т.к много всего переписывать нужно и другой части аналитиков которые больше "составить запрос в кибане" еще какой то интерфейс для всего этого напилить надо....

Вот @demeliorator про базу расскажет, а я про настройку прометеуса и алертинг

Кто с docker swarm настраивал регистрацию сервисов в consul?

registrator нужен: https://github.com/gliderlabs/registrator

Вот регистратор криво работает в swarm. У кого-нибудь есть положительный опыт работы с ним?

Может его просто к локальному докеру цеплять, а не к сварму?

Ибо с локальным точно работает

Не о том речь. Он в консул публикует внутренний ip сервиса, а порт внешний. А там само собой ничего нет. Нужно или внешний ип:внешний порт или внутренний ип:внутренний порт

Вроде тюнилось как-то, но сейчас не скажу

Что с хаброй?

Что с хаброй?

continuos delivery епти, с 11 вечера вчерашних ))

Хабр уже 8 часов на тех работах

Наверно генту обновляют