@devops_ru

Страница 4074 из 4568
Svyatoslav
22.07.2018
11:54:07
graylog

Sun
22.07.2018
11:59:14
А что именно обфусцировать надо то? Айпи?
Ip, и прочие данные, по которым можно деанонимизировать посетителя. Т.е. всякие browser fingerprint и прочее

Pablo
22.07.2018
12:03:41
Ip, и прочие данные, по которым можно деанонимизировать посетителя. Т.е. всякие browser fingerprint и прочее
Вы наперед знаете список полей которые собираетесь логировать и которые надо обфусцировать?

Sun
22.07.2018
12:04:50
Скорее нет, чем да. Список полей не менялся уже год, но может дополниться в любой момент

Google
Zaur
22.07.2018
23:53:18
А вдруг это боты Роскомнадзора, которые ведут слушку?

Эдуард
23.07.2018
01:26:31
Никто не работал с phonegap?
С cordova кувыркался года 4 назад

Антон
23.07.2018
07:02:46
@Sundelor будем-будем) мы же тоже люди)

Twelfth
23.07.2018
07:25:40
Плохо ли монтировать 1 ceph rbd том к нескольким хостам?

Andrey
23.07.2018
07:27:01
если только в readonly

Twelfth
23.07.2018
07:28:29
если только в readonly
Почему именно ro?

Антон
23.07.2018
07:28:40
Кто-нибудь уже работал с chaos engineering? Какие тулзы уже смотрели? Ликбез: http://principlesofchaos.org/ Тулзы: https://github.com/dastergon/awesome-chaos-engineering#notable-tools

Andrey
23.07.2018
07:29:41
Почему именно ro?
Что бы не получить кашу, вместо ФС. с отключенным rbd cache еще можно попробовать, но я бы не стал. Нужно rw на несколько хостов - используйте cephfs

Andrey
23.07.2018
07:32:51
У меня не пошли с гластером отношения. тормозил безбожно, плюнул и поставил ceph. С ceph пару раз терял тестовые данные, когда насиловал его и делал то что делать не нужно, но работает хорошо и в проде, после того как опыта набрался :)

Google
Антон
23.07.2018
08:04:33
+1 за тормоза glusterfs
она отдает NFS, что вы от нее хотите? Нужно просто понимать эту особенность и все))) у меня в облаке проблем с этим нет)

Oleg ?
23.07.2018
08:05:04
Гайз, вопрос по gitlab pipeline - есть ли возможность конкатенировать логи всех шагов?

И ещё у гитлаб пайплайна есть большой минус - между джобами, каждый раз уходит некоторое время на сохранение кэша и его загрузку, это как - то решается? Всё выглядит так, что хочется взять и объединить все шаги в один большой жирный шаг

Денис
23.07.2018
08:08:29
она отдает NFS, что вы от нее хотите? Нужно просто понимать эту особенность и все))) у меня в облаке проблем с этим нет)
Мы к ней через S3-подобные вызовы обращались, и несмотря на вроде как работающую систему, постоянно тормоза и спайки по времени были

Денис
23.07.2018
08:09:07
А если какая-то нода стопилась, то начинался локальный ад с синхронизацией

Много-много мелких файлов

Антон
23.07.2018
08:09:32
я к тому, дистриб\страйп\коэффицент репликации\шардирование?

Денис
23.07.2018
08:09:58
Надо вспоминать, навскидку не скажу, сколько именно.

"Мопед не мой" )

Антон
23.07.2018
08:10:57
Надо вспоминать, навскидку не скажу, сколько именно.
ну...я как понял если отходить от дефолта в 3 реплики, то есть много шансов выстрелить себе в ногу) не зря же ее в энтерпрайз рхеле советуют на равне с сепхом как персистентное хранилище под облако

Денис
23.07.2018
08:11:48
Гораздо лучше всё стало работать, когда мы файлики стали хранить в Redis

Суть простая - чанки видео кидались на диск, откуда отдавались клиентам. Видосики старше двух дней удалялись

Антон
23.07.2018
08:17:26
Суть простая - чанки видео кидались на диск, откуда отдавались клиентам. Видосики старше двух дней удалялись
горячего кеша не было? вообще странно...только если у вас и запись и чтение шло с одной ноды т.е. не было разбаланса нагрузки. все сыпалось в одну, а две других не работали (при модификаторе 3)

Денис
23.07.2018
08:22:50
Всё на SSD было собрано, куда уж ещё больше кеша...

Нагрузка распределялась равномерно, отслеживали, конечно

Антон
23.07.2018
08:24:33
Всё на SSD было собрано, куда уж ещё больше кеша...
причем тут SSD? там просто скорость чтения\записи выше. Когда Вы перешли на Редис у Вас весь массив из дисков поднялся в память (или компилировано. часть в дисках, часть в памяти). Таким образом когда нужно редис дергает из диска и держит в памяти какое-то время, потом опускает. Думаю, сейчас так же реализовано

Денис
23.07.2018
08:24:58
Логично. Но как это сделать с glusterfs?

Антон
23.07.2018
08:29:07
Логично. Но как это сделать с glusterfs?
редис, если не ошибаюсь, держит свои данные в /var/lib/redis/data. эту папку монтируешь на glusterfs через mount {IP_GLUSTERFS}:/{FOLDER} к /var/lib/redis/data, а дальше настройками редиса играешься сколько он держит в памяти, когда сбрасывает на диск. Просто я не использую ванильный гластер, точнее не смогу сказать. У меня поверх гластера натянута система управления с RESTfull API, которая и отдает мне пути к гластеру. не уверен, что гластер можно настроить так, чтобы он писал в одну директорию, а читал другую (грубо говоря пишем мы в gluster01, а читаем с gluster02\3). это надо тестить производительность

Логично. Но как это сделать с glusterfs?
таким образом, горячие видео у тебя лежат в кеше и отдаются клиентам быстро, холодные лежат на диске и по необходимости поднимаются в горчий кеш. но у тебя узким горлышком будет редис. он до сих пор кластеризуется через одно место. можно поднять 3 инстанса и размазать нагрузку по ним...1 гластер - 1 редис и перекрестные связи на случае падения...

Google
Антон
23.07.2018
08:33:14
Логично. Но как это сделать с glusterfs?
еще сильно роляет как быстро гластер с гластером может общаться т.к. если стоит репликация он сам раскидывает это на все диски кластера и если у тебя плохая между ними связь, то будет швах

Денис
23.07.2018
08:36:03
Между гластер-нодами 10Гб линки через Nexus.

Редис закластеризован как 1:3

На машинах с 200Гб памяти, если правильно помню

Так что гластер избыточная сущность получается в нашей схеме

Антон
23.07.2018
08:37:47
На машинах с 200Гб памяти, если правильно помню
400Гб....суммарно...не сказал бы, что много...а где у гластера были затыки? на чтение или на записи?

Так что гластер избыточная сущность получается в нашей схеме
да, у вас в них смысла нет. можно это в оперативке держать не напрягаясь. я думал у тебя там терабайты)

Денис
23.07.2018
08:38:51
2 терабайта в сутки набегает

400Гб....суммарно...не сказал бы, что много...а где у гластера были затыки? на чтение или на записи?
Затыки были во времени отдачи, с диска всё читалась и записывалось ровно

Денис
23.07.2018
08:39:44
Да

И вот где именно выше, уже очень сложно отдебажить

Я не нашёл, по крайней мере

Dez
23.07.2018
08:48:21
Привет всем, незнаю уместен ли тут вопрос.Есть, кто может подсказать, хорошую книгу по postgresql желательно 10той.И важный момент книгу приобрести хочу именно в бумажном варианте, так как почти на месяц ухожу в поход, где собственно с электричеством проблеммы) Заранее спасибо.

Денис
23.07.2018
08:52:53
Извращение-то какое, в походе читать книгу по постгресу.

Egor
23.07.2018
08:55:30
Я как-то 2 дня ждал погоду в палатке перед восхождением на Казбек, от скуки прочитал обе части 50 оттенков серого. Лучше б это был постгрес

Денис
23.07.2018
08:55:40
Гггг

Google
Денис
23.07.2018
08:56:22
А оказались они при тебе тоже случайно? ?

Антон
23.07.2018
08:56:55
А оказались они при тебе тоже случайно? ?
давайте не продолжать этот тред

Loljeene
23.07.2018
08:59:30
подскажите, что можно по быстренькому поднять чтобы прокинуть parent proxy, кроме сквида?

Денис
23.07.2018
09:12:24
Да любой прокси, как я мыслю.

aborche
23.07.2018
10:00:41
Коллеги, а что есть свободного для формирования service dependency map ?

Arthur
23.07.2018
10:01:58
/хюдё

ё

Страница 4074 из 4568