@ru_devops

Страница 855 из 999
Марк ☢
15.06.2018
19:09:47
не факт.
Сонласен. Но скорее всего

Бывали
О, щас факт

В чем лучше логи хранить ? Подозреваю что бд журналд гавно

Sergey
15.06.2018
19:10:49
Google
Марк ☢
15.06.2018
19:11:05
очевидно же, что в скайпе
Я нормально спросил же

Чтобы потом по логам выборку делать удобную

И быструю

По полям

Sergey
15.06.2018
19:11:44
В чем лучше логи хранить ? Подозреваю что бд журналд гавно
хранить - очевидно в сжатых архивах на каком-то ледяном сторадже.

Евгений
15.06.2018
19:12:00
ну почему. Евгений не первый раз демонстрирует, что он эксперт в любой рандомно взятой области знаний. этим и прекрасен. однажды он мне доказывал, что в питоне невозможно использовать табы в качестве отступов.
Всё очень просто -- если влезатьтолько в те срачи, где ты чо-то знаешь, а в те, в которых ты не разбираешься -- не влезать, то сложится соответствующая репутация. А если есть ещё и фанаты, перевирающие твои тезисы, так вообще

Чтобы потом по логам выборку делать удобную
А тебе нужно делать быструю выборку по логам 5'ной месячной давности?

Марк ☢
15.06.2018
19:13:15
ахаха. то есть мяу.
Давай по сучеству

Sergey
15.06.2018
19:13:39
задача поставлена в духе хрыча.

и чтобы ещё запросы над 10 пб логов выполнялись за доли секунды

Марк ☢
15.06.2018
19:15:11
и чтобы ещё запросы над 10 пб логов выполнялись за доли секунды
Конкретных требований нет. Хочется услышать технологии который позволят по мнению икспердов делать выборки максимально быстро

Google
Sergey
15.06.2018
19:15:38
Конкретных требований нет. Хочется услышать технологии который позволят по мнению икспердов делать выборки максимально быстро
без конкретных требований идите нахуй. потому что сюда подойдёт от шелльника на баше до хадупа в зависимости от того какие ты крутилки у задачи покрутишь.

Евгений
15.06.2018
19:17:28
Храни логи заархивированными на ледяных стораджах, а кастомные поля в кликхаус (и туда же номер строчки в логе) Велосипед.пнг

Марк ☢
15.06.2018
19:17:29
Выборки по типу аля журналдэ

Типа дай за неделю от постфикса с уровнем варнинг

Евгений
15.06.2018
19:18:19
Самое важное -- сколько у тебя террабайтов логов в день и сколько нужно хранить эту опердень

Евгений
15.06.2018
19:21:03
От объема сильно зависит скорость, ваш КО

Марк ☢
15.06.2018
19:21:12
Логстэш гавно ?

Navern
15.06.2018
19:22:38
Логстэш гавно ?
логстэш не достает тебе логи) он их тока процессит)

Евгений
15.06.2018
19:22:39
Ты хотел сказать "эластик"

Марк ☢
15.06.2018
19:22:59
Я не девапс

Navern
15.06.2018
19:23:18
а эластик кластер прожорливый слегка. ну это так, по опыту. И там зависит от того за какое время ты хочешь серчить без проблем(активный/не активный индекс)

Я не девапс
тогда заюзай ok-log

расскажешь потом

Марк ☢
15.06.2018
19:24:34
Вброшу тем кто этим занимается

А в кх логи хранить зашквар ?

Navern
15.06.2018
19:24:51
да не

Google
Navern
15.06.2018
19:25:01
был даже же проектик от флантов

кажись

Марк ☢
15.06.2018
19:25:16
Navern
15.06.2018
19:25:50
https://github.com/flant/loghouse

Sergey
15.06.2018
19:25:50
Ссылочку
google://loghouse

Navern
15.06.2018
19:25:54
но у них тут для кубера)

https://github.com/oklog/oklog

елк - нужно разбираться и тюнить еще) и думать) ок-лог не видел чтобы в проде кто-то юзал, но проект интересный

Navern
15.06.2018
19:27:33
loghouse
я же даже уже ссылку кинул:)

Vladimir
15.06.2018
19:27:39
ага, увидел )

Sergey
15.06.2018
19:27:59
https://github.com/oklog/oklog
интересная какая штука

вот так вот завязал с девопсом и трендов уже и не видишь

Navern
15.06.2018
19:28:35
интересная какая штука
у него папир интересный) в бложике

круто расписано

рекомендую почитать

Sergey
15.06.2018
19:29:06
Roman
15.06.2018
19:34:38
Кто завтра на конфу?

Vlad
15.06.2018
19:38:56
Серебранной пули нет. Что-бы за секунды парсить гигабайты логов нужно их держать в оперативной памяти. Чем и занимается тот-же эластик. Поэтому смотрите на то сколько логов влезет в память вашего сервера.

Google
Vladimir
15.06.2018
19:40:14
и хороший движок для распределенных запросов

Марк ☢
15.06.2018
19:41:17
@loghouse подрывники какие-то

Vladimir
15.06.2018
20:53:54
@loghouse подрывники какие-то
Ты не в тот поиск вбил

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
21:14:32
Сегодня великий человек Александр Берсенёв сделал релиз своего альтернативного MTProto-прокси на языке Python и выложил статью на Habr Что дает эта реализация - IPv6 из коробки без настройки - Самостоятельный периодический опрос конфигураций middle-proxy (самих серверов Telegram) - Работа с серверами Telegram напрямую, если вам не нужен рекламный канал и статистика от официального бота - Аппаратная акселерация AES, если это возможно, при использовании библиотек pycrypto или pycryptodome - Хорошая проработка кода и алгоритмов Участвуйте в разработке В статье дана ссылка на список альтернативных реализаций MTProto-прокси Выбирайте для себя нужный, вливайтесь в разработку, пишите issue. Обращаю внимание на интересные варианты: - На NodeJS: https://github.com/mtProtoProxy/JSMTProxy - хороший, простой, быстрый - На Golang: https://github.com/mtProtoProxy/mtg - очень простой, но хорошо сделан
Чот странное. Поработала поработала прокся. А теперь ничего не происходит. Телнетом на порт подключаюсь, а телега говорит, что прокся недоступна и бесконечно пытается подключиться к ней. Хотя ничего не делалось на сервере перед тем как прокся перестала работать.

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
21:33:52
https://t.me/usher2/164
Я тоже об этом подумал в первую очередь. И поэтому сразу полез в телнет и увидел, что соединение проходит нормально.

Admin
ERROR: S client not available

Aleksandr
15.06.2018
21:38:08
а почему не должно?

ссылка не про "это ркн", ссылка была про детект mtproxy по размеру пакетов, видимо по ним создали сигнатуру, время фоллбэкнуться обратно на сокс с паролем

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
21:43:15
Хм, то есть ты хочешь сказать, что они дропают только особые пакеты на порт, а не все?

У всех ли провайдеров есть такое оборудование для DPI?

Aleksandr
15.06.2018
21:45:14
Хм, то есть ты хочешь сказать, что они дропают только особые пакеты на порт, а не все?
по ссылке есть предполагаемые детали: обнаружили закономерность, что пакеты дропаются только при конкретном размере, специфичном для mtproxy

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
21:52:01
Насколько я понимаю, то размер пакетов в мтпрото можно сделать любым, в известных пределах, конечно.

Aleksandr
15.06.2018
21:52:25
можно попробовать и посмотреть результат

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
21:54:36
Ну и да, я продолжаю сидеть под старой проксёй, её не блочит почему-то. Очевидно, что проблема не в провайдере =)

Точнее она не старая, а та же только в виде официальной реализации и на соседнем порту.

Алексей
15.06.2018
22:13:05
если кто морочился запускать mtproto proxy и не получалось проверьте синхронизацию времени. я убил тучу времени на то что на сервере не было синхронизировано время

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
22:19:47
Странный прикол у гмыла.... пришло письмо на мой адрес, но там нигде моего адреса нет в заголовках письма: Received: by e.mail.ru with HTTP; Fri, 15 Jun 2018 13:04:37 +0300 From: "Ирина Добрянская" <irina.dobryanskaya.96@mail.ru> To: julstepan@gmail.com Subject: Приглашение на работу MIME-Version: 1.0 X-Mailer: Mail.Ru Mailer 1.0 Date: Fri, 15 Jun 2018 13:04:37 +0300

Google
[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
22:20:07
Как такое могло произойти?

Алексей
15.06.2018
22:20:35
bcc очевидно

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
22:20:53
Хм, он в заголовок не попадает?

Алексей
15.06.2018
22:21:05
[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
22:21:53
Тогда не ясно зачем рассылать куче людей письмо о том, что их одобрили на вакансию... Хотяяяя... очередные приколы HRок =)

Я однажды получил письмо с парой сотен людей в поле to =)

Алексей
15.06.2018
22:22:40
както через поле to утекла вся база mtt

надо ли говорить что в рассылке была вакханалия 2-3 недели

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
22:25:08
гг, не слышал про эту историю

Алексей
15.06.2018
22:26:07
ну там было мыл 250... в основном больших операторов. на 20-30 письме пошли предложения по продаже трафика сильно ниже цен мтт

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
22:46:44
Когда будет уметь столько же, сколько пайчарм, тогда можно будет сравнивать)
Я успел не мало строк кода на питоне написать, но пайчарм запускал лишь пару раз и не понял зачем он мне нужен кроме как для дебага очень сложных проектов.

Pavel
15.06.2018
22:48:11
Хехе, логи.

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
22:48:14
Pavel
15.06.2018
22:49:03
Щобе обработать риалтайм надо либо сразу знатььщо надо, либо дохуя серваков

Ну да, колоночные бд могут решить часть кейсов и относительно дешево, но не все жы

Сука, когда говорят про екл как про обычный заббикс, у меня пукен немного подрывается

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
23:01:49
Мне кажется, что для Торвальдса даже ядро это обычная такая программка

Страница 855 из 999