
Марк ☢
15.06.2018
19:09:47
В чем лучше логи хранить ? Подозреваю что бд журналд гавно

Sergey
15.06.2018
19:10:49

Google

Марк ☢
15.06.2018
19:11:05
Чтобы потом по логам выборку делать удобную
И быструю
По полям

Sergey
15.06.2018
19:11:44

Евгений
15.06.2018
19:12:00

Sergey
15.06.2018
19:12:39

Марк ☢
15.06.2018
19:13:15

Sergey
15.06.2018
19:13:39
задача поставлена в духе хрыча.
и чтобы ещё запросы над 10 пб логов выполнялись за доли секунды

Марк ☢
15.06.2018
19:15:11

Google

Yury
15.06.2018
19:15:19

Sergey
15.06.2018
19:15:38

Евгений
15.06.2018
19:17:28
Храни логи заархивированными на ледяных стораджах, а кастомные поля в кликхаус (и туда же номер строчки в логе)
Велосипед.пнг

Марк ☢
15.06.2018
19:17:29
Выборки по типу аля журналдэ
Типа дай за неделю от постфикса с уровнем варнинг

Евгений
15.06.2018
19:18:19
Самое важное -- сколько у тебя террабайтов логов в день и сколько нужно хранить эту опердень

Марк ☢
15.06.2018
19:18:47

Евгений
15.06.2018
19:21:03
От объема сильно зависит скорость, ваш КО

Марк ☢
15.06.2018
19:21:12
Логстэш гавно ?

Navern
15.06.2018
19:22:38

Евгений
15.06.2018
19:22:39
Ты хотел сказать "эластик"

Марк ☢
15.06.2018
19:22:59
Я не девапс

Navern
15.06.2018
19:23:18
а эластик кластер прожорливый слегка. ну это так, по опыту. И там зависит от того за какое время ты хочешь серчить без проблем(активный/не активный индекс)
расскажешь потом

Марк ☢
15.06.2018
19:24:34
Вброшу тем кто этим занимается
А в кх логи хранить зашквар ?

Navern
15.06.2018
19:24:51
да не

Google

Navern
15.06.2018
19:25:01
был даже же проектик от флантов
кажись

Евгений
15.06.2018
19:25:09

Марк ☢
15.06.2018
19:25:16

Navern
15.06.2018
19:25:50
https://github.com/flant/loghouse

Sergey
15.06.2018
19:25:50

Navern
15.06.2018
19:25:54
но у них тут для кубера)
https://github.com/oklog/oklog
елк - нужно разбираться и тюнить еще) и думать)
ок-лог не видел чтобы в проде кто-то юзал, но проект интересный

Vladimir
15.06.2018
19:27:18

Navern
15.06.2018
19:27:33

Vladimir
15.06.2018
19:27:39
ага, увидел )

Sergey
15.06.2018
19:27:59
вот так вот завязал с девопсом и трендов уже и не видишь

Navern
15.06.2018
19:28:35
круто расписано
рекомендую почитать

Sergey
15.06.2018
19:29:06

Roman
15.06.2018
19:34:38
Кто завтра на конфу?

Vlad
15.06.2018
19:38:56
Серебранной пули нет. Что-бы за секунды парсить гигабайты логов нужно их держать в оперативной памяти. Чем и занимается тот-же эластик. Поэтому смотрите на то сколько логов влезет в память вашего сервера.

Google

Vladimir
15.06.2018
19:40:14
и хороший движок для распределенных запросов

Марк ☢
15.06.2018
19:41:17
@loghouse подрывники какие-то

Vladimir
15.06.2018
20:53:54


[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
21:14:32
Сегодня великий человек Александр Берсенёв сделал релиз своего альтернативного MTProto-прокси на языке Python и выложил статью на Habr
Что дает эта реализация
- IPv6 из коробки без настройки
- Самостоятельный периодический опрос конфигураций middle-proxy (самих серверов Telegram)
- Работа с серверами Telegram напрямую, если вам не нужен рекламный канал и статистика от официального бота
- Аппаратная акселерация AES, если это возможно, при использовании библиотек pycrypto или pycryptodome
- Хорошая проработка кода и алгоритмов
Участвуйте в разработке
В статье дана ссылка на список альтернативных реализаций MTProto-прокси
Выбирайте для себя нужный, вливайтесь в разработку, пишите issue.
Обращаю внимание на интересные варианты:
- На NodeJS: https://github.com/mtProtoProxy/JSMTProxy - хороший, простой, быстрый
- На Golang: https://github.com/mtProtoProxy/mtg - очень простой, но хорошо сделан
Чот странное. Поработала поработала прокся. А теперь ничего не происходит. Телнетом на порт подключаюсь, а телега говорит, что прокся недоступна и бесконечно пытается подключиться к ней. Хотя ничего не делалось на сервере перед тем как прокся перестала работать.


Aleksandr
15.06.2018
21:31:09

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
21:33:52
https://t.me/usher2/164
Я тоже об этом подумал в первую очередь. И поэтому сразу полез в телнет и увидел, что соединение проходит нормально.

Admin
ERROR: S client not available

Aleksandr
15.06.2018
21:38:08
а почему не должно?
ссылка не про "это ркн", ссылка была про детект mtproxy по размеру пакетов, видимо по ним создали сигнатуру, время фоллбэкнуться обратно на сокс с паролем

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
21:43:15
Хм, то есть ты хочешь сказать, что они дропают только особые пакеты на порт, а не все?
У всех ли провайдеров есть такое оборудование для DPI?

Aleksandr
15.06.2018
21:45:14

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
21:52:01
Насколько я понимаю, то размер пакетов в мтпрото можно сделать любым, в известных пределах, конечно.

Aleksandr
15.06.2018
21:52:25
можно попробовать и посмотреть результат

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
21:54:36
Ну и да, я продолжаю сидеть под старой проксёй, её не блочит почему-то. Очевидно, что проблема не в провайдере =)
Точнее она не старая, а та же только в виде официальной реализации и на соседнем порту.

Алексей
15.06.2018
22:13:05
если кто морочился запускать mtproto proxy и не получалось проверьте синхронизацию времени. я убил тучу времени на то что на сервере не было синхронизировано время

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
22:19:47
Странный прикол у гмыла.... пришло письмо на мой адрес, но там нигде моего адреса нет в заголовках письма:
Received: by e.mail.ru with HTTP; Fri, 15 Jun 2018 13:04:37 +0300
From: "Ирина
Добрянская" <irina.dobryanskaya.96@mail.ru>
To: julstepan@gmail.com
Subject: Приглашение на работу
MIME-Version: 1.0
X-Mailer: Mail.Ru Mailer 1.0
Date: Fri, 15 Jun 2018 13:04:37 +0300

Google

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
22:20:07
Как такое могло произойти?

Алексей
15.06.2018
22:20:35
bcc очевидно

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
22:20:53
Хм, он в заголовок не попадает?

Алексей
15.06.2018
22:21:05

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
22:21:53
Тогда не ясно зачем рассылать куче людей письмо о том, что их одобрили на вакансию... Хотяяяя... очередные приколы HRок =)
Я однажды получил письмо с парой сотен людей в поле to =)

Алексей
15.06.2018
22:22:40
както через поле to утекла вся база mtt
надо ли говорить что в рассылке была вакханалия 2-3 недели

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
22:25:08
гг, не слышал про эту историю

Алексей
15.06.2018
22:26:07
ну там было мыл 250... в основном больших операторов. на 20-30 письме пошли предложения по продаже трафика сильно ниже цен мтт

Pavel
15.06.2018
22:36:48

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
22:46:44

Pavel
15.06.2018
22:48:11
Хехе, логи.

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
22:48:14

Pavel
15.06.2018
22:49:03
Щобе обработать риалтайм надо либо сразу знатььщо надо, либо дохуя серваков
Ну да, колоночные бд могут решить часть кейсов и относительно дешево, но не все жы
Сука, когда говорят про екл как про обычный заббикс, у меня пукен немного подрывается

[̲̅i̲̅t̲̅j̲̅u̲̅n̲̅k̲̅y̲̅] ࢧ кибер-даос
15.06.2018
23:01:49
Мне кажется, что для Торвальдса даже ядро это обычная такая программка