Mark ☢️
Вброшу тем кто этим занимается
Mark ☢️
А в кх логи хранить зашквар ?
Navern
да не
Navern
был даже же проектик от флантов
Navern
кажись
Евгений
а эластик кластер прожорливый слегка. ну это так, по опыту. И там зависит от того за какое время ты хочешь серчить без проблем(активный/не активный индекс)
Ну он не говорит сколько там у него логов. Может по гигу в день и эластик норм зайдёт
Navern
https://github.com/flant/loghouse
Navern
но у них тут для кубера)
Navern
https://github.com/oklog/oklog
Navern
елк - нужно разбираться и тюнить еще) и думать)
ок-лог не видел чтобы в проде кто-то юзал, но проект интересный
Vladimir
ага, увидел )
Sergei
вот так вот завязал с девопсом и трендов уже и не видишь
Navern
круто расписано
Navern
рекомендую почитать
Roman
Кто завтра на конфу?
Vlad
Серебранной пули нет. Что-бы за секунды парсить гигабайты логов нужно их держать в оперативной памяти. Чем и занимается тот-же эластик. Поэтому смотрите на то сколько логов влезет в память вашего сервера.
Vladimir
Серебранной пули нет. Что-бы за секунды парсить гигабайты логов нужно их держать в оперативной памяти. Чем и занимается тот-же эластик. Поэтому смотрите на то сколько логов влезет в память вашего сервера.
нужно иметь просто оооооооооочень много серверов для логов и выборки по индексам
Vladimir
и хороший движок для распределенных запросов
Mark ☢️
@loghouse подрывники какие-то
Дурак из фильма
Сегодня великий человек Александр Берсенёв сделал релиз своего альтернативного MTProto-прокси на языке Python и выложил статью на Habr
Что дает эта реализация
- IPv6 из коробки без настройки
- Самостоятельный периодический опрос конфигураций middle-proxy (самих серверов Telegram)
- Работа с серверами Telegram напрямую, если вам не нужен рекламный канал и статистика от официального бота
- Аппаратная акселерация AES, если это возможно, при использовании библиотек pycrypto или pycryptodome
- Хорошая проработка кода и алгоритмов
Участвуйте в разработке
В статье дана ссылка на список альтернативных реализаций MTProto-прокси
Выбирайте для себя нужный, вливайтесь в разработку, пишите issue.
Обращаю внимание на интересные варианты:
- На NodeJS: https://github.com/mtProtoProxy/JSMTProxy - хороший, простой, быстрый
- На Golang: https://github.com/mtProtoProxy/mtg - очень простой, но хорошо сделан
Чот странное. Поработала поработала прокся. А теперь ничего не происходит. Телнетом на порт подключаюсь, а телега говорит, что прокся недоступна и бесконечно пытается подключиться к ней. Хотя ничего не делалось на сервере перед тем как прокся перестала работать.
Aleksandr
Дурак из фильма
https://t.me/usher2/164
Я тоже об этом подумал в первую очередь. И поэтому сразу полез в телнет и увидел, что соединение проходит нормально.
Aleksandr
а почему не должно?
Aleksandr
ссылка не про "это ркн", ссылка была про детект mtproxy по размеру пакетов, видимо по ним создали сигнатуру, время фоллбэкнуться обратно на сокс с паролем
Дурак из фильма
Хм, то есть ты хочешь сказать, что они дропают только особые пакеты на порт, а не все?
Дурак из фильма
У всех ли провайдеров есть такое оборудование для DPI?
Aleksandr
Хм, то есть ты хочешь сказать, что они дропают только особые пакеты на порт, а не все?
по ссылке есть предполагаемые детали: обнаружили закономерность, что пакеты дропаются только при конкретном размере, специфичном для mtproxy
Дурак из фильма
Насколько я понимаю, то размер пакетов в мтпрото можно сделать любым, в известных пределах, конечно.
Aleksandr
можно попробовать и посмотреть результат
Дурак из фильма
Ну и да, я продолжаю сидеть под старой проксёй, её не блочит почему-то. Очевидно, что проблема не в провайдере =)
Дурак из фильма
Точнее она не старая, а та же только в виде официальной реализации и на соседнем порту.
Aleksey
если кто морочился запускать mtproto proxy и не получалось проверьте синхронизацию времени. я убил тучу времени на то что на сервере не было синхронизировано время
Дурак из фильма
Странный прикол у гмыла.... пришло письмо на мой адрес, но там нигде моего адреса нет в заголовках письма:
Received: by e.mail.ru with HTTP; Fri, 15 Jun 2018 13:04:37 +0300
From: "Ирина
Добрянская" <irina.dobryanskaya.96@mail.ru>
To: julstepan@gmail.com
Subject: Приглашение на работу
MIME-Version: 1.0
X-Mailer: Mail.Ru Mailer 1.0
Date: Fri, 15 Jun 2018 13:04:37 +0300
Дурак из фильма
Как такое могло произойти?
Дурак из фильма
если кто морочился запускать mtproto proxy и не получалось проверьте синхронизацию времени. я убил тучу времени на то что на сервере не было синхронизировано время
ооо, вот это может быть, кстати. Давно не синкал
Aleksey
bcc очевидно
Дурак из фильма
Хм, он в заголовок не попадает?
Дурак из фильма
Тогда не ясно зачем рассылать куче людей письмо о том, что их одобрили на вакансию... Хотяяяя... очередные приколы HRок =)
Дурак из фильма
Я однажды получил письмо с парой сотен людей в поле to =)
Aleksey
както через поле to утекла вся база mtt
Aleksey
надо ли говорить что в рассылке была вакханалия 2-3 недели
Дурак из фильма
гг, не слышал про эту историю
Aleksey
ну там было мыл 250... в основном больших операторов. на 20-30 письме пошли предложения по продаже трафика сильно ниже цен мтт
Дурак из фильма
Когда будет уметь столько же, сколько пайчарм, тогда можно будет сравнивать)
Я успел не мало строк кода на питоне написать, но пайчарм запускал лишь пару раз и не понял зачем он мне нужен кроме как для дебага очень сложных проектов.
Pavel
Хехе, логи.
Дурак из фильма
А что у пайчарма с памятью то?) У меня аптаймы на нем под два месяца с учетом работающих через него сервисов. Нормально всё с памятью.
о, знаток извращений =) запускать в прод сервисы запущеные под пайчармом =)
Pavel
Щобе обработать риалтайм надо либо сразу знатььщо надо, либо дохуя серваков
Pavel
Ну да, колоночные бд могут решить часть кейсов и относительно дешево, но не все жы
Pavel
Сука, когда говорят про екл как про обычный заббикс, у меня пукен немного подрывается
Дурак из фильма
Мне кажется, что для Торвальдса даже ядро это обычная такая программка
Sergey
Щобе обработать риалтайм надо либо сразу знатььщо надо, либо дохуя серваков
rsyslog.
в нём есть pattern matching.
Pavel
Ну тут уже про анализ речь
Mark ☢️
Насколько я понимаю, то размер пакетов в мтпрото можно сделать любым, в известных пределах, конечно.
В айписеке специальное добивание рандомным мусором
Mark ☢️
Странный прикол у гмыла.... пришло письмо на мой адрес, но там нигде моего адреса нет в заголовках письма:
Received: by e.mail.ru with HTTP; Fri, 15 Jun 2018 13:04:37 +0300
From: "Ирина
Добрянская" <irina.dobryanskaya.96@mail.ru>
To: julstepan@gmail.com
Subject: Приглашение на работу
MIME-Version: 1.0
X-Mailer: Mail.Ru Mailer 1.0
Date: Fri, 15 Jun 2018 13:04:37 +0300
Баян. В рцпт ту было, а в просто ту не было. Типа адрес письма и конверта
Tadeusz
Видели, да?
Tadeusz
Компания Alibaba открыла код P2P-системы доставки файлов Dragonfly
Alibaba, одна из крупнейших китайских IT-компаний, открыла исходные тексты распределённой системы доставки файлов Dragonfly, использующей механизмы P2P-коммуникаций для построения сети распространения контента. Система подходит для организации загрузки файлов, создания распределённых кэшей, систем доставки приложений и образов изолированных контейнеров. Код проекта написан на языках Go, Java и Python (в будущем все компоненты планируется переписать на языке Go), и распространяется под лицензией Apache 2.0.
Tadeusz
Это же пиздец!
Tadeusz
Круто, говорю
Александр
Лайк
Tadeusz
Надо бы развернуть, потыкать
Terry
Деплой в пятницу вечером...
Tonych
Tadeusz
в 5 вечера деплоите? норм че
Tadeusz
Pavel
А что такого в деплое в пятницу вечером? Наоборот нарм же
Старый
а в воскресенье править