Aleksey
сам да, через tabix запросы делаю, аналитик через jupyter и redash подключается
Aleksey
нзчт )
Леннарт Zh 🕊
Всем привет. Кто что использует для логгирования? есть у кого что-нибудь отличное от ELK?
fluentd ещё популярен, но он на ruby. Если вопрос "что бы ещё такое интересное посмотреть - посмотри LOKI
Леннарт Zh 🕊
агрегаторы - это fluentd? он сам утрамбовывает и запихивает? или обвязку дописывали?
Или filebeat. В лёгких случаях можно ограничиться greylog. Если инфраструктура банковской/финансовой/военной отрасли - целесообразно использовать два разных движка доставки логов одновременно
Navern
Я бы спросил все таки какие трнбования и чем елк не устроил
Евгений
дешевле ELK, если данных МНОГО
Ну нет, как раз наоборот. ELK это если у тебя либо очень много денег, либо мало данных. Он очень прожорливый по месту и CPU (по сравнению с КХ)
Ivan
или если данные очень вяло структурированные
Евгений
или если данные очень вяло структурированные
Ну да, есть такое. Много неструктурированных логов из одного источника в КХ будут не очень хорошо жить. Но кто в 2020 так делает? Практически всегда можно хоть что-то если ее передать, то выпарсить
Евгений
Аааа :)
Евгений
у вялых программистов бывает
Ваш программист вялый и пишет неструктурированные логи? Достаточно всего лишь...
Pavel
:)))
Ivan
Да в том же php у стандартной либы для логов в стандартном json формате почти в каждом поле есть вложенность, что не особо располагает
Ivan
Свой форматтер для логов пишут только бодрые программисты
Igorь
Ребят, а есть ли адаптеры к КХ, чтобы преобразовывать данные из протокола эластика и обратно? Я к тому, возможно ли заменить само ядро эластика на КХ, с сохранением интерфейса к кибане.
Ivan
нельзя, модель данных разная
Ivan
подробнее
у эластика нет строгой схемы, у кликхауса - есть. эластик - документное хранилище, кликхаус - колоночное
Igorь
так адаптер же можно научить колонки в документы и наоборот преобразовывать.
Ivan
для конкретного случая
Ivan
для общего - слишком трудозатратно
Igorь
для любого случая. Это всегда обход дерева
Ivan
ещё у кликхауса нет полнотекстового поиска
Igorь
А киттенхаус?
Ivan
а что киттенхаус?
Igorь
ну он основан на КХ и у него есть полнотекстовый поиск
Ivan
он вообще только данные вставляет в кх
Ivan
ты откуда это взял
Igorь
а. да. там нет полнотекстового поиска
Combot
Илья Ж (0) увеличил репутацию Ivan Kalinin (1) (+1)
Alexander
у эластика нет строгой схемы, у кликхауса - есть. эластик - документное хранилище, кликхаус - колоночное
На самом деле есть, просто по-дефолту она динамическая и в нее автоматически добавляются новые поля.
Alexander
Но, например, добавить в индекс, где поле уже размечено как целочисленное, запись, где значение строковое, уже нельзя.
Denis 災 nobody
Linux подвис ...
Aleksandr
господа, подскажите куда копать, собираю модуль vts для нжинкса и is not binary compatible хотя сигнатуры совпадают 8,4,8,001111111101001100111111111111111 у nginx 1.16.1 8,4,8,001111111101001100111111111111111 у модуля
Aleksandr
да, я с nginx -V беру все параметры
niko
сам да, через tabix запросы делаю, аналитик через jupyter и redash подключается
а метабейз вместо редаш не пробовали? а то хотим редаш вместо метабейз попробовать)
Navern
да, я с nginx -V беру все параметры
А доп модули какие то есть?
Navern
Версии библиотек не менялись?
Aleksandr
я в докере всегда собирал под centos7, и тут мне отдали амазон ами1 и модуль не работает
Aleksey
а метабейз вместо редаш не пробовали? а то хотим редаш вместо метабейз попробовать)
Сам не пробовал. Аналитик выбирал между ними, я ему поднимал оба одновременно. В итоге остановились на редаш.
Aleksandr
пытаюст собрать под 6-м центосом в докере, но не работает
Navern
Ну если у тебя версии зависимостей, библиотек не совпадают, то все понятно
Aleksandr
если у кого-то есть рабочая сошка vts от офф nginx-1.16.1-1.el6.ngx.x86_64, буду благодарен
Sergey
если у кого-то есть рабочая сошка vts от офф nginx-1.16.1-1.el6.ngx.x86_64, буду благодарен
Ты не хочешь использовать динамические библиотеки от незнакомых людей из Интернета.
Aleksey
нет нет хочет. я как раз докомпилировал малварь
Aleksandr
естественно я не буду его в проде использовать, я слишком стар
Aleksandr
короче, проблема была в том, что оказывается сигнатур не 33, а 34
Aleksandr
и последняя не совпадала
Sergey
естественно я не буду его в проде использовать, я слишком стар
Звёзды библиотеки в интернетах не спрашивают.
Combot
Amit 🤙 has been banned! Reason: CAS ban.
Дурак из фильма
Коллеги, добрый день. А раскройте тайну, как так выходит? Беру ISOшку размером в 10 гигов. ls -hl ./tilecache/ итого 9,7G -rw-r--r-- 1 gitlab-runner gitlab-runner 9,7G февр. 3 23:08 tilecache-10Gb.iso Монитрую её в каталог и так же получаю примерно 10 гигов в разделе df -h | grep cdrom /dev/loop1 9,7G 9,7G 0 100% /mnt/cdrom Но вот когда копирую оттуда файлы rsyncом, получается больше 20-ти гигов. Потом делаю новую исошку genisoimage -LlD --rock --relaxed-filenames -joliet-long -jcharset cp1251 -allow-multidot -input-charset default -o /bla/tilecache_tom4.iso /bla/build И она тоже выходит более чем на 20 гигов: ls -hl /bla/tilecache_tom4.iso -rw-r--r-- 1 gitlab-runner gitlab-runner 23G февр. 3 23:02 /bla/tilecache_tom4.iso Как так? Каким методом была создана исходная исошка, что весит вдвое меньше?
Alex
исошка это же архив
Дурак из фильма
исошка это же архив
Не видел ни в одной писалке дисков и исошек, выставления уровня сжатия
Vladimir
Скорее всего на это ты и напоролся
Дурак из фильма
Типа двойное копирование одного и того же?
Vladimir
Народ делал в свое время (времена windows xp sp2/sp3) ДВД диск со всеми версиями windows, включая все редакции. Благодаря этой особенности оно умещалось на 2 диска по 4.7 гб
Дурак из фильма
Дурак из фильма
Rsync вызывал с флагом -a?
По идее это включает в себя -l copy symlinks as symlinks То есть рсинк должен был симлинки оставить, а не двойное копирование делать. Но видимо симлинки в исо какие-то уникальные и их ни файнд не находит, ни рсинк не видит, копируя целиком файлы.
Дурак из фильма
Исошки умели какое то подобие симлинков через хаки
А есть какие-то ключевые слова про эти хаки? А то мне гугл не поддаётся. Ничего интересного и похожего не показывает.
Дурак из фильма
Через подсчёт md5 для всех файлов нашёл схожие. Теперь нужно сообразить как их в таком же виде разложить по ISOшкам в 4 гига... Чот даже не очень понимаю как это проще сделать... Сохранить в файл список всех одинаковых файлов, потом копировать первый, а все остальные симлинкать... Но надо же теперь ещё в образ запихать эти симлинки, а не многократно копировать одно и тоже.
Sergey
А есть какие-то ключевые слова про эти хаки? А то мне гугл не поддаётся. Ничего интересного и похожего не показывает.
Да не хаки. В файловой системе просто начало данных файла прописывалось одной цифрой LBA. В это умел вроде ImgBurn.
Дурак из фильма
У меня в CI genisoimage и виндустов нету.
George
Йо
George
Читай описание формата iso9660 и расширений к нему (в первую очередь - joilet). Но, да, я понимаю, это сложно и долго
George
У меня в CI genisoimage и виндустов нету.
Вроде как убунту как-то умеет собирать дистр с этими симлинками. Значит, mkiso или как там этот тулинг называется - это умеет. Возможно, что через флаги