Aleksey
сам да, через tabix запросы делаю, аналитик через jupyter и redash подключается
Kirill
Aleksey
нзчт )
Леннарт Zh 🕊
Леннарт Zh 🕊
Navern
Я бы спросил все таки какие трнбования и чем елк не устроил
Евгений
дешевле ELK, если данных МНОГО
Ну нет, как раз наоборот. ELK это если у тебя либо очень много денег, либо мало данных. Он очень прожорливый по месту и CPU (по сравнению с КХ)
Ivan
или если данные очень вяло структурированные
Евгений
или если данные очень вяло структурированные
Ну да, есть такое. Много неструктурированных логов из одного источника в КХ будут не очень хорошо жить. Но кто в 2020 так делает? Практически всегда можно хоть что-то если ее передать, то выпарсить
Ivan
Pavel
Евгений
Аааа :)
Pavel
:)))
Ivan
Да в том же php у стандартной либы для логов в стандартном json формате почти в каждом поле есть вложенность, что не особо располагает
Ivan
Свой форматтер для логов пишут только бодрые программисты
Bogdan (SirEdvin)
Igorь
Ребят, а есть ли адаптеры к КХ, чтобы преобразовывать данные из протокола эластика и обратно? Я к тому, возможно ли заменить само ядро эластика на КХ, с сохранением интерфейса к кибане.
Ivan
нельзя, модель данных разная
Pavel
Igorь
Ivan
подробнее
у эластика нет строгой схемы, у кликхауса - есть. эластик - документное хранилище, кликхаус - колоночное
Igorь
так адаптер же можно научить колонки в документы и наоборот преобразовывать.
Ivan
для конкретного случая
Ivan
для общего - слишком трудозатратно
Igorь
для любого случая. Это всегда обход дерева
Ivan
ещё у кликхауса нет полнотекстового поиска
Igorь
А киттенхаус?
Ivan
а что киттенхаус?
Igorь
ну он основан на КХ и у него есть полнотекстовый поиск
Ivan
он вообще только данные вставляет в кх
Ivan
ты откуда это взял
Igorь
а. да. там нет полнотекстового поиска
Леннарт Zh 🕊
Combot
Илья Ж (0) увеличил репутацию Ivan Kalinin (1) (+1)
Alexander
Alexander
Но, например, добавить в индекс, где поле уже размечено как целочисленное, запись, где значение строковое, уже нельзя.
Denis 災 nobody
Linux подвис ...
Aleksandr
господа, подскажите куда копать, собираю модуль vts для нжинкса и is not binary compatible
хотя сигнатуры совпадают
8,4,8,001111111101001100111111111111111 у nginx 1.16.1
8,4,8,001111111101001100111111111111111 у модуля
Navern
Aleksandr
да, я с nginx -V беру все параметры
Navern
Navern
Версии библиотек не менялись?
Aleksandr
я в докере всегда собирал под centos7, и тут мне отдали амазон ами1 и модуль не работает
Aleksandr
пытаюст собрать под 6-м центосом в докере, но не работает
Navern
Ну если у тебя версии зависимостей, библиотек не совпадают, то все понятно
Aleksandr
если у кого-то есть рабочая сошка vts от офф nginx-1.16.1-1.el6.ngx.x86_64, буду благодарен
Sergey
Aleksey
нет нет хочет. я как раз докомпилировал малварь
Aleksandr
Aleksandr
естественно я не буду его в проде использовать, я слишком стар
Aleksandr
короче, проблема была в том, что оказывается сигнатур не 33, а 34
Aleksandr
и последняя не совпадала
Sergey
Combot
Amit 🤙 has been banned! Reason: CAS ban.
Дурак из фильма
Коллеги, добрый день.
А раскройте тайну, как так выходит? Беру ISOшку размером в 10 гигов.
ls -hl ./tilecache/
итого 9,7G
-rw-r--r-- 1 gitlab-runner gitlab-runner 9,7G февр. 3 23:08 tilecache-10Gb.iso
Монитрую её в каталог и так же получаю примерно 10 гигов в разделе
df -h | grep cdrom
/dev/loop1 9,7G 9,7G 0 100% /mnt/cdrom
Но вот когда копирую оттуда файлы rsyncом, получается больше 20-ти гигов.
Потом делаю новую исошку
genisoimage -LlD --rock --relaxed-filenames -joliet-long -jcharset cp1251 -allow-multidot -input-charset default -o /bla/tilecache_tom4.iso /bla/build
И она тоже выходит более чем на 20 гигов:
ls -hl /bla/tilecache_tom4.iso
-rw-r--r-- 1 gitlab-runner gitlab-runner 23G февр. 3 23:02 /bla/tilecache_tom4.iso
Как так? Каким методом была создана исходная исошка, что весит вдвое меньше?
Alex
исошка это же архив
Дурак из фильма
исошка это же архив
Не видел ни в одной писалке дисков и исошек, выставления уровня сжатия
Vladimir
Vladimir
Скорее всего на это ты и напоролся
Дурак из фильма
Типа двойное копирование одного и того же?
Vladimir
Vladimir
Народ делал в свое время (времена windows xp sp2/sp3) ДВД диск со всеми версиями windows, включая все редакции. Благодаря этой особенности оно умещалось на 2 диска по 4.7 гб
George
Alexander
Дурак из фильма
Леннарт Zh 🕊
Дурак из фильма
Rsync вызывал с флагом -a?
По идее это включает в себя -l copy symlinks as symlinks
То есть рсинк должен был симлинки оставить, а не двойное копирование делать.
Но видимо симлинки в исо какие-то уникальные и их ни файнд не находит, ни рсинк не видит, копируя целиком файлы.
Дурак из фильма
Через подсчёт md5 для всех файлов нашёл схожие. Теперь нужно сообразить как их в таком же виде разложить по ISOшкам в 4 гига...
Чот даже не очень понимаю как это проще сделать... Сохранить в файл список всех одинаковых файлов, потом копировать первый, а все остальные симлинкать... Но надо же теперь ещё в образ запихать эти симлинки, а не многократно копировать одно и тоже.
Sergey
Дурак из фильма
У меня в CI genisoimage и виндустов нету.
George
George
Йо
George
Читай описание формата iso9660 и расширений к нему (в первую очередь - joilet). Но, да, я понимаю, это сложно и долго