Точнее - в чем отличия от HBase?

@KirillGarbar ответ чуть выше

Спасибо. Всё сам делал? Работал с геоданными. У меня из коробки мало что работало 5 лет назад.

Всем привет! Такой вопрос... Имеем внутренний сайт компании. Два поддомена: для сотрудников и для клиентов (каждый со своей авторизацией). Есть сущность "Задача", у которой есть описание. Задачи отображаются и у клиентов и у сотрудников. Для описания используется WYSIWYG-редактор. В редакторе могут быть добавлены картинки (загружены на сервер). Загружаемые картинки должны быть доступны ТОЛЬКО авторизованным пользователям. Для того, чтобы ограничить доступ к картинкам запрос должен идти не напрямую к картинке, а через контроллер. Соответственно вопрос, как это реализовать? Вижу три варианта. 1) И у клиентов и у сотрудников делать контроллер, который будет отдавать эти картинки. В редакторе делать ссылки на контроллер сотрудников, а при отображении задачи у клиента подменять адреса картинок на адрес контроллера у клиентов. 2) Делать 3й поддомен для файлов, делать авторизацию сквозную между доменами и соответственно использовать один контроллер. 3) Ссылки делаем на поддомен сотрудников, авторизацию клиентов делаем сквозной и соответственно с поддомена сотрудников будут отдаваться картинки клиентам. Как лучше сделать? Может есть ещё какой вариант?

Спасибо. Всё сам делал? Работал с геоданными. У меня из коробки мало что работало 5 лет назад.

Этот кусок да

> СУБД - Apache Accumulo на HDFS (взят от Hortonworks) И как оно?

на Аккумуле нормально. Основно ядро тут Geomesa, а она и там и там не показала косяков при нагрузке. Выбор Аккумулы был бизнес решением т.к. у них уже была экспертиза по ней

Угу

СУБД - Apache Accumulo на HDFS (взят от Hortonworks) Поточка через - Apache Kafka Аналитика через - Apache Spark (кластер Apache Storm) Рендер - Geoserver IMDG - Google Guava Веб - JS Liferay (есть свои кастомы) Тестовая среда разработчика - Apache Zeppelin ———————————- В Kafka\Spark\Accumulo имплементирован java Geomesa

@erzentd судя по твоему стеку, ты что-то подобное собираешь. закинь к себе. шифт ложится рендер\веб\тестовая среда разработки

Товарищи, скажите пожалуйста.Как можно обойти ограничение nginx на длину GET запроса? У меня он чуть более 4кб получился и nginx ругается 431 Too big request header Или я хочу очень странного?)

Никак не могу найти решение почемуто(

@erzentd судя по твоему стеку, ты что-то подобное собираешь. закинь к себе. шифт ложится рендер\веб\тестовая среда разработки

скоро я замучаюсь с докером, особенно в нём кликхаусы на 4 млрд сообщений в сутки

У nginx в его аллокаторе стандартный размер блока 4кб, насколько я помню

скоро я замучаюсь с докером, особенно в нём кликхаусы на 4 млрд сообщений в сутки

в докер клик?

Всем привет! Такой вопрос... Имеем внутренний сайт компании. Два поддомена: для сотрудников и для клиентов (каждый со своей авторизацией). Есть сущность "Задача", у которой есть описание. Задачи отображаются и у клиентов и у сотрудников. Для описания используется WYSIWYG-редактор. В редакторе могут быть добавлены картинки (загружены на сервер). Загружаемые картинки должны быть доступны ТОЛЬКО авторизованным пользователям. Для того, чтобы ограничить доступ к картинкам запрос должен идти не напрямую к картинке, а через контроллер. Соответственно вопрос, как это реализовать? Вижу три варианта. 1) И у клиентов и у сотрудников делать контроллер, который будет отдавать эти картинки. В редакторе делать ссылки на контроллер сотрудников, а при отображении задачи у клиента подменять адреса картинок на адрес контроллера у клиентов. 2) Делать 3й поддомен для файлов, делать авторизацию сквозную между доменами и соответственно использовать один контроллер. 3) Ссылки делаем на поддомен сотрудников, авторизацию клиентов делаем сквозной и соответственно с поддомена сотрудников будут отдаваться картинки клиентам. Как лучше сделать? Может есть ещё какой вариант?

это про AD сейчас чтоли?

в докер клик?

да, в cri-o

это про AD сейчас чтоли?

не, пхп)

У nginx в его аллокаторе стандартный размер блока 4кб, насколько я помню

и это конфигом никак не поправить получается?

и это конфигом никак не поправить получается?

https://andrewlock.net/fixing-nginx-upstream-sent-too-big-header-error-when-running-an-ingress-controller-in-kubernetes/

а ещё весь efk и prom+click в cri-o

Как-то так

proxy_buffers 8 16k; # Buffer pool = 8 buffers of 16k proxy_buffer_size 16k; # 16k of buffers from pool used for headers

так это не от апстрима идет, в входящий запрос

proxy_buffers 8 16k; # Buffer pool = 8 buffers of 16k proxy_buffer_size 16k; # 16k of buffers from pool used for headers

не помогло. Да и это же про ответ? не?

да, в cri-o

? у тебя стейтлесс?

так это не от апстрима идет, в входящий запрос

Размер буфера один на всё

А хотя

не помогло. Да и это же про ответ? не?

еще больше сделай. у нас так решилось...стоит 5Mb

client_max_body_size 5m; large_client_header_buffers 4 16k; proxy_buffer_size 64k; proxy_buffers 4 64k; proxy_busy_buffers_size 64k;

? у тебя стейтлесс?

докер нельзя - это виртуализация, cri-o можно, это не виртуализация ??

вот это не помогает)

client_body_buffer_size

Тоже может не помочь - оно для POST

ну да, именно. вся засада в том, что это в URI

Syntax: large_client_header_buffers number size; Default: large_client_header_buffers 4 8k; Context: http, server

Sets the maximum number and size of buffers used for reading large client request header. A request line cannot exceed the size of one buffer, or the 414 (Request-URI Too Large) error is returned to the client. A request header field cannot exceed the size of one buffer as well, or the 400 (Bad Request) error is returned to the client. Buffers are allocated only on demand. By default, the buffer size is equal to 8K bytes. If after the end of request processing a connection is transitioned into the keep-alive state, these buffers are released.

Интересно - тут про дефолт в 8k говорят

Ну я выше, как видишь, arge_client_header_buffers 4 16k; поставил на всяк случай

докер нельзя - это виртуализация, cri-o можно, это не виртуализация ??

Зачем тебе клик в докер класть? Ему норм на вам будет

Зачем тебе клик в докер класть? Ему норм на вам будет

у разраба великая надежда, что в кубере софт капризничать перестаёт

у разраба великая надежда, что в кубере софт капризничать перестаёт

?‍♂

я эту хрень слушал 30 собесов, и тут теперь слушаю

это какой то мраку

у разраба великая надежда, что в кубере софт капризничать перестаёт

Клик - заводится даже на астралинуксе, что в нем капризничает?

Клик - заводится даже на астралинуксе, что в нем капризничает?

там помимо клика ещё куча всего

там помимо клика ещё куча всего

Оке, что капризничает? Ток не размазывай мысль по древу, дай тезисно кейс пожалуйста

Оке, что капризничает? Ток не размазывай мысль по древу, дай тезисно кейс пожалуйста

ну вот у тебя есть efk stack, в который ты будешь писать логи из кучи сервисов, но стоит оно у тебя на sas 12 tb 7200

ну вот у тебя есть efk stack, в который ты будешь писать логи из кучи сервисов, но стоит оно у тебя на sas 12 tb 7200

на одном диске чтоли? и что это за модель на 12тб sas ?

так вот по мнению разраба поставив его в кубер, он перестанет писать случайно, ему ненужны станут iops

на одном диске чтоли? и что это за модель на 12тб sas ?

https://www.xcom-shop.ru/hgst_0f29532_592119.html

так вот по мнению разраба поставив его в кубер, он перестанет писать случайно, ему ненужны станут iops

но ты для чего?

как пример

и ты не можешь опровергнуть мнение разраба? который вроде как не должен отвечать за железо и подобное?

так вот по мнению разраба поставив его в кубер, он перестанет писать случайно, ему ненужны станут iops

щта

Ты сейчас не шутишь?

щта

поверь, я и на собесах такое слушал

щта

у него опять припадок

на одном диске чтоли? и что это за модель на 12тб sas ?

https://m.xcom-shop.ru/news/hgst_ultrastar_he12_zhestkie_diski_korporativnogo_klassa_obemom_12tb/

1st link in google)))

Ты сейчас не шутишь?

плохая новость что не шутит, хорошая - его иногда отпускает и он уходит рассказывать про свои железки по другим чятикам

1st link in google)))

ну так там и не самые плохие характеристики: Характеристики накопителя Номинальный объем 12000 GB Фактический объем 11177 GB Объем буфера 256 MB Скорость вращения 7200 об/мин Внешняя скорость передачи данных, до 1200 МБ/с Максимальная скорость чтения 255 МБ/с

Ты сейчас не шутишь?

а ещё, если ты поставил сервисы в кубер, тебе не надо файловую систему тюнить под приложение, тебе не надо системд и тд тюнить, кубер всё это отменяет

а ещё, если ты поставил сервисы в кубер, тебе не надо файловую систему тюнить под приложение, тебе не надо системд и тд тюнить, кубер всё это отменяет

В хорошее место ты устроился работать

а ещё, если ты поставил сервисы в кубер, тебе не надо файловую систему тюнить под приложение, тебе не надо системд и тд тюнить, кубер всё это отменяет

Ты путаешь жобс с тех.чатом

В хорошее место ты устроился работать

я в 20 метсах это слушал пока ездил по собесам, везде кубер это вот просто спаситель мира

я в 20 метсах это слушал пока ездил по собесам, везде кубер это вот просто спаситель мира

Это хорошая новость

поставил кубер - ненужны тестеры, поставил кубер, ненужны тесты

Я бы даже сказал - благая весть

Тестеры и правда не нужны

С тестами немного сложнее

поставил кубер - ненужны тестеры, поставил кубер, ненужны тесты

как я тебя понимаю)

я в 20 метсах это слушал пока ездил по собесам, везде кубер это вот просто спаситель мира

2014 — нужно внедрить микросервисы для решения проблем с монолитами. 2016 — нужно внедрить Docker, чтобы решить проблемы с микросервисами. 2018 — нужно внедрить Kubernetes, чтобы решить проблемы с Docker. (c) habr

докер до кубера был хреновым

а щас терпимо

Докер и после кубера не очень

Но, к счастью, свежие релизы докера в кубер не сразу попадают

2014 — нужно внедрить микросервисы для решения проблем с монолитами. 2016 — нужно внедрить Docker, чтобы решить проблемы с микросервисами. 2018 — нужно внедрить Kubernetes, чтобы решить проблемы с Docker. (c) habr

2018 - нужно внедрить openshift/rancher чтобы решить проблемы с кубером а так всё хорошо

Докер и после кубера не очень

ну вот, а тут за это людям деньги платят))

В 2018 ранчер не очень жив, кажется

И что это за проблемы с кубером такие?

В 2018 ранчер не очень жив, кажется

ну опеншифт

Ну, кроме того, что в соседнем чате хейтят Helm

И что это за проблемы с кубером такие?

я тоже не знаю, но хотят зачем то опеншифт

Ну, кроме того, что в соседнем чате хейтят Helm

Ты про Синтезоида?

Доброго дня! Можно разместить IT вакансию в чате?

Доброго дня! Можно разместить IT вакансию в чате?

в @devops_jobs)

Ты про Синтезоида?

Нет, про Макса из Лондона

Спасибо

(Он же Макс, я правильно помню?)

Макс умный, а остальные за ним просто так повторяют

Синтезоид-то чо, он Хелм не хейтит

СУБД - Apache Accumulo на HDFS (взят от Hortonworks) Поточка через - Apache Kafka Аналитика через - Apache Spark (кластер Apache Storm) Рендер - Geoserver IMDG - Google Guava Веб - JS Liferay (есть свои кастомы) Тестовая среда разработчика - Apache Zeppelin ———————————- В Kafka\Spark\Accumulo имплементирован java Geomesa

Ну, норм задача, кстати, походу, зря я до тебя доебался

Синтезоид-то чо, он Хелм не хейтит

на IaC хейтил

Но, так как доебаться можно и до столба, ...