Да хорош прикалываться)

кто мы? браузеры!

Заббикс он же для мониторинга

Гайз

А кто нибудь может рассказать что такое хадуп

Прям как гуманитарию

https://ru.wikipedia.org/wiki/Hadoop

Для поиска

Ну это понятно

Но прям как тупому

Что

Зачем

И без умных слов

Без умных слов - это вам на курсы в бауманку или ещё куда

Ну когда у тебя много данных то вот это используют

Ну когда у тебя много данных то вот это используют

А почему именно это а не что то другое

Зачем

чтобы обрабатывать огромное количество данных постоянно

Ребята! А что для бэкапов нынче опенсорсного? Типа #bareos

Юзал rdiff-backup и самописные скрипты, бакула не понравилось :(

и готовить с этого срез

посоветуйте файловую систему для логов, очень много логов окло 1..1.5 ТБ в месяц

посоветуйте файловую систему для логов, очень много логов окло 1..1.5 ТБ в месяц

xfs?

тоже на ней остановился

А почему именно это а не что то другое

потому что другое не справляется... когда данных много используют парралельные вычисления на множестве узлов

посоветуйте файловую систему для логов, очень много логов окло 1..1.5 ТБ в месяц

xfs

посоветуйте файловую систему для логов, очень много логов окло 1..1.5 ТБ в месяц

zfs со сжатием lz4?

тоже на ней остановился

я бы еще ради эксперемента попробовал бы btrfs...

zfs со сжатием lz4?

Зачем? А доступ к ним?

но чисто на попробовать

Зачем? А доступ к ним?

что доступ? в zfs сжатие онлайновое

потому что другое не справляется... когда данных много используют парралельные вычисления на множестве узлов

А питоны ваши всякие в такое не умеют?

Юзал rdiff-backup и самописные скрипты, бакула не понравилось :(

чем не понравилась*?

что доступ? в zfs сжатие онлайновое

Я имею ввиду скорость доступа не пострадает?

А питоны ваши всякие в такое не умеют?

тут дело не в яыке а в архитектуре

Я имею ввиду скорость доступа не пострадает?

нет

чем не понравилась*?

тем что только бакула умеет разворачивать свои бекапы,а это какбы в 2016 году хуйней пахнет

тут дело не в яыке а в архитектуре

А чем язык от архитектуры отличается

А чем язык от архитектуры отличается

это странный вопрос. я не могу ответить. Ну конечно ты можешь придумать свой хадуб с блекджеком и шлюхами если ты об этом

https://toster.ru/q/301833

Elasticsearch

еще

лучше расскажите как вы постгрю бэкапите

кроме pg_dump

Так на конфе же расписывали как пиздато всякие barman’ы юзать

А BAREOS можно как-то HA сделать? Чтобы если одна пиздой накроется то бэкапы дальше жили?

а никого из pochta.ru нету?

чет у них в письмах ссылки пиздатые

"<a href=3D"//www.pochta.ru/tracking#"

че за 3D, который везде вставлен...

3D — это равно

угу

это ескейп коды

нашел уже

лучше расскажите как вы постгрю бэкапите

pg_длинная-хрень-забыл-как-зовут

https://www.pochta.ru/support/popular-questions/feedback и онлайн-чат тоже не работает

лучше расскажите как вы постгрю бэкапите

а чем pg_dump не устроил?

не инкрементальный, вот чем не устроил

лучше расскажите как вы постгрю бэкапите

http://www.pgbarman.org/

ага, ок, погляжу. спасибо.

@onokonem https://github.com/michaelpq/pg_arman это не одно и то же? #backup #pg

а, не. разное вроде как. звучит созвучно =-)

pg_длинная-хрень-забыл-как-зовут

pg_basebackup?

угу

ещё вот подсказывают в сторону https://github.com/pgbackrest/pgbackrest глянуть #backup #pg

Ребята! А что для бэкапов нынче опенсорсного? Типа #bareos

Мне хорошую штуку советовали тут

Щас

https://github.com/starkandwayne/shield #backup

Вот

ERROR: S client not available

Выглядит интересно

http://www.pgbarman.org/

#backup #pg

посоветуйте файловую систему для логов, очень много логов окло 1..1.5 ТБ в месяц

500 гиг за час это много xfs, ext4

500 гиг за час это много xfs, ext4

а как лучше форматировать ? опции каки-то подскажите ? размер блока например

Вы прям в лог файл пишете?rsyslog?

А что логируется?

Народ, а подскажите, есть канал в телеграмме по автоматизации тестирования?

А вот такой вопрос по linux - как много vbd может намапить devicemapper?

коллеги, посоветуйте пожалуйста легковесный прокси для терминации HTTPS. Задача - прокси с HTTPS, несколько бэкендов

Если нет, то там скорее всего эластик, а как сравнительно пох, xfs->ext4->ext2(внезапно)

коллеги, посоветуйте пожалуйста легковесный прокси для терминации HTTPS. Задача - прокси с HTTPS, несколько бэкендов

haproxy, nginx

Если нет, то там скорее всего эластик, а как сравнительно пох, xfs->ext4->ext2(внезапно)

Ну файл логов в 500 гб, тяжко читать на любой фс

Вы прям в лог файл пишете?rsyslog?

свой кривой логгер пишет, настолько кривой и плохой что винт загибается, и решили логи вынести на отдельный диск

свой кривой логгер пишет, настолько кривой и плохой что винт загибается, и решили логи вынести на отдельный диск

В один файл и ротации нет?

В один файл и ротации нет?

ротация есть, где-то чрез месяц, не раньше

haproxy, nginx

не могу второй побороть, не понимаю, почему проксирование + https не работает. Перерыл всю документацию. Haproxy посмотрю, но что-то сомнительно. Мне нужен не балансировщик, а именно прокси. НЕ реверс

Ну файл логов в 500 гб, тяжко читать на любой фс

Линейно 500 гигов читать одинаково на образ ФС лучше тогда блок сайз в 1м иметь

Линейно 500 гигов читать одинаково на образ ФС лучше тогда блок сайз в 1м иметь

Я про это и писал.

-b block_size_options This option specifies the fundamental block size of the filesys‐ tem. The valid block_size_options are: log=value or size=value and only one can be supplied. The block size is specified either as a base two logarithm value with log=, or in bytes with size=. The default value is 4096 bytes (4 KiB), the minimum is 512, and the maximum is 65536 (64 KiB).

and the maximum is 65536 (64 KiB)

не могу второй побороть, не понимаю, почему проксирование + https не работает. Перерыл всю документацию. Haproxy посмотрю, но что-то сомнительно. Мне нужен не балансировщик, а именно прокси. НЕ реверс

Ошибку в студию...

ротация есть, где-то чрез месяц, не раньше

Гайс, заюзайте filebeat+флаш вашего говна принимайте логстешем, грейдоом, елкой

Вы его еще небось ручками парсите

ELK вариант рассматривается параллельно

на ELK надо сервак отдельный

с такими объемами на один эластик лучше несколько серваков.

Ну как бы да:)

https://github.com/starkandwayne/shield #backup

То есть Дима ты хочешь чтобы я это попробовал)

[error] 7932#7932: *10 broken header: "CONNECT my.host.name:443 HTTP/1.1 User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:48.0) Gecko" while reading PROXY protocol, client: W.X.Y.Z, server: 0.0.0.0:443

с такими объемами на один эластик лучше несколько серваков.

/etc/logstash/conf.d# cat /proc/cpuinfo | egrep "model name|cpu MHz|cache size|physical id"| sort | uniq && sudo dmidecode --type 17| grep Size | grep MB | awk '{sum=sum+$2} END {print "RAM: " sum}' && lspci | grep RAID cache size : 12288 KB cpu MHz : 2400.412 model name : Intel(R) Xeon(R) CPU E5620 @ 2.40GHz physical id : 0 physical id : 1 RAM: 24576 03:00.0 RAID bus controller: LSI Logic / Symbios Logic LSI MegaSAS 9260 (rev 05) такой успевал у меня хавать овер 4K EPS , правда я пихал только 10К сообщений, возможно если б поставить часа на два под нагрузку он бы и окаяурился хз

[error] 7932#7932: *10 broken header: "CONNECT my.host.name:443 HTTP/1.1 User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:48.0) Gecko" while reading PROXY protocol, client: W.X.Y.Z, server: 0.0.0.0:443

а proxy_protocol вам зачем?

но пока вопрос размер блока для XFS ))