работала кафка, потом начала возрващать старые данные а не новые, её перезапустили и больше её не поднять

в логах либо вот это, либо FATAL [Kafka Server 0], Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) May 11 12:49:01 kafka-host kafka[9980]: java.io.FileNotFoundException: /var/lib/kafka/.lock (Permission denied)

Хрыч а ты и правда ASKOPS

в гугле нашёл либо проблему с файлом hosts либо ковычки либо ещё пару такого, чего нет

более в логах нихуя

Поставь в локейшн proxy_ignore_headers Cache-Control;

О! Спасибо тебе мил человек! Помогло

О! Спасибо тебе мил человек! Помогло

Да пжалста. Век живи - век учись :)

в логах либо вот это, либо FATAL [Kafka Server 0], Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) May 11 12:49:01 kafka-host kafka[9980]: java.io.FileNotFoundException: /var/lib/kafka/.lock (Permission denied)

Permission denied - не наводит?

Permission denied - не наводит?

May 11 12:49:25 kafka-host kafka[10920]: [2017-05-11 12:49:25,655] FATAL [Kafka Server 0], Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) May 11 12:49:25 kafka-host kafka[10920]: java.io.FileNotFoundException: /var/lib/kafka/.lock (Permission denied)

но по этой ошибке вообще глухо

а файл смотрел?

а файл смотрел?

до перезагрузки был, а потом исчез?

а пермишены на директорию?

прав, поди, на создание файла не хватает

тогда бы оно изначально не запустилось

а оно месяц работало

может, изначально из-под рута запускал

она и сейчас так же

может оно суидится в кого?

(точнее оно скорее всего суидится в ковонить у ково прав нет нихера)

грязный хак - попробовать chmod -R a+wx /var/lib/kafka/, но за такое надо анально карать отрубленными руками imnsho

и несколько странное место для лока, впрочем жаба, хули

грязный хак - попробовать chmod -R a+wx /var/lib/kafka/, но за такое надо анально карать отрубленными руками imnsho

Да можно и без рекурсии

Эммм.. делать -R в связке с a+x - за такое точно надо подвешивать

Да можно и без рекурсии

без рекурсии - недостаточно грязно

без рекурсии - недостаточно грязно

Справедливо.

в location я добавляю еще такие заголовки чтобы следить из кеша отдалось или нет add_header X-BLABLA-Origin Blabla always; add_header X-Cache $upstream_cache_status;

Кстати, за этот совет тоже спасибо! Помог в диагностике.

удалил там файлы, заработало

но теперь интересная тема, очередь обнулилась и данных нет

удалил там файлы, заработало

сунь в пастебинку ls -la /var/lib/kafka/ и ls -la /var/lib/kafka/.lock

А как вы бэкапите большие бд?

Очень аккуратно и почаще

Очень аккуратно и почаще

А точнее? Допустим, бд весит 5тб

рома ты тралиш нас, да?

Неа

Я серьезно спрашиваю

Ну ок, пусть 2тб

Я - пас.

Но кааак?

ну как нехуй делать же

покупаешь тсм, например. и делаешь ему хорошо

А как вы бэкапите большие бд?

А в чем база?

или арксерв, если ты лишенец. или там комволт (фубе). ну дохера ж решений то

А в чем база?

Пусть будет постгрес

Ну или монга

Обе таких размеров есть

да какая разница каких размеров база то?

https://en.wikipedia.org/wiki/IBM_Tivoli_Storage_Manager

https://en.wikipedia.org/wiki/IBM_Tivoli_Storage_Manager

Спасибо, но причем тут он? :)

ну ты же бакапить хотел?

или что?

ок. зайду с другой стороны. мой тезис в том, что сейчас на рынке нескололько дохуа промышленных решений, которые позволяют тебе бакапить (и даже потом ресторить!) практически любую базу (уточню - да, на ходу)

собсно тсм - одно из

ок. зайду с другой стороны. мой тезис в том, что сейчас на рынке нескололько дохуа промышленных решений, которые позволяют тебе бакапить (и даже потом ресторить!) практически любую базу (уточню - да, на ходу)

Они стоят миллионы нефти

да не особенно миллионы то

ERROR: S client not available

плюс скидки плюс разные варианты лицензирования плюс ну а чо ты хотел зато работает

Они стоят миллионы нефти

Хуярь снапшоты на s3 тогда

кто юзает тимсити?

не юзаю) но я за тимсити))

Хуярь снапшоты на s3 тогда

Или асинхронно реплицируй куданить

как репликация (пусть даже асинхронная) позволит тебе откатиться на двое суток назад?

как репликация (пусть даже асинхронная) позволит тебе откатиться на двое суток назад?

wal или его аналог позволит откатиться на любую секунду

при условии что ты архивируешь их и иногда делаешь снапшоты.

как репликация (пусть даже асинхронная) позволит тебе откатиться на двое суток назад?

Откатиться никак, а в случае пропадания мастера позволит хотя бы не потерять нажитое

/me вздохнул

Опять же, никто не запрещает реплицироваться в rds с еёнными снапшотами и point in time recovery

Хуярь снапшоты на s3 тогда

Какие ещё снапшоты?

Друзья, а можете по php-fpm подсказать? В логах огромное количество процессов убиваются очень быстро [pool www] child 21589 exited with code 0 after 0.009222 при этом настройки стоят явано С ЗАПАСОМ (либо я где-то не догоняю) pm = dynamic pm.max_children = 2000 pm.start_servers = 200 pm.min_spare_servers = 200 pm.max_spare_servers = 1000 pm.max_requests = 5000

таких нагрузок точно нет

уменьшить до 4/6/16 например

и выключить max_requests

так они не по таймауту отрубаются... таймаут 10 секунд стоит...

да и нет 5000 запросов (за 0.009 точно не выполнятся 5000 запросов)

нет таких нагрузок

заопросов 100 в секунду максимум

Что в логах nginx?

Что в логах nginx?

там слишком много коннектов к базе! Спасибо за наводку! :) в логах самого nginx - тихо...

но процессы php-fpm прям перезапуксаются пачками...

что означает $1 в рерайт правиле nginx'a?

первый матч

Всем привет

привет. у кого-нибудь есть опыт контейнеризации MariaDB Galera кластеров (в частности, Docker+Rancher)? насколько рабочий вариант? с чем сталкивались?