udp не подходит по причинам описаным выше, типа персистентности и пр.

А не пофиг ли что там внутри? Напишите API к вашей очереди. Сделайте из него сервис. Сервис держит тредпул коннектов к очереди. Вы общаетесь с сервисом как угодно. Можно его поставить на туже машину, что и ваше пхп, общаться по localhost или unix domain socket. Можно вынести на отдельную машину, общаться по RPC (для него же персистентный коннекшн пул). Если очень хотеть можно RPC сделать UDP-based, но с reqest-response и ретраями (как DNS), но оно должно быть идемпотентно тогда и будет иметь ограничение на размер сообщения (если вы не хотите реализовыват свой транспортный протокол поверх с фреймингом и балеринами). Если язык только один (пхп я так понимаю) можно сделать "толстого клиента" и сделать библиотеку из сервиса, API станет вызовом фунции, коннекшн пул к оцереди должен быть общий на php процесс, соединения должны возвращаться обратно в пул на выходе клиента из скоупа (вместо того чтобы убиваться, так делают все базы данных). Заметьте что ничего из выше перечисленного не зависит от того какая там очередь врутри. В этом и смысл абстракций.

что-то мне это напоминает...

utp

гоняет кто одновременно openvz+kvm? у нас тут вообще мистика

хостнода - центос 6.9, 64 гига рамы. openvz машинка - выделено 16 гиг рамы, говорит "память кончилась", по факту занято там менее гига. Делаем vzctl set 105 —ram 2G - и ООМ прибивает 2 kvm машины!

по факту это изнутри вы посмотрели или снаружи?:)

в виртуалке

остановили всё лишнее - освободились крохи рамы

по ps и сумме всех процессов вышло несколько процентов

может из-за динамического выделения памяти ?

Кому и зачем?

И там по сумме всех виртуалок памяти хватало

Тестовые сервера, оверселлинг не нужен

удп с контролем доставки, узнаю девопсов)

Да какбе это бывает вполне себе оправданно в некоторых случаях.

удп с контролем доставки, узнаю девопсов)

Применение кодов Рида-Соломона для кодирования сообщений, передаваемых по UDP протоколу «Данное решение можно использовать при разработке приложений, осуществляющих передачу мультимедийной информации в сетях, построенных и функционирующих в условиях, приводящих к потере и искажению информации. Кроме того, архитектура, построенная с использованием протокола UDP позволит повысить эффективность и надежность работы уже созданных приложений при минимальных временных и материальных затратах на модификацию кода.» Крис Касперски. «Коды Рида-Соломона в практических реализациях, или Информация, воскресшая из пепла»

Альтернативой использования UDP является DCCP, использующий двунаправленные соединения с управлением перегрузкой для ненадежной доставки дейтаграмм. В отличие от TCP, DCCP не занимается повторной передачей потерянной информации. Тем не менее, он способен обнаружить потерю информации и предотвратить её использование. RFC4340. Datagram Congestion Control Protocol https://www.ietf.org/rfc/rfc4340.txt

Ещё есть UDP-Lite, он обеспечивает поддержку контрольных сумм с частичным покрытием. Пакет делится на две части — чувствительную к ошибкам (к которой применяется CRC-код) и нечувствительную к ошибкам (не защищается контрольной суммой). По сравнению с UDP неполные контрольные суммы UDP-Lite обеспечивают дополнительную гибкость для приложений, которые определяют часть своих данных в пакетах, как нечувствительные к ошибкам. В остальном протоколы UDP и UDP-Lite похожи RFC3828. The Lightweight User Datagram Protocol https://www.ietf.org/rfc/rfc3828.txt

Привет! Сорри, что не совсем в тему канала :) 14-го июля в Питере проводим конференцию по мониторингу. Приглашаем всех желающих :) Если есть желание выступить с докладом - будем рады видеть, места еще есть! :) Регистрация тут: https://rossinno.timepad.ru/event/510831/ или тут: https://www.meetup.com/Big-Monitoring-Meetup/events/240837973/ Вопросы по участию или выступлению - через личные сообщения :)

Взываю к git гуру. git diff ref2 ref1 - показывает что строчка удалена. git log -p ref1 ref2 не показывает ни одного коммита, удалившего строку

Ответ: https://stackoverflow.com/questions/36159040/difference-between-commits-exists-but-git-log-doesnt-show-changes

а напомните, была какая-то типа фс, которая вроде была блочным девайсом и умело хранить данные на дисках с разными скоростями и переносить блоки между дисками в зависимости от востребованности. Никак не могу вспомнить название, у меня стойкая ассоциация с POHMELFS, но судя по проектам у них на сайте - это не оттуда

Привет! Сорри, что не совсем в тему канала :) 14-го июля в Питере проводим конференцию по мониторингу. Приглашаем всех желающих :) Если есть желание выступить с докладом - будем рады видеть, места еще есть! :) Регистрация тут: https://rossinno.timepad.ru/event/510831/ или тут: https://www.meetup.com/Big-Monitoring-Meetup/events/240837973/ Вопросы по участию или выступлению - через личные сообщения :)

К слову, я в начале-середине июля буду в России, так что заскочу на конфиренцию. Если кто хочет увидиться, айда со мной =)

(ну ли можно в Мск в Яндексе, я туда наверное заеду на день)

а напомните, была какая-то типа фс, которая вроде была блочным девайсом и умело хранить данные на дисках с разными скоростями и переносить блоки между дисками в зависимости от востребованности. Никак не могу вспомнить название, у меня стойкая ассоциация с POHMELFS, но судя по проектам у них на сайте - это не оттуда

Bcache штоле

Господа, а какие сейчас лучшие практики по запуску докер контейнеров со стейтфул сервисами внутри? Проброс папки с хоста? Есть какие-нибудь проблемы в этом подходе?

Volumes

Господа, а какие сейчас лучшие практики по запуску докер контейнеров со стейтфул сервисами внутри? Проброс папки с хоста? Есть какие-нибудь проблемы в этом подходе?

https://docs.docker.com/engine/tutorials/dockervolumes/#mount-a-host-directory-as-a-data-volume

Я не за ссылкой на документацию, а за реальным продакшн опытом

Волюмы дают лишнюю абстракцию, не хочется накручивать

Господа, а какие сейчас лучшие практики по запуску докер контейнеров со стейтфул сервисами внутри? Проброс папки с хоста? Есть какие-нибудь проблемы в этом подходе?

Хочется съязвить, что лучшая практика не запускать

Но мы с тобой уже обсуждали :)

Эхх :)

Волюмы дают лишнюю абстракцию, не хочется накручивать

всё работает, не парься

это тоже самое что ты говоришь "ну нафиг мне ваш nfs, cifs" хочу локальный диск

docker если мне не изменяется память что=то вроде прокачанного lxc

или используй kvm, xen

но это не точно

это тоже самое что ты говоришь "ну нафиг мне ваш nfs, cifs" хочу локальный диск

это вполне разумное требование во многих случаях.

Да, я всегда говорю "нафиг мне ваш nfs или cifs"

именно поэтому маппирование папок в docker нормально решение

Да, я всегда говорю "нафиг мне ваш nfs или cifs"

А тебе в ответ "жри кактус"

Bcache штоле

нет, это было бы слишком очевидно )

а напомните, была какая-то типа фс, которая вроде была блочным девайсом и умело хранить данные на дисках с разными скоростями и переносить блоки между дисками в зависимости от востребованности. Никак не могу вспомнить название, у меня стойкая ассоциация с POHMELFS, но судя по проектам у них на сайте - это не оттуда

FuzeDrive?

а напомните, была какая-то типа фс, которая вроде была блочным девайсом и умело хранить данные на дисках с разными скоростями и переносить блоки между дисками в зависимости от востребованности. Никак не могу вспомнить название, у меня стойкая ассоциация с POHMELFS, но судя по проектам у них на сайте - это не оттуда

LVM Tiered Storage (lvmts)? https://github.com/tomato42/lvmts

похмелфс это эллиптикс

похмелфс это эллиптикс

похмелфс жив?

надеюсь нет

а напомните, была какая-то типа фс, которая вроде была блочным девайсом и умело хранить данные на дисках с разными скоростями и переносить блоки между дисками в зависимости от востребованности. Никак не могу вспомнить название, у меня стойкая ассоциация с POHMELFS, но судя по проектам у них на сайте - это не оттуда

скорее всего речь о https://sourceforge.net/projects/tier/

впрочем, такие решения, как говорится, "для бедных или для умных".

FuzeDrive?

я начинаю думать что это могло быть btier и lessfs

о, а расскажите про pohmelfs

о, а расскажите про pohmelfs

его нет.

кто-то использовал? Как оно на практике, какие проблемы, что наоборот хорошо?

ну вот яндекс, коуб и кто-то там еще написано что используют

lessfs - это ж только дедупликация в userspace

ну вот яндекс, коуб и кто-то там еще написано что используют

яндекс и кокаин использует. в реальности, если я не яндекс - я бы триста двадцать два раза подумал, нужно ли мне использовать маргинальную технологию у которой подтвержденных пользователей полтора, причем один из этих полутора - ее разработчик.

@nikoinlove , в яндексе pohmelfs используют или таки эллиптикс? оно как бы не одно и то же.

например, есть такой шаблонизатор CTPP. Можно сколько угодно говорить про него те же слова, и сейчас у него осталось полтора пользователя, из которых я один из, но это все равно лучший сейчас шаблонизатор.

шаблонизатор немного не настолько mission critical часть вашей инфраструктуры, как сторадж.

хотя там даже автор уже давно не его пользователь, к том уже весьма своеобразный человек

О я слышал про ctpp в 2012 году

ну, бекапы и прочие управления рисками - это отдельная задача

так же можно обсуждать страшно ли использовать zfs, или нутаникс

и вообще все что не локальное ext4 с журналом

это вещи "немного" разного порядка.

о, а расскажите про pohmelfs

Lol CEPH значит для вас unstable, а мертвые похмел это ок? нууу лааадно

при том, что о цефе @knutov слышал только по клаудмаус и "Изя мне Шаляпина напел по телефону"

да, я тоже очень своеобразный )

а CTPP не vbart ли писал?

да, я тоже очень своеобразный )

ну вот и поговорили)

а CTPP не vbart ли писал?

кажется кто-то из рамблер почты

а CTPP не vbart ли писал?

Шетухин. Который слоник в домене

ну вот и поговорили)

на самом деле я давно потрогал цеф своими руками, впечатлился, и еще пару годиков понаблюдаю со стороны

на самом деле я давно потрогал цеф своими руками, впечатлился, и еще пару годиков понаблюдаю со стороны

И что же тебя впечатлило?

просто впечатлило

ну т.е. оно работает, да

в продакшн, конечно, пока страшно, и вообще у нас нет под него задач, но оно вообще таки работает

в продакшн, конечно, пока страшно, и вообще у нас нет под него задач, но оно вообще таки работает

почему "конечно, пока страшно" и что должно быть критерием "не страшно"?

Про четатаммаус ещё не говорили?

Про четатаммаус ещё не говорили?

Кончено говорили

Почему цеф это страшно? Там в стабильной версии 200 критических багов