или ты знаешь проект досконально, или ты вообще не понимаешь, что происходит, а просто лепишь темплейты на темплейты

Если ты не знаешь что в проекте происходит, то ты начнёшь писать фигово в любом случаи

Коллеги. Собственно есть задачка. В системе периодически происходят события, которые вызывают здоровенную пуш рассылку и шлют кучищу писем на почту. Сидим вот голову ломаем, как кошернее всего сделать очередь для всей этой херни. Может кто поделится опытом?

тебе, я смотрю, мой ответ сверху не понравился чем-то? =)

почему? просто собираю мнения

Коллеги. Собственно есть задачка. В системе периодически происходят события, которые вызывают здоровенную пуш рассылку и шлют кучищу писем на почту. Сидим вот голову ломаем, как кошернее всего сделать очередь для всей этой херни. Может кто поделится опытом?

У меня на nodejs похожая штука крутится, небольшой микросервис. Очередь — небольшой класс с генератором и массивом данных. Любая ширина одновременно выполняемых запросов свободно регулируется)

не, ноду мы в рассчёт не берём )

Ну еси охота голову ломать, то вопросов нет ?

по моему голову ломать - это писать очередь на nodejs в данном случае ))))

Коллеги. Собственно есть задачка. В системе периодически происходят события, которые вызывают здоровенную пуш рассылку и шлют кучищу писем на почту. Сидим вот голову ломаем, как кошернее всего сделать очередь для всей этой херни. Может кто поделится опытом?

Так rabbitmq же

Так rabbitmq же

рэббит ёбнется

У меня на nodejs похожая штука крутится, небольшой микросервис. Очередь — небольшой класс с генератором и массивом данных. Любая ширина одновременно выполняемых запросов свободно регулируется)

а как ты эту штуку на несколько машин разнесёшь? да хуй с ним машин, как оно на несколько процессов может быть размазано? =)

Ой с чего это

Кластер поднимаешь и ставишь лимиты на выбору

не для того он создан немного

вот сопсно с кластером как раз и будут проблемы, на сколько я прочитал

Клиент на го написал и все

Так rabbitmq же

лол, J - job security! всегда нужен человек который знает, где подёргать rabbit чтобы его отпустило =_)

на нём и пишем )

С чего вдруг он упадёт то не пойму

вот как раз селери тут кажется более подходящей йобой

или даже постгрес

а как ты эту штуку на несколько машин разнесёшь? да хуй с ним машин, как оно на несколько процессов может быть размазано? =)

While it's obvious that process managers have a lot to offer, many first time Node users deploy their apps to production without a process manager. At Hashnode we have been using pm2, a powerful process manager for Node.js. Also, if you use pm2 you can start your app in cluster mode very easily. pm2 start app.js -i 2 In the above example, i specifies the number of workers you want to run in cluster mode. The best part is that you can now reload the workers one after another so that your app doesn't suffer any downtime during deployment. The following command does it : pm2 reload app If you happen to use pm2, do check out Keymetrics which is a monitoring service for Node.js (based on pm2).

С чего вдруг он упадёт то не пойму

rabbit не падает - он встреват. rabbit - не работает на больших обьёмах и нагрузках =)

While it's obvious that process managers have a lot to offer, many first time Node users deploy their apps to production without a process manager. At Hashnode we have been using pm2, a powerful process manager for Node.js. Also, if you use pm2 you can start your app in cluster mode very easily. pm2 start app.js -i 2 In the above example, i specifies the number of workers you want to run in cluster mode. The best part is that you can now reload the workers one after another so that your app doesn't suffer any downtime during deployment. The following command does it : pm2 reload app If you happen to use pm2, do check out Keymetrics which is a monitoring service for Node.js (based on pm2).

у тебя очередь в памяти, как ты её между воркерами шарить будешь? =)

rabbit не падает - он встреват. rabbit - не работает на больших обьёмах и нагрузках =)

вот, то что и хотел сказать )

у тебя очередь в памяти, как ты её между воркерами шарить будешь? =)

очередь в память сразу отказать

Ну вот надо уточнять задачу сразу)

а нам не надо вот прям щаз всем прислать месаги, есть временные рамки для этого, на конверсию не повлияет

в несколько потоков

вот, то что и хотел сказать )

Ну так а если лимиты на выборку ставить? Тоже встревать будет?

в несколько потоков

проблема не в отправке, проблема в наплывае народу в данный момент

стартап ж ёпте

денег нету

Просто гоняли миллионы задач в нем и нормально было

или даже постгрес

мы пробовали юзать mysql как очередь - там можно, но после определённой нагрузки тоже становится понятно, что абстракция немного не та и из-за этого нагрузка на базу становится очень большой, а locking между воркирами через базу работает мягко говоря не оптимально =)

Ну так а если лимиты на выборку ставить? Тоже встревать будет?

как выше написали, рэббит не для этого сделан

Просто гоняли миллионы задач в нем и нормально было

миллионы — это не обьёмы - если у тебя 100к пользователей (что очень не много для современных стартапов) то у тебя могут десятки миллиардов(10^10 КАРЛ!11) событий проходить через эту очередь в день

Алексей за меня на вопросы отвечает - чует тему )

здесь речь не о том что вы гоняли. а о том когда оно упрётся

(на одной ноде рэббит работает относительно ок кстати)

миллионы — это не обьёмы - если у тебя 100к пользователей (что очень не много для современных стартапов) то у тебя могут десятки миллиардов(10^10 КАРЛ!11) событий проходить через эту очередь в день

Ну и в чем проблема то. Фигачишь кластер. Разбиваешь на эксченджи и очереди, раскидываешь кластер на 10-20 машин. Ну а просто вы хотите писать свой сервер очередей... когда уже есть готовый, который надо правильно настроить и использовать.

Ну и в чем проблема то. Фигачишь кластер. Разбиваешь на эксченджи и очереди, раскидываешь кластер на 10-20 машин. Ну а просто вы хотите писать свой сервер очередей... когда уже есть готовый, который надо правильно настроить и использовать.

я нечего не говорил про писать своё, мы у себя юзаем kafka - там очень много своих нюансов, но оно скейлится если правильно спроектировать

я нечего не говорил про писать своё, мы у себя юзаем kafka - там очень много своих нюансов, но оно скейлится если правильно спроектировать

Ну я чатик почитываю.. тут ноду предлагают дл очереди.. по сравнению с эрлангом, и его возможностью мастабироваться и его потоками - как бы странное предложение

а я своё писал

на классик асп :D

впрочем очередь поверх mysql скейлится до сотен миллионов пользователей и кода там меньше тысячи строк на Go. Так что тоже себе подход, сильно проще rabbitmq, ибо в отличие от последнего, любой программер может разобраться за пару часов, что тот код делает, что тоже имеет свои прелести.

Ну и в чем проблема то. Фигачишь кластер. Разбиваешь на эксченджи и очереди, раскидываешь кластер на 10-20 машин. Ну а просто вы хотите писать свой сервер очередей... когда уже есть готовый, который надо правильно настроить и использовать.

вот как раз с относительно большими объёмами сообщений кластер это геморой

А там на Lua писать скрипты нельзя разве?

Можно, но это немного не то. И оно блочит весь редис

на одной ноде да ок работает

пока не ёбнется по каким-либо причинам

читай пока не проебёшь очередь

В общем то, парни, спасибо за подсказки )

читай пока не проебёшь очередь

Ну смотрите сами. Просто самый быстрый вариант. С другой стороны - может вам какой нибудь облачный вариант подойдёт? Типа в ажуре есть очереди и сервис басы всякие. Они на миллиарды рассчитаны. Но тут надо деньги считать)) во всяком случае - интересная задачка ) хотелось бы почитать потом как решили

Ну смотрите сами. Просто самый быстрый вариант. С другой стороны - может вам какой нибудь облачный вариант подойдёт? Типа в ажуре есть очереди и сервис басы всякие. Они на миллиарды рассчитаны. Но тут надо деньги считать)) во всяком случае - интересная задачка ) хотелось бы почитать потом как решили

не, дорого

я сейчас говорю о продакшене в DO

если навернём нужное количество юзверей, то переедем в AWS или GCP и получим кучу бабок от сотовых операторов в рашке и китае

Но ему что то не позволило их взять

Имхо, так и есть

(этот человек это я кстати=) https://github.com/reverbrain/eblob/blame/master/library/datasort.c)

А как же zbr?

А как же zbr?

Наш предводитель, Евгений, главный специалист по подводным лодкам и игре на саксафоне, в тот момент был занят самим Elliptics'ом

Наш предводитель, Евгений, главный специалист по подводным лодкам и игре на саксафоне, в тот момент был занят самим Elliptics'ом

Ну у вас там есть плюсовое апи к эллиптиксу

Имхо, так и есть

Ну просто если б для того кода взяли б плюсы, он стал бы читабельнее :)

Бтв, сам эллептикс норм? И почему новый проект, а не ceph?

да, сам эллиптикс много где на плюсах. А не ceph потому что требования к CAP и производительности были другие, да и ceph тогде не работал как надо

да, сам эллиптикс много где на плюсах. А не ceph потому что требования к CAP и производительности были другие, да и ceph тогде не работал как надо

Интересно почему не весь

потому что начинался давно, людьми которые писали ядро

потому что начинался давно, людьми которые писали ядро

Поляков?

Я его раньше активно читал, особенно когда он kevent пытался в ядро занести

и Си не так уж плох если ты из ядра пришёл, например если нужен stdlib и контейнеры, то всё довольно просто делается через cp -a ~/linux/include/linux/{list,rbtree}.h ~/elliptics/include/

Поляков?

он самый

ERROR: S client not available

А так ни kevent, ни aio :(

Даже fadvise ставит все колом :(

Был товарищ, который в 2012 принес патч, выносящий fadvise willneed в workqueue

#вопрос У меня есть Маааленький VPS с 80Гб места. Свободно там 5Гб Может кто знает как в этом случае сделать дамп на удаленный FTP или уж в идеале в дропбокс или яндекс диск?

Дожили...

«подскажите как сделать дамп"

#вопрос У меня есть Маааленький VPS с 80Гб места. Свободно там 5Гб Может кто знает как в этом случае сделать дамп на удаленный FTP или уж в идеале в дропбокс или яндекс диск?

rsync?

«подскажите как сделать дамп"

Вопрос не вто чтобы сделать дамп, а как при ограниченном пространстве его находу сжимать отправлять на уделенку

где-то были йобы для монтирования дропбокса в фс

rsync?

Спс, сейчас почитаю

и Си не так уж плох если ты из ядра пришёл, например если нужен stdlib и контейнеры, то всё довольно просто делается через cp -a ~/linux/include/linux/{list,rbtree}.h ~/elliptics/include/

Ну он не плох, просто на плюсах можно делать более читаемый код который не будет ни в чем уступать сишному

Вопрос не вто чтобы сделать дамп, а как при ограниченном пространстве его находу сжимать отправлять на уделенку

в старые добрые времена юзали tar over ssh. Или nc

но то были времена. А сейчас всем тулзу готову подавай

И чтобы она процесс в инстаграм слала и смузи делала

где-то были йобы для монтирования дропбокса в фс

??

rsync?

Не, печаль. Это на обоих машинах он по ходу должен быть

он например есть в дефолтной поставке убунты....

@SaveTheRbtz у нас просто есть одна тулза которую оставил человек после себя, читать ее невозможно, а багов там столько что кажется что оно работает только потому что некоторые взаимокомпенсирубтся. И по стилю оно в общем хороший сишный код, но понять что хотел сказать автор почти нереально

Ну он не плох, просто на плюсах можно делать более читаемый код который не будет ни в чем уступать сишному

ну в Си++ есть нюнсы - людей надо пиздить чтоб они не выёбывались. Тоесть нужно не на Си++ писать а на restricted subset of C++. Ну а если по фитчам, то имхо template'ы и специализации — это киллер фитчи C++, ибо type-safe 0-cost абстракции — это две вещи которые очень сложно одновременно получить в Си. Тоесть либо быстро. либо containterof и void * (есть ещё третий путь через кодогенерацию, но это изврат)

Я искал такое примерно решение. tar cf ftp://login@ft.ftp/dump.tar /var/www

Только нет его :(

У меня дома виндовая машинка.

забудь про слово фтп пожалуйста в 2016м году

@SaveTheRbtz у нас просто есть одна тулза которую оставил человек после себя, читать ее невозможно, а багов там столько что кажется что оно работает только потому что некоторые взаимокомпенсирубтся. И по стилю оно в общем хороший сишный код, но понять что хотел сказать автор почти нереально

ну, плюсы можно так же написать =)

а в 2017м не вспоминай

ну в Си++ есть нюнсы - людей надо пиздить чтоб они не выёбывались. Тоесть нужно не на Си++ писать а на restricted subset of C++. Ну а если по фитчам, то имхо template'ы и специализации — это киллер фитчи C++, ибо type-safe 0-cost абстракции — это две вещи которые очень сложно одновременно получить в Си. Тоесть либо быстро. либо containterof и void * (есть ещё третий путь через кодогенерацию, но это изврат)

Это да.

Я искал такое примерно решение. tar cf ftp://login@ft.ftp/dump.tar /var/www

чем тебя rsync не устроил?

ну, плюсы можно так же написать =)

Конечно можно, но идиоматические плюсы читались бы на порядок проще

Я искал такое примерно решение. tar cf ftp://login@ft.ftp/dump.tar /var/www

1) rsync over ssh 2) tar | ssh 3) ... можешь у себя поднять cygwin'овый sshd

И не создавали бы ощущения что проще выкинуть и написать заново

1) rsync over ssh 2) tar | ssh 3) ... можешь у себя поднять cygwin'овый sshd

Ок, сейчас буду курить

К слову об ООП, если интересно как решаются РЕАЛЬНЫЕ проблемы с помощью ООП(читай: композиция, абстракция, расширяемость, итд), то лучше не книжку по Java читать, а посмотреть на хорошие C++'ные проекты, например LLVM, вот тут есть довольно сложный, но очень хороший пример, как добавив чутка классов и dependency injection ребята сделали расширяемый и главное очень простой API для JIT компилятора: https://www.youtube.com/watch?v=hILdR8XRvdQ

Спасибо Бро, но я пытался несколько раз в жизни заглядывать в проекты на C++ и от этого у меня развился коплекс объезяны неспособной в программирование.