Дима
Ну вот надо уточнять задачу сразу)
Alexander
вот, то что и хотел сказать )
Ну так а если лимиты на выборку ставить? Тоже встревать будет?
Max
в несколько потоков
проблема не в отправке, проблема в наплывае народу в данный момент
Max
стартап ж ёпте
Max
денег нету
Alexander
Просто гоняли миллионы задач в нем и нормально было
Alexey
или даже постгрес
мы пробовали юзать mysql как очередь - там можно, но после определённой нагрузки тоже становится понятно, что абстракция немного не та и из-за этого нагрузка на базу становится очень большой, а locking между воркирами через базу работает мягко говоря не оптимально =)
Max
Ну так а если лимиты на выборку ставить? Тоже встревать будет?
как выше написали, рэббит не для этого сделан
Alexey
Просто гоняли миллионы задач в нем и нормально было
миллионы — это не обьёмы - если у тебя 100к пользователей (что очень не много для современных стартапов) то у тебя могут десятки миллиардов(10^10 КАРЛ!11) событий проходить через эту очередь в день
Max
Алексей за меня на вопросы отвечает - чует тему )
Max
здесь речь не о том что вы гоняли. а о том когда оно упрётся
Alexey
(на одной ноде рэббит работает относительно ок кстати)
Alexander
миллионы — это не обьёмы - если у тебя 100к пользователей (что очень не много для современных стартапов) то у тебя могут десятки миллиардов(10^10 КАРЛ!11) событий проходить через эту очередь в день
Ну и в чем проблема то. Фигачишь кластер. Разбиваешь на эксченджи и очереди, раскидываешь кластер на 10-20 машин. Ну а просто вы хотите писать свой сервер очередей... когда уже есть готовый, который надо правильно настроить и использовать.
Alexander
я нечего не говорил про писать своё, мы у себя юзаем kafka - там очень много своих нюансов, но оно скейлится если правильно спроектировать
Ну я чатик почитываю.. тут ноду предлагают дл очереди.. по сравнению с эрлангом, и его возможностью мастабироваться и его потоками - как бы странное предложение
Konstantin
а я своё писал
Konstantin
на классик асп :D
Alexey
впрочем очередь поверх mysql скейлится до сотен миллионов пользователей и кода там меньше тысячи строк на Go. Так что тоже себе подход, сильно проще rabbitmq, ибо в отличие от последнего, любой программер может разобраться за пару часов, что тот код делает, что тоже имеет свои прелести.
Roman
А там на Lua писать скрипты нельзя разве?
Можно, но это немного не то. И оно блочит весь редис
Max
на одной ноде да ок работает
Max
пока не ёбнется по каким-либо причинам
Max
читай пока не проебёшь очередь
Max
В общем то, парни, спасибо за подсказки )
Alexander
читай пока не проебёшь очередь
Ну смотрите сами. Просто самый быстрый вариант. С другой стороны - может вам какой нибудь облачный вариант подойдёт? Типа в ажуре есть очереди и сервис басы всякие. Они на миллиарды рассчитаны. Но тут надо деньги считать)) во всяком случае - интересная задачка ) хотелось бы почитать потом как решили
Max
я сейчас говорю о продакшене в DO
Max
если навернём нужное количество юзверей, то переедем в AWS или GCP и получим кучу бабок от сотовых операторов в рашке и китае
Alexey
А как же zbr?
Наш предводитель, Евгений, главный специалист по подводным лодкам и игре на саксафоне, в тот момент был занят самим Elliptics'ом
Vladimir
Имхо, так и есть
Ну просто если б для того кода взяли б плюсы, он стал бы читабельнее :)
Roman
Бтв, сам эллептикс норм? И почему новый проект, а не ceph?
Alexey
да, сам эллиптикс много где на плюсах. А не ceph потому что требования к CAP и производительности были другие, да и ceph тогде не работал как надо
Alexey
потому что начинался давно, людьми которые писали ядро
Roman
Я его раньше активно читал, особенно когда он kevent пытался в ядро занести
Alexey
и Си не так уж плох если ты из ядра пришёл, например если нужен stdlib и контейнеры, то всё довольно просто делается через cp -a ~/linux/include/linux/{list,rbtree}.h ~/elliptics/include/
Alexey
Поляков?
он самый
Roman
А так ни kevent, ни aio :(
Roman
Даже fadvise ставит все колом :(
Roman
Был товарищ, который в 2012 принес патч, выносящий fadvise willneed в workqueue
Arcos
#вопрос У меня есть Маааленький VPS с 80Гб места. Свободно там 5Гб Может кто знает как в этом случае сделать дамп на удаленный FTP или уж в идеале в дропбокс или яндекс диск?
Алик Сережевич
Дожили...
Алик Сережевич
«подскажите как сделать дамп"
Arcos
«подскажите как сделать дамп"
Вопрос не вто чтобы сделать дамп, а как при ограниченном пространстве его находу сжимать отправлять на уделенку
Max
где-то были йобы для монтирования дропбокса в фс
Arcos
rsync?
Спс, сейчас почитаю
Vladimir
и Си не так уж плох если ты из ядра пришёл, например если нужен stdlib и контейнеры, то всё довольно просто делается через cp -a ~/linux/include/linux/{list,rbtree}.h ~/elliptics/include/
Ну он не плох, просто на плюсах можно делать более читаемый код который не будет ни в чем уступать сишному
Алик Сережевич
но то были времена. А сейчас всем тулзу готову подавай
Алик Сережевич
И чтобы она процесс в инстаграм слала и смузи делала
Arcos
rsync?
Не, печаль. Это на обоих машинах он по ходу должен быть
Max
он например есть в дефолтной поставке убунты....
Vladimir
@SaveTheRbtz у нас просто есть одна тулза которую оставил человек после себя, читать ее невозможно, а багов там столько что кажется что оно работает только потому что некоторые взаимокомпенсирубтся. И по стилю оно в общем хороший сишный код, но понять что хотел сказать автор почти нереально
Alexey
Ну он не плох, просто на плюсах можно делать более читаемый код который не будет ни в чем уступать сишному
ну в Си++ есть нюнсы - людей надо пиздить чтоб они не выёбывались. Тоесть нужно не на Си++ писать а на restricted subset of C++. Ну а если по фитчам, то имхо template'ы и специализации — это киллер фитчи C++, ибо type-safe 0-cost абстракции — это две вещи которые очень сложно одновременно получить в Си. Тоесть либо быстро. либо containterof и void * (есть ещё третий путь через кодогенерацию, но это изврат)
Arcos
Я искал такое примерно решение. tar cf ftp://login@ft.ftp/dump.tar /var/www
Arcos
Только нет его :(
Arcos
У меня дома виндовая машинка.
Max
забудь про слово фтп пожалуйста в 2016м году
Max
а в 2017м не вспоминай
Vladimir
ну, плюсы можно так же написать =)
Конечно можно, но идиоматические плюсы читались бы на порядок проще
Alexey
Я искал такое примерно решение. tar cf ftp://login@ft.ftp/dump.tar /var/www
1) rsync over ssh 2) tar | ssh 3) ... можешь у себя поднять cygwin'овый sshd
Vladimir
И не создавали бы ощущения что проще выкинуть и написать заново
Max
Ок, сейчас буду курить
да чего курить то
Max
rsync -avz user@host:/path/to/files /path/to/local
Max
man rsync
Max
если не веришь )
Alexey
Ок, сейчас буду курить
если лень думать, есть 3) - https://github.com/andreafabrizi/Dropbox-Uploader но прости господи это же 1.5к строк на баше