Опять столкнулося с очередями. И завис - на MySQL что ли делать? А какое-нибудль готовое управление есть? Например чтобы вклинивание задачи в очередь не руками писАть

Priority Queue?

[net-next PATCH v3 2/3] e1000: add initial XDP support

Опять столкнулося с очередями. И завис - на MySQL что ли делать? А какое-нибудль готовое управление есть? Например чтобы вклинивание задачи в очередь не руками писАть

Кролик?

кролик соожный, не персистентный и теряет

кролег говно

окок )

#снимитесручника Смотрите. У меня вот есть задача - управлялка поставила задачу в очередь "сделай резевную копию юзера alice на сервере 42". И там таких задач накидала с тыщу. И сервер 42 начал разгребать очередь задач и делать бэкапы. Потом вдруг юзер gogi решил, что ему надо восстановиться из самой дальней резервной копии. И вот тут пошли варианты: 1. Управлялка разруливает - смотрит что там с задачами на тот сервер, выбирает тому юзеру и смотрит не стирается ли его резервная копия уже. Потом пихает задачу восстановить вперед сделать 2. Задача просто улетает с другим приоритетом в очередь и никто вообще не разруливает "я жена того-то и сестра того-то" 3. Задача ставится в очередь, а уже сервер 42 смотрит при выборке очередной задачи, нет ли задач в очереди, которые могут блокировать и всё такое. Вопрос. Какое рассуждение более близко классической схеме работы с очередями? Как правильно обеспечить обратную связь? Например, после бэкапа сервер 42 хочет сообщить новое состояние резервных копий юзеров alice и gogi. Не мучатся и просто тоже через очередь, только отправитель и получатель меняются местами? А что для этого готового можно использовать? Я вот смотрю - чуть ли не РСУБД самое норм. Всё остальное разной степени треш, делающий ненужное и не делающий нужное

посоветуйте пожалуйста самый обычный жёсткий диск в самый обычный настольный компьютер. 3,5", 2Tb, sata-2. важно: надёжность (работа в условиях незначительно повышенных температур, возможно больше чем обычно пыли), цена (очень желательно не дороже 5,5к рублей), наличие в магазинах, готовность к большому объёму фактической работы (24 часа 7 дней в неделю чтение и запись не критичной, но нужной информации), общий срок жизни не меньше 5 лет ? совершенно не важно: скорость оборотов, шум, вибрация

#снимитесручника Смотрите. У меня вот есть задача - управлялка поставила задачу в очередь "сделай резевную копию юзера alice на сервере 42". И там таких задач накидала с тыщу. И сервер 42 начал разгребать очередь задач и делать бэкапы. Потом вдруг юзер gogi решил, что ему надо восстановиться из самой дальней резервной копии. И вот тут пошли варианты: 1. Управлялка разруливает - смотрит что там с задачами на тот сервер, выбирает тому юзеру и смотрит не стирается ли его резервная копия уже. Потом пихает задачу восстановить вперед сделать 2. Задача просто улетает с другим приоритетом в очередь и никто вообще не разруливает "я жена того-то и сестра того-то" 3. Задача ставится в очередь, а уже сервер 42 смотрит при выборке очередной задачи, нет ли задач в очереди, которые могут блокировать и всё такое. Вопрос. Какое рассуждение более близко классической схеме работы с очередями? Как правильно обеспечить обратную связь? Например, после бэкапа сервер 42 хочет сообщить новое состояние резервных копий юзеров alice и gogi. Не мучатся и просто тоже через очередь, только отправитель и получатель меняются местами? А что для этого готового можно использовать? Я вот смотрю - чуть ли не РСУБД самое норм. Всё остальное разной степени треш, делающий ненужное и не делающий нужное

не мучаться и через очередь. написать на питоне с celery и редисом, например, в качестве брокера (можно и кролика) по поводу блокировок. надо подробнее кейсы смотреть. можно, например, плодить очереди на хост и роутить всех на один воркер. т.е. имя очереди - это как бы тэг. тогда моно творить приоритетные очереди для хоста. типа что в ней, то раньше всего. или даже очищать всю не приоритетную, если в приоритетныю встало что-нить типа перелить хост с нуля, потому что они могут быть уже неактуальными..

#снимитесручника Смотрите. У меня вот есть задача - управлялка поставила задачу в очередь "сделай резевную копию юзера alice на сервере 42". И там таких задач накидала с тыщу. И сервер 42 начал разгребать очередь задач и делать бэкапы. Потом вдруг юзер gogi решил, что ему надо восстановиться из самой дальней резервной копии. И вот тут пошли варианты: 1. Управлялка разруливает - смотрит что там с задачами на тот сервер, выбирает тому юзеру и смотрит не стирается ли его резервная копия уже. Потом пихает задачу восстановить вперед сделать 2. Задача просто улетает с другим приоритетом в очередь и никто вообще не разруливает "я жена того-то и сестра того-то" 3. Задача ставится в очередь, а уже сервер 42 смотрит при выборке очередной задачи, нет ли задач в очереди, которые могут блокировать и всё такое. Вопрос. Какое рассуждение более близко классической схеме работы с очередями? Как правильно обеспечить обратную связь? Например, после бэкапа сервер 42 хочет сообщить новое состояние резервных копий юзеров alice и gogi. Не мучатся и просто тоже через очередь, только отправитель и получатель меняются местами? А что для этого готового можно использовать? Я вот смотрю - чуть ли не РСУБД самое норм. Всё остальное разной степени треш, делающий ненужное и не делающий нужное

celery. ну и уносить логику на хосты-исполнители плохо

и в celery есть chain'ы

Эм... у них брокеры все не персистентные

ты можешь выстроить цепочку задач и результат предыдущей будет входными данными для последующей

Эм... у них брокеры все не персистентные

поясни

Сервер выключился и я получил кашу

Сервер выключился и я получил кашу

с чего ты решил? вот с редисом ты получишь кашу из-за power outage?

Потому что он инмемори

Я виел про персист. Но он дискретный. За ту минуту я успею потерять хз сколько

Вопрос в том, что даже "одно" - уже херово и непонятно как отлавливать

Ну ткни, ткни меня

Я виел про персист. Но он дискретный. За ту минуту я успею потерять хз сколько

с чего ты решил что дискретность в минуту?

вот тот же tarantool - тоже in-memory, но там ничего такого нет и power outage не приводит к печальным последствиям

с чего ты решил что дискретность в минуту?

Ну 10 секунд. Сколько настрою. Дискретность

вот тот же tarantool - тоже in-memory, но там ничего такого нет и power outage не приводит к печальным последствиям

Зато он на логах и рискует через 14 лет прийти к состоянию "я подымаюсь неделю"

И тарантул для задач делания бэкапа и подгнятия виртуальных хостов - это ядерной бомбой за рыбкой к ухе

Ну 10 секунд. Сколько настрою. Дискретность

ну это... в редисе можно и 1с.

А можно 0? Чтобы если я положил туда успешно, то оно точно записалось?

Хотя бы на уровне vfs

А можно 0? Чтобы если я положил туда успешно, то оно точно записалось?

appendfsync параметр

ну и почитай про aof

http://oldblog.antirez.com/post/redis-persistence-demystified.html

у редиса есть изящно реализованные чекпоинты(через fork)

и есть подобие wal

every time a write operation that modifies the dataset in memory is performed, the operation gets logged. The log is produced exactly in the same format used by clients to communicate with Redis, so the AOF can be even piped via netcat to another instance, or easily parsed if needed. At restart Redis re-plays all the operations to reconstruct the dataset.

А всякие NSQ?

забудь про NSQ

он интересен только как обрезанных шардящийся реббит

но совершенно непригоден к большой нагрузке и написан непригодными к программированию дебилами

вплоть до того, что я там год назад ловил ошибку с генерацией id сообщения, который составлялся битовой маской, и секундный сиквенс накладывался на таймстамп, т.к. эти ребята ошиблись с битовой арифметикой. В результате система начинала работать со скоростью несколько сообщений в секунду. Поскольку там сиквенс на 10 бит, и ошибка была всегда, NSQ никто под нагрузкой не использовал

добавь к этому, что он нестабилен и неадекватно ведёт себя при обслуживании

у редиса есть изящно реализованные чекпоинты(через fork)

это особенно весело, когда редис в своп убежал

#снимитесручника Смотрите. У меня вот есть задача - управлялка поставила задачу в очередь "сделай резевную копию юзера alice на сервере 42". И там таких задач накидала с тыщу. И сервер 42 начал разгребать очередь задач и делать бэкапы. Потом вдруг юзер gogi решил, что ему надо восстановиться из самой дальней резервной копии. И вот тут пошли варианты: 1. Управлялка разруливает - смотрит что там с задачами на тот сервер, выбирает тому юзеру и смотрит не стирается ли его резервная копия уже. Потом пихает задачу восстановить вперед сделать 2. Задача просто улетает с другим приоритетом в очередь и никто вообще не разруливает "я жена того-то и сестра того-то" 3. Задача ставится в очередь, а уже сервер 42 смотрит при выборке очередной задачи, нет ли задач в очереди, которые могут блокировать и всё такое. Вопрос. Какое рассуждение более близко классической схеме работы с очередями? Как правильно обеспечить обратную связь? Например, после бэкапа сервер 42 хочет сообщить новое состояние резервных копий юзеров alice и gogi. Не мучатся и просто тоже через очередь, только отправитель и получатель меняются местами? А что для этого готового можно использовать? Я вот смотрю - чуть ли не РСУБД самое норм. Всё остальное разной степени треш, делающий ненужное и не делающий нужное

возьми банальный реббит, он удобен

считай промышленный стандарт на рынке

https://events.yandex.ru/events/yagosti/14-september-2016/

Сервер выключился и я получил кашу

Реплика и ups творят чудеса

возьми банальный реббит, он удобен

И через месяц мы будем слушать как Фила бомбит ерланг, что у него переполнены очереди и всё вот это вот

А еще можно очередь держать в постгресе, а селери как шедулер только использовать, для пинков типа "глянь в ту очередь"

А еще можно MongoDB брокером для селери

И через месяц мы будем слушать как Фила бомбит ерланг, что у него переполнены очереди и всё вот это вот

если будет использовать Master slave репликацию — всё будет ок. на мой вкус это один из лучших продуктов на рынке, с _полной_ документацией, отличным кодом и отлаженным UX

возьми банальный реббит, он удобен

И сложен что пиздец. И его только ленивый не ругает

Реплика и ups творят чудеса

Реплика не творит чудеса. Я надеюсь ты не веришь в синхронную транзакционную реплику? Выключение бывают разные. От человеческого фактора. И они иногда происходят

А еще можно очередь держать в постгресе, а селери как шедулер только использовать, для пинков типа "глянь в ту очередь"

Чего-то не вижу, он в SQl вроде ни в каком не умеет. Я бы в MySQL держал да

А еще можно MongoDB брокером для селери

Вы все сговорились на базах, которые данные теряют? :)))

Так скажем на кролика так ругаются и просто "на посмотреть" я его не осилил, что мне нужны какие-то аргументы чуть больше "промстандарт". Ява тоже промстандарт. И php.

А баловство всякими machinery меня погубит да?

это пять ?

"Минсвязи подготовило законопроект о создании российского аналога PornoHub, после того, как ресурс был заблокирован решением Роскомнадзора. Как сказано в пояснительной записке к законопроекту, он будет включен в программу "Электронная Россия", что предусматривает государственное финансирование в 15 млрд рублей." @gnulauqa ?!!!!

Реплика не творит чудеса. Я надеюсь ты не веришь в синхронную транзакционную реплику? Выключение бывают разные. От человеческого фактора. И они иногда происходят

Бывает много чего. Вопрос какая у тебя модель угроз. Человеческий фактор можно приплести всегда. Чудес не бывает

Чего-то не вижу, он в SQl вроде ни в каком не умеет. Я бы в MySQL держал да

Сам клади в свою табличку. А очередь только для пинков

"Минсвязи подготовило законопроект о создании российского аналога PornoHub, после того, как ресурс был заблокирован решением Роскомнадзора. Как сказано в пояснительной записке к законопроекту, он будет включен в программу "Электронная Россия", что предусматривает государственное финансирование в 15 млрд рублей." @gnulauqa ?!!!!

Рофл

"Минсвязи подготовило законопроект о создании российского аналога PornoHub, после того, как ресурс был заблокирован решением Роскомнадзора. Как сказано в пояснительной записке к законопроекту, он будет включен в программу "Электронная Россия", что предусматривает государственное финансирование в 15 млрд рублей." @gnulauqa ?!!!!

Щорс жжёт ?

ERROR: S client not available

"Минсвязи подготовило законопроект о создании российского аналога PornoHub, после того, как ресурс был заблокирован решением Роскомнадзора. Как сказано в пояснительной записке к законопроекту, он будет включен в программу "Электронная Россия", что предусматривает государственное финансирование в 15 млрд рублей." @gnulauqa ?!!!!

Это действительно таких денег стоит?

Это действительно таких денег стоит?

Надо потратить столько. Нутычо. А потом попросить удвоить. И еще разок.

Надо потратить столько. Нутычо. А потом попросить удвоить. И еще разок.

Это понятно. Мне интересно во сколько обошелся бы подобный проект, имея желание сделать все по уму за небольшие деньги

сраный линукс =(

сраный линукс =(

?

https://dpaste.de/W9Ny/raw

https://dpaste.de/W9Ny/raw

панике панике)))

а как собран initramfs?

полезная вещица))

а как собран initramfs?

там не имеет значения =(

https://lkml.org/lkml/2010/9/11/181

это вот из этой оперы

2.6.32.21 <- когда в это время еще сидел на окошках

=)

Угу

Но я такое ловил и на 47.2

4.7.2

Никто не работал с Subversion?

много паники у меня было, когда я мучал свой скайлейк

Никто не работал с Subversion?

SVN?

SVN?

Ага. Суть в чем, я работал только в локале и коммитил в облако. А теперь мне надо с сервака папку загнать в репозиторий. Я встал в ступор, как лучше это сделать)

ну, тебе надо, чтобы в этой папке было все барахло из .svn. самый простой способ это счекаутить рядом ту папку, в которую хочешь закоммитить, переложить все туда и залить. возможно для этого надо какие-то ключи на ту машинку положить

ну, тебе надо, чтобы в этой папке было все барахло из .svn. самый простой способ это счекаутить рядом ту папку, в которую хочешь закоммитить, переложить все туда и залить. возможно для этого надо какие-то ключи на ту машинку положить

Сейчас подробно объясню. Есть OwnCloud на Windows машине. Выглядит он как обычная папка в проводнике, куда запихиваешь файлы и папки, которые хочешь поместить в облако. Через какое-то время сервер OwnCloud синхронизирует папку и забирает все к себе на сервак. Есть папка на сервере (не OwnCloud). Доступ к этому серваку есть через putty с root правами. Требуется: 1. Создать репозиторий на OwnCloud (это не проблема. Создаю папку репозитория в директории OwnCloud в проводнике и все) 2. С помощью putty закоммитить и запушить папку с сервера (не OwnCloud) к себе на windows в репозиторий, который в директории OwnCloud

я это так вижу)

а я правильно помню что пользователей ceph тут кроме меня особо нет?

Сейчас подробно объясню. Есть OwnCloud на Windows машине. Выглядит он как обычная папка в проводнике, куда запихиваешь файлы и папки, которые хочешь поместить в облако. Через какое-то время сервер OwnCloud синхронизирует папку и забирает все к себе на сервак. Есть папка на сервере (не OwnCloud). Доступ к этому серваку есть через putty с root правами. Требуется: 1. Создать репозиторий на OwnCloud (это не проблема. Создаю папку репозитория в директории OwnCloud в проводнике и все) 2. С помощью putty закоммитить и запушить папку с сервера (не OwnCloud) к себе на windows в репозиторий, который в директории OwnCloud

то есть ты хочешь на виндовой машине по сути поднять сервер svn просто в папке, за которой следит кто-то еще (этот OwnCloud, я не знаю, что это)?

а я правильно помню что пользователей ceph тут кроме меня особо нет?

Я только посмотреть

жаль ато у меня тут филосовский воопрос возник

то есть ты хочешь на виндовой машине по сути поднять сервер svn просто в папке, за которой следит кто-то еще (этот OwnCloud, я не знаю, что это)?

OwnCloud это облако. Да, я хочу создать репозиторий по сути в облаке с правом доступа определенному кругу лиц)

как ты описываешь, этот OwnCloud по действию похож просто на Dropbox какой-нибудь?

как ты описываешь, этот OwnCloud по действию похож просто на Dropbox какой-нибудь?

да-да)