https://en.wikipedia.org/wiki/Graph_database

да-да, вот я себе в блокнотике это и отметил

ну вот смотри, даже если забить хрен на дизайн

у тебя меняется граф

и ты будешь лочить - пересчитывать всю таблицу

ага

ты можешь хранить просто ноду

и хранить ссылки на соседей

если у тебя фикс кол-во соседей то это норм

иначе смотри

у тебя есть две таблицы

одна nodes

другая links

в нодах у тебя ID ноды

в линках ID ноды ID линка ID соседа

не фиксированное. И у меня нет правки ноды - у меня если нода меняется, то вместо этого создается новая на ее месте со всеми старыми ссылками и ссылкой на старую (у которой соответственно большинство ссылок убивается)

класссическое один ко многим

это что казается дизайна бд

это да, но как из такой пары таблиц делать выборку по определенному пути?

в смысле не все линки одинаковы, есть пара "вперед-назад", которые образуют список (положим двусвязный)

уууу

воо

короче скл тебе не подходит все так

да, я тоже к такому выводу пришел

или это надо прямо видить всю картину и дизайнить

работать это будет долго

база будет дручиться сильно

я думал на тему монги - на ней такое сделать просто и быстро, но наверно лучше что-то более подходящее

если эта модель будет живая и резвая, то ты будешь упираться в блокировки

я думаю что для графов уже давно все придумано

угу

я думал на тему монги - на ней такое сделать просто и быстро, но наверно лучше что-то более подходящее

Если одна операция вставки будет предполагать изменение нескольких документов, то Монга не подходит - там нет транзакций и легко можно получить не консистентые данные.

ну по идее если граф будет только расти

то подойдет

если будут "отсыхать" ноды

то нет - монга тоже не пойдет, наверное

но я с ней очно знаком

отсыхать не планируется

надо бы как-то нарисовать операции, которые мне нужны

вот посиди сам порисуй

потом тебя осенит

дизайн базы всегда с этого начинается

http://python-future.org/compatible_idioms.html

в топик этот линк

https://docs.google.com/document/d/1G_XSlPvRAmruaVy5KikiJRDABU1bQHvMbXutMIuKeBc/edit?usp=sharing

я нрсвл

вроде все операции есть. Если чего-то не хватает - добавлю

теоретически можно сделать еще операцию сплита - но тогда там начнутся слияния

добавил

Как можно скрыть код своей программы? И вообще можно это сделать?

cythonize

я эт. всю неделю прокрастинировал. и винил себя, ругал. а сейчас сел писать и понял, что не зря.

как будто мозг прочистился

не зря прокрастинировал?

ага. как-то так

+1 за x2go. Для разработки хватает vps c 2cpu, 4gb и ssd. Подключаюсь к нему из любой точки мира и спокойно работаю, на медленых каналах притормсживает слегка.

я тупо захожу иногда на vultr, создают новый vps с десктопным образом linux mint mate .Потом из под vnc консоли vultr устанавливаю по быстрому в граф режиме и накатываю x2go. Вуоля.

работает по стабильней чем если на сервер эдишн накатывать самому DE

https://github.com/ffsdmad/pf-auth

http://quokkaproject.org/

https://github.com/ffsdmad/pf-auth

что я только что увидел?

что я только что увидел?

попробуй гугл переводчик, если русский не понятен ?

с pywin32 работает кто?

ERROR: S client not available

Всем привет. Интересует мнение коллективного разума по поводу организации persistent queue при постоянной сильной нагрузке. Основной критерий - скорость. Задача банальная - на вход летит асинхронно куча данных, размером около 1Кб на запрос. Собственно сложить очередь а потом в мультитреде её разбирать. Queue и queuelib смотрел

Ну и хотелось бы флаш на диск как то контролировать

Вдруг у кого то опыт есть)

Redis?

Редис да, рассматривается как вариант. Думал что что то есть чисто на питоне уже

В queuelib как я понял на каждый push идёт записьв файл , а это совсем печально. Как такое поведение изменить не нашёл, доков там ноль

Редис хороший вариант

Я ещё смотрю rabbitmq но начинаю подозревать что это немного не для того

Редис отличный вариант. У нас в проекте всё одностороннее взаимодействие между сервисами как раз через redis pus/sub реализованно.

редис +

Я ещё смотрю rabbitmq но начинаю подозревать что это немного не для того

у rabbitMQ есть опасная особенность, при превышении некой пороговой нагрузки он начинает тупить и терять сообщения. Причем происходит это очень резко, никакой плавной деградации

для очень больших нагрузок - apache flume

возможно еще стоит посмотреть на apache Kafka

Сейчас почитаю по апачу, не знаком. Всем спасибо!

Redis?

а здесть тарантул никто не форсит?

а здесть тарантул никто не форсит?

Ну если никого из мэйлру нет, то никто и не форсит

Ребят, напомните, здесь обсуждали помощника для пайтон, который слева выводит документацию

Всем привет. Интересует мнение коллективного разума по поводу организации persistent queue при постоянной сильной нагрузке. Основной критерий - скорость. Задача банальная - на вход летит асинхронно куча данных, размером около 1Кб на запрос. Собственно сложить очередь а потом в мультитреде её разбирать. Queue и queuelib смотрел

те подойдет как rabbitmq, так и redis. Только rabbitmq быстрее, чем redis. Но это в силу их особенностей реализации. rabbitmq очень крут конкретно для управления очередью сообщений. rabbitmq может лечь при высокой нагрузке, помогает его простой подъем ручками. Redis не гарантирует доставку сообщения, если дестинейшн оффлайн. Так что думай. Я не гуру в этих делах, но из этих двух решений можно что-то выбрать)) вот те пища для ума - if you want sophisticated routing capabilities go with RabbitMQ. If you need an in memory key-value store go with Redis.

Ребят, напомните, здесь обсуждали помощника для пайтон, который слева выводит документацию

Спасибо, нашёл

те подойдет как rabbitmq, так и redis. Только rabbitmq быстрее, чем redis. Но это в силу их особенностей реализации. rabbitmq очень крут конкретно для управления очередью сообщений. rabbitmq может лечь при высокой нагрузке, помогает его простой подъем ручками. Redis не гарантирует доставку сообщения, если дестинейшн оффлайн. Так что думай. Я не гуру в этих делах, но из этих двух решений можно что-то выбрать)) вот те пища для ума - if you want sophisticated routing capabilities go with RabbitMQ. If you need an in memory key-value store go with Redis.

Спасибо, буду думать)

Спасибо, нашёл

А поделишься?

А поделишься?

https://kite.com/

обсуждали уже

with open("pagevk.html", "w", encoding='') as html: html.write(driver.page_source)

что нужно, .ччтобы сохранить страничку вк

Привет, сообщество. А кто вам лидерборд пилил?

Какой лидерборд?

Ай, черт, я сходу подумал, что это чатовский лидерборд.

Бывает

Сорян, автоматом.