Мапить

Извините, если не так выразился(

постгрес?

Чтение, запись

ignite?

а..только питон. тогда игнайт мимо

а вообще 300к если они вменяемых размеров это не количество

ну если это не 300к в секунду

постгрес?

Реалиционка, плюс использовал для чтения обрабатывалось около 20минут на вставку через copy. Это долго

Реалиционка, плюс использовал для чтения обрабатывалось около 20минут на вставку через copy. Это долго

300к это что ? На запись в секунду, на хранение?

Реалиционка, плюс использовал для чтения обрабатывалось около 20минут на вставку через copy. Это долго

Mongo? )

ну если это не 300к в секунду

Хотя бы минут 5, json схема размером в 10 ключей

Реалиционка, плюс использовал для чтения обрабатывалось около 20минут на вставку через copy. Это долго

300к строк 20 минут вставлялись через copy? > Реалиционка там json есть

300к строк 20 минут вставлялись через copy? > Реалиционка там json есть

Да я знаю и использую но мапить по ним не очень удобно.

(тут я робко напомню неочевидный факт, что джсон постгреса быстрее монги)

Хотя бы минут 5, json схема размером в 10 ключей

постановка задачи такая что ответить на вопрос нельзя) нужно быстро обрабатывать - бери любое KV in-memory и тереби

Всем добрый вечер!)) Может кто нибудь поделится опытом использования nosql решений под python или указать направление. Стою на распутье между couchdb и aerospike. Нужно обрабатывать около 300к json документов быстро. Заранее благодарю за внимание.))

aerospike данные теряет

Да я знаю и использую но мапить по ним не очень удобно.

а про это можно подробнее? я не очень понимаю "мапить по ним не очень удобно"

а про это можно подробнее? я не очень понимаю "мапить по ним не очень удобно"

Есть например задача в задаче 300к запросов в формате json так как схема плавает от процесса к процессу. Насколько мне известно для выборки не выполненных задач нужно json переоразовать в array чтобы отобрать нужное

aerospike данные теряет

Спасибо большое учту.

постановка задачи такая что ответить на вопрос нельзя) нужно быстро обрабатывать - бери любое KV in-memory и тереби

Ну у меня на падобии такая история самописная, а потом выполнения сохраняется в файл, думал снизить IO нагрузку((

Хотя бы минут 5, json схема размером в 10 ключей

год назад на буке получалось 10млн строк за 15-30 минут вставить (точные цифры не помню, но порядок такой был) т.е. 300к примерно за минуту как минимум на время вставки удалял индексы на таблицу, остальное не помню

год назад на буке получалось 10млн строк за 15-30 минут вставить (точные цифры не помню, но порядок такой был) т.е. 300к примерно за минуту как минимум на время вставки удалял индексы на таблицу, остальное не помню

Спасибо пороюсь в направлении postgressа, скорее всего я что-то упустил.))

ещё могу предложить подумать в сторону "а хочешь ли ты это делать"

это может показаться шуткой, но я не шучу :)

ещё могу предложить подумать в сторону "а хочешь ли ты это делать"

Хочешь, не хочешь, а надо(

ты наверное читал уже, но вот тут всякие советы есть https://www.postgresql.org/docs/current/static/populate.html про маппинг так и не понял) к чему там array?

ты наверное читал уже, но вот тут всякие советы есть https://www.postgresql.org/docs/current/static/populate.html про маппинг так и не понял) к чему там array?

Я это уже после рабочего дня подвисаю, простите)) Да читал, но все же будет полезно ещё раз это сделать. Про маппинг. Не засуну же я в свойство таблицы 300к json объектов? А я почему то подумал, что засуну.

что такое ЛБТК в описании django girls?

что такое ЛБТК в описании django girls?

LGBTQ без G? <s>ну, типа, Россия, гей-пропаганда, вот это всё?</s>

Простите не разбираюсь в этом

ЛГБТК без ненужной в контексте буквы

Простите не разбираюсь в этом

Ну, LGBTQ: Lesbian, Gay, Bisexual, Transgender, Queer/Questioning

Queer/Questioning - про такое не слышал. Спасибо, друзья!

ЛГБТК без ненужной в контексте буквы

Ты сейчас ещё один холивар начнёшь :D Тем более, что про девушек тоже довольно часто говорят "gay"

конкретно это решение было @maremare, если интересно - все вопросы туда :)

Say no more

xpath 2/3 вообще живые? для питона есть пакеты с поддержкой? нагуглить не могу

https://twitter.com/wouldntfix/status/903670978387070976

ещё с itgm доклад причём :)

Там джанга есть?

Есть

а ты вроде с видеопотоками работал - это в банке?

Нет, не там

Что за банк? )) Из банка в банк ))

homecredit

Есть

Давай пост с описанием, закину в чат джанго-вакансий :)

А вы бухаете?

Вчера ж все бухали :D

вот так в лоб?

А вы бухаете?

Уточните вопрос, в целом или сейчас?

Сейчас

Рубика там или нет

Блин, ребята, вы мне так этого Рубика нахваливаете Когда попаду в Питер, обязательно напрошусь туда

Давай давай

Блин, ребята, вы мне так этого Рубика нахваливаете Когда попаду в Питер, обязательно напрошусь туда

Чего там нахваливать, просто факты говорят сами за себя

не так

не так

Teach me

btw ни Рубик ни Рубинштейн нам не заносили)

Не, ну такого у меня в округе хватает не меньше, думаю

чёрт, хайрез не нашёл

А, типа прямо одна улица с кучей классных местечек?

ERROR: S client not available

btw ни Рубик ни Рубинштейн нам не заносили)

сидит Полтавченко и думает, как бы ему петербург поднять

сидит Полтавченко и думает, как бы ему петербург поднять

так они и так туда всех гостей СПФ возят

серьёзно? :D

Блин, здорово :) Еще больше хочу в Питер теперь

но сначала мы к вам

сколько по шкале?

http://www.dp.ru/images/article/2015/11/21/a9d020bd-4a69-4f11-a5b5-6c017ffc0b3d.jpg

Фиксед

:yes:

серьёзно? :D

ой, не СПФ, а Юридического форума) http://www.fontanka.ru/2016/05/19/187/?mobile=false

Стильно! И наглядно

Омг... rest, async, mongodb

Можно спрашивать на собеседованиях чем rest отличается от rust

Можно спрашивать на собеседованиях чем rest отличается от rust

?

Socket от websocket и orm от arm

http://www.dp.ru/images/article/2015/11/21/a9d020bd-4a69-4f11-a5b5-6c017ffc0b3d.jpg

Я, кстати, открыл для себя Сайгон в 3 ночи. Болтали с двумя иранками армянского происхождения и нескольким чуваками, которые ДР отмечали. Больше в кабаке никого и не было. Девочки по-русски совсем мало. Т.е. 4 часа утра, Сайгон, 10 человек, выпивают, слыша исключительно английская речь. Сюр.

сайгон разве не умер?

А давайте может внесем в правила, что вакансии в FB, а сюда ссылку. По мотать надоело их.

за

сайгон разве не умер?

Два. Два раза постили картинку. Один раз ты сам. На ней есть Сайгон. Так-то это четвертый уже вроде. Я был в первом. Под столом. Пешком. Он был на соседней улице.

Тебя на точки прям пробило. =)

Тебя на точки прям пробило. =)

Это художественный прием.

Я догадываюсь.

В первом Художественном я, кстати, смотрел кино в 3D. Году этак в 88

леди и джентльмены, кому ещё работы https://www.facebook.com/groups/spbpython/permalink/606999346154131/

Ну вот. Не буду теперь видеть эти вакансии (

Вообще не помню регу на фб

сайгон разве не умер?

Вполне живой и уютный