да нет, бывают очень уматные книги

в целом есть конечно по сути пишут то да, а так если поверхностно - то уже через какое то время уже не будет работать, только елси конечно компаниям на свою иб не насрать.

В одной компании, где я работал, сеть с какими-то серьезными данными была физически разделена с сеткой, которая имела доступ в инет

в целом есть конечно по сути пишут то да, а так если поверхностно - то уже через какое то время уже не будет работать, только елси конечно компаниям на свою иб не насрать.

смею тебя огорчить над безопасностью думают только 50% компаний

Парни, сегодня после неудачных бубнов с линуксом откатил систему до 8 винды(предустановлена была) накатил обновление на 10, ноут пару раз сам перезагружался, а сейчас включается и просто надпись lenovo. И ничего не происходит. Нужно прдождать или что?

смею тебя огорчить над безопасностью думают только 50% компаний

если вообще думают, я такого же мнения.

/360

/360

Бля

/360

/360

Что это за хрень с "/360"?

/666

/666

/ya_i_suda_tknu

Очередная перепесь дебилов

Мамка не учила по непонятным ссылкам не кликать?

/stop_this

Мамка не учила по непонятным ссылкам не кликать?

Этожисмешношонипанятня?

Ну, мне кажется, это будет красивее. Да и просто интересен альтернативный метод

ты работаешь с форматом

Кумыс пьете?

или с его абстракцией?

как по мне - абстракция удобней

/360

/360

/360

Какую минимум VPS взять(OS, CPU, RAM), чтобы можно было крутить сутки напролёт свой скрипт на Python (минимальное потребление траффа и ресурсов)?

Какую минимум VPS взять(OS, CPU, RAM), чтобы можно было крутить сутки напролёт свой скрипт на Python (минимальное потребление траффа и ресурсов)?

так смотря что этот скрипт делает и сколько потребляет))

Какую минимум VPS взять(OS, CPU, RAM), чтобы можно было крутить сутки напролёт свой скрипт на Python (минимальное потребление траффа и ресурсов)?

Иди на какой нибудь sweb и там посмотри тарифы

Какую минимум VPS взять(OS, CPU, RAM), чтобы можно было крутить сутки напролёт свой скрипт на Python (минимальное потребление траффа и ресурсов)?

https://lowendbox.com любую

тебе нужно хотя бы 32 мбайт рам

Какую минимум VPS взять(OS, CPU, RAM), чтобы можно было крутить сутки напролёт свой скрипт на Python (минимальное потребление траффа и ресурсов)?

амазон, бесплатно можно пользоваться год

о, кстати, да

так хероку же есть))

/666

/360

так хероку же есть))

пожалуйста, не используйте хероку. Когда прийдется с нее слезать (а прийдется) - вы познаете боль и унижение

прийдется?

амазон, бесплатно можно пользоваться год

в смысле бесплатно?

Добрый день. Встал вопрос по sqlalchemy / postgresql. Мне необходимо проверять есть ли объект в бд и если есть, то возвращать его, а если нет, то добавлять. Сейчас делаю используя sqlalchemy примерно так: def add_or_get(self, movie): q = self.session.query(Movie).filter_by(url=movie.url) n = q.count() if n == 0: self.session.add(movie) elif n == 1: movie = q[0] else: raise Exception('...') return movie Работает ужасно медленно: 10-20 секунд на 5000 объектов. Как можно ускорить?

в смысле бесплатно?

без оплаты

подскажите где смотреть

ага, только при неосторожном использовании влегкую выкатывают счет баксов на 10 :)

https://aws.amazon.com/free/

Добрый день. Встал вопрос по sqlalchemy / postgresql. Мне необходимо проверять есть ли объект в бд и если есть, то возвращать его, а если нет, то добавлять. Сейчас делаю используя sqlalchemy примерно так: def add_or_get(self, movie): q = self.session.query(Movie).filter_by(url=movie.url) n = q.count() if n == 0: self.session.add(movie) elif n == 1: movie = q[0] else: raise Exception('...') return movie Работает ужасно медленно: 10-20 секунд на 5000 объектов. Как можно ускорить?

Есть встроенная функция

get_or_create

встроенная?

Ну да

Добрый день. Встал вопрос по sqlalchemy / postgresql. Мне необходимо проверять есть ли объект в бд и если есть, то возвращать его, а если нет, то добавлять. Сейчас делаю используя sqlalchemy примерно так: def add_or_get(self, movie): q = self.session.query(Movie).filter_by(url=movie.url) n = q.count() if n == 0: self.session.add(movie) elif n == 1: movie = q[0] else: raise Exception('...') return movie Работает ужасно медленно: 10-20 секунд на 5000 объектов. Как можно ускорить?

индексами пользуетесь?

Ну да

дайте ссылку на документацию, не могу найти

индексами пользуетесь?

btree на text

дайте ссылку на документацию, не могу найти

https://docs.djangoproject.com/el/1.10/ref/models/querysets/#get-or-create

Добрый день. Встал вопрос по sqlalchemy / postgresql. Мне необходимо проверять есть ли объект в бд и если есть, то возвращать его, а если нет, то добавлять. Сейчас делаю используя sqlalchemy примерно так: def add_or_get(self, movie): q = self.session.query(Movie).filter_by(url=movie.url) n = q.count() if n == 0: self.session.add(movie) elif n == 1: movie = q[0] else: raise Exception('...') return movie Работает ужасно медленно: 10-20 секунд на 5000 объектов. Как можно ускорить?

можно ограничиться .one()?

https://docs.djangoproject.com/el/1.10/ref/models/querysets/#get-or-create

> sqlalchemy

Добрый день. Встал вопрос по sqlalchemy / postgresql. Мне необходимо проверять есть ли объект в бд и если есть, то возвращать его, а если нет, то добавлять. Сейчас делаю используя sqlalchemy примерно так: def add_or_get(self, movie): q = self.session.query(Movie).filter_by(url=movie.url) n = q.count() if n == 0: self.session.add(movie) elif n == 1: movie = q[0] else: raise Exception('...') return movie Работает ужасно медленно: 10-20 секунд на 5000 объектов. Как можно ускорить?

Можно еще каунт на экзистс поменять

Эффект тот же будет

А

Так и говорите

Я на солнце не вижу

?

Можно ограничиться, сейчас проверю.

Обосрался я чутка

Можно ограничиться, сейчас проверю.

а то у вас там сейчас по два запроса вроде выполняется

Можно ограничиться, сейчас проверю.

потом можете поразбираться с upsert (я не пробовал) http://docs.sqlalchemy.org/en/latest/dialects/postgresql.html#insert-on-conflict-upsert

а то у вас там сейчас по два запроса вроде выполняется

Не знал, что count - отдельный запрос. Спасибо. Стало в 2 раза быстрее. Но 6 секунд - всё ещё много.

Может можно одним запросом проверять все 5000 объектов?

> Но 6 секунд - всё ещё много. сколько нужно?

Чем меньше, тем лучше. Хотелось бы быстрее 1/5 секунды

> Может можно одним запросом проверять все 5000 объектов? должно быть сильно быстрее, если вы сделаете всего 2 запроса конечно 1) узнать, что уже есть 2) попробовать добавить всё чего нет

интересно, как одним запросом реализовать "добавить то, чего нет"?

добавить всё в сессию и коммитнуть

и количество запросов не всегда коррелирует с нагрузкой

и количество запросов не всегда коррелирует с нагрузкой

тут подозреваю именно оно

добавить всё в сессию и коммитнуть

не могу найти суть задачи, у вас БД одна или вы из разных пытаетесь сделать синхронизацию?

О, зачем ник пиздить?

> cyberpunk

не могу найти суть задачи, у вас БД одна или вы из разных пытаетесь сделать синхронизацию?

суть задачи, как я понял, добавить в базу большое количество строк

не могу найти суть задачи, у вас БД одна или вы из разных пытаетесь сделать синхронизацию?

Одна. Данные беру со стороннего сервиса

О, зачем ник пиздить?

прастите что? я боюсь моему нику лет больше, чем вам...

прастите что? я боюсь моему нику лет больше, чем вам...

И сколько же?

И сколько же?

с 95 года

Данный ник уже наверное как лет 7-9 активен на античате

суть задачи, как я понял, добавить в базу большое количество строк

Верно.

с 95 года

Ты заврался, кажется

Одна. Данные беру со стороннего сервиса

а, тогда да, по теории можно все одним реализовать, но нагрузки, не факт, что станет меньше...

Ты заврался, кажется

как скажешь, прежде чем кого-то обвинять, можно было бы как минимум погуглить

нихуя, тёрки из-за ника ?

Верно.

можете еще про следующие настройки базы почитать, но с ними осторожно fsync = off synchronous_commit = off full_page_writes = off

можете еще про следующие настройки базы почитать, но с ними осторожно fsync = off synchronous_commit = off full_page_writes = off

6 секунд это выборка 5000 уже существующих объектов, без записи, т.е., насколько я понял, данные настройки ничего не ускорят

6 секунд это выборка 5000 уже существующих объектов, без записи, т.е., насколько я понял, данные настройки ничего не ускорят

а если постгресу скормить 5к сырых запросов - сколько это займет?

А filter.in_?

а если постгресу скормить 5к сырых запросов - сколько это займет?

c.execute('select * from movie where url=%s', (url,)) Данный запрос через psycopg2 быстрее 1/2 секунды

* пять тысяч таких запросов

через * не стоит возвращать данные

если знаете структуру, лучше перечисляйте поля