ну да, дробное число в целочисленный тип положить не получится

странно, почему оно ругается на флоат если у тайма бигинт

я не понимаю, почему оно туда его ложит о_О.. а можно как-то указать последовательность?

https://www.postgresql.org/docs/9.6/static/sql-copy.html

или нужно всю таблицу заново создавать?

тут прямо в разделе Synopsis написано, как

спасибо) наконец-то)

Привет, а здесь можно размещать вакансию?)

Можно

В одной из наших компаний, которая ведет проект по предоставлению процессинга для программ лояльности , подарочных и банковских кобрендинговых карт открыта вакансия junior-QA (тестировщик), с частичной загрузкой задачами по поддержке. Обязанности: Тестирование программного обеспечения, как минимум ручное, автотесты будут плюсом. Выполнение задач по работе с данными в СУБД, включая написание запросов, скриптов. Постановка задач администраторам, управлением служебными сервисами. Требования: Построение запросов SQL. РСУБД, любой из основных промышленных СУБД (Oracle, Microsoft SQL Server, PostgreSQL),Postman и soapUI. Принципов создания тест-кейсов. Будет плюсом понимание: Скриптовых языков. Принципов программирования и Agile. ПО для автоматизированного тестирования и регистрации ошибок (WinRunner, TestComplete, TestExecute, TestRecorder). XML и связанных технологий (XSLT, XPATH, DOM, SAX). Условия: Офис недалеко от метро 1905 года (Центр Международной Торговли) ДМС со стоматологией после испытательного срока Оформление по ТК РФ ("белая" зарплата) Отличные условия для развития в дружной команде и профессионального роста

Друзья, если Вас интересует - то с удовольствием отвечу на все вопросы

Сразу бы ЗП написали )

главное понимать что это жуниор QA

стесняюсь спросить, а что же в требованиях для DBA тогда?

зп до 70 на руки

да это джуниор

Обычно "Будет плюсом понимание: " это значит "что-то где-то слышал"

QA?

стесняюсь спросить, а что же в требованиях для DBA тогда?

Всё то же самое, но на слово не верят

QA

стесняюсь спросить, а что же в требованиях для DBA тогда?

а что, написание SQL-запросов - это запредел?

а что, написание SQL-запросов - это запредел?

Опять же запросы бывают разные.

а что, написание SQL-запросов - это запредел?

нет, но причем здесь QA?

а как QA будут проверять хранимки без написания запросов?

Опять же запросы бывают разные.

о ужас, никогда не пойду на программиста, ведь программировать можно разное

запросы обычно пишут разработчики, консультируясь с DBA

да ну ?

есть компании с разной культурой QA

о ужас, никогда не пойду на программиста, ведь программировать можно разное

Идя на QA писать запросы для отчетных форм с оконными и аналитическими функциями, CTE и прочим - это странно )

ой, как же я пропустил в вакансии пункт про аналитические запросы и CTE

да лано. Зря мы тут придераемся. SQL разрабатывался чтобы секретарям было удобно отчеты генерить...

если QA не сможет такой запрос прочитать - он его и проверить не сможет :)

Друзья, вообщем - если Вам интересна вакансия или Ваши друзья на данный момент ищут работу, то буду признательна за рекомендации

Ну как бы да, а что тогда должен знать junior-QA? Ничего? Только уметь на кнопочку "запустить тесты" нажимать?

QA должен умень оформить удобочитаемо найденные проблемы.

с понятным описанием как это воспроизвести.

можно ещё вспомнить разницу между QA и QC

Тут есть некоторое противоречие с ситемой образования. В моем понимании - любой выпускник вуза по около профильной специальности (в ИТ - ВМК, ИВТ) - должен как минимум соответсвовать званию Junior-*. А по мере освоения технологий он становится - middle и дальше. Удивляет когда в компании есть 10 Junior разработчиков и ни 1 даже мидла - от кого они должны перенимать опыт? Разве можно в таком случае ждать чего-то кроме говнокода с кривой архитектурой? Если даже получится что-то путнее - это чудо, а не ожидаемый результат

QA ещё должен стараться предотвратить проблемы, а не просто не выпускать неработающее, как QC :)

У меня проблемка - база растет, и серверы на одних SSD держать дороговато. Хостер предлагает ставить обычные диски с SSD кешем, но у меня система непрерывно загружена кравлингом данных, выборкой кусков из базы, сравнением и записью диффов обратно в БД - узкое горлышко именно в этом месте, и хочется чтоб это все еще быстрее работало. Как думаете, совсем плохо будет уходить с SSD? Может можно как-то перехитрить природу настройками постгреса?

а что тормозит, чтение или инсерты?

У меня БД на SATAшных винтах, это боль. Приходиться оптимайзить кучей способов )

У меня проблемка - база растет, и серверы на одних SSD держать дороговато. Хостер предлагает ставить обычные диски с SSD кешем, но у меня система непрерывно загружена кравлингом данных, выборкой кусков из базы, сравнением и записью диффов обратно в БД - узкое горлышко именно в этом месте, и хочется чтоб это все еще быстрее работало. Как думаете, совсем плохо будет уходить с SSD? Может можно как-то перехитрить природу настройками постгреса?

Если больно сейчас на SSD, то без углубления в ботлнеки с переездом на HDD станет вообще круто.

У меня проблемка - база растет, и серверы на одних SSD держать дороговато. Хостер предлагает ставить обычные диски с SSD кешем, но у меня система непрерывно загружена кравлингом данных, выборкой кусков из базы, сравнением и записью диффов обратно в БД - узкое горлышко именно в этом месте, и хочется чтоб это все еще быстрее работало. Как думаете, совсем плохо будет уходить с SSD? Может можно как-то перехитрить природу настройками постгреса?

bcache

Не в курсе какая у вас архитектура, но если много памяти, то можно последний результат от кроулинга хранить в каком нить редисе и сразу с ним сравнивать, тогда уйдут лишние селекты

а что тормозит, чтение или инсерты?

Чтение самое медленное, тк оно рандомное, селекты по 1000 довольно жирных записей. А инсерты/апсерты уже и так батчатся по 50к штук, выверил оптимальное число методом тыка.

Инсерты можно заоптимайзить использую временную Unlogged табличку и потом переливать оттуда данные в основную используя pg_bulkload . 500К записей довольно бодро инсертятся. А для чтение вариант с кэшем последних данных не подходит?

Не в курсе какая у вас архитектура, но если много памяти, то можно последний результат от кроулинга хранить в каком нить редисе и сразу с ним сравнивать, тогда уйдут лишние селекты

очередь задач на amqp, которую консьюмер пополняет новыми задачами, и так по кругу. Лимит лишь в N параллельных джобов. Задачи создает главный консьюмер, и в основном он же их непрерывно создает в ответ на результат работы воркера.

У меня примерно похожая ситема. Инсерты через временую таблицу пачками, селекты почти все предварительно закэшированны, переписываются при получении новых данных и с ними же идет дифф

Инсерты можно заоптимайзить использую временную Unlogged табличку и потом переливать оттуда данные в основную используя pg_bulkload . 500К записей довольно бодро инсертятся. А для чтение вариант с кэшем последних данных не подходит?

почитаю про unlogged, но я пробовал с fsync=off, понял что это временный хак, который учитывая непрерывную нагрузку системы, перестает давать результат через пару минут работы

а почему данные вытаскиваются селектом на 1000 записей, если не секрет?

а почему данные вытаскиваются селектом на 1000 записей, если не секрет?

да просто так вышло - пробовал ставить больше, тольку нет

Чтение самое медленное, тк оно рандомное, селекты по 1000 довольно жирных записей. А инсерты/апсерты уже и так батчатся по 50к штук, выверил оптимальное число методом тыка.

батчи на запись по 50к, может вам не постгрес нужен ?

батчи на запись по 50к, может вам не постгрес нужен ?

да тоже так думал, но не хочется уходить с постгреса ?

А в чем проблем батчи по 50к? У меня они по полмиллиона и все нормально )

как мне кажется, это не совсем профиль постгреса, есть более заточеные под это решения, сейчас есть clickhouse который затачивался для работы на обычных дисках

А в чем проблем батчи по 50к? У меня они по полмиллиона и все нормально )

у меня например там жсоны которые в тостах лежат

Clickhouse хорош ровно до момента конгда данные надо удалять или обновлять..

да просто так вышло - пробовал ставить больше, тольку нет

у меня просто сложилось впечатление, что там по одной записи подразумевалось доставать

А считает кликхаус конечно офигеть как быстро

Clickhouse хорош ровно до момента конгда данные надо удалять или обновлять..

а в чем проблема с апсертами?

У меня проблемка - база растет, и серверы на одних SSD держать дороговато. Хостер предлагает ставить обычные диски с SSD кешем, но у меня система непрерывно загружена кравлингом данных, выборкой кусков из базы, сравнением и записью диффов обратно в БД - узкое горлышко именно в этом месте, и хочется чтоб это все еще быстрее работало. Как думаете, совсем плохо будет уходить с SSD? Может можно как-то перехитрить природу настройками постгреса?

а у вас все данные одинаково горячие?

я бы так спросил: переписывание приложения вообще рассматривается?

я бы так спросил: переписывание приложения вообще рассматривается?

угу, пауков уже переписал, теперь сервер нужно с ноды на чем-то нормальном оформить

Ждём в 17 новые требования ФСТЭК к базам данных :)

https://twitter.com/3dwave/status/829282981659414528

Ждём в 17 новые требования ФСТЭК к базам данных :)

В 19 если я правильно понимаю как исполняются планы ФСТЭК;)

Ждём в 17 новые требования ФСТЭК к базам данных :)

Что там особого?

Касательно частников.

ребят, не подскажете где может быть ошибка в запросе? INSERT INTO stations(name, branch, previous_station, travelling_time) VALUES ('Palats Sportu', 'Green', (SELECT MAX(id) FROM stations(id)), (SELECT ((extract( epoch from(to_timestamp(1485969522838 / 1000) - to_timestamp(1485969434919 / 1000)))::bigint)::text || ' seconds')::interval as hour_minute_second)));

ребят, не подскажете где может быть ошибка в запросе? INSERT INTO stations(name, branch, previous_station, travelling_time) VALUES ('Palats Sportu', 'Green', (SELECT MAX(id) FROM stations(id)), (SELECT ((extract( epoch from(to_timestamp(1485969522838 / 1000) - to_timestamp(1485969434919 / 1000)))::bigint)::text || ' seconds')::interval as hour_minute_second)));

а что постгрес говорит? Меня пока смущает только SELECT MAX(id) FROM stations(id)

это у тебя функция или таблица?

запрос

metro_assistant(# - to_timestamp(1485969434919 / 1000)))::bigint)::text || ' seconds')::interval as hour_minute_second))); ERROR: syntax error at or near ")" LINE 4: ...nt)::text || ' seconds')::interval as hour_minute_second))); ^

мне просто нужно вставить в previous_station идшник предыдущей станции, тоесть мне нужно каким-то образом взять последнее ИД

ну если верить ide, то последняя скобка лишняя

LINE 2: ...Palats Sportu', 'Green', (SELECT MAX(id) FROM stations(id)), ^ HINT: There is a column named "id" in table "stations", but it cannot be referenced from this part of the query. metro_assistant=#

ну и убери ..FROM stations(id)

да, чет оно ругается терь на идшник

LINE 2: ...Palats Sportu', 'Green', (SELECT MAX(id) FROM stations(id)), ^ HINT: There is a column named "id" in table "stations", but it cannot be referenced from this part of the query. metro_assistant=#

да, верно, выше писал, что смущает

ну так ты получается пытаешься вызвать функцию stations с параметром id

*процедуру хранимую

мне просто нужно вставить в previous_station идшник предыдущей станции, тоесть мне нужно каким-то образом взять последнее ИД

по поводу логики ничего сказать не могу, т.к. не знаком с задачей, вроде пойдет решение

не, не функцию. я пытаюсь записать в таблицу станцию

не, не функцию. я пытаюсь записать в таблицу станцию

значит, замени вот это: (SELECT MAX(id) FROM stations(id)) на это: (SELECT MAX(id) FROM stations)

значит, замени вот это: (SELECT MAX(id) FROM stations(id)) на это: (SELECT MAX(id) FROM stations)

сейчас попробую)

значит, замени вот это: (SELECT MAX(id) FROM stations(id)) на это: (SELECT MAX(id) FROM stations)

спасибо, работает)

дивные времена когда обсуждали детали работы, а не синтаксические ошибки в запросах, где же вы

Была ситуация - которую можно было бы обсудить - но пока сам не разберусь - сформулировать не смогу )

а когда разберешься уже все будет ок :) та же фигня

дивные времена когда обсуждали детали работы, а не синтаксические ошибки в запросах, где же вы

а где, как не здесь спрашивать где могут быть те ошибки? тем более, если ты студент

да все хорошо

пока студенты так учаться можно быть уверенным в востребованности на рынке труда

а как по вашему они должны учиться?

Вы суть подсказки поняли?