т.е. формула может сказать, чтобы мне получить что-то в анализе, надо столько то данных?

То есть берешь свои данные и высчитываешь какого размера выборку нужно запихать для гарантированого результата. Для нейросеток она тоже подойдет.

Товарищи, есть вопрос по оптимизации. Переодически обновляется таблица (база MySQL) запрос insert on duplicate update. Записей туда по несколько тысяч пишется за запрос. Есть смысл для оптимизации работы разбить это на порции по 500-1000 записей за раз на вставку?

Товарищи, есть вопрос по оптимизации. Переодически обновляется таблица (база MySQL) запрос insert on duplicate update. Записей туда по несколько тысяч пишется за запрос. Есть смысл для оптимизации работы разбить это на порции по 500-1000 записей за раз на вставку?

Ну и вопрос. Может да, может нет

Если нужно "размазать" немного нагрузку, то да.

Надо на данные смотреть

Если нужно "размазать" немного нагрузку, то да.

Ещё Лок избежать

Но питцот строк ниачом

Но питцот строк ниачом

а какой вообще объем большой можно считать для одного запроса. Сами данные в каждой записи легковесные достаточно, нет ничего тяжелого

Тогда не имеет.

В одну транзакцию все

А если аналогичная ситуация, порядка 30000 строк за транзацию и там есть текстовое поле в записи, которое может быть несколько сотен слов?

Товарищи, есть вопрос по оптимизации. Переодически обновляется таблица (база MySQL) запрос insert on duplicate update. Записей туда по несколько тысяч пишется за запрос. Есть смысл для оптимизации работы разбить это на порции по 500-1000 записей за раз на вставку?

Нет

а какой вообще объем большой можно считать для одного запроса. Сами данные в каждой записи легковесные достаточно, нет ничего тяжелого

от 10 тыщ записей

Товарищи, есть вопрос по оптимизации. Переодически обновляется таблица (база MySQL) запрос insert on duplicate update. Записей туда по несколько тысяч пишется за запрос. Есть смысл для оптимизации работы разбить это на порции по 500-1000 записей за раз на вставку?

Как раз несколько тысяч записей оптимальный пакет для обработки. т.е. 1-5 тысяч

Спасибо!

Как раз несколько тысяч записей оптимальный пакет для обработки. т.е. 1-5 тысяч

Но это всё может зависить ещё от характера твоих даных и их обработки, но если тупые записи и тупой INSERT, то вот так

Привет! как найти все слова в которых содержится определенный слог в nysql?

в кириллице

глупое предложение, но... like?

Ну like например...

Полнотекстовый поиск

RegEx

я вот правда чую он хочет искать их внутри строки одной колонки... иначе б не спросил тут. наверное

вот через RegEx как найти слок "ра"?

Like и RegEx БУДУТ МЕДЛЕННЫМИ!

вот через RegEx как найти слок "ра"?

Это в документации по твоей СУБД ищи.

Это в документации по твоей СУБД ищи.

это регулярные выражея стандартные же!

я просто в них пока не шарю

это регулярные выражея стандартные же!

Начнём с того, что стандартных RegEx не бывает. Везде свои.

Начнём с того, что стандартных RegEx не бывает. Везде свои.

мне в mysql нужно найти

пытаюсь сделать что-то такое в Sequel pro

https://goo.gl/pt1duL ?

Ребят, подскажите, как вставить перменную в text? sqlite sql = """ UPDATE base SET text = (?) WHERE user = ‘Ivan’ """ cursor.execute(sql, x) conn.commit()

питонисты подъехали

почитать доку по либе не?

по orm'у

Ребят, подскажите, как вставить перменную в text? sqlite sql = """ UPDATE base SET text = (?) WHERE user = ‘Ivan’ """ cursor.execute(sql, x) conn.commit()

text = %s ... """ % your_string)

не, судя по синтаксису - скорее всего это либо коннектор к мускулю родной, либо что-то близкое к нему

большое спасибо

Всем привет! Oracle DBA, подскажите, пожалуйста, почему у меня нет grant на мои пакеты и процедуры, которые я сам создавал в своей схеме? Приходится прописывать гранты отдельно через другую схему. Есть ли такая настройка, которая автоматически дает грант на все процедуры и пакеты в моей схеме?

прописать гранты на пользователя/схему?

Коллеги, привет! Подскажите, на ваш взгляд для внутренних пользователей 30-40 сотрудников макс, с таблицами макс на 100кк строк, и БД MSSQL какая конфигурация сервера минимальна?

по железу*

БД по сути только для фроненда нужна, никакой жести, никакого хайлоада, таблиц макс 50шт

16ядер, 64ОЗУ, 500Гб дисков, типа того, да?

Да i3 + 8гб + ssd хватит

Если никто не будет его трогать

И Если это не шарепоинт ?

И Если это не шарепоинт ?

это самое главное, пожалуй

ценители продуктов MS-а))

товарищи вопрос. Нужно делать апдейт таблицы где одна колонка имеет фиксированное значение в запросе в условии where, а другая может быть in (несколько тысяч). Как лучше сделать, база mysql

$format = $this->getRequest()->getParam('format', 'XLS'); switch ($format) { case 'CSV': $webPath = $report->makeCSV($passportList); break; case 'XLS': default: $webPath = $report->makeXLS($passportList); break; } Сделай фабрику, отдельные типы экспортов и единый интерфейс к ним

товарищи вопрос. Нужно делать апдейт таблицы где одна колонка имеет фиксированное значение в запросе в условии where, а другая может быть in (несколько тысяч). Как лучше сделать, база mysql

а откуда берутся эти несколько тысяч в IN?

это значения из массива, формирует прикладная программа

тогда динамика

гугли prepared statements

не, ну зачем сразу prepared. можно с eq_range_index_dive_limit поиграться

это значения из массива, формирует прикладная программа

а какая версия mysql?

ERROR: S client not available

так массив же динамически собирается, он видимо хотел спросить как литерал передать в IN и чтобы он сработал

5.5.43-37

тогда плохо

если вопрос "как сделать быстрее", то в 5.5 быстрее будет временная таблица + join

запрос типа update offers set value = 0.00 WHERE id = 1025152 AND field IN (1002158,1002165,100217) только вот в ин тысячи могут быть

так а вопрос в чём? как передать массив в IN ?

как ускорить

может я не самым лучшим способом это делаю

глядь, а в 5.5 еще нет explain для dml...

они с 5.6 появились

если вопрос "как сделать быстрее", то в 5.5 быстрее будет временная таблица + join

может там не всё так грустно, индексы пошукать

как ускорить

поменять структуру таблицы или разбить на пачку апдейтов в одной транзакции второй вариант скорее всего не будет быстрее

Коллеги, привет! Подскажите, на ваш взгляд для внутренних пользователей 30-40 сотрудников макс, с таблицами макс на 100кк строк, и БД MSSQL какая конфигурация сервера минимальна?

Любая

ну я смотрел через селект аналогичный, там вроде 4 | const | 182216 | Using wher

молодец

а using where по какой колонке?

как ускорить

версия очень старая. в 5.5 тысячи элементов в IN будет очень медленно. А в 5.6+ есть параметр eq_range_index_dive_limit , который нужно поставить в N+1, где N — максимальное количество элементов. и будет быстро

а using where по какой колонке?

он не конретизирует)

16ядер, 64ОЗУ, 500Гб дисков, типа того, да?

Это очень жирно

версия очень старая. в 5.5 тысячи элементов в IN будет очень медленно. А в 5.6+ есть параметр eq_range_index_dive_limit , который нужно поставить в N+1, где N — максимальное количество элементов. и будет быстро

буду дробить тогда порции

что поделать(

он не конретизирует)

ну как это, у тебя же индекс по конкретной колонке

скорее всего по первому полю только из where

ну как это, у тебя же индекс по конкретной колонке

а, ну это по id

товарищи вопрос. Нужно делать апдейт таблицы где одна колонка имеет фиксированное значение в запросе в условии where, а другая может быть in (несколько тысяч). Как лучше сделать, база mysql

Запрос написать

Запрос написать

запрос типа update offers set value = 0.00 WHERE id = 1025152 AND field IN (1002158,1002165,100217) только вот в ин тысячи могут быть

запрос типа update offers set value = 0.00 WHERE id = 1025152 AND field IN (1002158,1002165,100217) только вот в ин тысячи могут быть

а id — это не уникальный ключ что ли?

так массив же динамически собирается, он видимо хотел спросить как литерал передать в IN и чтобы он сработал

Какая разница как собирается массив? Никакой

в конретной ситуации нет