Так вот никогда недостатка не испытвал... Поэтому и удивлен.

Работу ради денег найти не проблема, вот только нужна ли такая работа, особенно на фоне фразы про крепостное право?

Работу ради денег найти не проблема, вот только нужна ли такая работа, особенно на фоне фразы про крепостное право?

мне так видится что мы наблюдаем товарища без опыта.

Я вот работу мечты искал полгода

о расказывай че за работа?

мне так видится что мы наблюдаем товарища без опыта.

Почему то такое же ощущение возникло ?

Почему то такое же ощущение возникло ?

потому что по его словам фигли там искать ту работу

о расказывай че за работа?

Если вкратце, то я наконец покину телеком и попаду в интернет сферу. И мне предложили что-то из серии dwh devops с интересной архитектурой. На текущий момент меня очень заинтересовал масштабный опыт по CI/CD для баз ?

Если вкратце, то я наконец покину телеком и попаду в интернет сферу. И мне предложили что-то из серии dwh devops с интересной архитектурой. На текущий момент меня очень заинтересовал масштабный опыт по CI/CD для баз ?

ну да.. всякие билинги это капец как скучно

В большинстве своем да

Тинькофф?

Нет

В тинькофф у меня было собеседование, но искали они немного другого человека...

У них подобных вакансий как грибов после дождя

Вроде в августе у них был, они искали больше каких-то через чур универсалов, где надо и менеджером быть и прототипы писать, а базы там сбоку для галочки

В большинстве своем да

имеешь в виду что когда делали его биллинг рукажопы то совсем даже и весело?

Нет, весело сначало, когда с нуля поднял им аналитику и отчетность. А теперь там рутина и разгребания гемороя от последствий разработки в биллинге

Работу ради денег найти не проблема, вот только нужна ли такая работа, особенно на фоне фразы про крепостное право?

А ради чего ещё работать, кроме не как ради денег?

А ради чего ещё работать, кроме не как ради денег?

ИТ и ради денег? не делай мне смешно. смех один а не зарплаты

ИТ и ради денег? не делай мне смешно. смех один а не зарплаты

Ну тут всё строго индивидуально.

Ну тут всё строго индивидуально.

я понятия не имею где что индивидуально. везде где я был все очень строго. никто индивидуальных зарплат не назначает. везде в среднем по рынку, как принято

Ясно, понятно.

исключение могут составлять какие то очень узкие специалисты в какой то страшно узкой щели.. но как правило такие специалисты нужны в очень небольшом списке контор и они все друг друга знают. и искать работу такой специалист будет годами

Ребят, а как предотвращается lost update problem в MariaDB? Загуглил, но не понял до конца, ведь транзакции же от них не спасают? Транзакции насколько мне известно обеспечивают лишь согласованность записи, атомарное изменение, верно?

Ребят, а как предотвращается lost update problem в MariaDB? Загуглил, но не понял до конца, ведь транзакции же от них не спасают? Транзакции насколько мне известно обеспечивают лишь согласованность записи, атомарное изменение, верно?

любым уровнем изоляции эта проблема предотвращается

любым уровнем изоляции эта проблема предотвращается

Самый банальный метод который приходит мне спонтанно в голову: mutex lock, заблокировать БД даже для чтения для определённых операций которые требуют полной согласованности, в случае когда lost update критичен

у тебя будет exclusive lock на обновляемую строку до коммита

почитай про менеджер блокировок в mariadb, я не думаю что он будет существенно отличаться от оного в mysql, ибо те же яйца, только в профиль

почитай про менеджер блокировок в mariadb, я не думаю что он будет существенно отличаться от оного в mysql, ибо те же яйца, только в профиль

но это к транзакциям не относится, так ведь?

у тебя движок mvcc

он все операции делает в транзакциях

любым уровнем изоляции эта проблема предотвращается

так даже больше. Нет такого уровня изоляции, где был бы lost update

но это к транзакциям не относится, так ведь?

Это к транзакциям относится напрямую — это их реализация

Ребят, а как предотвращается lost update problem в MariaDB? Загуглил, но не понял до конца, ведь транзакции же от них не спасают? Транзакции насколько мне известно обеспечивают лишь согласованность записи, атомарное изменение, верно?

Lost UPdate — это гипотетическая проблема, которая использовалась в частности для критики уровня изоляции snapshot isolation, но её естественно везде с рождения СУБД не допускали.

Это к транзакциям относится напрямую — это их реализация

т.е. при открытии транзакции мы можем быть абсолютно уверены что считанные во время проведения транзакции данные будут актуальны до завершения этой транзакции? т.е. вероятность lost update в данном случае полностью исключена?

т.е. при открытии транзакции мы можем быть абсолютно уверены что считанные во время проведения транзакции данные будут актуальны до завершения этой транзакции? т.е. вероятность lost update в данном случае полностью исключена?

нет

А, наверное надо сказать про магическую фразу SELECT...FOR UPDATE. Если её использовать для чтения данных, которые затем будут модифицироваться, то -ДА, всё будет ОК

А, наверное надо сказать про магическую фразу SELECT...FOR UPDATE. Если её использовать для чтения данных, которые затем будут модифицироваться, то -ДА, всё будет ОК

это если вся логика мутации данных в самом query, что чаще всего не так.. если сначала мы читаем бд, выполняем некую операцию в ОЗУ и мутируем данные во втором query то вероятность lost update высока

Сейчас, я может и чушь понаписал, надо вспомнить, как формулируется проблема lost update...

Или давай лучше так: дай ссылку или напиши, где и как ТЫ прочитал про lost update

это если вся логика мутации данных в самом query, что чаще всего не так.. если сначала мы читаем бд, выполняем некую операцию в ОЗУ и мутируем данные во втором query то вероятность lost update высока

я вот напр. нифига не понял...

Далеко ходить не надо https://drtom.ch/posts/2011/11/12/The_Lost_Update_Problem_-_Part_1/

ну... lost update же заключается в том, что у нас конкуррентный доступ к одному ресурсу перезаписывает изменение одного из изменяющих банальный пример: два человека (А и Б) - один счётчик. 1. счётчик находится в состоянии: 4 2. А считывает состояние счётчика, в озу: 4 3. Б считывает состояние счётчика, в озу: 4 4. А добавляет 3 и записывает новое состояние: 7 5. Б добавляет 2 и записывает новое состояние: 6 результат неверный, должно было быть 9, но мутация А была забыта, следственно "lost upate"

насколько мне известно SQL транзакции гарантируют атомарность запистей, либо всё либо ничего, но они не спасают от lost update, верно?

Ну, то же, что write skew

насколько мне известно SQL транзакции гарантируют атомарность запистей, либо всё либо ничего, но они не спасают от lost update, верно?

Неверно

Неверно

тогда каким образом транзакции их предотвращают?

Путём выполнения транзакциии..., :-)

Ладно, короче, чтобы не было lost update/write skew ты должен в транзакции читать данные с блокировкой на изменение. Большинство СУБД поддерживает эту операцию через т.н. SELECT ... FOR UPDATE

Ладно, короче, чтобы не было lost update/write skew ты должен в транзакции читать данные с блокировкой на изменение. Большинство СУБД поддерживает эту операцию через т.н. SELECT ... FOR UPDATE

аа, т.е. SELECT FOR UPDATE позволяет заблокировать конкретные ресурсы до момента завершения транзакции, верно?

аа, т.е. SELECT FOR UPDATE позволяет заблокировать конкретные ресурсы до момента завершения транзакции, верно?

Да, но только не "заблокировать", а избежать проблем при выполнении транзакций. Это вовсе не означает автоматом какую-то заблокированность записей.

для того чтоб в примере что выше не потерять обновления А нужно же заблокировать счётчик, так? Иначе Б не считает новое, обновлённое А состояние а наоборот старое, до транзакции А

Не обязательно. Но пусть ДА.

Можешь думать и так.

Не обязательно. Но пусть ДА.

если "не обязательно", тогда мы допускаем lost update problem

как иначе синхронизировать конкуррентные транзакции А и Б?

Что бы не допускать, транзакции должны сериализоваться. Блокировка — один из спрособов сериализовать транзакции. Но не едиснвтенный.

Что бы не допускать, транзакции должны сериализоваться. Блокировка — один из спрособов сериализовать транзакции. Но не едиснвтенный.

вот я и не понимаю как именно это работает, что именно подразумевает эта "сериализация"?

Рекомендую почитать статью http://citforum.ru/database/classics/SQL_critiques/#part_1 простая и сразу тебе станет ясно ВСЁ о транзакциях и изоляции.

(лучше найти и читать аналог на английском)

вот я и не понимаю как именно это работает, что именно подразумевает эта "сериализация"?

Сериализация — это упорядочивание транзакций друг за другом. (исключение одновременного выполнения транзакций)

Добрый день. Такой вопрос. У меня есть таблица с двумя полями, одно из которых булевое, и есть много записей. Только лишь у одной записи это булевое значение имеет другое значение (и всегда так будет). Возможно, есть какой-то более эффективный способ выделить исключительно одну запись среди остальных?

создай для нее отдельную таблицу и виши туда эту запись. вообще ТЗ какое-то не полное

ну, могу пример привести у меня есть таблица со складами и есть таблица с товарами между ними связь many-to-many так вот, один и только один из складов находится при магазине

Ну так сделай ссылку на склад при магазине из магазина. В таблице "магазин" поле с PK склада (FK на таблицу складов)

у меня нет таблицы магазина :D

Ну, сделай.. :-)

но можно запилить, это всё равно будет эффективнее, предполагаю

Если кому интересно могу скинуть линк на свою статью за разработку нового типа обобщения данных

очень !

очень !

“Theoretical Neuroscience.” https://medium.com/@FatRacoon/theoretical-neuroscience-7975868b4566

“Theoretical Neuroscience.” https://medium.com/@FatRacoon/theoretical-neuroscience-7975868b4566

Все еще имидж эксперта держишь?

=)

Все еще имидж эксперта держишь?

В чем?

Все еще имидж эксперта держишь?

Я вообще то предложил теорию. Сделал предположение что вещества вырабатываемые гипоталамусом так же выполняют роль "сигнальной системы" между сетов нейронов. И это определяет сознание. А вот во второй части как раз будет наглядная демонстрация как эта система самоорганизуется. И примеры визуализации из рабочей модели которая начиталась книжек.

бесовщина какаято

бесовщина какаято

Дык работает же. Нужно просто ресурсов больше чем у меня сейчас есть.

А на каких ресурсах сейчас работает, интересно?

А на каких ресурсах сейчас работает, интересно?

Один сервер от hp 7 поколения

Но там касандра вертится

И она в принципе не сильно нагружена. Нужно сам алгоритм дорабатывать в многопоточный. На 1мегабайт обобщенные данных создается 1 гигабайт логов изменений в базе

В среднем последняя версия читает (обобщает) 1 книгу 800 страниц за 3 часа

Получается нечто навроде очень сильно сжатого архива со 100% востанавливаемостью назад. И при хтом хранится в бд.

пошел читать

а что она может делать с той обобщенной информацией, что получает из книг?

Она может разделить понятия - Добрый день! - как приветствие и - Будет готово через день - как интервал времени? Просто никогда не сталкивался в живую с такими системами, но всегда было жутко интересно :)

Она может разделить понятия - Добрый день! - как приветствие и - Будет готово через день - как интервал времени? Просто никогда не сталкивался в живую с такими системами, но всегда было жутко интересно :)

Она не разделяет понятия. С математической точки зрения это огромное колличество множеств которые полностью или частично принадлежат другим множествам. Во второй части я делаю много примеров со схемами как это взаимодействует. Но если кратко скажем на примере книг. Каждая последующпя прочитанная книга занимает в памяти меньше места. Но при этом сохранчется ее целостность. И можно увидеть общий сюжет в другими книгами. Или составить краткое описание книги через пару запросов в базу. Или скажем если обобщить истории болезней, то система может на базе этого опыта не просто вытащить оптимальный вариант лечения но и обьяснить почему именно он. Да и таких систем насколько я знаю в данный момент всего одна. И она в моем "гараже "

Она может разделить понятия - Добрый день! - как приветствие и - Будет готово через день - как интервал времени? Просто никогда не сталкивался в живую с такими системами, но всегда было жутко интересно :)

Собственно человеки тоже не разделяют понятия. С точки зрения психоаналитиков и моей модели это очень сложная система паттернов

Интересно почитать 2ю часть - как скоро ожидается выход?

Если я правильно понимаю, то это самообучающаяся экспертная система?