@dba_ru

Страница 43 из 718
Dmitry
15.10.2016
16:59:19
Но я с трудом представляю изоляцию в винде

Al
15.10.2016
16:59:40
сегодня походу только крупные специалисты в чате
Угу в попытках обьяснить работу синхофазатрона на пальцах

Fike
15.10.2016
16:59:52
Dmitry
15.10.2016
16:59:53
Там изоляция видимо на уровне отдела маркетинга

Google
Al
15.10.2016
17:00:22
в хроме нету синхрофазатрона, если что
Так и знал что им только орехи колоть

KOT
15.10.2016
17:00:29
Бля, конверт row format завесил инстант

ну пищи уже
Копрессед прогналось только 10-15%, но судя по отдельным меткам временым похоже ты был прав и многое изменилось с 2011-го года. Вообще у меня сейчас всё упёрлось в РАМ, он выжрат на 99%, а проц загружен на 20%, тем самым есть запас для компрессии/декомпрессии.

nikoinlove
15.10.2016
20:21:00
109 мегабайт мухаха

KOT
15.10.2016
20:21:18
109 мегабайт мухаха
Это остаток фри

Надо придумать ещё один тест, где меньше будет на РАМ нагрузка

условие одно: не читить )
4599 секунд dynamic 2060 секунд compressed Удивлён. тестировать больше в падлу, поверю на слово, что другие тесты тоже покажут примерно тоже самое. Взял на вооружение для второй версии движка.

Igor
16.10.2016
00:49:26
— "dynamic" база тоже была развёрнута с чистого листа?

KOT
16.10.2016
06:46:08
Да

Это моя прод база

Там есть скрипт, считает раз в час стату.

— "dynamic" база тоже была развёрнута с чистого листа?
В две другие таблицы из той, что на 16гб, я сделал две реплики, потом перевёл их в самостоятельные инстансы, удалил всё лишнее, оставил одну большую таблицу и две пустые, на одном инстанте сделал конвертацию, потом оба ребутнул и погнал 130 комманд, которые должны summary высчитывать. Там каждый из 130 это: Insert ... From ( select ... from ... where ... group by 3 columns (index) ) on duplicate update 5-7 fields

Google
KOT
16.10.2016
06:54:58
То есть там полный набор всего был.

Да, разница в занимаемом месте на диске - 9 ГиБ

Это не было сутью теста, но так, наблюдение.

Погуглил про баракуду на рдс и не совсем понял, вроде-бы есть, но через какой-то костыль.

Igor
16.10.2016
07:06:40
ну то есть данные в таблицах баз этих 2-х форматов былы не ушатанные фрагментацией, а залиты сызнова

оке

Я молодец, жаль на деньги не спорю ;)

KOT
16.10.2016
07:11:22
ну то есть данные в таблицах баз этих 2-х форматов былы не ушатанные фрагментацией, а залиты сызнова
Это я тебе не скажу, же рдс, там 100гб места может быть раскидано на 100 разных ссд по 1гб и ты никогда не узнаешь в каком порядке

Igor
16.10.2016
07:11:31
ты не понял

я не спрашиваю как оно там внутри

я говорю про загаженность таблицы

если она была с 0 сделана и данные только добавлялись — это одно

Если она была в суровом продакте с кучей insert/delete/update — другое

В общем, в любом случае, в качестве резюме — компрессия есть сейчас практически в любой базе, будь-то SQL или noSQL

А там где её нет, имеет смысл включить компрессию на уровне FS

те же binlog'и гораздо приятнее писать в каталог, где lzo/lz4/gzip

KOT
16.10.2016
07:14:33
Если она была в суровом продакте с кучей insert/delete/update — другое
Была, но только insert и 5% потом update по одному полю.

Igor
16.10.2016
07:14:48
ну тогда тест ты хреново провёл

правильный — оба варианта storage но данные и там и там — с 0

KOT
16.10.2016
07:15:09
Ты же понимаешь, что реплика накатывается с логов

Google
KOT
16.10.2016
07:16:07
правильный — оба варианта storage но данные и там и там — с 0
То есть, когда я менял формат, оно упорядочило мусор?

Igor
16.10.2016
07:16:31
конечно

alter создаёт таблицу заново

KOT
16.10.2016
07:16:46
И мне нужно было оба перегнать в компрессед, а потом один обратно в динамик?

Igor
16.10.2016
07:17:13
нет. Можно просто сделать 2-е пустых реплики

одну настроить на использование barracuda, другую — нет

и заполнить обе с 0

KOT
16.10.2016
07:17:55
Если будет не заёб, то сделаю

Igor
16.10.2016
07:17:58
но вообще я не думаю, что там что-то кардинально другое ты увидишь, учитывая твоё замечание про 5 %

KOT
16.10.2016
07:18:04
Вот только про баракуду

Это просто компрессед выставлять или там больше манипуляций?

Igor
16.10.2016
07:20:21
ну там отличий больше, вот только детали это уж точно в доки. Я б юзал её ровно за то, что это compressed

Есть ещё TokuDB, кстати

KOT
16.10.2016
07:22:21
Есть ещё TokuDB, кстати
Краем глаза зацепил, это часть mysql?

Стоп, баракуда, это настройки или это замена innDB?

KOT
16.10.2016
08:37:15
Бррр, нет, тогда нахуй его. Пускай будет компрессед, если тест покажет вин, но с иннодб пока уходить не планирую

Это из той же лперы, почему я юзаю дебиан, мне нужна система пускай с медленым развитием, но стабильностью с запасом

МариаДБ например есть в РДС, а перконы нету, хоть я и уважаю профессионализм создателей перконы, но пока она не имеет масштаба, я там ебаться не хочу.

Google
KOT
16.10.2016
18:27:48
версия движка, другой формат
https://aws.amazon.com/about-aws/whats-new/2016/06/amazon-rds-now-supports-mariadb-10-1/ XtraDB/InnoDB page compression Аналог?

ну тогда тест ты хреново провёл
Дубль два, в этот раз с нуля обе сделал. расход ЦПУ и выедание РАМа у компрессед происходит в 2 раза быстрей

Компрессед отработал - 1503 секунды Динамик домучался - 1898 секунды

В следующей версии сайта сделаю эксперемент, там будет 2 базы одинаковые, не реплика, но с одинаковой начинки, тот самый Мастер-мастер кольцо, без самой реплики, на одном сделаю компресед, на другом стандартный динамик, гляну потом, как на проде они себя ведут в реал лайфе

Dmitry
17.10.2016
14:52:05
AirBnB опубликовал статью о том как они столкнулись и решали проблему C10K в MySQL. https://medium.com/airbnb-engineering/unlocking-horizontal-scalability-in-our-web-serving-tier-d907449cdbcf #airbnb #mysql #c10k #performance

Продолжение цикла статей про параллельную репликацию MySQL от Booking. В новой статье речь идет о Optimistic Parallel Replication из состава MariaDB 10.1. http://blog.booking.com/evaluating_mysql_parallel_replication_4-more_benchmarks_in_production.html #booking.com #mysql #performance

KOT
17.10.2016
20:34:41
Есть кто не спит?

here1am
17.10.2016
20:39:09
я

KOT
17.10.2016
20:40:59
Есть таблица, кроме всего прочего в ней есть два столбца, в момент выборки идут высчиты суммы и среднего числа через конструкцию CASE WHEN THEN ELSE END идёт выборка большего из вариантов двух столбцов.

Есть выборка по WHERE и группировка

Есть разные варианты группировки данных, и какого-то лешего они выдают разные значения иммено на этой конструкции

То есть, WHERE не меняется

here1am
17.10.2016
20:44:44
а субд и движок пушкин указывать будет (я всё равно не дба)

KOT
17.10.2016
20:45:04
mysql5.7 innoDB

Сделал EXPLAIN всех трёх запросов

Последовательность джойнов одинаковая, количество вытянутых строк тоже

Значит изначальный датасет одинаковый

Dmitry
17.10.2016
21:13:37
Случайно не на разных репликах?

KOT
17.10.2016
21:22:37
Нет

Всё на одной

Google
KOT
17.10.2016
21:22:51
Сейчас вообще через ПМА на мастере смотрю

Там просто этот механизм по разному расчёты проводит

Al
17.10.2016
21:23:45
Шутку про то что в гугл забанили слышали? Я сегодня получил бан от гугля.

here1am
17.10.2016
21:24:23
получал бан, когда это ещё не было мэйнстримом

KOT
17.10.2016
21:24:31
+1

Al
17.10.2016
21:26:09
Sergey
17.10.2016
21:26:44
Al
17.10.2016
21:26:56
На LTE?
Угу

Sergey
17.10.2016
21:27:25
Энивей , антиробот там скорее всего по подсети

KOT
17.10.2016
21:27:30
У меня белый ип
Он не только у тебя )

На мобильном инете на одном ИП может висеть куча людей

KOT
17.10.2016
21:28:15
я так одно время баны от двача получал, не понимал за что

http://pastebin.com/b7hajdUJ

Упростил по максимуму запросы, для простоты чтения

avg_counter_nine и sum_counter_ten считаются во всех случаях по разному

WHERE везде одинаковый

Страница 43 из 718