
Dmitry
15.10.2016
16:59:19
Но я с трудом представляю изоляцию в винде

Al
15.10.2016
16:59:40

Fike
15.10.2016
16:59:52

Dmitry
15.10.2016
16:59:53
Там изоляция видимо на уровне отдела маркетинга

Google

Fike
15.10.2016
17:00:07

Al
15.10.2016
17:00:22

KOT
15.10.2016
17:00:29
Бля, конверт row format завесил инстант
ну пищи уже
Копрессед прогналось только 10-15%, но судя по отдельным меткам временым похоже ты был прав и многое изменилось с 2011-го года.
Вообще у меня сейчас всё упёрлось в РАМ, он выжрат на 99%, а проц загружен на 20%, тем самым есть запас для компрессии/декомпрессии.

nikoinlove
15.10.2016
20:21:00
109 мегабайт мухаха

KOT
15.10.2016
20:21:18
Надо придумать ещё один тест, где меньше будет на РАМ нагрузка
условие одно: не читить )
4599 секунд dynamic
2060 секунд compressed
Удивлён. тестировать больше в падлу, поверю на слово, что другие тесты тоже покажут примерно тоже самое. Взял на вооружение для второй версии движка.

Igor
16.10.2016
00:49:26
— "dynamic" база тоже была развёрнута с чистого листа?

KOT
16.10.2016
06:46:08
Да
Это моя прод база
Там есть скрипт, считает раз в час стату.
— "dynamic" база тоже была развёрнута с чистого листа?
В две другие таблицы из той, что на 16гб, я сделал две реплики, потом перевёл их в самостоятельные инстансы, удалил всё лишнее, оставил одну большую таблицу и две пустые, на одном инстанте сделал конвертацию, потом оба ребутнул и погнал 130 комманд, которые должны summary высчитывать. Там каждый из 130 это:
Insert ... From ( select ... from ... where ... group by 3 columns (index) ) on duplicate update 5-7 fields

Google

KOT
16.10.2016
06:54:58
То есть там полный набор всего был.
Да, разница в занимаемом месте на диске - 9 ГиБ
Это не было сутью теста, но так, наблюдение.
Погуглил про баракуду на рдс и не совсем понял, вроде-бы есть, но через какой-то костыль.

Igor
16.10.2016
07:06:40
ну то есть данные в таблицах баз этих 2-х форматов былы не ушатанные фрагментацией, а залиты сызнова
оке
Я молодец, жаль на деньги не спорю ;)

KOT
16.10.2016
07:11:22

Igor
16.10.2016
07:11:31
ты не понял
я не спрашиваю как оно там внутри
я говорю про загаженность таблицы
если она была с 0 сделана и данные только добавлялись — это одно
Если она была в суровом продакте с кучей insert/delete/update — другое
В общем, в любом случае, в качестве резюме — компрессия есть сейчас практически в любой базе, будь-то SQL или noSQL
А там где её нет, имеет смысл включить компрессию на уровне FS
те же binlog'и гораздо приятнее писать в каталог, где lzo/lz4/gzip

KOT
16.10.2016
07:14:33

Igor
16.10.2016
07:14:48
ну тогда тест ты хреново провёл
правильный — оба варианта storage но данные и там и там — с 0

KOT
16.10.2016
07:15:09
Ты же понимаешь, что реплика накатывается с логов

Google

KOT
16.10.2016
07:16:07

Igor
16.10.2016
07:16:31
конечно
alter создаёт таблицу заново

KOT
16.10.2016
07:16:46
И мне нужно было оба перегнать в компрессед, а потом один обратно в динамик?

Igor
16.10.2016
07:17:13
нет. Можно просто сделать 2-е пустых реплики
одну настроить на использование barracuda, другую — нет
и заполнить обе с 0

KOT
16.10.2016
07:17:55
Если будет не заёб, то сделаю

Igor
16.10.2016
07:17:58
но вообще я не думаю, что там что-то кардинально другое ты увидишь, учитывая твоё замечание про 5 %

KOT
16.10.2016
07:18:04
Вот только про баракуду
Это просто компрессед выставлять или там больше манипуляций?

Igor
16.10.2016
07:20:21
ну там отличий больше, вот только детали это уж точно в доки. Я б юзал её ровно за то, что это compressed
Есть ещё TokuDB, кстати

KOT
16.10.2016
07:22:21
Стоп, баракуда, это настройки или это замена innDB?

Igor
16.10.2016
07:39:53

KOT
16.10.2016
08:37:15
Бррр, нет, тогда нахуй его. Пускай будет компрессед, если тест покажет вин, но с иннодб пока уходить не планирую
Это из той же лперы, почему я юзаю дебиан, мне нужна система пускай с медленым развитием, но стабильностью с запасом
МариаДБ например есть в РДС, а перконы нету, хоть я и уважаю профессионализм создателей перконы, но пока она не имеет масштаба, я там ебаться не хочу.

Google

KOT
16.10.2016
18:27:48
версия движка, другой формат
https://aws.amazon.com/about-aws/whats-new/2016/06/amazon-rds-now-supports-mariadb-10-1/
XtraDB/InnoDB page compression
Аналог?
Компрессед отработал - 1503 секунды
Динамик домучался - 1898 секунды
В следующей версии сайта сделаю эксперемент, там будет 2 базы одинаковые, не реплика, но с одинаковой начинки, тот самый Мастер-мастер кольцо, без самой реплики, на одном сделаю компресед, на другом стандартный динамик, гляну потом, как на проде они себя ведут в реал лайфе


Dmitry
17.10.2016
14:52:05
AirBnB опубликовал статью о том как они столкнулись и решали проблему C10K в MySQL.
https://medium.com/airbnb-engineering/unlocking-horizontal-scalability-in-our-web-serving-tier-d907449cdbcf
#airbnb #mysql #c10k #performance
Продолжение цикла статей про параллельную репликацию MySQL от Booking. В новой статье речь идет о Optimistic Parallel Replication из состава MariaDB 10.1.
http://blog.booking.com/evaluating_mysql_parallel_replication_4-more_benchmarks_in_production.html
#booking.com #mysql #performance

KOT
17.10.2016
20:34:41
Есть кто не спит?

here1am
17.10.2016
20:39:09
я

KOT
17.10.2016
20:40:59
Есть таблица, кроме всего прочего в ней есть два столбца, в момент выборки идут высчиты суммы и среднего числа через конструкцию CASE WHEN THEN ELSE END идёт выборка большего из вариантов двух столбцов.
Есть выборка по WHERE и группировка
Есть разные варианты группировки данных, и какого-то лешего они выдают разные значения иммено на этой конструкции
То есть, WHERE не меняется

here1am
17.10.2016
20:44:44
а субд и движок пушкин указывать будет (я всё равно не дба)

KOT
17.10.2016
20:45:04
mysql5.7 innoDB
Сделал EXPLAIN всех трёх запросов
Последовательность джойнов одинаковая, количество вытянутых строк тоже
Значит изначальный датасет одинаковый

Dmitry
17.10.2016
21:13:37
Случайно не на разных репликах?

KOT
17.10.2016
21:22:37
Нет
Всё на одной

Google

KOT
17.10.2016
21:22:51
Сейчас вообще через ПМА на мастере смотрю
Там просто этот механизм по разному расчёты проводит

Al
17.10.2016
21:23:45
Шутку про то что в гугл забанили слышали? Я сегодня получил бан от гугля.

here1am
17.10.2016
21:24:23
получал бан, когда это ещё не было мэйнстримом

KOT
17.10.2016
21:24:31
+1

Sergey
17.10.2016
21:25:36

Al
17.10.2016
21:26:09

Sergey
17.10.2016
21:26:44

Al
17.10.2016
21:26:56

Sergey
17.10.2016
21:27:25
Энивей , антиробот там скорее всего по подсети

KOT
17.10.2016
21:27:30
На мобильном инете на одном ИП может висеть куча людей

Fike
17.10.2016
21:28:05

KOT
17.10.2016
21:28:15
я так одно время баны от двача получал, не понимал за что
http://pastebin.com/b7hajdUJ
Упростил по максимуму запросы, для простоты чтения
avg_counter_nine и sum_counter_ten считаются во всех случаях по разному
WHERE везде одинаковый