поставить кликхаус или аналог, видимо

а кликхаус для mysql ?

это отдельное субд

то есть выходит нужно ставить на отдельный сервер эти аналитикданные

а если сайт использует mysql. а аналитика на другом сервер. там типо api будет ?

как узнать какие новые данные пришли?

По дате добавления, нет?

Расскажите плиз кто работал с этой субд. Какой принцип? со своего mysql убиваю таблицу. создаю отдельную машину где будет это субд и запись в неё и чтение из неё над бд создается api и по нему запрашиваем данные.?

Как часто тебе нужна точная сумма? Насколько критично не знать сумму за прошедшие N минут?

Скорее всего ничего не убиваешь. MySQL остается ssot в этой системе, из которого можно восстановить вторичные системы хранения данных, а в кликхаус просто дублируешь данные

Я вот по сервисдескам. Всем в обед нужна полная аналитика за несколько лет, и всем насрать на то, что там поменялось сегодня.

Ну так я с утра ебану нужные данные в денормализованном виде в отдельное хранилище и отчёты дам оттуда

Да, они льются два часа. Но в 6 утра похуй

А днем отчёты по несколько секунд генерятся. И все довольны

^ ++

что-то я ничего не понял на счет кликхаус и mysql вместе. зачем хранить данные в mysql а потом их переливать в кликхаус. если статистику можно хранить сразу на отдельной машине можно не сильно мощной куда пишется статистика и откуда забирается по запросу ui

кликхаус - это не хранилище данных

это именно что аналитическая машина

он может поверх mysql работать ?

и этот аналитический движок ты можешь применять для тех же данных, что лежат в мускуле, но для тех случаев, где мускул не тянет

нет, это абсолютно отдельное приложение

конкретно в твоем случае практически наверняка можно дотюнить индексы и остаться на одном mysql

но по-хорошему аналитику лучше отдать отдельному движку просто из-за способа хранения данных, mysql хранит данные строками, а тот же кликхаус - колонками, поэтому выборка по одной колонке у него может быть сопоставима со скоростью чтения с диска

и если запрос параллелится на нескольких машинах, то выборка со скоростью в гигабайты в секунду - это реальность

и этот аналитический движок ты можешь применять для тех же данных, что лежат в мускуле, но для тех случаев, где мускул не тянет

я вот не очень понимаю, какой может быть профит от любого аналитического софта, если мы его натравим на ту OLTP-базу, в которой ведётся операционная деятельность

а, ну если только в пределах одной СУБД в другую схему и иначе хранить - тогда да

я вообще-то про olap

"движок" в том предложении можно заменить на "сервер", "сервис", "приложение"

я пока придумал другое решение) тоже скоростное

индексы не помогли

и т.к. индексы тяжелые для постоянных вставок то лучше их поменьше использовать

У меня есть ощущение, что там не индексы не помогли, а мы просто не нашли удовлетворяющий mysql способ их описать

в частности, остался открытым вопрос с типом и вся та страница по оптимизации group by из официальной документации

ну я индекс вешал уже по разному ничего не поменялось. я просто решил агрегировать данные в другую таблицу и потом на крон искать разницу в новых данных и их добавлять в новую таблицу

из 55 млн получилось 75 записей сгруппированые по дню

по часам 150

?

ну я индекс вешал уже по разному ничего не поменялось. я просто решил агрегировать данные в другую таблицу и потом на крон искать разницу в новых данных и их добавлять в новую таблицу

в этой индустрии никогда ничего не работает при попытках сделать "по-разному", можно только вычислить причину неожиданного поведения и устранить ее

Посоветуйте как поступить: табличка в мускуле разрослась до 15млн записей, в нее активно пишутся данные, примерно 10 000 строк в день, читаются гораздо реже. Соответственно индексами обмазываться нельзя(они итак уже монструозных размеров) и выборка из таблицы занимает огромное количество времени(тк сервер слабенький). Как выход вижу такой вариант: переименовать таблицу, на основе ее схемы создать новую пустую. В запросах архивную таблицу подключать костылями по мере надобности. Может есть вариант попроще и понадежнее?

10к строк в день - имхо ниачом

Индекс тут нужен

Ну и конечно зависит от того, что там за селекты такие долгие

Да просто вся таблица в оперативку не влезает

Фул скан напрягает сторадж

Возможно, что стоит пересмотреть эти селекты.

вертикальный шардинг?

Возможно что там в where надо исключить что-то, вызывающее фулскан

Селектов несколько разных видов, программисты их еще и меняют постоянно, слоу квери остается только изучать.

вертикальный шардинг?

Спасибо почитаю

Ну в принципе вариант подцепить слейв и фильтром ему отдать пару тройку объемных таблиц. Не уверен только возможно ли на слейве будет их обмазать индексами со всех сторон.

Можно свернуть часть данных, а полную таблицу держать на слейве, если можно из этих данных выделить активно используемую часть данных

Можно партицировать

А вообще фуллскан на таблице с индексами это к рукам из ягодиц, да да

Можно

Ну в принципе вариант подцепить слейв и фильтром ему отдать пару тройку объемных таблиц. Не уверен только возможно ли на слейве будет их обмазать индексами со всех сторон.

ERROR: S client not available

В теории можно даже тип стораджа поменять на реплике

/stat@combot

combot.org/chat/-1001045152752

https://drive.google.com/open?id=0B-5KWvYl4sSzSXlFZTh1anVuMWc

131 страница, дошли до where ?

Ну я тоже поржал

Огонь

Можно детям читать на ночь

а если в опеку кто стукнет

а там условия лучше, чем 8 лет строгача?

Не подскажете есть ли шанс востановить базу в MS SQL. Ситуация такая: сервер внезапно отключили от электричества, БД осталась с незакрытыми транзакциями, файл журнала - поврежден. Далее БД толи пытались сжать толи еще что, и в итоге отсоендили. Версия SQL - 2005 Sp4

Не подскажете есть ли шанс востановить базу в MS SQL. Ситуация такая: сервер внезапно отключили от электричества, БД осталась с незакрытыми транзакциями, файл журнала - поврежден. Далее БД толи пытались сжать толи еще что, и в итоге отсоендили. Версия SQL - 2005 Sp4

Есть, но...

Есть, но...

но что?)

но что?)

50/50

нужна помощь?

Всем привет! Думаю как реализовать Теги. По ссылке все подробности >> https://gist.github.com/zmts/cb22cd51ecf43479d2f6d5368a6f3061 Если будут мысли/желание отписывайтесь пожалуйста в комментариях гиста. Спасибо!

нужна помощь?

Ну скажем так примерная последовательность действий

Не подскажете есть ли шанс востановить базу в MS SQL. Ситуация такая: сервер внезапно отключили от электричества, БД осталась с незакрытыми транзакциями, файл журнала - поврежден. Далее БД толи пытались сжать толи еще что, и в итоге отсоендили. Версия SQL - 2005 Sp4

https://technet.microsoft.com/ru-ru/library/ee914612.aspx

всем привет, кто-нибудь пользовался xtrabackup от percona? Никак не могу найти как можно бэкап (сжатый) просто в локальную папку распаковать

xtrabackup —decompress —export —target-dir=/путь/где/бэкап и он в текущую папку распакует

кто пользуется полнотекстовым поиском в sql server

подскажите куда копать: перестает обновляться полнотекстовый индекс

везде настроено амтоматический трекинг изменений

но в какой-то момент база приходит в состояние, когда новые строки просто не добавляются в индекс

помогает только rebuild индекса