если то что только в нтпд то конечно трогай за нтпд

За что меня, у меня культура развитая просто

ну ясен пень что не дичка то

Вот сейчас думаю, чем делать синх времени чтобы не больше секунды было

Вот сейчас думаю, чем делать синх времени чтобы не больше секунды было

зачем так точно?

зачем так точно?

Иначе ошибки в касандре

ну ок

Покури юнит, я не в курсе

давно пора тащемто системд то вкуривать

так он у меня на всех рабочих дистрибутивах, а на домашнем компе его уже год как нет

Кто уже использовал systemd-timesyncd? Как замену ntpd?

chronyd заюзай

Вот сейчас думаю, чем делать синх времени чтобы не больше секунды было

Чем угодно же. Обычно через локальные нтп делают или если очень повезло имеют свой нтп с стратум0

Чем угодно же. Обычно через локальные нтп делают или если очень повезло имеют свой нтп с стратум0

Плюсую. Использую pool.ntp.org + openntpd, точность <10ms, за глаза.

Пробовал http://www.ntp-servers.net/servers.html stratum2, но там дикий джиттер и точность +/- 150, а иногда и больше.

@Civiloid Кстати, интересно что думают взрослые про идею синкать время по gps. Вывесить датчик нопример на улицу, зацепиться проводом, трогать сквозь nmea за данные и брать оттуда время

@Civiloid Кстати, интересно что думают взрослые про идею синкать время по gps. Вывесить датчик нопример на улицу, зацепиться проводом, трогать сквозь nmea за данные и брать оттуда время

Нахуя?

?

Нахуя?

Потому что оно там есть и довольно точное

Ок, спрошу иначе, у тебя есть варианты тягать время хоть от оператора сотовой сети, зачем gps и велосипеды?

Потому что можешь и хочешь, но для чего?

Ок, спрошу иначе, у тебя есть варианты тягать время хоть от оператора сотовой сети, зачем gps и велосипеды?

Незачем. Это просто еще один источник который можно использовать и мне интересно применяется ли оно и насколько хороший источник

Незачем. Это просто еще один источник который можно использовать и мне интересно применяется ли оно и насколько хороший источник

Поставь атомные часы, чо мелочится

Очевидно что это будет применяться в условиях отсутствия этих ваших интернетов, так что этот вариант можно откинуть. Так же можно откинуть мониторинг самого жпс. А в остальных случаях?

Незачем. Это просто еще один источник который можно использовать и мне интересно применяется ли оно и насколько хороший источник

Да, такое можно сделать. Получается stratum 0 начального уровня. Только время с него не берётся, а что-то вроде тиков. Т.е. синкаешься откуда-нибудь и дальше GPS работает часами. По крайней мере я так понял

использовали, вон за окном торчит

И многое зависит от приёмника и интерфейса, по которому он подключён

Очевидно что это будет применяться в условиях отсутствия этих ваших интернетов, так что этот вариант можно откинуть. Так же можно откинуть мониторинг самого жпс. А в остальных случаях?

http://www.wired.co.uk/article/google-gps-powered-database

я пришел, уже не использовали

понял

Да, такое можно сделать. Получается stratum 0 начального уровня. Только время с него не берётся, а что-то вроде тиков. Т.е. синкаешься откуда-нибудь и дальше GPS работает часами. По крайней мере я так понял

я когда вкуривал nmea то вроде как снимал именно время... https://github.com/Sheridan/gpstool/blob/master/trunk/src/gps/cgpsgpsdsource.cpp#L152

@Civiloid Кстати, интересно что думают взрослые про идею синкать время по gps. Вывесить датчик нопример на улицу, зацепиться проводом, трогать сквозь nmea за данные и брать оттуда время

Так тоже делают, но дорого промышленные штуки стоят

Если вы хотите обеспечить еще большую точность — до нескольких микросекунд, необходимо использовать GPS-приемник, который умеет выдавать сигнал PPS (Pulse per second). PPS-импульс повторяется раз в секунду с очень большой точностью и может быть считан ntpd.

Я вот про это

https://habrahabr.ru/post/118266/

А nmea даст, ну, stratum 2, наверное

а, вот где собака порылась. Понял, спасибо

А nmea даст, ну, stratum 2, наверное

И то не факт

то есть делаю такой вывод: бытовые приёмники можно использовать там, где время нужно не особо важна сильная точность, в условиях отсутствия интренетов. Либо покупать дорогую железку

чего не православный глонасс?)

Я как-то тестировал синхронизацию времени через бытовой приемник (на самом деле шилд для ардуинки), похаканный на предмет выхода pps. Получилась точность порядка +-10мс. Для 99,99% применений этого хватит за глаза.

Я как-то тестировал синхронизацию времени через бытовой приемник (на самом деле шилд для ардуинки), похаканный на предмет выхода pps. Получилась точность порядка +-10мс. Для 99,99% применений этого хватит за глаза.

Ну у меня гдето до сих пор валяется жпс-коробочка с аккумулятором, питанием по юсб и интерфейсом сквозь блютуз. С ней и игрался в свой время

Ну блютуз тут основной ... скажем так, доставщик задержек.

Ну блютуз тут основной ... скажем так, доставщик задержек.

Я это понимаю, друже )

Ну извините :) Я нечаянно :)

Да, что бы в тему. А есть какой-нить скриптовой набор тестов, предназаначенный и заточенный именно под богомерзкий postgresql? а то я тут развернул pgpool со всеми плюшками (теоретически), а протестировать чего-то и нечем по первому гуглежу

select 1 в цикле не предлагать :)

Да, что бы в тему. А есть какой-нить скриптовой набор тестов, предназаначенный и заточенный именно под богомерзкий postgresql? а то я тут развернул pgpool со всеми плюшками (теоретически), а протестировать чего-то и нечем по первому гуглежу

если тебе синтетические тесты, то есть pgbench

А я зажрался, да? Для mysql/percona пробегала тулза, которая включала лог, собирала с реального сервера реальные запросы, потом как-то их перерабатывала и была готова тестировать этими запроасами любые другие серваки. Для постгреса подобного не слышали?

... можно конечно пойти попинать девелоперов, но это как-то мелочно.

pgbadger не умеет такого?

кто что может сказать про партицирование данных для СУБД? Были какие либо проблемы серьезные с этим

Пока минусов кроме как доп логики не вижу

Но и опыта шардинга данных не было на sql базах

pgbadger не умеет такого?

он вообще про другое

... можно конечно пойти попинать девелоперов, но это как-то мелочно.

Сам напиши по такому же принципу

Пока минусов кроме как доп логики не вижу

я как-то слышал умное слово "консистентность" и еще что-то было

можно погуглить на эту тему - HA вообще пригодится по работе)

а можно сесть и подумать - вот будет такое, что может пойти не так? и записываешь

я как-то слышал умное слово "консистентность" и еще что-то было

Можно спроектировать так, что не будет потери согласованности. Шардинг и согласованность - не всегда пересекающиеся вещи

(пойти не так может все - но надо же конкретно)

Это я бы сказал вообще другая степь

я не говорил что слово будет в тему)))

Согласованность и пробелмы с ней- это прежде всего асинхронная репликация, и подобные подходы

Ну про ACID приципы я и так знаю

ок, ждем пока кто-то скажет что-то более полезное чем я)

Мне бы хотелось услышать про узкие места и проблемы у тех, кому пришлось админить шарды sql

ихмо, там еще будет куча нюансов у mssql, mysql, postgres, oracle

@kiltum и вообще, будь как Uber - переходи на mysql

ИМХО, если делать шардинг на sql, то надо для этого писать отдельную прослойку логическую с анализом запросов к базе. Что бы основная часть бекенда работала с базой так, как будто там шардов и нет. Т.е когда есть ресурсы хорошие/силы реализовать. Иначе это просто ведет к лапшекоду на бекенде, излишней логики

Мне бы хотелось услышать про узкие места и проблемы у тех, кому пришлось админить шарды sql

О них нужно помнить. Ты же про то что вот пришли люди, давайте писать для такого диапазона айди в этот сервер, для такого в тот и все это где нибудь во внешнем хранилище?

О них нужно помнить. Ты же про то что вот пришли люди, давайте писать для такого диапазона айди в этот сервер, для такого в тот и все это где нибудь во внешнем хранилище?

Ну условно говоря -да. Диапазон id, дат, может быть словоформ и т.п

Ну условно говоря -да. Диапазон id, дат, может быть словоформ и т.п

Вопрос в алгоритме шардинга

И в нагруке от клиентов

Вопрос в алгоритме шардинга

Я и говорю, что можноп предположить что балансировкой запросов занимается хитрый слой логики. Какие тонкие места будут и минусы с точки зрения девопса, снятия бекапов. Я вижу это крайне наколадным. поддержку шардов

про программерскую часть вопросов нет, так все еще более менее ясно

Все таки 1 версию базы реплицировать, раскидывать, версиониовать бекапы проще ведь 100%

Я и говорю, что можноп предположить что балансировкой запросов занимается хитрый слой логики. Какие тонкие места будут и минусы с точки зрения девопса, снятия бекапов. Я вижу это крайне наколадным. поддержку шардов

с точки зрения девопса такие мускули это просто отдельные мускули, никаких шардов нет, есть просто базы

ну то есть да, будет больше мускуля, не 1 кластер, а 100500 кластеров

но какая разница на самом деле?

А я вот думаю что есть нюансы. например при шардинге надо почти синхронно делать бекап что бы меньше коллизий было если данные хоть на каплю могут быть связаными, в случае падения

А я вот думаю что есть нюансы. например при шардинге надо почти синхронно делать бекап что бы меньше коллизий было если данные хоть на каплю могут быть связаными, в случае падения

смотря какой алгоритм шардина. Зачем почти синхронно то?

давай лучше искуственный простой пример рассмотрим?

смотря какой алгоритм шардина. Зачем почти синхронно то?

Если есть даже слабая связь и бекапы сняты не синхронно. То в период снятия бекапов может произойти сбой и образуются грязные данные в дампе которые надо или вычищать, или откатывать систему назад. Такая коллизия возможно с шардами теоретически

но это я так понял зло необходимое

Если есть даже слабая связь и бекапы сняты не синхронно. То в период снятия бекапов может произойти сбой и образуются грязные данные в дампе которые надо или вычищать, или откатывать систему назад. Такая коллизия возможно с шардами теоретически

на примере поясни

яйца и яишнца

@dizelektwo ты можешь подобрать алгоритм шардинга и ключ шардирования такой, чтобы шарды были не связанными

Пример, есть шард морковки, шард продуктов(типов). Ты создал тип продкута- морковь, потом залил в шард морковки новый товар. Потом, ты делаешь дамп шарда морковки и в этот момент падает шард продуктов. Частный случай и может быть множественная несогласованность данных

А это там где коммерция вообще недопустимо

Что бы не было несогласованности нужно тогда документо ориентированное хранилище что бы в объектах все держать

Пример, есть шард морковки, шард продуктов(типов). Ты создал тип продкута- морковь, потом залил в шард морковки новый товар. Потом, ты делаешь дамп шарда морковки и в этот момент падает шард продуктов. Частный случай и может быть множественная несогласованность данных

что содержит шард продуктов?

то есть у тебя есть маленькая табличка которая говорит что продукты это морковка, айди1, капустка айди2, и т.п.?

тип продукта, морковь. другой шард- продукты

вчера угорели всем коллективом, на время проходили epa.ms/devopstest

тип продукта, морковь. другой шард- продукты

или там морковка, айди1, шард морковка, морковка биологическая, айди2, шард морковка?

ну так id останется, а в продуктовом шарде свалится все. типа такого не останется

в итоге ID мертвый, которого еще и нет

В общем если партицируешь данные, то связанности быть не должно. Это думаю жесткое правило