Что мешает использовать mmap?

Чо?

Я так понял это "POSIX-совместимый системный вызов Unix, позволяющий выполнить отображение файла или устройства на память."

Или я ничего не понимаю

угу. половина вопросов в чатике про постгрес - как я выковыривал свои данные из фарша

это был один чувак который разломал себе рейд и пытался из него что-то вытащить потом

и таки вытащил любая другая база уже стала бы тыквой

Я так понял это "POSIX-совместимый системный вызов Unix, позволяющий выполнить отображение файла или устройства на память."

Угу

Возвращаясь к вопросам про БД. Товарищи, рекомендующие оную, пробовали каучбейз?

Тьфу. Не оную а монгу.

Утро-с

у нас couchbase используется на нескольких сервисах, но на высоконагруженных показал себя не очень хорошо, там aerospike подошел больше, может просто специфика такая

причем спайк на двух нодах, а коуч на 5-7, в сравнении

Кстати. Чисто для меня - а аэроспайк сколько жрет и от скольки нод?

И я тут ещё гуглил - а что-то типа tinyDB есть?

на вопрос твой, фил, ответить невозможно. но! именно у аэроспайкак есть документ под названием capacity planing. и для распространенных применений там можно с высокой степенью вероятности расход памяти и диска посчитать

всем привет, есть знатоки обработки xml ?

ты сразу вопрос задавай

Это и был вопрос

тогда надо опрос провести

а Сергею профессиональный тест, показывающий его xml-уровень

впрочем нам надо всем такой тест пройти, т.к. знатоком будет тот, чей уровень выше уровня Сергея

есть xml вида <directory> <parent>2078351</parent> <inode>2078354</inode> <inode>2078355</inode> <inode>2078356</inode> </directory> хочу положить в структуру Directory []struct { Parent string xml:"parent" // Inode [] xml:"inode" } xml:"directory" как inode в структуре объявить ?

Кстати. Чисто для меня - а аэроспайк сколько жрет и от скольки нод?

Искал тесты тарантула и аэроспайка, тарантул выгодно отличался от последнего по перфомансу, при этом не важно включен wal или нет

не знаю, как прокомментировать

я, в общем, не знаю, на каких тестах mem-only базы могут показывать разный перформанс

тарантул же mem-only?

Там есть разные движки

В общем просто статью скину

статью давай

покритикуем :)

Там есть разные движки

эээ. они сделали движок позволяющий работать с 129 гигайтами данных на 128 гигабайтах оперативки?

Tarantool vs competitors: racing in Microsoft Azure – Medium https://medium.com/@rvncerr/tarantool-vs-competitors-racing-in-microsoft-azure-ebde9c5d619#.v9u57dl0v

эээ. они сделали движок позволяющий работать с 129 гигайтами данных на 128 гигабайтах оперативки?

Tarantool’s DBMS server uses the storage engine concept, where different sets of algorithms and data structures can be used for different situations. Two storage engines are built-in: an in-memory engine which has all the data and indexes in RAM, and a two-level B-tree engine for data sets whose size is 10 to 1000 times the amount of available RAM. All storage engines in Tarantool support transactions and replication by using a common write ahead log (WAL). This ensures consistency and crash safety of the persistent state. Changes are not considered complete until the WAL is written. The logging subsystem supports group commit. Tarantool’s in-memory storage engine(memtx) keeps all the data in  random-access memory, and therefore has very low read latency. It also keeps persistent copies of the data in non-volatile storage, such as disk, when users request “snapshots”. If a server stops and the random-access memory is lost, then restarts, it reads the latest snapshot and then replays the transactions that are in the log – therefore no data is lost. Tarantool’s in-memory engine is lock-free in typical situations. Instead of the operating system’s concurrency primitives, such as mutexes, Tarantool uses cooperative multitasking to handle thousands of connections simultaneously. There is a fixed number of independent execution threads. The threads do not share state. Instead they exchange data using low-overhead message queues. While this approach limits the number of cores that the server will use, it removes competition for the memory bus and ensures peak scalability of memory access and network throughput. CPU utilization of a typical highly-loaded Tarantool server is under 10%. Searches are possible via secondary index keys as well as primary keys. Tarantool’s disk-based storage engine is a fusion of ideas from modern filesystems, log-structured merge trees and classical B-trees. All data is organized into ranges. Each range is represented by a file on disk. Range size is a configuration option and normally is around 64MB. Each range is a collection of pages, serving different purposes. Pages in a fully merged range contain non-overlapping ranges of keys. A range can be partially merged if there were a lot of changes in its key range recently. In that case some pages represent new keys and values in the range. The disk-based storage engine is append only: new data never overwrites old data. The disk-based storage engine is named vinyl.

смешно. надо пощупать будет как-нить

есть xml вида <directory> <parent>2078351</parent> <inode>2078354</inode> <inode>2078355</inode> <inode>2078356</inode> </directory> хочу положить в структуру Directory []struct { Parent string xml:"parent" // Inode [] xml:"inode" } xml:"directory" как inode в структуре объявить ?

Массивом строк ?

Массивом строк ?

да пока так и сделал, спасибо

тарантул же mem-only?

ээээ... нет же

кто в emacs работает?

как там go-dlv использовать? подключил, настроил, но как взлететь не понимаю

Tarantool vs competitors: racing in Microsoft Azure – Medium https://medium.com/@rvncerr/tarantool-vs-competitors-racing-in-microsoft-azure-ebde9c5d619#.v9u57dl0v

мне лично не хватает деталей настройки каждого продукта.

как там go-dlv использовать? подключил, настроил, но как взлететь не понимаю

M-x dlv

Помню как-то запускал так. Но сам дебаггер конкретно на моём проекте не заработал(не помню почему), так что я задвинул его в долгий ящик, потому что есть ощущение что он не готов

так, заработало, но пока не в емаксе

Коллеги, давайте уже соберемся и проведем тесты in-memory db

Вижу несколько заинтересованных лиц и имею потребность

давайте

собственно, вопрос в методике

потом я попробую серверов за так получить

если не выйдет - надо будет еще на DO как-то раскошелиться

Вот такой план: 1. Список тестов 2. Список участников 3. Железо 4. Конфигурации 5. Тестововый софт

По п1. У меня в планах быстродействие и консистентность (ресет)

хорошо бы отдельно сингл-сервер и отдельно - кластер rf=3

Да, кластер точно

Сколько машин нужно и каких?

я готов так или эдак играть в аэроспайк, в кассандру, в эластик и в крауту. in-mem, правда, только аэроспайк

машин надо 5

3 под кластер, 1 под клиента и 1 под мониторинг

А какую задачу тестируешь?

Эмулируешь

а там все просто с задачей же

запись и чтение, по ключу 40 байт

Сессии?

например

на самом деле - это много что, не только сессии

но характерный паттерн для in-memory именно такой

ERROR: S client not available

Редис, Тарантул почему не рассматриваешь?

я в них не умею

Помню как-то запускал так. Но сам дебаггер конкретно на моём проекте не заработал(не помню почему), так что я задвинул его в долгий ящик, потому что есть ощущение что он не готов

поставил в систему gdb и delve, установил в емакс пакет go-dlv, запустил свою софтину, посмотрел pid, запустил dlv debug --headless, запустил M-x gdb, получил кучу окошек, tar ext :DLVPORT не коннектится :(

я в них не умею

Ха, я строго наоборот :)

на вопрос твой, фил, ответить невозможно. но! именно у аэроспайкак есть документ под названием capacity planing. и для распространенных применений там можно с высокой степенью вероятности расход памяти и диска посчитать

Да я просто чего-то переборщил. Я таки решил авторизацию API вынести в отдлельный сервис и там как бы бессмысленно делать не встроенную - когда понадобится что-то другое, там уже другие деньги и средства будут. А со встроенными всё равно какие-то терки оказались. Во блин

Всем привет. Прошу помощи. Как можно в go сложить два слайса или массива? append не подходит, так как он только отдельные элементы позволяет добавить

а что гугл на запрос "golang slice merge" говорит?

тоже не знает?

s3 := append(s2, s0...)

первая ссылка в гугле )

сори конечно за нашу агрессивность

но справочные вопросы надо решать справочниками

в виде гугла и доков

или в виде SO и доков)

а что гугл на запрос "golang slice merge" говорит?

Спасибо, нашёл. Я просто на русском гуглил, там не было ничего

Всем привет. Прошу помощи. Как можно в go сложить два слайса или массива? append не подходит, так как он только отдельные элементы позволяет добавить

append в цикле.

через рекурсию

:)

Всем привет. Прошу помощи. Как можно в go сложить два слайса или массива? append не подходит, так как он только отдельные элементы позволяет добавить

var k int for i := 0; i < len(b); i++ { for bi := 0; bi < len(b); bi++ { if bi == k { a[len(a)] = b[k] } } k++ } а какой наиболее ужасный код вы смогли придумать для этой задачи?

смог только красивый https://play.golang.org/p/Cyx1era2A6

a[21] = b[0] a[22] = b[1] a[23] = b[2] a[24] = b[3] a[25] = b[4] a[26] = b[5] a[27] = b[6] a[28] = b[7]

str := strings.Join(slice1, "\n") + "\n" + strings.Join(slice2, "\n") result := strings.Split(str, "\n")

str := strings.Join(slice1, "\n") + "\n" + strings.Join(slice2, "\n") result := strings.Split(str, "\n")

??

var k int for i := 0; i < len(b); i++ { for bi := 0; bi < len(b); bi++ { if bi == k { a[len(a)] = b[k] } } k++ } а какой наиболее ужасный код вы смогли придумать для этой задачи?

но он же не работает

но он же не работает

я не проверял, писал прямо в телеге. но такое и не должно работать, по большому счету %)

ну мне за такой код в школе 5рки ставили :)

15 лет назад

ну мне за такой код в школе 5рки ставили :)

ты, случаем, не украинец?

ты, случаем, не украинец?

нет :)

а

я просто думал, может, там двенадцатибальная система