Илья
я о ней :)
Kirill
тогда понял)
Roman
короче нужон новый тип text 😆 щутка
Илья
да вот странно.. почему строку сразу иммутабельным []rune не сделали
сделали так, как быстрее и удобнее, string <-> []byte слишком часто преобразовываются (особенно в бенчмарках :) ), изза этого даже оптимизации лепят, поэтому под string именно []byte
Kirill
короче нужон новый тип text 😆 щутка
ага. а ещё .map, .reduce, .filter и иже с ними %)
Илья
не спас
Илья
[]rune <-> []byte - очень дорого
Artur
Есть функция привязанная к структуре. В ней дергается другая функция которая оперирует не данными самой структуру а лишь аргументами в нее помещенными(при этом используется лишь в моем типе). Где ее правильно объявить? привязать к структуре или просто как отдельную функцию? Если бы был класс то я бы сделал статик метод, но как корректно это должно выглядить в го?
Roman
[]rune <-> []byte - очень дорого
да, опять туплю)) но в случае со слайсом байт спас бы
Илья
string <-> immut []byte - по сути вспе хаки - плюют на иммутабельность ради производительности
Kirill
%?
%) — смайл такой был когда-то
Илья
таким образом это будет статик колл
Илья
хм? немного не понял о чём ты
сейчас ради производительности преобразование строки к слайсу байт в ряде случаев (небольшое безопасное подмножество), компилятор просто выдирает underlying slice
Roman
сейчас ради производительности преобразование строки к слайсу байт в ряде случаев (небольшое безопасное подмножество), компилятор просто выдирает underlying slice
ради производительности люди часто используют []byte вместо string насколько мне известно (с какой-то блокчейн презентации помню)
Roman
привязывать к структуре нужно только те функции, которые работают с внутренностями структуры (читают/пишут). Если она со структурой на вы - тогда там она ничего не потеряла
ну согласись оптимизировать было бы гораздо легче если разработчик точно определял бы свои намерения не менять байты
Roman
Оптимизация ради 20 наносекунд
это 1 раз 20 наносекунд, 10 раз это уже 200 наносекунд, 100 = 2 микросекунды 1000 = 20 микросекунд 10.000 = 200 микросекунд 100.000 = 2 миллисекунды
Roman
и т.д.
Roman
маленькие детали очень быстро могут превратиться в значительные тормоза при большой нагрузке
.
Такого рода оптимизации большинству не нужны, как я считаю
Daniel
да, но их будет видно на диаграммах pprof
.
Такие вещи стоит делать в последнюю очередь
Daniel
и вот когда их будет видно - тогда и посмотрим
Roman
Такого рода оптимизации большинству не нужны, как я считаю
так я и не о большинстве забочусь)) язык зачастую определяют worst case'ы
Daniel
пока там виден обычно штатный json
Roman
да, но их будет видно на диаграммах pprof
ну с такой аргументацией можно прекратить какие-либо оптимизации по 5% в runtime'е и компиляторе)) я абсолютно согласен с тем, что оптимизировать нужно первые 10 результатов pprof, но если некоторые небольшие тормоза платформы можно избежать негеморным способом то зачем намерено их оставлять?)
Мерль
копировать всю строку только ради получения колва рун... охх..
Если массив нигде не изменяется и не утекает наружу, то скорее всего копирования не будет
Foxcool
потом что оптимизация не должна быть преждевременной и не должна создавать проблемы для разработки и поддержки
Foxcool
условно, если это адовый хайлоад или генерация хеша в майнинге многкратная, то смысл есть. А если это просто сервис для какой-то херни, то время потреченное на оптимизацию - невозвратная издержка
Foxcool
если и без нее ок работает и нет претензий
Богдан
Народ подскажите пожалуйста а на go можно написать in-memory базу данных? У меня почему есть уверенность что все языки со сборщиком мусора не подходят для этого и go как язык с gc соотвественно тоже но хотелось бы уточнить. Для in-memory базы даннных важны минимальные задержки при сборке мусора а точнее даже чтобы эти задержки не зависели от количества объектов в памяти. Сейчас серверы могут иметь до 3 терабайт оперативной памяти (и еще больше терабайт если используется свап на быстрых nvme ssd дисках) и поскольку принцип работы сборщика мусора заключается в том чтобы просканировать все достижимые объекты с корня и очистить все остальные то только для сканирования 3 терабайт объектов потребуется несколько десятков секунд. Поэтому сразу возникает вопрос - умеет ли сборщик мусора в go работать инкрементально а не по принципу "stop the world" и насколько большие расходы в целом на gc в зависимости от количества объектов?
Michael
Народ подскажите пожалуйста а на go можно написать in-memory базу данных? У меня почему есть уверенность что все языки со сборщиком мусора не подходят для этого и go как язык с gc соотвественно тоже но хотелось бы уточнить. Для in-memory базы даннных важны минимальные задержки при сборке мусора а точнее даже чтобы эти задержки не зависели от количества объектов в памяти. Сейчас серверы могут иметь до 3 терабайт оперативной памяти (и еще больше терабайт если используется свап на быстрых nvme ssd дисках) и поскольку принцип работы сборщика мусора заключается в том чтобы просканировать все достижимые объекты с корня и очистить все остальные то только для сканирования 3 терабайт объектов потребуется несколько десятков секунд. Поэтому сразу возникает вопрос - умеет ли сборщик мусора в go работать инкрементально а не по принципу "stop the world" и насколько большие расходы в целом на gc в зависимости от количества объектов?
Бодя посмотри на таракан бд и что она использует
Andrei 🦉
Народ подскажите пожалуйста а на go можно написать in-memory базу данных? У меня почему есть уверенность что все языки со сборщиком мусора не подходят для этого и go как язык с gc соотвественно тоже но хотелось бы уточнить. Для in-memory базы даннных важны минимальные задержки при сборке мусора а точнее даже чтобы эти задержки не зависели от количества объектов в памяти. Сейчас серверы могут иметь до 3 терабайт оперативной памяти (и еще больше терабайт если используется свап на быстрых nvme ssd дисках) и поскольку принцип работы сборщика мусора заключается в том чтобы просканировать все достижимые объекты с корня и очистить все остальные то только для сканирования 3 терабайт объектов потребуется несколько десятков секунд. Поэтому сразу возникает вопрос - умеет ли сборщик мусора в go работать инкрементально а не по принципу "stop the world" и насколько большие расходы в целом на gc в зависимости от количества объектов?
http://bfy.tw/BhvK
Michael
cockroach db
Богдан
возьмем например объект у которого 20 int64 полей то для 3тб получится 20млд объектов и если сильно оптимистически посчитать что процессор успевает просканивовать один объект за один такт то для 2ггц процессора получится 10 секунд, в реальности в разы больше (плюс кроме прохода по объектам надо еще выяснить те которые остались чтобы удалить), даже если и можно компенсировать это многоядерностью все равно получается порядок на десятки секунд что точно не вариант если gc не умеет делать сборку мусора инкрементально и будет приостанавливать обработку запросов на 10 секунд
саша
Эээ
в структуру запихни все полученные из функции данные и всё
саша
структуры изоморфны кортежам
с точностью до названий полей
Илья
обычно этого добиваются оффлайн очисткой, то есть удаление - это не удаление, а очистка идет в фоне
Богдан
так а строки это просто ссылка на другой объект которая кодируется в виде int64, то есть под интами я посчитал не просто числа а и ссылки, плюс есть еще массивы где объекты друг за другом находятся и это тоже увеличивает процент памяти который надо сканировать
Илья
и там gc будет прерывать много раз, но на очень короткие промежутки времени, но это не скажется на клиентой работе
саша
Народ подскажите пожалуйста а на go можно написать in-memory базу данных? У меня почему есть уверенность что все языки со сборщиком мусора не подходят для этого и go как язык с gc соотвественно тоже но хотелось бы уточнить. Для in-memory базы даннных важны минимальные задержки при сборке мусора а точнее даже чтобы эти задержки не зависели от количества объектов в памяти. Сейчас серверы могут иметь до 3 терабайт оперативной памяти (и еще больше терабайт если используется свап на быстрых nvme ssd дисках) и поскольку принцип работы сборщика мусора заключается в том чтобы просканировать все достижимые объекты с корня и очистить все остальные то только для сканирования 3 терабайт объектов потребуется несколько десятков секунд. Поэтому сразу возникает вопрос - умеет ли сборщик мусора в go работать инкрементально а не по принципу "stop the world" и насколько большие расходы в целом на gc в зависимости от количества объектов?
Можно написать её даже на питоне, но не нужно. У го 1) гц, 2) очень плохой оптимизатор, 3) совершенно не нужный для этой задачи рантайм
саша
Как?
a, b, c := pook() s := MyStruct{a, b, c}
Tishka17
a, b, c := pook() s := MyStruct{a, b, c}
а без промежуточных переменных?
саша
казалось бы, причем тут гц и оптимизатор
если нам не нужно, чтобы in-memory бд была быстрая, то почему бы не написать её на питоне?
саша
потому что есть GIL? define "быстрая"
1) высокая скорость ответа 2) низкое потребление ресурсов 3) способность обрабатывать большое количество клиентов
Илья
почему там не мешает обозначенные выше аргументы?
Alexander
Зачем вообще самому писать imdb? Если нужна для проекта - возьмите готовую, если нужна для курсача - пишите на чем хотите. Если вдруг существующие решения вам не подходят и прямо надо написать своё, у меня для вас плохие новости
Alexander
а зачем нужна медленная in-memory db?
Как вариант - я написал. Для учебного проекта. И там правда на чем угодно и неважно какая скорость
Vladimir
Народ подскажите пожалуйста а на go можно написать in-memory базу данных? У меня почему есть уверенность что все языки со сборщиком мусора не подходят для этого и go как язык с gc соотвественно тоже но хотелось бы уточнить. Для in-memory базы даннных важны минимальные задержки при сборке мусора а точнее даже чтобы эти задержки не зависели от количества объектов в памяти. Сейчас серверы могут иметь до 3 терабайт оперативной памяти (и еще больше терабайт если используется свап на быстрых nvme ssd дисках) и поскольку принцип работы сборщика мусора заключается в том чтобы просканировать все достижимые объекты с корня и очистить все остальные то только для сканирования 3 терабайт объектов потребуется несколько десятков секунд. Поэтому сразу возникает вопрос - умеет ли сборщик мусора в go работать инкрементально а не по принципу "stop the world" и насколько большие расходы в целом на gc в зависимости от количества объектов?
До Go 1.11 кажется был лимит на 512ГБ рам на Гошный процесс. А так - ну есть базочки ж на Гошечке в том числе in-memory
саша
http://kokizzu.blogspot.com/2017/05/postgresql-vs-cockroachdb-vs-scylladb.html
Илья
ну так парни уже завезли версию два, и там норм
саша
первый бенчмарк в гугле > seriously slow on every part of this benchmark
Илья
я это к тому, что писать на го можно, и оно вполне работает, комьюнити есть, зачем то люди пользуют
саша
при том что первая версия в 2 раза медленнее постгреса в лучшем случае
Илья
+ 1/4 прибавки
вообще чуваки пишут про 70%, но наверное, вам стоит это проверить, а то очень голословные утвержденияя
Roman
Народ подскажите пожалуйста а на go можно написать in-memory базу данных? У меня почему есть уверенность что все языки со сборщиком мусора не подходят для этого и go как язык с gc соотвественно тоже но хотелось бы уточнить. Для in-memory базы даннных важны минимальные задержки при сборке мусора а точнее даже чтобы эти задержки не зависели от количества объектов в памяти. Сейчас серверы могут иметь до 3 терабайт оперативной памяти (и еще больше терабайт если используется свап на быстрых nvme ssd дисках) и поскольку принцип работы сборщика мусора заключается в том чтобы просканировать все достижимые объекты с корня и очистить все остальные то только для сканирования 3 терабайт объектов потребуется несколько десятков секунд. Поэтому сразу возникает вопрос - умеет ли сборщик мусора в go работать инкрементально а не по принципу "stop the world" и насколько большие расходы в целом на gc в зависимости от количества объектов?
можно, но посить её думаю лучше на Rust) Go это не про systems programming, скорее про application programming база данных это типичный пример systems programming'a *можно начинать закидывать меня помидорами*
Илья
при том что первая версия в 2 раза медленнее постгреса в лучшем случае
вопрос изначально был - можно ли писать - я показал живой проект, как доказательство того, что можно, а у вас опять стул подгорает
Daniel
Народ подскажите пожалуйста а на go можно написать in-memory базу данных? У меня почему есть уверенность что все языки со сборщиком мусора не подходят для этого и go как язык с gc соотвественно тоже но хотелось бы уточнить. Для in-memory базы даннных важны минимальные задержки при сборке мусора а точнее даже чтобы эти задержки не зависели от количества объектов в памяти. Сейчас серверы могут иметь до 3 терабайт оперативной памяти (и еще больше терабайт если используется свап на быстрых nvme ssd дисках) и поскольку принцип работы сборщика мусора заключается в том чтобы просканировать все достижимые объекты с корня и очистить все остальные то только для сканирования 3 терабайт объектов потребуется несколько десятков секунд. Поэтому сразу возникает вопрос - умеет ли сборщик мусора в go работать инкрементально а не по принципу "stop the world" и насколько большие расходы в целом на gc в зависимости от количества объектов?
Проблемы есть, и тот же Убер в них влетел и о них много рассказывает
саша
вопрос изначально был - можно ли писать - я показал живой проект, как доказательство того, что можно, а у вас опять стул подгорает
как может не подгорать стул, когда живешь в мире, где гуи приложения пишут на электроне, а перфоманс и латенси критикал софт на го?
🏁Александр
Проблемы есть, и тот же Убер в них влетел и о них много рассказывает
а если работу с памятью написать на С и кросс компиляцией бахнуть?
🏁Александр
даже игры