@gogolang
Michael21.01.2018
14:13:58
14:13:58
а чего результаты аж на 5?
Alexey21.01.2018
14:14:30
14:14:30
А да это еще не трогал)
я вот кстати не до конца еще буффер понимаю у канадов
Michael21.01.2018
14:15:06
14:15:06
wg.Done()
ssh.Scan(host, results)
done после Scan?
GoogleMichael21.01.2018
14:16:13
14:16:13
буфер канала результатов должен быть равен кол-ву опраш. хостов
а то дедлок будет
Alexey21.01.2018
14:17:25
14:17:25
то есть len(hosts)?
Michael21.01.2018
14:17:36
14:17:36
ну, да
Alexey21.01.2018
14:17:57
14:17:57
Так он же вроде как запинывает по 5ть и выпинывает по 5ть? и блокируется в ожидании, или нет?
Michael21.01.2018
14:18:02
14:18:02
если хостов много, делай вывод в отдельной рутине, как вариант
запишешь пять
буфер заполнен
и запись возможна как место там освободится
GoogleMichael21.01.2018
14:18:56
14:18:56
т.е. кто-то должен вычитать
или panic получишь с инфо что так и так все васи и рутины не работают
Alexey21.01.2018
14:20:48
14:20:48
Хм, а что предпочтительней буферизированный канал или нет?
Вот в данном случае, когда известно кол-во хостов
Michael21.01.2018
14:21:03
14:21:03
смотря в каком случае
я б сделал канал с буфером кол-во воркеров+1, а результаты писал бы в отдельной рутине
и всё равно сколько там хостов
в осн потоке синхронизировался бы, как то так)
meehalkoff✪21.01.2018
14:23:10
14:23:10
для хранения данных key-value boltdb годится? Или есть что то лучше?
Alexander21.01.2018
14:25:06
14:25:06
package main
import (
"flag"
"fmt"
"log"
"sync"
"x/ssh"
)
func main() {
var wg sync.WaitGroup
pool := flag.String("p", "", "IP format 192.168.1.0/24")
flag.Parse()
// 64.254.32.0/24
hosts, err := ssh.GenerateHosts(*pool)
if err != nil {
log.Fatalf("[ERROR] %v\n", err)
}
results := make(chan string, 5)
for _, host := range hosts {
wg.Add(1)
go func(host string) {
wg.Done()
ssh.Scan(host, results)
}(host)
}
wg.Wait()
for i := 0; i < len(hosts); i++ {
fmt.Print(<-results)
}
}
Коварный вопрос - в этой строке hosts, err := ssh.GenerateHosts(*pool)
hosts - это слайс строк или тоже канал?Alexey21.01.2018
14:28:05
14:28:05
meehalkoff✪21.01.2018
15:01:24
15:01:24
Aleksandr21.01.2018
15:02:29
15:02:29
Boltdb https://github.com/boltdb/bolt
Demian21.01.2018
15:02:30
15:02:30
radis
Andrei21.01.2018
15:02:35
15:02:35
не совсем то, что нужно. нужно что то типа sqlite, но для key\value
https://github.com/coocood/freecache отличная либа, если не нужен персистенсmeehalkoff✪21.01.2018
15:04:19
15:04:19
спасибо, буду изучать предложенные варианты
Max21.01.2018
15:07:12
15:07:12
https://github.com/coocood/freecache отличная либа, если не нужен персистенс
TODO Support dump to file and load from file
Эмм, если сервер отвалиться, то он не сможет восстановить данные после рестора, если это данные сессии не страшно, но если что то более значимое, то не стоит его юзать
Aleksandr21.01.2018
15:09:14
15:09:14
TODO Support dump to file and load from file
Эмм, если сервер отвалиться, то он не сможет восстановить данные после рестора, если это данные сессии не страшно, но если что то более значимое, то не стоит его юзать
Он и написал про персистенсЭто кэш, а не хранилище
GoogleAndrei21.01.2018
15:10:48
15:10:48
TODO Support dump to file and load from file
Эмм, если сервер отвалиться, то он не сможет восстановить данные после рестора, если это данные сессии не страшно, но если что то более значимое, то не стоит его юзать
простой дамп в файлик - тоже ничего хорошего
мы совместно с freecache используем редис как бекенд, куда каждую секунду сбрасываются изменения данных, а при старте приложения - подтягиваем данные из редисаMax21.01.2018
15:14:59
15:14:59
Он и написал про персистенс
Персистанс как раз и подразумевает дамп на диск. cache это как раз не персистансAleksandr21.01.2018
15:15:59
15:15:59
Персистанс как раз и подразумевает дамп на диск. cache это как раз не персистанс
Именно. Он и предложил либу кэша, если не нужен персистансAleksandr21.01.2018
15:16:18
15:16:18
если нужен кейвалью и не нужен персистенс - почему бы тупо в слайсе/мапе не хранить данные? зачем посредники?
meehalkoff✪21.01.2018
15:17:36
15:17:36
Если я правильно понял значение персистанс, то под мою задачу это нужно.
Max21.01.2018
15:17:59
15:17:59
Именно. Он и предложил либу кэша, если не нужен персистанс
> не совсем то, что нужно. нужно что то типа sqlite, но для key\value
Вот что он написалAleksandr21.01.2018
15:18:20
15:18:20
в таком случае, снова предлагаю посмотреть в сторону этой либы
Boltdb https://github.com/boltdb/bolt
Andrei21.01.2018
15:18:21
15:18:21
если нужен кейвалью и не нужен персистенс - почему бы тупо в слайсе/мапе не хранить данные? зачем посредники?
если данных много - gc будет существенно замедлять работу программыmeehalkoff✪21.01.2018
15:18:56
15:18:56
данных будет не много, 2-3 записи в минуту
https://github.com/dgraph-io/badger
И вот этот
Ahror21.01.2018
15:23:05
15:23:05
https://github.com/dgraph-io/badger
И вот этот
Max21.01.2018
15:26:37
15:26:37
Badger хорош, я на него тоже в свое время обратил внимание. Он быстрее RocksDB который в свою очередь обгоняет по некоторым операциям LevelDB.
Кроме того он написан чисто на Go, в отличии от остальных, то есть нет интероп простойки между C/C++ и Go
Vasily Romanov21.01.2018
15:27:42
15:27:42
Max21.01.2018
15:27:51
15:27:51
https://db-engines.com/en/system/Badger%3BRedis
Мерлин21.01.2018
15:34:58
15:34:58
?
https://play.golang.org/p/-gF1qvNiUOy
Aleksandr21.01.2018
15:36:42
15:36:42
Google
Andrew21.01.2018
15:48:40
15:48:40
Мерлин21.01.2018
15:49:08
15:49:08
Список каналов, посвящённых golang:
• @gophernews
• @golang
• @coolgo
• @golangjobfeed – вакансии
• @go_books – книги
• @vmestego – русскоязычные новости
Max21.01.2018
15:50:16
15:50:16
Ну для тех задач которые нужны он подходит. Нужны просто собственные тесты
Горизонтальная масштабируемость мне сейчас не нужна
Nick21.01.2018
15:53:19
15:53:19
такие сравнения обычно точно маркетинг
Max21.01.2018
15:54:50
15:54:50
Поэтому же и говорю, нужны собственные тесты, не на синтетических данных
У LevelDB тоже нет горизонтальной мастабируемости кстати
https://db-engines.com/en/system/Badger%3BLevelDB
Michael21.01.2018
15:59:58
15:59:58
cockroachdb может подойдёт
Max21.01.2018
16:10:10
16:10:10
Вот только он бесплатен только для open-source проектов, а этот free план не умеет Backup & Restore
Если нужен действительно стабильный, бесплатный и функциональный persistance key-storage то пока кроме Radis-а я не вижу альтернатив
Michael21.01.2018
16:15:54
16:15:54
тарантул разве не апп сервер на луа?
Vasily Romanov21.01.2018
16:16:27
16:16:27
изначально это как раз persistance k/v
потом уже там сверху было много всего сделано, луа, файловый движок, sql сейчас пилят
Max21.01.2018
16:18:56
16:18:56
Им вообще кто то пользуется? Столько его уже пиарат, а народ что то не ценит
Michael21.01.2018
16:19:02
16:19:02
Tarantool is a Lua application server integrated with a database management system.
Им вообще кто то пользуется? Столько его уже пиарат, а народ что то не ценит
Outside Mail.Ru the software is used by a growing number of projects in online gaming, digital marketing, and social media industries.GoogleVasily Romanov21.01.2018
16:19:42
16:19:42
mail.ru, avito, badoo
mamba вроде и qrator
внедряют в beeline, сбере, ещё в каких-то телекомах
Aleksandr21.01.2018
16:20:23
16:20:23
у нас в одной команде юзают
Max21.01.2018
16:21:28
16:21:28
И как отзываются?
Aleksandr21.01.2018
16:22:01
16:22:01
просто юзают как инструмент. нареканий нет
Zaur21.01.2018
16:23:18
16:23:18
Им вообще кто то пользуется? Столько его уже пиарат, а народ что то не ценит
Ещё как пользуются им) очень многие крупные компании юзают.Max21.01.2018
16:23:51
16:23:51
Российские?
Zaur21.01.2018
16:23:55
16:23:55
Просто его использовать сложнее, но кто использует, все довольны
Max21.01.2018
16:24:37
16:24:37
Просто это разработка Mail.Ru Group
Zaur21.01.2018
16:25:13
16:25:13
Max21.01.2018
16:40:07
16:40:07
Из-за отсутствия вот этой штуки: https://github.com/tarantool/tarantool/issues/1259
Народ взял и создал новую in-memory db:
https://habrahabr.ru/post/346884
А команда Tarantool до сих пор дрочит SQL наличие которой у key-value storage всьма сомнительная
Michael21.01.2018
16:42:04
16:42:04
https://github.com/Restream/reindexer
Max21.01.2018
16:42:47
16:42:47
Он самый
Ilya21.01.2018
16:52:46
16:52:46
А команда Tarantool до сих пор дрочит SQL наличие которой у key-value storage всьма сомнительная
А что им надо было делать? По-моему же хорошо что кто-то пошел и сделал что-то новое если текущее его не удовлетворяет. Всех ведь не удовлетвориш.Alexander21.01.2018
16:53:39
16:53:39
(картинка про 15 конкурирующих стандартов)
Ilya21.01.2018
16:53:54
16:53:54
Мы вот тарантул пользуем, и sql сэкономил бы лично мне пару дней времени. Чисто по опыту.
John21.01.2018
17:07:25
17:07:25
https://habrahabr.ru/company/oleg-bunin/blog/340062/
Max21.01.2018
17:13:13
17:13:13
А что им надо было делать? По-моему же хорошо что кто-то пошел и сделал что-то новое если текущее его не удовлетворяет. Всех ведь не удовлетвориш.
Но у них как раз цель была удовлетворить всех. Они вообще в релизе писали, что они отберут у Оракла львиную долю пользователей. А команда Reindexer-а молодчы!none21.01.2018
17:29:28
17:29:28
ребята, может вы подскажете что не так в коде
Открыть в Telegram