Суть этого таска - обновить колонки в реляции B на основании данных в A.

Тут четко написано

Позвольте описать задачу чуть более ясно. Есть некая ETL-штука. Которая: 1. Берет csv-файлик, условно назовем его "updates_for_A" 2. На основании данных в CSV заполняет таблицу "aggregated_A" 3. Используя mapping: aggregated_A.col1 -> B.col1 обновляет записи в B.

не понятно, где проблема

надеюсь, все прояснилось.

Проблема в том, что это "первый экспириенс".

И не ясно, как лучше все это организовать.

это не про го, я подозреваю, а про sql и квиьы

это ETL

И как ± должен выглядеть этот файл с mapping

это ETL

+

И как ± должен выглядеть этот файл с mapping

это у тебя в спеке должно быть

Это есть. С технической точки зрения - мне просто сделать JSON?

можно и в toml, не суть

Как часто надо будет править этот mapping

?

Структура, выходит, следующая: { "A.col1" : "B.col2", "A.col2" : "B.col123", }

вопрос в том, какие агрегации и преобразования должны быть в ваших mapping'ах

Как часто надо будет править этот mapping

К сожалению, тут приходится лишь гадать. В теории - вообще не надо

Структура, выходит, следующая: { "A.col1" : "B.col2", "A.col2" : "B.col123", }

"a.Col=b.Col1;a.Col2=b.Col3;...."

Господа, есть интересная задача. Есть две реляции в БД: условно реляция A и реляция B. Нужно написать конфигурационный файлик, который бы "маппил" A.columnX_1 -> B.columnZ_2 (т.е. каждый атрибут реляции А на атрибут реляции B) Из Go этот файлик прочитать и на основании этих данных строить SQL-запросы. Если кто сталкивался с подобным таском и подскажет, буду благодарен.

https://github.com/mattes/migrate не?

К сожалению, тут приходится лишь гадать. В теории - вообще не надо

Если не надо, можно и без конфига

Если не надо, можно и без конфига

Увы, руководство указало, что хочет видеть конфиг. Значит, правки все могут быть, хз.

Если не надо, можно и без конфига

там от задач и от хотелок "прикладного" пользователя будет зависить, раз и на всегда сделать такой файл конфигурации не получится

"a.Col=b.Col1;a.Col2=b.Col3;...."

не совсем понял, это разве валидный JSON?..

Увы, руководство указало, что хочет видеть конфиг. Значит, правки все могут быть, хз.

А мб там тупо sql инструкции хранить?

не совсем понял, это разве валидный JSON?..

а там и нет json

Тогда подскажите, что сие есть за вещь?

там strings.Split("..", ";")

Ага, у меня будет просто текстовый файлик с мэппингом. Благодарю, подумаю над этим

если вам нужно только соответствие А к Б полей

Да, все верно, только оно и нужно.

Они говорили это безопасно... они говорили вкладывайся в крипту....

А уже удалили))

А много ли тут кто пилит блокчейн проекты на go?

А много ли тут кто пилит блокчейн проекты на go?

в соседнем чатике пилят: https://t.me/distributed

в соседнем чатике пилят: https://t.me/distributed

Ok

Господа, есть интересная задача. Есть две реляции в БД: условно реляция A и реляция B. Нужно написать конфигурационный файлик, который бы "маппил" A.columnX_1 -> B.columnZ_2 (т.е. каждый атрибут реляции А на атрибут реляции B) Из Go этот файлик прочитать и на основании этих данных строить SQL-запросы. Если кто сталкивался с подобным таском и подскажет, буду благодарен.

На правах DBA задам вопрос - что курил автор этого кейса?

Господа, есть интересная задача. Есть две реляции в БД: условно реляция A и реляция B. Нужно написать конфигурационный файлик, который бы "маппил" A.columnX_1 -> B.columnZ_2 (т.е. каждый атрибут реляции А на атрибут реляции B) Из Go этот файлик прочитать и на основании этих данных строить SQL-запросы. Если кто сталкивался с подобным таском и подскажет, буду благодарен.

храните мета данные в базе

На правах DBA задам вопрос - что курил автор этого кейса?

стандартная задача мэппинга

ни у кого нет норм примера, как писать в unix socket и слушать с него респонс? Я уже всю голову сломал((( sock := `/tmp/geth.ipc` conn, _ := net.Dial("unix", sock) method := `{...}\n` num, err := conn.Write([]byte(method)) Write же возвращает количество записанных byte

может поможет очень старый и простой код прокси из unixsocket в tcp, почти что первое что было написано на Go даже не все ошибки обрабатываю, как сейчас смотрю, но работает уже 3 года даже не напоминает о себе func main() { num := runtime.NumCPU() runtime.GOMAXPROCS(num) log.Print("proxyls start") // Listen on TCP port 2000 on all interfaces. l, err := net.Listen("tcp", ":17835") if err != nil { log.Fatal(err) } defer l.Close() for { // Wait for a connection. conn, err := l.Accept() if err != nil { log.Fatal(err) } // Handle the connection in a new goroutine. // The loop then returns to accepting, so that // multiple connections may be served concurrently. go func(tcp net.Conn) { defer tcp.Close() UA, err := net.ResolveUnixAddr("unix", "/var/spool/icinga/rw/live") if err != nil { log.Print(err) return } unix, err := net.DialUnix("unix", nil, UA) if err != nil { log.Print(err) return } defer unix.Close() io.Copy(unix, tcp) if err = unix.CloseWrite(); err != nil { log.Print(err) return } io.Copy(tcp, unix) // Shut down the connection. }(conn) } } насколько я помню с юникс сокетами так: 1 конект к сокету 2 запись в него запроса/команды 3 закрытие сокета на запись 4 чтение до EOF из сокета 5 закрытие сокета полное наскоолько припоминаю 3 пунк был важен, без него не мог прочитать ответ, по закрытию ввода определялось что он полностью завершен и можно отвечать, но возможно это фича конктетного софта необщая для всех уже не помню

может поможет очень старый и простой код прокси из unixsocket в tcp, почти что первое что было написано на Go даже не все ошибки обрабатываю, как сейчас смотрю, но работает уже 3 года даже не напоминает о себе func main() { num := runtime.NumCPU() runtime.GOMAXPROCS(num) log.Print("proxyls start") // Listen on TCP port 2000 on all interfaces. l, err := net.Listen("tcp", ":17835") if err != nil { log.Fatal(err) } defer l.Close() for { // Wait for a connection. conn, err := l.Accept() if err != nil { log.Fatal(err) } // Handle the connection in a new goroutine. // The loop then returns to accepting, so that // multiple connections may be served concurrently. go func(tcp net.Conn) { defer tcp.Close() UA, err := net.ResolveUnixAddr("unix", "/var/spool/icinga/rw/live") if err != nil { log.Print(err) return } unix, err := net.DialUnix("unix", nil, UA) if err != nil { log.Print(err) return } defer unix.Close() io.Copy(unix, tcp) if err = unix.CloseWrite(); err != nil { log.Print(err) return } io.Copy(tcp, unix) // Shut down the connection. }(conn) } } насколько я помню с юникс сокетами так: 1 конект к сокету 2 запись в него запроса/команды 3 закрытие сокета на запись 4 чтение до EOF из сокета 5 закрытие сокета полное наскоолько припоминаю 3 пунк был важен, без него не мог прочитать ответ, по закрытию ввода определялось что он полностью завершен и можно отвечать, но возможно это фича конктетного софта необщая для всех уже не помню

спасибо!

На правах DBA задам вопрос - что курил автор этого кейса?

Я - скромный джун, моего мнения не спрашивают. Дали задачу и описание - решаю.

Пока что не в моей компетенции указывать.

спасибо!

спасибо это когда заработает :) а пока еще не за что :)

На правах DBA задам вопрос - что курил автор этого кейса?

ETL

Пилим обычный веб. Но Хрюши упорно зовут в блокчейн-проекты.

Товарищи, привет!) Подскажите, есть возможность сделать тег для json такой, чтобы работал только для unmarshal, а для marshal не работал? :)

Товарищи, привет!) Подскажите, есть возможность сделать тег для json такой, чтобы работал только для unmarshal, а для marshal не работал? :)

Нельзя

Нельзя

Грустно, но спасибо)

Грустно, но спасибо)

Пишите кастомный маршалер-анмаршалер, который будет смотреть в другие теги

Пишите кастомный маршалер-анмаршалер, который будет смотреть в другие теги

Проще две структуры создать, и конвертер между ними

Проще две структуры создать, и конвертер между ними

Или два поля в одной структуре, да ... %)

/me подает костыли

/iqtest

/iqtest

not passed

Пишите кастомный маршалер-анмаршалер, который будет смотреть в другие теги

Да, так и сделаем. Пока это не критично, думал, есть простой способ :)

ERROR: S client not available

как правильно назвать протокол, основанный на ASCII тексте, но строго форматированный? например: [type(1)][id(32)][payload(...)] т.е. какой термин обозначает данное понятие?

как правильно назвать протокол, основанный на ASCII тексте, но строго форматированный? например: [type(1)][id(32)][payload(...)] т.е. какой термин обозначает данное понятие?

никакой, как ты одним словом HTTP и FTP назовёшь?

JustYetAnotherTextProtocol

я думал может этому понятию какой термин существует)

4-й уровень в 4-х уровневой модели как называется, так и его можно назвать

кстати нельзя данное назвать binary protocol? ведь формат строго разбит на позиции байтов, даже если это ASCII

Application Layer Protocol ?

кстати нельзя данное назвать binary protocol? ведь формат строго разбит на позиции байтов, даже если это ASCII

Я бы сказал, что можно, кстати. И даже нужно.

Вон как на SO пишут: Binary protocol versus text protocol isn't really about how binary blobs are encoded. The difference is really whether the protocol is oriented around data structures or around text strings.

[type(1)][id(32)][payload(...)] - это как раз data structure

ну вот тогда теперь всё ясно, Binary Protocol

Народ, а в го же нет распаковки? У меня есть срез стрингов, надо их запихнуть в функцию которая которая принимает в виде аргумента (x ... interface{})

x...

те передать мой срез как переменную и троеточие после нее?

да

да

Благодарю

Ах, ты взболтать, но не смешивать(((((

обидная оплошность have (string, string, []string...) want (string, ...interface {})

Народ а можно стринг в интерфейс распаковать? каким - то спобом кроме итерирования среза фором и эпендом по одному элементу? https://play.golang.org/p/QOvTu98iPc-

Народ а можно стринг в интерфейс распаковать? каким - то спобом кроме итерирования среза фором и эпендом по одному элементу? https://play.golang.org/p/QOvTu98iPc-

Только итерированием.

Народ а можно стринг в интерфейс распаковать? каким - то спобом кроме итерирования среза фором и эпендом по одному элементу? https://play.golang.org/p/QOvTu98iPc-

ну здесь както так ... https://play.golang.org/p/UBao-ZM1ND1

Только итерированием.

Жаль(

ну здесь както так ... https://play.golang.org/p/UBao-ZM1ND1

Вопрос в другом, как внутренности перести в интерфейс, а не срез туда запихнуть)))

я видел что пример поправил... посмотрим

Вопрос в другом, как внутренности перести в интерфейс, а не срез туда запихнуть)))

`a := interface{}([]string{"a", "b", "c"}) fmt.Printf("%+v\n", a)`

`a := interface{}([]string{"a", "b", "c"}) fmt.Printf("%+v\n", a)`

Это только для предопреленных и не большого размера. Проще тогда сразу массив интерфейсов создать.

Жаль(

Там цикл в две строчки, чего страдать. Если много раз надо, то сделайте фукцию. И лучше сразу выделать память под все элементы.