David
Насколько я знаю, golang не может подключать пакеты по относительному пути (если находится по пути GOPATH'а). Когда разбиваются прото файлы на несколько и подключаю их в в других - пишет ошибку только для golang'a
Daniel
Невозможно ответить
Daniel
Зачем вам связанные прото разносить по директориям
freezlite
Насколько я знаю, golang не может подключать пакеты по относительному пути Может
freezlite
import берет из GOPATH/src что угодно
freezlite
будь то хоть "fuckyou/idiot"
David
Зачем вам связанные прото разносить по директориям
Чисто для удобного добавления/удаления/редактирования в дальнейшем. Детальней можно прочитать что мне нужно здесь - https://stackoverflow.com/questions/52914402/compile-multiple-proto-files-into-single-file
Daniel
Или они не связаны, или их нельзя редактировать отдельно
David
Или они не связаны, или их нельзя редактировать отдельно
Немного не понял ответа. Есть сервис User (для работы с пользователями) - в котором есть entry (логин, регистрация) и info (информация о пользователе). Я хочу разбить эти две логики на более маленькие прото файлы, так как их будет намного (намного) больше
Daniel
Зачем по разным директориям их разносить?
David
Это все что нужно. Понимаю, что можно оставить все в одном файле user.proto, но очень не хотел бы это делать
Daniel
Тогда оно все найдет и сгенерит
Daniel
Доберусь до компа - пришлю пример
David
Доберусь до компа - пришлю пример
Но, тем не менее, у меня оно пытается подключить. Буду весьма признателен
Roman
в большинстве компаний скорее ситуция похожа на "стая гоферов бежит за человеком у которого в руках Python/Ruby/JavaScript" причём гоферы с копьями
hamper 𓅝
На сколько я понял, через WriteAt можно писать разные части файла одновременно, если они не пересекаются, а для этого дескриптор должен быть один? Например если я хочу параллельный аплоад файла кусками сделать, то надо сохранять дескриптор, что бы можно было в него писать? И как правильнее будет тогда записывать в файл, буферизировать в память кусками из входящего потока и через WriteAt писать или есть какой-то аналог io.Copy с возможностью указания с какого места писать?
hamper 𓅝
а зачем тебе несколько дескрипторов?
Ну допустим у меня приходит http запрос с куском файла и range например 100-200 и в это же время в другом хендлере в этот же файл пишется 0-99 кусок.
Roman
дескриптор он поумолчанию один и даётся тебе операционкой если я не ошибаюсь. Это по сути идентификатор, как указатель, его можно копировать сколько хочешь но указывать он будет на одно и то-же (aliasing)
hamper 𓅝
Ну да, но если я в двух хендлерах вызову os.OpenFile на один и тот же файл и буду в него писать разве это будет работать?
Roman
Ну допустим у меня приходит http запрос с куском файла и range например 100-200 и в это же время в другом хендлере в этот же файл пишется 0-99 кусок.
можешь сделать так: 1. структуру менеджмента файлов, которая отвечает за открытие, закрытие и т.п. 2. структуру файла, которая отвечает за буферезацию и синхронизацию (мутекс для синхронизации и fd)
Roman
3. интерфейсы для работы с этими сущностями
hamper 𓅝
Ну примерно так и думал. А вот на счет записи через WriteAt есть какой-то способ не буферизовать в память? Вроде io.Copy напрямую как-то писать может...
Roman
Ну да, но если я в двух хендлерах вызову os.OpenFile на один и тот же файл и буду в него писать разве это будет работать?
работать по сути должно, но это очевидный data race, хотя я не совсем уверен сможешь ли ты его вообще несколько раз открыть для записи (ведь по сути файловая система ОСи накладывает на fd lock, но если я не ошибаюсь лок ассоциируется с процессом, поэтому „по сути“ один и тот же процесс „по сути должен“ суметь открыть файл несколько раз (но я не уверен, нужно проверять, ибо тут ещё go runtime в игре между ОСью и кодом))
Roman
но даже если и не открывать несколько раз - file descriptor это по факту указатель, если из нескольких горутин с файлом работать тогда очевидно нужна синхронизация
Roman
ошибаешься, ОС так не делают
ты уверен? надо конечно проверить, но я предполагаю что открыть из нескольких процессов один и тот же файл на запись - не получится, хотя…. хер его знает
Roman
если просто делать open - как минимум на линуксе получится
ну эт на линуксе, а я мыслю кросс-платформенно, не охота же чтоб на одной ОСи софт работал эдак а на другой иначе?
Roman
это твоя задача обеспечить синхронизацию
про синхронизацию то понятно) я так и написал, что синхронить самому
Anonymous
команда WriteAT не говорит о каких либо различных дескрипторах файла не придумываейте и множестеннных Open
Roman
ну ОС за тебя это делать не факт что будет
нее, не синхронизацию, а защиту от открытия в экслюзивном режиме записи разными процессами
Roman
но я чес. гря. не уверен имеет ли go runtime тут какую-то прослойку при работе с файлами
hamper 𓅝
Думаю самым адекватным способом будет сделать один writer в файл с каналом, а из пришедших запросов читать куски и кидать в этот канал с указанием диапазона, по которому писать...
Vladimir
@Romshark если ты делаешь именно O_RDWR | O_EXCL - тогда да, на запись не откроешь еще, но это твоя задача так делать
Roman
Думаю самым адекватным способом будет сделать один writer в файл с каналом, а из пришедших запросов читать куски и кидать в этот канал с указанием диапазона, по которому писать...
не люблю я каналы, честно говоря. Я бы обернул файл в структуру с fd и mutex’ом, описал методы и всё это дело обернул в интерфейсы
hamper 𓅝
Интересно, как сервисы, типа всяких вконтактиков аплоад делают, там как раз в несколько потоков файлы льются на сервер.
hamper 𓅝
не люблю я каналы, честно говоря. Я бы обернул файл в структуру с fd и mutex’ом, описал методы и всё это дело обернул в интерфейсы
Там только наверное еще счетчик ссылок надо будет реализовывать свой, закрывать файл, когда не осталось потоков, пишущих в него.
Anonymous
грейсфул нужно
hamper 𓅝
когда будете закрывать файл?
Когда все хендлеры перестанут в него писать. То есть в каждом хендлере инкремент счетчика и по defer декремент.
hamper 𓅝
а когда хендлеры закончат?
Когда входящее соединение отдаст все, что принесло.
hamper 𓅝
Для каждого из хендлеров.
Mark ☢️
а она есть
 If O_EXCL is set and O_CREAT is not set, the result is undefined.
hamper 𓅝
Если придет новый запрос, то снова открывать файл.
Mark ☢️
Дабл ять
Mark ☢️
Замеморимаппьте файл и пишите куда хотите
Mark ☢️
На 64 битах похер на размер же
Roman
Дабл ять
спокойствие, и только споскойствие 🙂
Roman
Замеморимаппьте файл и пишите куда хотите
вы уверены что это кросс платформенно?
hamper 𓅝
Замеморимаппьте файл и пишите куда хотите
Я про это думал... А оно чем делается? Я что-то в os и io не нашел методов для этого.
hamper 𓅝
вы уверены что это кросс платформенно?
Ну мне бы линуксовое хотя бы.
Roman
Абсолютно
я про сложность реализации, не придётся под каждую систему костылить?)
Mark ☢️
я про сложность реализации, не придётся под каждую систему костылить?)
Если в го этого нет то он говно. Это очень базовая операция
Anonymous
Если придет новый запрос, то снова открывать файл.
задача не тривиальная ,должна обрабатывать все вплоть до разрыва связи! Если делаете для себя то сойдет
Roman
Если придет новый запрос, то снова открывать файл.
файл менеджер структура. fileManager.OpenFile() FileInterface if file is already open then return interface to it, if not, then open it first and return the interface to it
hamper 𓅝
задача не тривиальная ,должна обрабатывать все вплоть до разрыва связи! Если делаете для себя то сойдет
Да, для себя делаю, просто сначала все казалось проще, потом вот оказалось, что как-то все не так просто.
Roman
Если в го этого нет то он говно. Это очень базовая операция
это никак с Go не связано, это системная штука и на каждой системе выполняется разными способами скорее всего. Если хотите - напишите open source библиотеку для этого если её ещё нет 🙂
Anonymous
я делал менегер с докачкой на С++ ...подтвердю не простую ситуацию, а если одной из сторон будет браузер ... то просто головоломка
Roman
Да, для себя делаю, просто сначала все казалось проще, потом вот оказалось, что как-то все не так просто.
с Go всё относительно просто до того момента, когда это перестаёт быть Go и перерастает в особенности платформы, на которой код выполняется)
hamper 𓅝
О, нашел в "x" пакетах https://godoc.org/golang.org/x/exp/mmap
hamper 𓅝
Правда там только ридер.
Andrey
Кто подскажет. Мне нужно использовать кастомный сертификат для http и я подгружаю его в коде. Как сделать чтобы он упаковался куда-то внутрь при сборке?
Mark ☢️
а она есть
Пруф будет ?
Vladimir
Пруф будет ?
не, сам ищи
Anonymous
Правда там только ридер.
добавляют writer и называют МОЯ БАЗА ДАННЫХ
Mark ☢️
не, сам ищи
Я не смог найти
Vladimir
почитай посиксовые маны про open
Vladimir
Я не смог найти
сочувствую, поищи в манах про Сишный open