Alexey
gRPC в Go, к сожалению, тащит _ещё одну_ реализацию HTTP/2
Roman
Питон не нужен! Библы под разные ЯП в данном кейсе совершенно не актуальны
Если тебе плевать на совместимость с endianess - гоняй просто структуры
Mark ☢️
интересно как это они судя по картинке протобуф из браузера прям в сокет заливают ?
Mark ☢️
там вебсокеты или что ?
Alexey
HTTP/2 там
Daniel
там не сокет, а поток http2
Mark ☢️
ну тоесть не из любого бразуера
Mark ☢️
и не через любой нгинкс
Alexey
Покажите мне поддерживаемые бразуер без HTTP/2 🙂
Mark ☢️
и не через любой прокси
vld
Коллеги, какой способ по идеи быстрее, на прямую пулять инсерт в постгре на удаленном сервисе, или же запустить там сервис и через grpc в нем уже делать инсерт?
Alexey
И nginx тоже умеет HTTP/2, даже без TLS
Mark ☢️
вот зайду я в РЖД
Mark ☢️
а там....
Alexey
Производителями, выпускающими патчи для безопасности
Tishka17
Перестановка - Нет. Доставка - да. Одно сообщение по факту изменение стейта. Важно лишь что бы оно былогарантированно доставлено
А если поменяются местами, разве норм? Будет другой Стейт. А если два раза будет доставлено?
Евгений
а! тогда http2, да
Ну вот клиенты все равно открывают второе и нормально мультиплексируют только в нем. Вот думаю - может какую опцию у стрима забыл?
Nikolay Markov
3. Кролик умирает. На более-менее нормальном рейте он это делает сразу
это да, но я просто хотел проиллюстрировать, что есть еще и вариант с шиной данных
vld
COPY IN
можно детальние? там просто инсерт с првоеркой на конфликт
Alexey
Вы не дурак. Просто мир меняется. Если бинарный протокол для вас работает – пожалуйста. Но технологии развиваются и умирают
Mark ☢️
можно детальние? там просто инсерт с првоеркой на конфликт
Это самый быстрый способ залитьданные в постгрес
Евгений
интересно как это они судя по картинке протобуф из браузера прям в сокет заливают ?
Я тоже не понимаю. Готов обменять его на json) Только чистый без мусора)
Alexey
JSON ведь тоже не в чистый TCP сокет пойдёт 🙂
Mark ☢️
Я тоже не понимаю. Готов обменять его на json) Только чистый без мусора)
если вопросы производительности не критичны — то я бы выбрал именно такой способ
Mark ☢️
ибо дебажить такое куда проще
Mark ☢️
или джсон овер вебсокет
Alexey
В protobuf3 есть стандартное отображение в JSON, если что. Можно использовать для старых клиентов/прокси и для отладки
vld
https://www.postgresql.org/docs/9.3/static/sql-copy.html
спасибо, но не вариант, так как нужно проверять на конфликт, тоесть делать через тмп таблицу и плюс к тому же делать инсерт
vld
ужоснах.
ну чито поделать
Mark ☢️
тут более критично заливать пачками данные, а не по одной.
Mark ☢️
а далее, длительность коммита наверное будет куда дольше чем парсинг протокола и отправка этого по сети
Mark ☢️
поэтому оптимизировать надо только ПОСЛЕ ИЗМЕРЕНИЙ
Mark ☢️
самое узкое место
Mark ☢️
а не делать преждевременного выброса кода (решений)
Mark ☢️
а то коммит 10 миллисекунд, а по сети передается за микросекунду. смысл выбирать протокол поэффективнее ?
Daniel
Но 2 сказали websocket, а один rest+json. Утешает, что по крайней мере я не единственный дурак в этом чате.
проблема не в том, что разные люди говорят разное, а в том, что вы спорите, и аргументы используете далекие от технических.
Евгений
В protobuf3 есть стандартное отображение в JSON, если что. Можно использовать для старых клиентов/прокси и для отладки
Я видел только оно очень странное передает сообщение вида длина в байтах (бинарная) Json И вот эта бинарная вставка все портит - ее и в лрги и в js плохо пихать
Daniel
всем привет!
Daniel
привет-привет
Евгений
Идеальное решение такое: - 1 TCP коннект - кодирование в json - отправка потока событий клиенту- тут должно хватить одного стрима для SSE - клиент шлет запросы по REST - по соседним стримам Эта связка дает все главное из grpc. Но должна быть легче в дебаге, проще для любых клиентов/браузеров, автоматически деградировать в несколько TCP если клиент умеет только http/1.1 и ничего больше.
Daniel
на самом деле - там существенно больше проблем, чем вы описали.
Daniel
коллеги, кто знает удобный инструмент для support vector machine в go? задача простая - текстовая классификация. нужны инструменты для: * нормализации * обучения с учителем * быстрого анализа по моделям я что-то в сети понаходил, но какое-то старье
Daniel
> Эта связка дает все главное из grpc. Но должна быть легче в дебаге, проще для любых клиентов/браузеров, автоматически деградировать в несколько TCP если клиент умеет только http/1.1 и ничего больше. grpc в браузере крайне нестабильно себя ведет пока что ( если есть возможность пожить еще на rest - лучше это сделать
Евгений
на самом деле - там существенно больше проблем, чем вы описали.
Какого рода? Пока главная проблема - "утоптать" все логические подключения в 1 TCP.
Daniel
я бы остался на rest или ws для обоих клиентов, пока ситуация не стабилизируется. grpc в браузере - это полный привет сейчас
Евгений
Я и не хочу затаскивать grpc раньше времени. Его в любом случае сложнее дебагать
Daniel
rest не поддерживает потоки событий. на swagger их не опишешь, и это значит, что все валидаторы вручную. а ws не поддерживает вообще ничего, кроме тут сунул - там вынул. то есть вручную вообще все, начиная с валидаторов и заканчивая реконнектом. хорошо хоть пинг есть.
Евгений
Хочу честный http2 + sse и в соседних стримах rest.
Roki
Если тебе плевать на совместимость с endianess - гоняй просто структуры
Пацаны настаивают на gRPC. Нельзя просто так взять и отправить несколько байт когда нужно. Это некошерно и не современно. Свои непонятные мне понятия они отстаивают количеством!
Roki
"ничего не понимаю в технической стороне я, но виноваты они!"
Они ничего не понимают в моей задаче, не исключено что из-за моих объяснений. Но никто из них никогда не скажет «я не понимаю - объясни!» в русском чате так не бывает
Roki
Вот я не понимаю, зачем мне RPC? Какую проблему он решает?
Roki
Это очень сложный вопрос на который нечего ответить?
Bogdan (SirEdvin)
grpc вроде решает проблему контрактов и single source of trust
Bogdan (SirEdvin)
И это очень важно, на самом деле
Bogdan (SirEdvin)
http://docs.couchdb.org/en/2.2.0/api/database/changes.html как пример
Евгений
grpc вроде решает проблему контрактов и single source of trust
не очень решает можно описать структуру, но pact дает больше вплане проверки взаимодействия, соблюдаете ли вы контракт
Anonymous
Я задачу переформулирую на другом уровне абстракции и под другим углом. Задача: Есть простой бинарный протокол клиент-сервер на базе udp. Назовем его D. Мы решили создать соединение Server-Server, который в общем случае просто шарит стейт, реализуемый сообщениями D. Так же мы хотим сделать его в будущем безопасным и реализовать на его основе постоянное двунаправленное соединение, которое будет основой кластерного обмена. Какой транспортный протокол выбрать? 1. UDP 2. TCP 3. Websocket 4. HTTP 5. HTTP/2 Какое кодирование сообщение выбрать? 1. Самодельное биннарное X 2. Переиспользовать реализованное бинарное D 3. Взять библиотечное GOB, MsgPack, Protobuf? 4. JSON? Наши приоритеты I - техническая эффективность II - програмная простота III - соответствие общепринятым стандартам
Есс-но TCP. Каким боком тут вебсокет и вообще веб - непонятно :). Это если вы хотите "создать протокол". Кодирование легко сделать самостоятельно (зависит от типичных данных и их размера). Если же что-то создавать не хочется то тогда и используют grpc, msgpack и т.п.
Anonymous
как правило в реальности мало кто для своих поделок заморачивается на создание протоколов
Anonymous
если вы уже такое родили для клиентов - почему вообще такой вопрос появляется :)
Roki
как правило в реальности мало кто для своих поделок заморачивается на создание протоколов
Заменил «создать протокол» на «создать соединение»
Anonymous
это ничего не меняет :)
Anonymous
сделать можно всеми способами перечисленными
Anonymous
разнятся лишь долгосрочные последствия
Anonymous
и это вопрос не для чата по "языку го" :)
Anonymous
как-то давно я спрашивал есть ли чаты где обсуждают zeromq и т.п.