Alexey
мне кажется если сейчас делать API для клинетов не умеющих gRPC — то лучше делать это через https://github.com/grpc-ecosystem/grpc-gateway
Pavel
но ты на практике вряд ли будешь не-json использовать, верно?
Ты инструмент под задачу выбираешь, или задачу под инструмент?
Nikolay Markov
Ты инструмент под задачу выбираешь, или задачу под инструмент?
инструмент под задачу, разумеется. Но мне сложно представить задачу реальную сейчас, где мне надо будет что-то, что не JSON или XML
Alexey
ну, http2 чуть ситуацию улучшает, да. но на линках с пакетлоссом там всё будет хуже даже.
начитались тут презенташек от Fastly. Это далеко не полная правда. Их суждение было что h2 из-за того, что у него HOL-blocking хуже работает на lossy линках, потому, что CUBIC на них медленный. Тот же тест с TCP NV или TCP BBR даст совсем другие результаты. Не стоит доверять чужим данным не проверяя их.
Alexey
ну, это для инвалидов )))
а есть варианты лучше?
Roman
проблема rest в том, что хер там сделаешь батчинг. а если его сделать, то всё сводится к одному эндпоинту и уже никакой это не рест )
Nikolay Markov
в чем проблема?
Nikolay Markov
Держи YAML, например
держу, но я ни разу не видел REST на YAML’е в жизни
Nikolay Markov
и да, JSON - это тоже YAML
Alexey
т.е. этот фрейминг реализует те же самые дейтаграммы что в ip, только с гарантиями доставки и очередности + сильная зависимость от соседних потоков.
не сильная. из-за наличия SACK и fast-retransmit, оно в большинстве случаев добавляет не больше одного rtt в случае даже сильного packetloss'а.
Roman
в смысле? коллекция объектов - такой же объект
мм... смотри. я пример этот уже приводил и просто повторюсь: надо послать и убедиться в доставке 10к смс-сообщений через сервис, который умеет послать смс(вернув message id) и по этому message id сказать статус(доставлено/нет).
Roman
не сильная. из-за наличия SACK и fast-retransmit, оно в большинстве случаев добавляет не больше одного rtt в случае даже сильного packetloss'а.
ты исходишь из преположения, что мы вот перепослали и всё збс. в мобильной сети твой ack может проваляться несколько секунд где-то в буферах устройств на пути.
Nikolay Markov
ты берешь и сабмитишь коллекцию из 10 объектов PUT или POST запросом на урл, тебе в ответ приходит 10 тех же объектов с привязанными к ним тасками, у которых обновляется статус
Alexey
опять же, я не говорю что мультиплексировать вещи внури tcp — это праям охуенная идея, я лишь говорю, что большинство этих проблем было решено командами из Гугла 5 лет назад. Когда они доготовят QUIC, то grpc наверняка плавно перейдёт на него
Roman
если же ты про buffer bloat, то BQL, TSQ, FQ и pacing эти проблемы решают
ну и на всякие промежуточные устройства ты не сильно повлияешь. rtt в 10 секунд можно запросто словить в мобильной сети в момент перегруза.
Nikolay Markov
но это из задачи надо исходить, опять же
Nikolay Markov
если у тебя больше разных типов объектов и действий с ними - тогда REST есть REST
Alexey
это только linux.
на серверсайде всегда линукс, а с повсеместным андройдом, половина high packetloss клинетских девайсов тоже под ним
Alexey
это CUBIC так делает
Alexey
это не правда, для BBR, CDG, и New Vegas
Alexey
да, многие так делают, но это не свойство протокола
Alexey
это свойство конкретных имплементаций
Roman
это не правда, для BBR, CDG, и New Vegas
дадада. но cdg крайне странно себя повёл, когда я его включил на наших серверах.
Alexey
потому что его нельзя в продакшн, ибо он написан PhD для PhD. Его CUBIC задавит в интернете.
Roman
потому что его нельзя в продакшн, ибо он написан PhD для PhD. Его CUBIC задавит в интернете.
ну, проблема с fairness - это мелочи по сравнению с тем, что многие клиенты просто тупо отвалились
Roman
скатились к каким-то жутким нескольким кб/с
Alexey
это крайний случай не-fairness - starvation
Pavel
держу, но я ни разу не видел REST на YAML’е в жизни
Допустим, YAML не потребуется парсить. А как ты будешь парсить XML с помощью jsonschema?
Nikolay Markov
Nikolay Markov
а REST может определять тип, с которым работать, по заголовку в запросе клиента
Nikolay Markov
а что тебе не нравится?
Pavel
Для валидатора потребуется еще раз описать правила?
Pavel
а что тебе не нравится?
Первый типичный кейс, а уже надо ставить какой-нибудь валидатор xml
Pavel
Дальше я бы тебя спросил про кеширование, про etag, про интеграцию с sqlalchemy
Roman
это крайний случай не-fairness - starvation
так там не было дефицита полосы. и это странно.
Alexey
Люди, одумайтесь, не пишите вы это говно в ручную, возьмите ваш внутренний типизированный бинарный RPC, и генерите автоматом стабы для api-gateway'я который вам будет преобразовывать входящий JSON обратно в thrift/protobuf/etc и дальше отсылать по вашему внутреннему RPC. Нафиг вам 2 разные системы? Вот простой пример прямо от GCP: https://cloud.google.com/service-management/reference/rpc/google.api#http
Alexey
так там не было дефицита полосы. и это странно.
он мог быть на любом из роутеров между сервером и клиентом. Плюс, учитывая что оно никогда не тестировалось за пределах лаб, не исключено, что там ещё и море багов
Nikolay Markov
там все такие вещи проверяет еще компилятор
Alexey
в Go/C++/Rust у нас тоже эти вещи проверяет компилятор, в Python protobuf stub'ы аннотированы mypy. Это не спицифично для какого либо языка, это можно сделать везде.
Alexey
Речь про внешнюю была вроде :)
Для внешней балансировки DNS — это пиздец. У нас был случай когда какие-то принтеры резолвили dropbox.com только на старте. Пришлось год ждать пока они все поребутаются, чтобы выкинуть старый IP. Да что далеко ходить, куча провайдеров по миру имеют говноадминов, которые настроили bind игнорировать любой TTL меньше месяца. Мы так на www месяц ждали чтобы со старого IP безопастно уехать.
Alexey
(про DDoS я вообще молчу, если у вас есть куча "слабых" unicast IP'шников - заддоить очень просто)
Pavel
Сформулируй, что хотел сказать-то
OMW
Леголас фигню пороть не будет
Uncel
https://arxiv.org/pdf/1611.05428.pdf
Nikolay Markov
Вы сейчас через эту реальную задачу общаетесь)
ты хочешь сказать, что внутри телеграма REST?
Дима
Но бинарный полиморфный язык телеграма это уже слегка перебор, конечно
Nikolay Markov
не, бинарных протоколов много разных
Nikolay Markov
мы именно про REST
Roman
мы именно про REST
Я уже писал: рест очень быстро вырождается в единственный эндпоинт
Nikolay Markov
когда вырождается, когда нет
Nikolay Markov
для CRUD - REST, для запуска удаленных процедур - RPC, на деле обычно комбинация из обоих подходов
Nikolay Markov
Ну так ещё вопрос в оверхеде
оверхеда так или иначе не избежать
Nikolay Markov
Или вот надо тебе поллить 10к обьектов
и? делаешь коллекцию из 10к объектов объектом с таской с 10к статусов
Nikolay Markov
все можно решить, было бы желание
Nikolay Markov
или делаешь 10к объектов и просто поллишь их асинхронным клиентом