Roman
Roman
Roman
headless browser предоставляет API, через который можно получить доступ и управлять DOM'ом и собственно самим браузером
Aydar
Антон
Roman
Anton
Блин, я вот читаю, читаю. Ребята, где вы все работаете?? Где то 80% всех разговоров (за исключением оффтопа) про оптимизацию. Прямо таки хочется старину Дональда Кнута вспомнить (Про 3%). 🙂 Чувствую себя неполноценным прямо, потому что не приходилось реально заморачиваться по этому поводу.
Anton
Со скольки RPS начинается веселуха?
Stanislav
Anton
Stanislav
хотя на самом деле я вот вы мылеру и подобных не работаю, но тоже за оптимизацию. Правда, уже не постфактум, а за изначально правильные подходы, ну из разряда того, что не всегда слайс быстрее мапы и наоборот :) то же самое и про http сервера - для каждого случая нужен свой подход
Roman
Daniel
Anton
потому что без оптимизации получается гора говнокода, которая со временем преврашается в воняющий навоз, потом в груду засохших лепешек, а потом в камень. и это все благодаря чудакам, что то там написавшим для программистов калькуляторов в прошлом веке.
Откуда столько агрессии. Чудаки на калькуляторах могли отправить человека на луну. Я не холливара ради спросил, а ради интереса. Причем я не спросил почему, я спросил, где это нужно? Просто интересно. По вашему получается если я не сталкивался с надобностью что либо подкручивать и изощряться внутри Go, и я просто использую язык и он справляется с задачами, я говнокодер? И да, назвать Кнута чудаком это сильно конечно. Боюсь даже предположить каков ваш вклад, в науку.
Roman
да везде нужно, сталкиваюсь постоянно с наследием пособников неоптимизации. сначала кажется, что можно сделать и через жопу, все равно не понадобится масштабировать, ведь все заранее известно. потом начинаем гвозди заколачивать, и тут все и всплывает.
Anton
Вот ответы которые я хотел услышать, чтобы без холливаров и оскорблений, токсичности и прочего: Сколько у вас RPS, сколько пользователей онлайн, сколько серверов? Когда все это нужно? У меня исключительно практический интерес.
Anonymous
Roman
Roman
Roman
Откуда столько агрессии. Чудаки на калькуляторах могли отправить человека на луну. Я не холливара ради спросил, а ради интереса. Причем я не спросил почему, я спросил, где это нужно? Просто интересно. По вашему получается если я не сталкивался с надобностью что либо подкручивать и изощряться внутри Go, и я просто использую язык и он справляется с задачами, я говнокодер? И да, назвать Кнута чудаком это сильно конечно. Боюсь даже предположить каков ваш вклад, в науку.
он там молодцы, с калькуляторами были, это не оспариваю. сегодня другое время, другие масштабы, надо отдавать себе отчет в том, какой философии придерживаться и зачем.
Anton
Религии?
Anton
Я собственно и спросил. Какие масштабы? При каких масштабах нужно реально заморачиваться над оптимизацией. Тем более оптимизацией того что уже и так неплохо оптимизировано (Я про Go конечно).
Anton
Тогда масштабы были масштабнее. )) Они же на калькуляторах людей в космос запусками. А сегодня какие масштабы? Миллионы лайков считать? На так то да, здесь без оптимизаций никуда совсем. )) Давайте в общем не будем спорить. Я не ради спора спросил. Вашу позицию я услышал, резюмирую: Оптимизация важна всегда и везде, все кто не оптимизирует - говнокодеры. Поправьте если я ошибся и закончим. Может кто другой ответит по сути.
Антон
Anton
Толстый наброс
Да ну нет. Мне реально интересно. Когда начинается веселье, когда мне придется задуматься об оптимизации (если вообще придется). При каких размерах баз данных, при каком RPS со сколькими пользователями, в какого размера компаниях.
Stanislav
Stanislav
потому что потом уже идет накидывание костылей :)
Anton
при 0 RPS, при пустой базе
Окей, в таком случае как вы узнаете, когда пора остановится, когда вы достаточно оптимизировали? Так ведь можно оптимизировать годами, но мир то не будет ждать.
Eugenii
+1 ассемблер никто не отменял, а тут почему то про го общаются
Stanislav
Eugenii
а вообще от логики зависит, от доступного железа, от требований
а так в большенстве случаев и <любойхоливарязык> покроет без необходимости оптимизировать
Антон
Anton
Я где то слышал. Кажется в одном из докладов на HighLoad++ что хайлоад настоящий и потребность в оптимизации начинается, когда у вас уже нет денег на оборудование, работает оно на грани, а пользователи все прут и прут. Вот и сложилось такое видение, что тут именно в таких условиях большинство коллег и работают. Отсюда и вопрос возник. Что это за условия, реально?
Roman
Я где то слышал. Кажется в одном из докладов на HighLoad++ что хайлоад настоящий и потребность в оптимизации начинается, когда у вас уже нет денег на оборудование, работает оно на грани, а пользователи все прут и прут. Вот и сложилось такое видение, что тут именно в таких условиях большинство коллег и работают. Отсюда и вопрос возник. Что это за условия, реально?
не знаю как у других, но когда я писал webwire, моя цель была выжать из Go и websocket'ов максимум, независимо от задачи которую будет решать библиотека в том или ином проекте.
1. it's a lot of fun
2. когда у библиотеки относительно большой футпринт (по памяти, CPU, latency) - качество библиотеки оставляет желать лучшего
Roman
в конце концов я добился до 200k+ RPS и упёрся в корявость существующих реализаций протокола websocket на Go и в ближайшем будущем придётся их латать 🙂
Anton
Антон
Anton
Stanislav
🎉
🎉
Roman
на каждое websocket соединение у нас обычно 4-8k * 2 буферов (in/out)
плюс к этому n message буферов в webwire сервере (где n зависит от того, сколько сервер сжирает одновременно, ибо они в pool'е и аллокейтятся только когда не хватает, иначе переиспользуются),
добавьте к этому накладную стоимость горутины (на каждое соединение по 1) и считайте 🙂
Roman
если прям по минималкам то в худшем случае
1k message buffer + 1k outbuffer + 1k inbuffer + 4k горутина + 5k погрешность = 12k
128 гиг памяти сервера = 134217728k / 12k = ~11.184.810 поддерживаемых одновременных соединений
минус наивность вычисления и получим как минимум 1кк
Антон
Антон
Ой, а Go по другому нельзя :(
Nikolay Markov
Roman
насколько правильно называть 64-bit floating-point number type - "Real"ом ?
Oleh
Oleh
Норм
Oleh
Roman
короче в принципе корректно
Roman
хотя с точки зрения математики даже uint integer'ом назвать нельзя ибо в математическом понятии "uint" скорее "whole number" а "int" - integer
Roman
Nikolay Markov
веселуха еще и в том, что по некоторым стандартам 0 входит в натуральные числа, а по некоторым - нет
Roman
Vladislav
#оффтоп
можете дать ссылку на такой же канал, только по пайтону?)
Roman
Nikolay Markov
Nikolay Markov
https://en.wikipedia.org/wiki/Natural_number
Roman
короче нет, не корректно называть условный Double - Real'ом, Real неограничен, а Double ограничен в точности
Vladislav
спасибо (Роман, а по какому названию искать? их же миллион)
Nikolay Markov
Alexey
Daniel
почему нет
Nikolay Markov