« Rev
@golang_jobsgo   830
Fwd »


Vitaliy
последний раз когда искал работу какая-то микрофинансовая контора выходила на связь. я как-то с облегчением вздохнул, когда они быстро отвалились по каким-то своим соображениям
Напомню, что чтобы Вам / тебе ни посоветовали в чатах, ответственность за решение будет лежать явно не на пользователе с капибарой на аватарке А так игры гемблинг ставки золотая жила для роста в хайлоде
Vitaliy
Я бы привёл ещё пару сфер "интересных" под такую логику
Дорогой Леонид, я очень ценю Ваше априори альтернативное мнение, но, как и всегда, совершенно не стремлюсь его узнать
kdp
относительно недавний случай у нас в конторе. щас же модно о своих достижениях в ревью писать. мол че сделал, на че повлиял и т.д. Так вот в резюме у разраба в достижениях значилось: разработал систему штрафов в конторе для разрабов. Вроде бы задача как задача, однако стоит реверснуть на систему премий и уже иначе смотрится.
никита
что хуже\лучше? всякие гемблинги или микрофинансовые конторы?
ну либо некоторые(не все) не нужные бигтехи, которые спонсируются государством, то есть за налоги людей абсолютно непричастных(я это к тому, что будто бы найм должен быть менее зависим от моральной точки зрения. это сугубо коммерческие отношения)
Лео
Ну скорее уж сбер тогда, но больше примеров нет
kdp
у сбера вроде прибыль имеется, в отличае от вк. хотя черт их знает, про рекордные убытки вк новости ходили, про сбер не слышал подобного
никита
Ну скорее уж сбер тогда, но больше примеров нет
ну так и бигтехов не так много в стране) два примера уже есть
Vitaliy
Привет! В какую команду собесишься?
Михаил Макарычев
Меня просили спроектировать систему для сбора и хранения логов
Shohzod
Заказ: сделать нужно бэк тапалки: авторизация, буст, тапалка. авторизация через jwt срок 3 недели бюджет договоримся
context.
Эй, как ты думаешь, запускать очень много одновременных рантаймов на каждом ядре CPU — хорошая идея? Я имею в виду такое количество рантаймов: 5000 рантаймов × 16 ядер CPU = 80 000 одновременных рантаймов Я пытаюсь быстро и производительно пройтись по txt-файлу, обрабатывая каждую строку. Файл может быть очень большим — более 10 ГБ.
VampireTypeBeat
да хорошая идея
context.
Сможет ли он обрабатывать более 1 000 000 запросов в минуту? Всё зависит от количества ядер и времени обработки каждой строки. Но если среднее время обработки строки составит 5 секунд при 12 ядрах, сможет ли программа справиться с этим? Работа интенсивно нагружает сеть, при условии хорошего RDP и качественного прокси.
VampireTypeBeat
да перенеси текстовик в кликхаус просто
VampireTypeBeat
че ты паришся
context.
че ты паришся
Потому что я перешёл с Rust на Golang именно для таких задач. Rust — отстой для сетевых задач с высокой нагрузкой и высокой конкуренцией, да и синтаксис у него ужасный. Я всё ещё учу синтаксис конкурентного программирования в Go, но пока хотел понять, как тут всё работает, так что да.
VampireTypeBeat
да раст это говно забудь его
context.
Ладно
Максим
тут надо добавить в подсчет: - среднее число строк ваших файлов - позволительное время ожидания на обработку файла - что за операции со строками делаете и понять время точнее на обработку контена и тогда можно вычислить, сколько в секунду вы можете принимать таких обработок за 15мс можно обрабатывать 88 строчный файл может так выйти, что обрабатывать не по одной строке, а пачками по несколько строк будет сильно оптимальнее и это будет точкой расширения вашей пропускной способности, тк cpu крайне мало может требоваться относительное затрат на io операции
VampireTypeBeat
да че вы паритесь воркерпул сделай и все
VampireTypeBeat
и там посмотри скок у тебя пк горутин держит
Максим
Эй, как ты думаешь, запускать очень много одновременных рантаймов на каждом ядре CPU — хорошая идея? Я имею в виду такое количество рантаймов: 5000 рантаймов × 16 ядер CPU = 80 000 одновременных рантаймов Я пытаюсь быстро и производительно пройтись по txt-файлу, обрабатывая каждую строку. Файл может быть очень большим — более 10 ГБ.
если сможете подробнее описать задание (число строк файлов, что за операции делаете) то в принципе тут сильные есть ребята, которые архитектурно раскидают как считать такое у меня все плохо с расчетом хайлоад систем, я пока примерно указал на что смотреть и что учитывать но кажется, о миллионе подключений (сессий) можее забыть на машине в 16CPU, сотни максимум (если файлы жирные), что тоже неплохо, очень даже, ну начать с чего-то надо будет :) потом масштабируете на жирные машины или кластер
context.
Обычно в прошлом расчёты не отражали реальность. Это очень "ресурсоёмкая" задача, так как требуется хорошее интернет-соединение, возможность запуска на мощном сервере и так далее. Чтобы быть более конкретным — выложу исходный код прямо туда, когда всё будет готово. Возможно, потребуется много оптимизаций. Спасибо за помощь, я ещё вернусь.
Максим
или вы хотите на лету при его загрузке его разрывать и обрабатывать?
context.
для обработки файла не нужно соединение, тк файл уже у вас же
Именно, но задача заключается в том, что каждая строка из файла — это POST-запрос к API, где данные из строки используются как входные значения. Вот в этой части мне и нужно добиться более 1 миллиона запросов в минуту в сумме.
VampireTypeBeat
батчи делай
Максим
батчи делай
раз в день, и спина болеть не будет
Aleksandr
5 тыс. горутин
Горутины асинхронны, не особо понимаю зачем так много и как это ускорит работу) Обычно горутин по числу ядер заводят, но у нас i/o, можно сделать пулл из 48 горутин например
context.
Горутины асинхронны, не особо понимаю зачем так много и как это ускорит работу) Обычно горутин по числу ядер заводят, но у нас i/o, можно сделать пулл из 48 горутин например
сетевая тяжелая задача со временем обработки ответа 2-5 секунд, на 64 средах выполнения... я не знаю, достигнет ли она 1 миллиона задач в минуту
Null
Да, это слишком много. Далеко не факт, что горутины здесь вообще нужны, так как на переключение по ним все равно уйдет время Кажется, что тут нужны пулы воркеров, на чтение из файла и его обработку, и на пересылку куда-то. И протестировать скорость обработки для разного размера пулов. Вполне возможно, что идеальное значение будет где то в середине. А, ну не прочитал, что строки из файла читаются по сети
VampireTypeBeat
перенеси в кликхаус текстовик
Aleksandr
сетевая тяжелая задача со временем обработки ответа 2-5 секунд, на 64 средах выполнения... я не знаю, достигнет ли она 1 миллиона задач в минуту
А, ну если вопрос в сетевой задаче и что они встают на 2-5 секунд, тогда это другая задача. Тут действительно можно завезти много горутин, если другие ресурсы кроме cpu неограничены. Но само чтение файла от 5к горутин не ускорится)
context.
Мне сложно объяснить, и у меня сейчас мало времени. Я выложу исходный код, когда он будет готов как можно скорее. Некоторые люди говорили мне, что это очень сложная программа для создания. Спасибо за помощь, и я дам вам знать
Максим
Мне сложно объяснить, и у меня сейчас мало времени. Я выложу исходный код, когда он будет готов как можно скорее. Некоторые люди говорили мне, что это очень сложная программа для создания. Спасибо за помощь, и я дам вам знать
зачем? вы же за советом пришли, надо не исходный код, а исходные функциональные/нефункциональные требования исходный код не поможет вам помочь (извините, за оксюомрон)
Рустам
Мне сложно объяснить, и у меня сейчас мало времени. Я выложу исходный код, когда он будет готов как можно скорее. Некоторые люди говорили мне, что это очень сложная программа для создания. Спасибо за помощь, и я дам вам знать
я очень надеюсь, что это какой то китаец, прогоняющий свои запросы через ии переводчик. А не сбежавшая в подполье языковая модель, которая планирует уничтожить мир и прикидывается человеком))) Потому что сообщения выглядят именно так
VampireTypeBeat
слышали немного
VampireTypeBeat
говорят есть но я не проверял
VampireTypeBeat
боюсь просто
Aleksandr
бро 😭😭 я не говорю по-русски. конечно, переведи.
Будь я нейросетью ответил бы так же
никита
Будь я нейросетью ответил бы так же
будь я нейросетью, я бы тоже обвинял других, что бы отвести от себя подозрения)
Mikhail
Всем привет, ребята!
Mikhail
Ищем в команду Middle Go разрабочика с опытом в WEB 3. Фулл тайм, удалйнка. Кому интересно, пишите в личку. https://holiverse.peopleforce.io/careers/v/119645-golang-developer
Михаил Макарычев
Локация не в РФ, в основном
А зачем искать работу в РФ, если находишься не в РФ?
Mark
А зачем искать работу в РФ, если находишься не в РФ?
зачастую там могут платить больше, чем в снг(Мск/Спб)
Eugene
Зачастую ? :) Ладно, не будем поднимать старый топик
Mark
Зачастую ? :) Ладно, не будем поднимать старый топик
Берем дефолт страну снг - Казахстан, Узбекистан, Кыргызстан и т.п. Средний доход намного меньше чем в Мск или Спб, тем более по Гошке.
Анастасия
#вакансия #jdplex #go #удаленка #рф #гпх #ип #самозанятость #аутстафф 📌 Ищем Golang разработчика на аутстафф проекты наших партнеров! Проекты различаются сроком привлечения, задачами, сферой деятельности заказчиков Проект: каршеринг Грейд: Middle+, Senior ● Опыт коммерческой разработки 4+ лет; ● Опыт работы с микросервисной архитектурой; ● Опыт работы с СУБД (желательно PostgreSQL) и брокерами сообщений (желательно Kafka). Будет плюсом: ● Понимание бизнес-процессов ресторанного бизнеса/доставки еды; ● Опыт работы с R-Keeper (или IIKO). Название компании: JDPlex Зарплатная вилка после налогов в стандартной валюте расчетов компании; от 200 000 - 300 000 р. Контактное лицо: @kalashnikovajdplex
Rita
#вакансия #удаленно #fulltime #remote #Golang #React #typescript #java 📍Ищем Golang разработчика на зарубежный проект SkinCare (продукция по уходу за кожей). Локация: Вне РФ,РБ Вилка: от 5000$ Грейд: Senior Требования: - Обязательные навыки: Golang и AWS; - Будет плюсом: знание React, Typescript, Java; - Уровень английского С1/C2; - Полная занятость (160-168 часов в месяц); - Занятость на проекте минимум от 6 месяцев; Обязанности: - Миграция базы данных приложения с Heroku на AWS; - Инфраструктурные и backend-задачи для поддержки сертификации HIPAA; - Разделение данных и интеграция с системой управления Data Warehouse; Условия: -Удалённый формат работы; - Оформление на проект через ИП (b2b) или международный договор; 📩 Контакт: @ri_bocharova
Eugene
Работать надо там, где бабки
Mark
ну звучит конечно очень круто И именно по этому из снг тянутся в Рф(Мск/Спб), в том числе и из-за айтишки А челы из Мск и Спб(или кто на рынке уже давно) туда особо не рвутся, потому что денег нет, по их мнению)
Борис
#резюме #parttime Занятость: частичная (20 часов в неделю). Senior Golang Developer Ставка: 3000 рублей/час. Контакты - @emplonics. Привет. Ищу частичную занятость на проект любой сложности. Мои достижения как golang разработчика: - Участвовал в разработке собственного S3 хранилища. - Потоковая обработка видео - транскодинг и т.д. для сервиса видеошеринга. - Внедрение распределенных транзакций в систему, состоящую из 20+ микросервисов. - По мелочи: внедрение метрик/трейсов в проект; работа с локальным кэшем для сокращения трафика сети; написание Lua-скриптов для Redis (eval); написание автотестов; работа с buf/easyp.
Sardina
#vacancy #remote #packager #developer Sardina Systems is an OpenInfra software platform company based on OpenStack and Kubernetes and is looking for Software Developer to join our team. What will you do: - Developing and building software packages (RPM format) - Fixing packaging errors/bugs (there could be several thousand packages for each release) - Repository management and package testing - Documenting the process of building software packages - Automating the packaging process - Interface with the open source community where applicable - Contribute ideas for making the applications better and easier to use Your qualifications Required: - 1+ years of experience as a Python/C/C++/Golang developer or as a Linux system administrator - Understanding the technical assembly of packages - Good command of Linux system administration: services, virtualization, networking, etc. - Skills of building binary DEB or RPM packages and finalizing source packages, working with maintenance of APT or YUM repositories - Ability to write scripts in bash (proficient) and Python (basic knowledge as minimum, willing to learn) - Experience with CI/CD tools, pipeline development - Written English would be sufficient Will be a plus: - Experience with git, and GitLab/Jenkins automation - Experience with cloud management platforms such as OpenStack, GCP, AWS - Knowledge of Docker, k8s - Knowledge of automation tools Ansible or Chef We offer: - Work on an interesting project with a team of experienced professionals - All the conditions for rapid progress in the profession, increasing the complexity of tasks as you develop - Competitive wages with regular review - Flexible working hours (fixing to Central European Time) - Five-day working week, within 8 hours a day - Daily practice of English during the work process; - Opportunity to attend conferences, meetups and other professional events
context.
Могу ли я ускорить стандартную обработку текстового файла, если буду параллельно читать его, разбив на части (например, по числу ядер), и отправлять строки в канал? Обработка строк будет нагружать процессор.
Eugene
в чем проблема взять и проверить гипотезу ? это не займет никакого существенного времени
Сергей
В канал лучше отправлять результат работы, а не исходное значение 😉
Нескромный вопрос можно: почему лучше отправлять результат?
context.
У меня был план отправлять все прочитанные строки в буферизированный канал, а из него функция-чтение будет выполнять каждую строку параллельно.
P
Ну, например, построчно
Откуда узнать кол во строк?
Сергей
Откуда узнать кол во строк?
А зачем это нужно при потоковом чтении?
context.
А как делить, если чтобы разделить нужно знать что внутри, чтобы параллельно одно и тоже не читать
Функция в начале для подсчёта строк — это на меня не влияет, так как она выполняется в самом начале программы.
« Rev
@golang_jobsgo   830
Fwd »