Сергей
Читаем байты, пока не наступит \n
Отправляем результат чтения в канал
Обрабатываем воркером
Что нибудь делаем с результатом
Alex
Нескромный вопрос можно: почему лучше отправлять результат?
Чтобы легко результаты собрать в мапу или слайс без всяких мьютексов. А для параллельного расчёта хватит передачи в функцию-обработчик (с go).
context.
Читаем байты, пока не наступит \n
Отправляем результат чтения в канал
Обрабатываем воркером
Что нибудь делаем с результатом
Хорошо, без разбиения файла на части для параллельного выполнения.
P
Немного не понимаю, автор спросил про чтение файла параллельно, отвечают про обработку прочитанных данных параллельно
context.
Чтобы легко результаты собрать в мапу или слайс без всяких мьютексов. А для параллельного расчёта хватит передачи в функцию-обработчик (с go).
Я много слышал про чтение в строку. Разве это не будет самоубийством, если у меня в слайсе 100 000 000 строк?
context.
Немного не понимаю, автор спросил про чтение файла параллельно, отвечают про обработку прочитанных данных параллельно
Да, параллельно, но разве не стоит также разбить файл на части и снова добавить параллелизм?
kdp
это можно проверить, раздавая строки разным обработчикам. если будут наблюдатся задержки в подборе обработчика, значит весь пул обработчиков занят, значит они свою работу делают медленнее, чем читаются строки. значит в параллельном чтении вроде бы и нет нужды.
Alex
Я много слышал про чтение в строку. Разве это не будет самоубийством, если у меня в слайсе 100 000 000 строк?
Вам необязательно читать всё в один слайс (сделайте 1000). Зная все условия можно и тактику поменять - читать не просто в слайс, а кольцевой буфер например.
P
У вас во всех сценариях будет сначала чтение файла целиком одним потоком. Уже на этапе подсчета строк вы весь файл ковыряете
Eugene
господа, вы ща пытаетесь работать вместо какого-то лентяя. зачем вам это ?
Eugene
чел даже не удосужился пару гипотез проверить.
kdp
обед же
Егор
Могу ли я ускорить стандартную обработку текстового файла, если буду параллельно читать его, разбив на части (например, по числу ядер), и отправлять строки в канал?
Обработка строк будет нагружать процессор.
а тебе точно нужно добится такой производительности на 1 поде?
мне кажется сильно легче будет разбить задачу на 2 независимых этапа
1) чтение данных и сохранение их в какой-то сторадж (можно взять любую БД)
2) получение данных из стораджа и обработка их (сетевые запросы и тд)
Дальше ты можешь уже оптимизировать любой из этапов, например можно читать файл по кускам и так-же по кускам писать его в некий сторадж
для второго этапа, ты можешь просто поднять Х физических серверов и таким образом поднять производительность этапа с обработкой информации в Х раз (условно)
как правило железо стоит не очень дорого и это самый простой вариант масштабирования, т.к. ты сможешь до определенного предела, довольно легко наращивать производительность (например если тебе нужно будет быстро научится обрабатывать в секунду не 10 млн записей, а 100млн)
но все очень сильно зависит от контекста задачи
Null
Golang Developer
#удаленкарф #junior #100k
Компания: NDA
ЗП: от 100 000 до 140 000₽
🔹Требования:
— Понимание работы с реляционными базами данных (PostgreSQL).
— Умение писать SQL-запросы, включая простые транзакции, JOIN и оптимизацию запросов.
— Опыт работы с Redis (базовые знания).
— Уверенные знания синтаксиса языка Go.
— Опыт работы с модулями (go mod).
— Понимание стандартной библиотеки Go.
— Базовое понимание работы REST API.
— Знание основных сетевых протоколов и их уровней (HTTP, TCP/IP).
— Знание принципов конкурентного программирования в Go (goroutines, channels).
— Базовое представление о Docker и контейнеризации
— Опыт работы с фреймворками GIN или Echo.
— Понимание основных принципов проектирования (SOLID, ООП).
— Знание базовых и расширенных паттернов проектирования.
— Опыт работы с gRPC.
— Понимание базовых алгоритмов и их применения.
🔹Дополнительные требования:
— Наличие pet-проектов на GitHub или других платформах, демонстрирующих навыки работы с Go.
— Желание учиться и развиваться в профессиональной среде.
— Умение работать в команде.
— Ответственность и организованность.
— Готовность к решению сложных задач
🔹Условия:
— График 5/2, возможность гибкого утра.
— Возможность работы в удаленном формате.
— Долгосрочное сотрудничество от 18 месяцев.
— Трудоустройство в аккредитованную IT-компанию.
— Профессиональное дообучение по авторской программе (практическая помощь в улучшении навыков).
— Помощь технического специалиста для решения возникших вопросов.
— Возможность постоянного развития.
Контакты: @alena_3top
Aleksei
Опять школа накрутки?)
Edward
#go #golang #php #fullstack #developer #разрабочик #junior #middle #вакансия
🔥Вакансия: Junior PHP/Golang Develop (fullstack-разработчик)
🏚Компания: Cyberzion
💻Формат работы: удалённо
🔐Занятость: полная, частичная
📌Зарплатная вилка 50-200 тыс.руб.
🌎Язык: русский
⚠️Мы аутсорсинговая компания, ищем Go - разработчиков уровня Junior на международный проект. Проект направлен на разработку в сфере телекоммуникаций. Клиентами являются предприятиям любого размера и мы создаём необходимые справедливые решения для связи друг с другом.
Мы постоянно отслеживаем идентификаторы вызывающих абонентов у всех основных операторов связи, приложений для блокировки вызовов и API-агрегаторов. Наш продукт является одним из самых крупных проектов в этой отрасли и ни один другой сервис мониторинга не предлагает более широкого набора источников данных.
📌Используемые технологии: Golang, PHP, MongoDB, MySQL, Postgres, Tarantool, RabbitMQ, Redis, Docker, Grafana, Prometheus, Amazon (AWS,S3,EC2 и тд).
📌 Чем предстоит заниматься:
- Работа с фреймворк Laravel;
- Разработка на стороне PHP и правка шаблонов HTML;
- Разработка микросервисов на Golang;
- Написание тестов для ключевых узлов;
- Работа с серверами Linux и MacOS;
📌 Требования:
- Опыт коммерческой разработки на GoLang от 1 года;
- Опыт коммерческой разработки на PHP от 1 года;
- Опыт работы на фреймворк Laravel;
- Опыт работы с SQL;
- Знание Git;
Контакты: @aapollonoff (https://t.me/aapollonoff)
Алексей
Антон
📌 Чем предстоит заниматься:
- Работа с фреймворк Laravel;
- Разработка на стороне PHP и правка шаблонов HTML;
- Разработка микросервисов на Golang;
- Написание тестов для ключевых узлов;
- Работа с серверами Linux и MacOS;
Mark
context.
Читаем байты, пока не наступит \n
Отправляем результат чтения в канал
Обрабатываем воркером
Что нибудь делаем с результатом
Стоит ли читать файл параллельно, одновременно выполняя ресурсоёмкие задачи для каждой строки? Или сначала прочитать весь файл и отправить строки в канал, а затем асинхронно обрабатывать их из канала после полной загрузки? Кстати, могут использоваться .txt-файлы размером более 10 ГБ.
Сергей
Алексей
Стоит ли читать файл параллельно, одновременно выполняя ресурсоёмкие задачи для каждой строки? Или сначала прочитать весь файл и отправить строки в канал, а затем асинхронно обрабатывать их из канала после полной загрузки? Кстати, могут использоваться .txt-файлы размером более 10 ГБ.
А вы полностью файлы считываете в оперативу или потоком?
Максим
Могу ли я ускорить стандартную обработку текстового файла, если буду параллельно читать его, разбив на части (например, по числу ядер), и отправлять строки в канал?
Обработка строк будет нагружать процессор.
Вчера же обсуждали
https://t.me/golang_jobsgo/112134
VampireTypeBeat
Boris
VampireTypeBeat
нет, кликхаус лучше
VampireTypeBeat
виктория ебальник вальни
Null
Наконец то нормальный разговор пошел
VampireTypeBeat
ник ебальник вальни
Aleksei
что-то на гошном?)))
VampireTypeBeat
да
Андрей
Привет! Ищу Go-разработчика уровня мидл+ для проведения тех. интервью с кандидатами в стартап. Формат — 40–60 минут, лайвкодинг или решение задачи, цель — отсеять "чатгпт-инженеров" и дать фидбэк по техскилам.
Оплата — 1500₽ за интервью, всё официально/по договорённости.
Кандидаты уже предварительно отсмотрены, всё организую, тебе нужно только подключиться на созвон и пообщаться.
Если интересно — напиши, расскажу подробнее 🙌
VampireTypeBeat
скок зп
VampireTypeBeat
так 1500 за интервью а зп блять сколько нахуй
Алексей
Хахахахахаххаха
VampireTypeBeat
обоже блять леймы
Руслан
😄
VampireTypeBeat
кто будет за 1500 в час работать
VampireTypeBeat
это сколько нахуй полтора доллара чи скок
Максим
на самом деле к интервью (по-хорошему) надо готовиться и 1 час интервью выходит больше 1 часа, но это опустим 🙂
В
могу отсеять чатгпт инженеров чатгпт вопросами
В
тогда мне готовиться не надо будет
В
лёгкие деньги
VampireTypeBeat
60 минут нахуй 1.5к
VampireTypeBeat
больше.
В
60 минут нахуй 1.5к
60 минут и то собесы не каждый час у тебя будут, то есть ты за день можешь ничего и не заработать
VampireTypeBeat
а если будут то я буду 60 минут блять сидеть с ебланами за 1.5к
VampireTypeBeat
я тебя понял
Руслан
так ты просто text to speech бота ставишь и уходишь сериал смотреть
следующая вакансия будет отсеять таких челов, проводящих собесы, за 1700 в час
Максим
а если будут то я буду 60 минут блять сидеть с ебланами за 1.5к
так не сиди, вакансия не для тебя публиковалась, ты вообще и даром может быть не подошел бы тому, кто выложил предложение
В
мидлам платят от 150К, это от 900 рубелй/час примерно
у тебя зарплата не 1500 в час, а 1500 за интервью, а интервью может быть одно-два-три в день, а может и ноль
В
следующая вакансия будет отсеять таких челов, проводящих собесы, за 1700 в час
серьёзное повышение ставки
VampireTypeBeat
мидлам платят от 150К, это от 900 рубелй/час примерно
это какой то леймовод 150к в месяц платят
В
мидлам го сейчас 150 не платят, это ниже адекватного рынка
VampireTypeBeat
а скок платят
В
270 нижняя вилка
VampireTypeBeat
ну вот
VampireTypeBeat
пошли бы дельным чем то занялись
Максим
у тебя зарплата не 1500 в час, а 1500 за интервью, а интервью может быть одно-два-три в день, а может и ноль
вы мое сообщение перепечатали?
https://t.me/golang_jobsgo/112287
VampireTypeBeat
я мидл и я ничего легче кубинских сигар и бутылки ягера не держал в руках
Максим
у тебя зарплата не 1500 в час, а 1500 за интервью, а интервью может быть одно-два-три в день, а может и ноль
да, и? как это влияет на предложение?
Максим
а еще на мидла по 500-600 откликов
VampireTypeBeat
на самом деле к интервью (по-хорошему) надо готовиться и 1 час интервью выходит больше 1 часа, но это опустим 🙂
ДАК А НАХУЙ ОНО НАДО ЗА 1500
Максим
ДАК А НАХУЙ ОНО НАДО ЗА 1500
так а нахуя надо тебе тут срать? срешь же, вот и кому-то также надо продработать собесами или себя прокачать в эом направлении
VampireTypeBeat
я так расслабляюсь
VampireTypeBeat
это ебать ты че в почта россии работаешь что тебе как мидлу 150 платят
В
да, и? как это влияет на предложение?
это нестабильный заработок копеек, который даже в виде парт-тайма должен втиснуться в плотный график среднестатистического мидла, и на который кучу нервов убивается