А подскажите товарищи. Каким технологиям (языкам , инструментам ) разработки лучше отдать предпочтение при разработке высоконагруженной площадки агреггатора типа marketplace. Аггрегация прайс листов магазинов (от 100000 позиций один прайс лист), представление всего этого дела , а-ля (грубо) ya.market. Инструменты торговли для продовцов и конечных покупателей и вот это вот все. Хочется не сделать фатальную ошибку и понять на чем лучше делать бэкэнд, на чем фронтэнд (исполнители наемные и предлагают разные технологии), чтобы потом затраты на эксплуатацию были поменьше, чтобы технология была не мертвеннорожденная и были специалисты на рынке по вменяемой стоимости, которые смогут это дело сопровождать и допиливать.

Артём Валерич, вам нужно выбирать не языки программирования и не конкретные инструменты для реализации вашего проекта, вам нужно выбрать подход к реализации проекта, другими словами, вам нужно создавать проект таким способом что бы вы не были зависимы от конкретного языка программирования или используемой технологии, эти запчасти обязаны иметь такое свойство как "легко заменить в короткие сроки". Вы можете начинать проект на php, через пол года у вас уже не только php но и python и lua и go и еще какой нибудь зверь которого нужно кормить только южноафриканскими бананами собранными исключительно аборигенами племени "зулу", и в такой ситуации если у вас в зоопарке есть такой зверь которого нельзя заменить то вас ждет та же учесть что и динозавров ;) поэтому будьте открыты всем языкам программирования и всем инструментам для реализации любых идей, даже тех идей что кажутся "фантастическими", если у вас есть механизм "быстрой и горячей замены" - перед вами не стоит вопрос "что лучше?", Перед вами стоит вопрос "где взять еще и определить что лучше?". На нашем проекте мы руководствуемся именно этим подходом и у нас всегда есть на что можно заменить любую запчасть в самые короткие сроки, это позволило завершить основные работы не за три, а за два года, считаю это одним из наглядных показателей что данный подход имеет право на жизнь и даже может дать фору любому конкуренту

Очень интересно , Максим. Как бы сформулировать этот подход более подробно ? Можете озвучить основные принципы ? Это должна быть какая то модульная (сервисная) архитектура , чтобы можно было прикручивать модули с новым функционалом на любом языке ? Мы сейчас на стадии разработки ТЗ и хотелось бы заложить туда основные идеи этого подхода , потомучто потом исполнители за шаг влево /вправо от прописанного в ТЗ будут просить денег , или еще чего хуже придется все переделывать или поработать на корзину , как вы правильно заметили.

Очень интересно , Максим. Как бы сформулировать этот подход более подробно ? Можете озвучить основные принципы ? Это должна быть какая то модульная (сервисная) архитектура , чтобы можно было прикручивать модули с новым функционалом на любом языке ? Мы сейчас на стадии разработки ТЗ и хотелось бы заложить туда основные идеи этого подхода , потомучто потом исполнители за шаг влево /вправо от прописанного в ТЗ будут просить денег , или еще чего хуже придется все переделывать или поработать на корзину , как вы правильно заметили.

последний раз с таким столкнулся когда работал в компании по заказной разработке и нам передали в работу код крипто биржи от питерских аутсорсеров - вполне квалифицированных, но после сжигания 50 тыщ долларов на выходе получился не поддерживаемый небольшой командой франкенштейн в который нужно ввалить еще 150 чтобы запустить в продакшен и доверить ему свои и чужие деньги

50 000 $ и криптобиржа - очень не стоящие рядом вещи

Там не с нуля разработка велась а на базе американского движка - который по факту оказался тем еще дерьмом :)

Те. Более с 0. 50 000это мало.

И дело даже не в 50К. Я знаю людей которые могли бы сделать биржу в эти деньги. Но они не аутсорсят

Когда в одном абзаце одновременно появляются слова "исполнители", "ТЗ", "архитектура" - сразу думаю что проект будет провальным :) Это как красные флажки что там где то гремучая смесь факторов: заказчик слабо ориентируется в ИТ, не понимает полную стоимость проекта и риски, не может адекватно контролировать его ход, сроки как обычно бывает затянуты, сложность выходит из под контроля, деньги заканчиваются, исполнители спрыгивают и начинается поиск новых на доработку "на 80% готово, осталось пару скриптов прикрутить и полетит" что означает что в этой лапше кода осталось самая сложная 20% часть доведения до стабильного продакшен-состояния, которая и займет следующие 80% времени по закону Парето

Недавно на Хабре был пост про парсинг промышленных масштабов - попробуйте пообщаться с этим чуваком, может они вам свои дата-фиды или технологии могут дать в аренду либо просто наймите его в консультанты https://habr.com/ru/post/446488/

Ozon сегодня «С точки зрения технологий тут был каменный век. Сейчас наступил бронзовый, но 21-й наступит скоро», — уверяет новый технический директор компании Анатолий Орлов. По его словам, технологически Ozon был устроен как банк: вертикальное масштабирование, много кода написано внутри хранимых процедур MSSQL. Но ситуация быстро меняется. Сейчас сайт Ozon.ru из монолита переделывается в систему, состоящую из микросервисов. Чтобы каждый микросервис можно было поправить и развернуть независимо от другого. Для этого разработчики используют фреймворк Kubernetes и Docker — ПО, которое автоматически разворачивает микросервисы в частном облаке. В качестве языков программирования выбраны Go и .net Core, которая обладает способностью работать на Linux. В качестве протокола обмена данных выбран протокол gRPC, с помощью которого микросервисы на разных языках могут прозрачно вызывать друг друга.

а спец который нормально вкурит грпц и кубернетес стоит фирме условые 400000 рублей в месяц до налогов и полдня пьет кофе и ходит на груминги

а спец который нормально вкурит грпц и кубернетес стоит фирме условые 400000 рублей в месяц до налогов и полдня пьет кофе и ходит на груминги

Жуть :)

https://vc.ru/ozon/45542-go

Подскажите, как ставить пакеты для lua 5.3 с помощью luarocks на Debian 9? lua-5.3 есть, luarocks-5.3 отсутствует, а обычный luarocks ставит для 5.1 (если я верно понял). Как установить luarocks-5.3?

Пересобрал luarocks из сорцов, но теперь другая проблема: перепробовал уже всё, но ни в какую не получается установить 32-битные пакеты на 64-битную систему.

с докером практически не работал, но попробую посмотреть

будто никто не юзает 32-битные пакеты под х64

Ну я изнутри другого екоммерса из топ 10 могу сказать что это все так и не так. Несмотря на докеры и кубернетесы ключевое ядро как крутилось на ядре написанном лет 10+ лет назад так и крутится

а почему 32 именно?

Это нормально. Любой сервис который реально хотят запустить пишут "на коленке". И потом, когда видно что есть потенциал - его переделываю, дописываю и улучшают. Ни од н инвестор не хочет иметь сервис ради сервиса. Он как можно быстрее должен приносить деньги или хотя бы показать свою состоятельность/несостоятельность на рынке

Ну Озон убыточен как и многие другие топовые екоммерсы

Я не про озон конкретно. Авито тоже сначала был комбайном. Сейчас у них и деньги, и инвесторы и все хорошо

у Авито всегда были огромные деньги как я знаю :)

Так же они инвесторов привлекали и улучшали сервис. Они бы сидели ровно если бы у них не шло. Авито изначально была практически бесплатной площадкой. Они хотели зарабатывать на ускорителя продаж. Но это не пошло так как планировалось. Сейчас у них почти нет бесплатных направлений. И люди платят. Маркетинг хороший. Площадка ропулрная

вики говорит что основатель Авито в 2006 продал свой прошлый проект за 48 лямов зелени а в 2007 запустил авито

Тут смысл даже не в том сколько баблп было а в ом что они так же его на коленке напилили. Чтобы быстрее-быстрее

Я просто это все к тому, что архитектурой на старте можно пренебречь. Все равно переписывать придётся.

Я просто по своему опыту в скольких проектах участвовал - могу сказать что 90% проектов которые были написаны на коленке и с минимальным функционалом - взлетели. А те где строили архитектуру и годами пилили суперкиллермазафакавсехебеев - даже до бетты не дожили. Ибо дорого и долго пилить сразу правильно и много)

Если есть люди, которые могут написать на коленке и довести проект до запуска :) Тогда можно в три раза дешевле и три раза быстрее запустить. Но таких программистов непросто найти

Вот теперь мне кажется что те спамеры были правы, и тут действительно "бизнес-чат" ))

Ну вот это не особо жизнеспособная модель разработки в реальных условиях. Очень желательно видеть работающий результат как можно быстрее. Прикладывая голову, разумеется, и собственный опыт разработки чего-то аналогичного. Ну, то есть балансируем, не скатываясь в "вечную разработку" и в "супер-кошмарный код".

Очень интересно , Максим. Как бы сформулировать этот подход более подробно ? Можете озвучить основные принципы ? Это должна быть какая то модульная (сервисная) архитектура , чтобы можно было прикручивать модули с новым функционалом на любом языке ? Мы сейчас на стадии разработки ТЗ и хотелось бы заложить туда основные идеи этого подхода , потомучто потом исполнители за шаг влево /вправо от прописанного в ТЗ будут просить денег , или еще чего хуже придется все переделывать или поработать на корзину , как вы правильно заметили.

Ага. Ну я все равно очень рад , что получил тут обратную связь. Это дорогого стоит

Артём Валерич, все просто, те кто говорят что все сложно - просто ни разу не делали и не решали подобных задач. На любом языке можно написать, главное понимать принцип. Например, вам нужно 1000 прайсов спарсить, пишется один парсер на любом языке, ваще на любом, главное чтоб парсил как нада, для того что бы спарсить 1000 прайсов вам нужно запустить 1000 экземпляров парсера с разными параметрами. Те кто парсят в один поток пусть дальше кусают логти

Если бы вы (присутствующие здесь люди с опытом) отвечали за архитектуру будущего решения - к каким технологиям вы бы склонялись ?

Ему же надо высоконагруженное он говорил

Если ты не на китайский рынок делаешь - то не будет на старте хайлоад. А если он появится - тогда и начнёшь решать проблему.

Ozon сегодня «С точки зрения технологий тут был каменный век. Сейчас наступил бронзовый, но 21-й наступит скоро», — уверяет новый технический директор компании Анатолий Орлов. По его словам, технологически Ozon был устроен как банк: вертикальное масштабирование, много кода написано внутри хранимых процедур MSSQL. Но ситуация быстро меняется. Сейчас сайт Ozon.ru из монолита переделывается в систему, состоящую из микросервисов. Чтобы каждый микросервис можно было поправить и развернуть независимо от другого. Для этого разработчики используют фреймворк Kubernetes и Docker — ПО, которое автоматически разворачивает микросервисы в частном облаке. В качестве языков программирования выбраны Go и .net Core, которая обладает способностью работать на Linux. В качестве протокола обмена данных выбран протокол gRPC, с помощью которого микросервисы на разных языках могут прозрачно вызывать друг друга.

И не тырпрайз (кровавый)

Он тоже не даёт хайлоад сразу. Чаще - только угрожает |обещает