благо не сложнее Go нынче, особенно со всякими folly, proxygen, и прости господи, boost

Спор ни о чем у вас. Языки для разных задач. Если у компании полно бабла то есть смысл оптимизировать до предела с плюсами и асм вставками

Если задачи простые, типо краулера для 1000 ресурсов то го справится

Даже nodejs+phantomjs

а для 1,000,000? 1,000,000,000?

Тоже, у меня вок паук на роде который мастабируется легко. Как кластера. И балансировщик задач

Нода)

Написал быстро. 1 месяц от силы

что-то мне подсказывает, что миллиард страниц он может и не осилить =)

От инфраструктуры зависит

Основные задержки не в коде

Наш выбор процедурные языки

А сеть и тайм ауты

Бугагага, угу, разве что GC у него чутка помедленее чем в Си++, Generic'и немного по хуже, ну и библиотек нормальных капельку по меньше, а так заебись прям язык =)

Зато количество говноделов, которые могут освоит Go позволит быстро написать много библиотек.

Зато количество говноделов, которые могут освоит Go позволит быстро написать много библиотек.

я поэтому спецально уточнил что "нормальных" библиотех, а не говнокода

От инфраструктуры зависит

вот это уже лучше подход, однако остовной боттлнек это не сеть, а база и, в зависимости от архитектуры, возможно скедулер.

Почитай про фантом, там вебкит и реализация на полюсах. В связке с нодой мощный инструмент. Сомневаюсь что ты бы сам написал более оптимизированный инструмент, который js интерпретирует да ещё легко масшабируется и все за 1 месяц

А пикси мы на полюсах делаем

Прокси

Есои каждый гофер напишет по одной нормальной библиотеке и склонит к гоферству хотя бы одного коллегу. Язык очень быстро поработит мир!

Го вот у знакомых рекламщиков везде, под их задачи зашёл идеально

Почитай про фантом, там вебкит и реализация на полюсах. В связке с нодой мощный инструмент. Сомневаюсь что ты бы сам написал более оптимизированный инструмент, который js интерпретирует да ещё легко масшабируется и все за 1 месяц

Посыпаю голову пеплом, где же мне бедному админу, не умеющему писать на JS, найти такую библиотеку для Си++ которая бы могла интерпретировать javascript? (v8) ... блин, это же нерешаемая задача (v8), чтобы оно прям как nodejs умело (v8v8v8v8)..... И ещё мне бы другую библиотеку, чтобы магический класс мне дала чтобы урлы фетчить (chromium / net/url_request / URLRequest).... блин, реально, nodejs походу сильно лучше для этой задачи, ведь в Си++ для того чтобы её решить нужно слишком много кода написать =)

Видимо ты плохо понимаешь в тебе. На полюсах даже строку распарсить проблема. Тем более фантом заточен именно под js. Выборки на js и бекенд на js. Сочетание идеальное

С плюсами был бы зоопарк с выборками js и бекендом c++ который вообще никаких плюсов не дает

Теме?

Люди, которрые хорошо могут в C++ испытывают физические страдания, когда задача решается слишком простым способом. Как в Go, Python, Js

Я и на полюсах пишу когда надо. Сразу чую когда на полюсах можно сделать говнецо потратив тонну воемени

А тут уже си при при головного мозга

Вешать на плюсы кучу задач- не компетенция. Плюсы везде используют для оптимайзинга и редко(низкий уровень) сеть, базы и драйвера

Да, в теме я если чесно профан. Эх, если бы я только работал в компании которая писала web-crawler... Да, тут не поспоришь, краулеры надо писать на phantomjs, ибо если человек смог написать пиздатый кравлер за месяц -- это показатель!

продолжаю ржать над чатом. rbtz, спасибо, доставляет.

Ну тоже знаю одну компанию которая писала краулер на плюсах))) в итоге полные аналы с сопровождением из за говнокода киллометрового. Писали бы на си или асме-было бы лучше))

Да, распределенка и решение задачи быстро это показатель профессионализма

Люди, которрые хорошо могут в C++ испытывают физические страдания, когда задача решается слишком простым способом. Как в Go, Python, Js

А те, которые и там и там?

это еще норм, некоторые на решетке краулеры пишут

А вот растягивания задач из за мнимой скорости на годы это фичеризм

Да, распределенка и решение задачи быстро это показатель профессионализма

так задача не решена. нужно обкачать 10 миллиардов сайтов. за часы. сложить в базу. проиндексировать.

продолжаю ржать над чатом. rbtz, спасибо, доставляет.

я тролю на самом деле -- пацан молодец, для его задачи, возможно, nodejs какраз заебись, просто хуй потом это заскейлишь потом (я не про скорость, я про коддовую базу в миллионы строк на нетепизированном языке, 99% которого -- сторонние библиотеки). Впрочем, я слышал про одну большую российскую контору которая всё ещё местами mod_perl использует =')

я тролю на самом деле -- пацан молодец, для его задачи, возможно, nodejs какраз заебись, просто хуй потом это заскейлишь потом (я не про скорость, я про коддовую базу в миллионы строк на нетепизированном языке, 99% которого -- сторонние библиотеки). Впрочем, я слышал про одну большую российскую контору которая всё ещё местами mod_perl использует =')

я-то знаю что ты троллишь.

так задача не решена. нужно обкачать 10 миллиардов сайтов. за часы. сложить в базу. проиндексировать.

11 же! Тестовое задание на собеседование в гугол.

писать проект уровня веб поиска с таким важным компонентом как краулер на js - несколько не ок.

11 же! Тестовое задание на собеседование в гугол.

тут речь шла про веб краулер, а не про курл по файлику.

(к слове о миллионах строк кода на нетипизированном языке- -- я ж чо в чат пришёл -- жду пока блядский mypy закончится)

На сях для многозадачности что-то надо писать, гоу уже это из коробки и сделан для этого.

я тролю на самом деле -- пацан молодец, для его задачи, возможно, nodejs какраз заебись, просто хуй потом это заскейлишь потом (я не про скорость, я про коддовую базу в миллионы строк на нетепизированном языке, 99% которого -- сторонние библиотеки). Впрочем, я слышал про одну большую российскую контору которая всё ещё местами mod_perl использует =')

ну говорят в фейсбук до сих пор куча обычного php

Я так и не понял почему не ок. Более того, код на 1 млн строк с++ держать в уме не легче. Есть даже жестокая правда- в js строгаия типизация, но не статическая. Но не суть,ошибки возникают чаще всего из за неправильного поведения кода, не верных маршрутов

(к слове о миллионах строк кода на нетипизированном языке- -- я ж чо в чат пришёл -- жду пока блядский mypy закончится)

Вчера Го обсуждали, двух питонистов на меха порвали.

Пауки разные могут быть, текст вытащить или сделать копию сайта или скриншот? Инструменты будут разными

И при должной инфраструктуре на ноде так же можно обрабатывать тысячи ресурсов в сутки, хоть миллионы- это не проблема

И строк будет раз в 1000 меньше чем на с++

Потому что я пишу на с++, и знаю что это такое прекрасно

ну говорят в фейсбук до сих пор куча обычного php

я у них был на неделе -- они там всё что важно на http://hacklang.org/ переписывают щас

Вчера Го обсуждали, двух питонистов на меха порвали.

этот тут? Просто в другом месте на фарш пустили

Текст - гоу, скриншот нода и фантом или даже слимер(меньше памяти надо)

я у них был на неделе -- они там всё что важно на http://hacklang.org/ переписывают щас

но недопереписали же

Фантом не супер хорошо, намучался я с ним.

Фантом багнут

Но они обещали прилететь и его дописать

В этом месте нужно сказать врлшебные слова Rust, Clojure и прости госпади этот, Nim.

У нас один энтузиаст впаривал раст, в итоге дали ему прокси сервер на расте писать

Потратил 2 месяца,а потом,мол, пацаны, простите

кстати, да, почему функциональщину для краулеров не используют?

Давайте лучше на с++ перепишу

?

Я за си, но зачем себе самому делать головную боль, если выбрать инструмент проще, который потянет? Если задача оптимизация, тогда можно выпиливать на микросервисы и каждый переписывать

Видео конфу про вайбер. Чувак показывал оптимизации их, с++ + асм вставки. Так говорит что теперь этого разработчика невозможно уволить

Сейчас век микросервисов, паук может быть на гоу, скриншоты делать нода с фонтомом, а в базу загонять си )))

Давайте лучше на с++ перепишу

и такой хуяк-хуяк, #include <proxygen/...> и за десять минут готово

потому что ни кто больше не шарит в его коде))

Я знаю людей с такой же историей

крестовиков сейчас все меньше

И уровень зарплат в среднем у них печальный

Мне надо было делать 235млт 64бит операций с числами за запрос. Протестил я все)

А компетенции требуют не хилые

Гоу победил

Зато они написали самый быстрый в мире NAT. C++ с асм вставками оптимизированными под конкретные камни

235 млн!

Дарт умер, си не дал многопоточности(больше гемора), нода не тянула

У си была скорость на 15% выше гоу

Ищут с++ рзраба под сеть который rfc перечитал, знает все тонкости http *.* и за 100 штук. Приходит мальчик пхпшник, и за то что он формочки кидает в базу получает 130

знакомо думаю для ++ разработчиков

Но у гоу из коробки 1000 запросов в сек) и кода 100 строк!

Я могу c++ умеющего в асм порекомендовать на нормальную зп

Тот же код но с c++ по скорости бы равен гоу

Тот же код но с c++ по скорости бы равен гоу

Дай угадайю. Так и не успели написать?

Но наверняка можно было оптимизировать библиотеками

Си всегда быстрее будет

У си была скорость на 15% выше гоу

А p99 задержки? а потребление памяти? =))))

Там было хитро, данные всех 235 млн были в памяти. Гоу ел 2 гига

Си - в трираза меньше)

Тут минус

Но блин код в 100 строк при готовом вебсевере и летал!

При том что я сделал его с нуля на гоу за 1 день и до этого гоу не знал)

Не оправдывайся. Согрешил, бывает!

В наше время супер- когда успел к дедлайну, да еще и работает без переделок- очень не плохо)

Мы тестировали го и с++ с другом. Го разорвал с++ только в скорости инициализации потоков. Т.к даже нативные thread c++ построены поверх pthread. Происходит сискол, а это накладные расходы. У го оверхеда меньше на выходе из за отображения M:N. Потоки пользовательского уровня, поэтому дешевле инициализация. Но вот когда core process в го число так 10, то проивзодительность просаживается. Так же в GO хуже IO т.к в системной очереди 1 процесс по умолчанию на всепотоки

А в с++ все потоки и процессы в очереди системного планировщика

Что касается скорости в целом, то плюсы рвут го значительно

Даже без O2 всяких