@rudepython

Страница 354 из 1719
Alexey
25.04.2017
13:19:03
Один миллион человек
Т.е. Новосибирск или Казань — это хайлоад.

А, уже юзают сайт и шлют запросы. А если что-то одно?

Google
Anatoly
25.04.2017
13:20:25
Один миллион человек
например, это сайт заполнения деклараций о налогах. Т.е. примерно 1 млн запросов в год на запись. Т.е. примерно 3000 запросов в день, т.е. примерно 1 запрос в минуту.

Anatoly
25.04.2017
13:21:55
1 миллион человек одновременно
ну, допустим, у тебя есть охулиард денег и ты поставил 1 млн серверов. каждому человеку - один сервер.

Stanislav
25.04.2017
13:22:59
ну, допустим, у тебя есть охулиард денег и ты поставил 1 млн серверов. каждому человеку - один сервер.
Так я и спрашиваю как вложившись в адекватные рамки проектировать такое

Сервера будет давать галера

Я же просто пишу код

Alexey
25.04.2017
13:24:49
Вы так любите какие-то мутные формулировки — то хайлоад это миллион человек на сайте которые шлют запросы (как будто можно не слать запросы). То адекватные рамки (критерий адекватности каков?). Крч, дефинициев не будет, как я понимаю.

Roman
25.04.2017
13:24:52
ну так давай зададимся вопросом - как часто данные по PK достаются? если проект такой, что там 100% запросов по PK - ясенхуй наверно будет лучше взять nosql.
ок, уже неплохо. но потом оказывается, что большую часть времени приложение ждет базу, что приводит к отказу от более-менее сложных запросов.

Zart
25.04.2017
13:24:58
вникать в сетевые архитектуры разбираться в том как бд и носкл работают под капотом

дофига всякого

Google
Alexey
25.04.2017
13:26:19
В общем резюме: совет рудпитона постановил, хайлоад — это до хуя адекватно.

Anatoly
25.04.2017
13:26:31
ок, уже неплохо. но потом оказывается, что большую часть времени приложение ждет базу, что приводит к отказу от более-менее сложных запросов.
в теории да, на практике это приводит к тому, что давайте накостылим query engine поверх redis на коленке и получим те же 10к qps.

Я же просто пишу код
перестать "просто писать код". Кто просто пишет код, чекинит и дальше его не ебёт, не сможет делать хороший код.

Alexey
25.04.2017
13:27:28
Ну а как, если не просто — сложно писать код?

Anatoly
25.04.2017
13:27:34
ну и да, плюсую совет Zart

Cykooz
25.04.2017
13:28:03
Скорее всего первый год не будет ни какого хайлоада, а потом деньги у бизнеса кончатся ?

Roman
25.04.2017
13:28:33
в теории да, на практике это приводит к тому, что давайте накостылим query engine поверх redis на коленке и получим те же 10к qps.
ну так это вопрос криворукости конкретных людей. хайлоад - это про чтение/запись памяти

Cykooz
25.04.2017
13:28:37
Так что можно сильно про это не беспокоится

Roman
25.04.2017
13:28:45
ну и батчинг везде где можно

Zart
25.04.2017
13:28:51
если бизнес выстрелит - то можно купить хуйлоада у амазона

Roman
25.04.2017
13:29:26
Cykooz
25.04.2017
13:30:16
Наслушаютя про хайлоад в гугле, фейсбуке и т.д. и парят себе потом мозг

Zart
25.04.2017
13:31:17
а что именно у него купить? кучу vm?
они не только виртуалочками торгуют

Anatoly
25.04.2017
13:31:59
бтв, если что, 100к селектов по PK у меня не получалось, да. Но без особых оптимизаций получалось 35к селектов по PK на i7. Sql Server 2014.

Zart
25.04.2017
13:32:04
https://aws.amazon.com/dynamodb/dax/

Anatoly
25.04.2017
13:32:23
но у меня также и не получалось 100к на nosql. получалось около 45-50к на редисе.

поэтому я и прошу показать мне, как добиться 100к, поскольку я всегда открыт к новому и полезному.

так-то в тарантул чатике приносили микробенчмарки и по 1кк qps. но там запрос был вида "прочитать глобальную переменную в памяти тарантула"

Google
Anatoly
25.04.2017
13:48:20
Roman
25.04.2017
13:49:17
====== SET ====== 100000 requests completed in 0.07 seconds 50 parallel clients 3 bytes payload keep alive: 1 18.56% <= 1 milliseconds 19.58% <= 2 milliseconds 100.00% <= 2 milliseconds 1408450.62 requests per second

Anatoly
25.04.2017
13:50:14
да.
т.е. запрос "достань луашную глобальную переменную" и запрос "достань мне целиком тапл по pk из спейса" это одно и тоже?

Roman
25.04.2017
13:59:43
Anatoly
25.04.2017
14:00:42
ну, именно что +/-. на спейсах ещё авторизация как минимум. на глобальных переменных в луа нет ничего.

Eugine
25.04.2017
15:01:06
йопта, ушел, вернулся, тарантул

Alexey
25.04.2017
15:07:04
Тебе это должно немного льстить. :)

Eugine
25.04.2017
15:07:54
> т.е. запрос "достань луашную глобальную переменную" и запрос "достань мне целиком тапл по pk из спейса" это одно и тоже? < не уверен, насчёт тарантула, но кмк - да. + ещё затраты на сериализацию. что-то я не уверен

dmks
25.04.2017
15:12:36
Тарантулосрач!

Всмысле,тарантулодискуссия

Кстати, что то популярно стало писать свои бд. У яндекса - кликхаус,у мейла - тарантул

Alexey
25.04.2017
15:13:28
Удивительно. Невероятно. Как же так.

dmks
25.04.2017
15:14:08
¯\_(ツ)_/¯

Eugine
25.04.2017
15:26:48
Кстати, что то популярно стало писать свои бд. У яндекса - кликхаус,у мейла - тарантул
"популярно стало изобретать свои инструменты. у компании один - дрель, а у компании два - молоток"

вообще хайп создания СУБД немного прошел, еще года три назад на неделе было по паре стартапов в области хранения/анализа данных

сейчас все-таки поутихло, пошла стадия выживания.

Google
Anatoly
25.04.2017
15:28:42
я даже знаю субд, написанные на шарпе.

и даже знаю случаи внедрения в прод. нет, не у нас :D

Иван
25.04.2017
15:38:18
Добрый день! В небольшую, но перспективную организацию требуются специалисты по python. Желательно с знанием Django. Основная работа: написание python классов для JSON HTTP API, REST API. Обязанности: Разработка, тестирование и поддержка REST API приложения Взаимодействие с разработчиками базы данных и пользовательского интерфейса Оптимизация серверного приложения для эффективной обработки больших объёмов данных Написание документации Используемые инструменты: Python 2.7, psycopg2, gevent, unittest/pyresttest Nginx, uWSGI PostgreSQL, Redis HTML5, CSS3, JavaScript, jQuery Linux Необходимо: Желание заниматься реализацией бизнес-логики сложных программных систем Наличие опыта разработки с использованием языка программирования Python; Знание английского языка (для чтения технической документации и формирования понятного кода) Опыт работы с реляционными базами данных (понимание реляционной модели данных, знание SQL, умение писать и понимать запросы) Наличие опыта реализации web-приложений (проектирование, кодирование, тестирование) Опыт работы в команде (принятие общих решений, соблюдение общих стандартов и требований, формулирование и постановка задач, своевременное информирование коллег о происходящем) Навык работы в системах на основе Linux Дополнительно учитывается, но не обязательно: Различные не поверхностные знания и опыт в сфере компьютерных технологий (например, знание и понимание HTTP; опыт работы с функциональными языками программирования) Опыт работы с системами непрерывной интеграции (тестирование, сборка и разворачивание проекта) Знание современных методов и средств проектирования, разработки и тестирования приложений Ссылки на проекты, профили в сетях типа Github/Bitbucket Свои отклики посылать job@flexbrain.ru
Сергей, дайти почту плиз, отправлю вам резюме.

Иван
25.04.2017
15:41:18
отправил без темы

резюме не от отржает факты

но для общего представления норм

Dmitry
25.04.2017
16:08:42
соглашусь, что слово "хайлоад" это хайп для школоты

чтоп им было чем понтоваться в резюме. остальные просто тащат тот трафик, что бог послал и не заморачиваются, достаточно ли у них хай

sql блеать у них обязателен не обязателен

Admin
ERROR: S client not available

Dmitry
25.04.2017
16:10:34
вот у меня был сервис, который отгружал терабайт в сутки, так на нем даже протокола http не было? это сука хайлоад или говнопроектик? :)) ведь в нем ни одного sql запроса и ни одного http ответа лол

Alexey
25.04.2017
16:10:54
Лям пользователей было?

Запросы они слали?

Dmitry
25.04.2017
16:11:25
Лям пользователей было?
ну город лям. активных учеток было... ну не помню уже точно, тысяч девяносто наверное

Alexey
25.04.2017
16:11:36
Всё, выше пацаны говорят, что недостаточно хай.

Eugine
25.04.2017
16:11:38
"подорвало устоит твоего пукана"

Alexey
25.04.2017
16:11:41
Когда лям будет — приходите.

Eugine
25.04.2017
16:12:06
на хайлоад возбудились не меньше, чем на девушек

Andy
25.04.2017
17:04:57
А Чо, если лям пользователей, я могу ходить на конференции?

Google
Andy
25.04.2017
17:05:23
А конференции по хайлоаду или к хипстерам?

Alexey
25.04.2017
17:06:04
Andy
25.04.2017
17:07:48
Шлют, ну не все сразу, да и не лям... Конечно Но 5К/с в базу есть!

Alexey
25.04.2017
17:08:05
Это до фига или до хуя?

Andy
25.04.2017
17:08:55
Это мало, мне кажется, даже хипстеры не возьмут смузи пить

Zart
25.04.2017
17:13:13
КАПИТАН. КАПИТАН ДЖЕК ВОРОБЕЙ

Andy
25.04.2017
17:13:23
1 миллион человек одновременно
Чот я не думаю, что у вк есть 1м онлайна Были такие цифры?

Я слива садовая, спелая, лиловая

Stanislav
25.04.2017
17:14:16
Чот я не думаю, что у вк есть 1м онлайна Были такие цифры?
Я уверен что есть Или например сервера доты

Тоже как-то работают

Alexey
25.04.2017
17:14:43
Дотан не нужен.

Stanislav
25.04.2017
17:14:46
Alexey
25.04.2017
17:15:01
И опять же — в дотане на сайте же не сидит миллион человек.

Andy
25.04.2017
17:16:05
Инмемори опердень, которая считает мир Наверно на тарантуле можно написать сервер дотки

Zart
25.04.2017
17:16:29
яндекс - 45 лямов юзеров ежемесячно яндекс почта - 6 лямов еженедельно втентакле - 46 лямов юзеров ежедневно

Stanislav
25.04.2017
17:16:35
Zart
25.04.2017
17:16:43
http://expandedramblings.com/index.php/russian-social-media-stats-yandex-vkontakte/

Alexey
25.04.2017
17:16:54
Я про сервера доты игровые
Было озвучено условие хуйлоада: на сайте миллион пользователей и они шлют запросы.

Andy
25.04.2017
17:16:57
То есть,все-таки у них почти два мульта в онлайне

Zart
25.04.2017
17:17:02
так что лям в сутки набегает. одновременно - вряд ли

Andy
25.04.2017
17:17:54
Если взять суточное распределение активности, то вполне может быть и миллион

Zart
25.04.2017
17:18:07
под вечер...

Страница 354 из 1719