@nodejs_ru

« Назад

Страница 89 из 2748

Далее »

Artur

19.07.2016
18:42:08

Нам нужно больше чатов (С)

lamo2k

19.07.2016
18:56:41

Денис-повелитель-чатов)

+1

KlonD90

19.07.2016
23:10:37

https://github.com/KlonD90/node-tarantool-driver/tree/v2.0 продолжаю разгонять свой драйвер. сократил все аллокации и на парсере стоит тоже буфер большой для того чтобы лишний раз не вставать с кровати. В паралель по 50 запросов дает порядка 40k операций в секунду, но вот последовательно все не так быстро: выходит примерно 8к операций в секунду. есть подозрение что это связано с тем когда я делаю флаш и циклом слушанья сокета.

Есть идеи чем дальше разгонять эту историю?

Google

Дмитрий

19.07.2016
23:18:40

Осталось в мдн сослаться на ту выжимку

Неудивительно будет) Это в стиле "Как выдать дочь Рокфеллера за простого сибирского парня"

KlonD90

19.07.2016
23:35:16

Callback вместо промиса ускоряет на 0.1 где-то единичный запрос. Правда никак оно не влияет на то когда их много О_о

Alxander

20.07.2016
07:26:13

Есть идеи чем дальше разгонять эту историю?

Может инспектором подрубиться и посмотреть в каких местах затыки?

Alexey

20.07.2016
07:30:08

Callback вместо промиса ускоряет на 0.1 где-то единичный запрос. Правда никак оно не влияет на то когда их много О_о

а на сколько bind лучше замыкания? https://github.com/KlonD90/node-tarantool-driver/blob/v2.0/lib/connection.js#L1167

Denis

20.07.2016
07:42:55

Adrian Colyer написал обзор Ambry - распределенного медиахранилища, используемого в LinkedIn. Ambry позволяет хранить объекты различного размера, от нескольких килобайт до десятков гигабайт, поддерживает partitioning, балансировку нагрузки и распределение по нескольким датацентрам. http://amp.gs/8mHj GitHub: http://amp.gs/8mH8

Никита

20.07.2016
11:03:31

Callback вместо промиса ускоряет на 0.1 где-то единичный запрос. Правда никак оно не влияет на то когда их много О_о

Какой конкретно запрос? на 0.1 чего? какая реализация промисов? Ничего не понятно =)

KlonD90

20.07.2016
11:04:06

ща отвечу ребят, спасибо за помощь :о только дошел

Может инспектором подрубиться и посмотреть в каких местах затыки?

да вообщем-то вполне себе идея но хотелось бы не оптимизации на том что вижу а какой-то крутой идеи типа того же less allocation.

а на сколько bind лучше замыкания? https://github.com/KlonD90/node-tarantool-driver/blob/v2.0/lib/connection.js#L1167

без идей честно как сейчас. раньше просто к this был доступ пошустрее в разы чем на скоп выше, но опять же актуальность это сильно утратило по-моему и не в то я вроде упираюсь.

Какой конкретно запрос? на 0.1 чего? какая реализация промисов? Ничего не понятно =)

select/selectCb на 0.1мс в среднем отличаются если по одному пускать, если пускать последовательно запросы то разница особо не видна, при паралельном доступе не тестировал ._.

ну я правда еще из selectCb выкинул проверку на string двух аргументов не уверен что сильно сказалось

Никита

20.07.2016
12:05:56

Так, сейчас не посмотрю.

Vladimir

20.07.2016
12:06:09

а из каких соображений оптимизация? просто так?

Google

KlonD90

20.07.2016
12:06:54

Чтобы люди могли этим пользоваться. Раньше типа 18к паралельно было теперь 30к+ паралельно на одном из тестов

Ну еще в проде у меня крутится штука эта нужно чтобы оно работало пошустрее конечно

Vladimir

20.07.2016
12:08:06

Ну это все таки драйвера для тарантула, так что скорее всего мало кто будет пользоваться в любом случае)

KlonD90

20.07.2016
12:09:31

ну тарантул > redis во всякому случае вторичные индексы и выборки по индексам выглядят неплохо. Так что почему бы не взять tarantool? Понятно что сейчас у редиса аудитория больше, но тарантул пофичастее и поперсистентнее

Никита

20.07.2016
12:10:15

/me обратил внимание, что мои весёлые кеды дёргают /etc/passwd со скоростью 100 раз в секунду. Постоянно.

А вы тут про оптимизации.

マイク

20.07.2016
12:10:50

А плазма не падает?

Никита

20.07.2016
12:11:09

Почти.

Vladimir

20.07.2016
12:11:59

Ну если нужен персистенс, то можно взять постгрес

Там то фич по больше будет

Ҫѐҏӗѫӑ

20.07.2016
12:13:10

+

KlonD90

20.07.2016
12:14:54

одно другому не мешает :о у меня на одном из проектов вполне сосуществовало. Ну взять хотя бы сложный сброс кэша проще это сделать на тарантуле чем в редисе или еще какие-то операции которые бы хотелось бы иметь в rt но персистентно. Плюс какой-то сложный upsert поддержка типа вставить кэш или обновить его если есть определенные поля где то заинкрементить где-то зареплейсить

Alexey

20.07.2016
12:42:28

Я борода

Alxander

20.07.2016
13:35:08

да вообщем-то вполне себе идея но хотелось бы не оптимизации на том что вижу а какой-то крутой идеи типа того же less allocation.

Чтобы такие вещи советовать надо знать предметную область. Но вообще стоит на чужие коннекторы поглядеть, может там что-то интересное есть. Ну и всякие новомодные штуки типа WeakMap.

KlonD90

20.07.2016
13:40:20

Чтобы такие вещи советовать надо знать предметную область. Но вообще стоит на чужие коннекторы поглядеть, может там что-то интересное есть. Ну и всякие новомодные штуки типа WeakMap.

ну вот less allocation подход с плавающим буфером утырил у redis-parser. Но они все еще на шаг впереди :/ может быть там протокол конечно проще но не уверен что в этом дело

Maxim

20.07.2016
14:13:08

Подскажите легкий логгер?

Alex

20.07.2016
14:13:27

console.log

KlonD90

20.07.2016
14:13:44

это тяжелый

Maxim

20.07.2016
14:14:00

Или может есть специальный логгер или аналитика для ботов?

Какой логгер юзаете?

Google

Юрий

20.07.2016
14:45:52

Мы в проекте использовали morgan, теперь перешли на bunyan. Достаточно шустрый, как по мне. Из минусов — читать логи глазами без пайпа через его родной просмотрщик нереально.

Maxim

20.07.2016
14:47:57

спс

А как лучше процесс логирования организовать, вынести логи на отдельный сервер и отправлять инфу через http?

KlonD90

20.07.2016
14:50:17

лучше на go

логировать

Konstantin

20.07.2016
14:50:24

elk

KlonD90

20.07.2016
14:50:59

делаешь агента go и шлешь туда данные а тот дальше куда-нибудь еще

Konstantin

20.07.2016
14:51:18

нафиг писать велосипед если есть elk?

https://www.elastic.co/products

KlonD90

20.07.2016
14:52:23

нафига elk когда веселее написать свое на go?

Konstantin

20.07.2016
14:52:49

? мазохисты

А как лучше процесс логирования организовать, вынести логи на отдельный сервер и отправлять инфу через http?

там куча фронтов к логсташу, хочешь через http, хошь через udp

Maxim

20.07.2016
14:55:32

там куча фронтов к логсташу, хочешь через http, хошь через udp

ок, почитаю про elk

Anton

20.07.2016
15:01:00

Сколько у вас ресурсов занимает ELK в проде? У нас он жрал в итоге сравнимо с самим приложением.

Maxim

20.07.2016
15:02:24

Запрос будет приходить на сервер, потом логи уходить на другой сервер, а можно распараллелить или в этом нет смысла?

Anton

20.07.2016
15:05:30

Плюс у Elastic'а есть проблема - иногда он решает перекластеризоваться, и запись замирает на какое-то время. Учитывая, что логов может быть много, они переполняют буфера и начинают просыпаться. Не супер-смертельно, не неприятно, нам пришлось сделать два logstash'а и кэширующую очередь между ними, которая могла подержать сообщения в случае затыков.

Konstantin

20.07.2016
15:07:41

Ну жрет он да, дофига

У вас сколько было записей в пике?

Oleg

20.07.2016
15:09:01

Мы в проекте использовали morgan, теперь перешли на bunyan. Достаточно шустрый, как по мне. Из минусов — читать логи глазами без пайпа через его родной просмотрщик нереально.

почему с моргана ушли?

Anton

20.07.2016
15:09:07

Я не скажу уже, больше года назад было =\

Google

Vladimir

20.07.2016
15:09:14

> @ndmeredian пришлось сделать два logstash'а и кэширующую очередь между ними, которая могла подержать сообщения в случае затыков вроде так и рекомендуется

Anton

20.07.2016
15:09:37

Ну это тоже пляски с бубном, совсем не "просто и работает".

Vladimir

20.07.2016
15:10:05

Ну да. Ну собственно и эластик для такого не создавался, но тем не менее

Konstantin

20.07.2016
15:10:47

Ну это тоже пляски с бубном, совсем не "просто и работает".

Это проще чем писать свое все таки

Admin

ERROR: S client not available

Anton

20.07.2016
15:10:51

Порой кажется, что велосипед типа "Писать в pg, через тонкую обёртку, кластеризуя по датам", будет удобнее, особенно если масштабы небольшие.

Konstantin

20.07.2016
15:11:14

Всяко лучше чем кидать логи в монгу

Vladimir

20.07.2016
15:11:30

Ну это зависит

Если работает, то почему нет?

Konstantin

20.07.2016
15:12:29

Порой кажется, что велосипед типа "Писать в pg, через тонкую обёртку, кластеризуя по датам", будет удобнее, особенно если масштабы небольшие.

А потом прицеплять туда инструмент для аналитики

KlonD90

20.07.2016
15:14:01

кликхауз берем

и кейфуем

Vladimir

20.07.2016
15:14:22

смешно!

Anton

20.07.2016
15:14:44

Он конечно быстрый что пиздец, но только для структурированных данных.

Vladimir

20.07.2016
15:15:27

его надо на cocaine деплоить, только так

Юрий

20.07.2016
15:16:15

почему с моргана ушли?

Захотели свой просмотрщик логов сделать, с блэкджеком и этими самыми. Но в итоге вообще пришли к своему логохранилищу, на основе которого выводим в админке разную инфу. А буньян для всякой системщины оставили.

abc