Чтобы ядро платформы облачной делать для скорости вычислений и мощности

Плюс там джава и а-ля коннекторы к прогам этих биоинформатиков, где данные лежат

Джава - ок. Нода? как ядро облачной платформы? Однопоточная нода как ядро облачной платформы? Для скорости вычислений?

/me заинтригован

Да не будет она там ничего вычислять) как максимум таск раненер какой то

Наш чел, который сейчас на проекте сказал, что фигачит на Ноде. Говорит, что ядро, но это странненько) завтра с КАМом ещё поговорю, доложу новости

Спасибо

Как на js расчёты то вести? Нет типизации

Приколы с плавающей запятой

Как на js расчёты то вести? Нет типизации

При чем здесь расчеты? Как я поняла, это все для мощностей в облако пилится. Уже посчитанное первично биоинформатиками

Приколы с плавающей запятой

SIMD в будущем, например

Привет! Есть вопросик по фронтовым приложениям. А как они защищены от подделки для общения с сервером? Работает такое фронтовое приложение, а я пришёл и подделал запрос от него через cUrl с реферером. Как с этим борятся by trueway?

Разобрался. Правильный ответ: использовать CSRF.

https://ru.wikipedia.org/wiki/Межсайтовая_подделка_запроса

Разобрался. Правильный ответ: использовать CSRF.

Но это не спасет от серверных запросов, только в браузере

Андрей, прости, не понял. Поясни, Plz!

Почитай OWASP

Такое ощущение, что npm откатился на несколько версий в некоторых моих модулях. Еще вчера из него ставилась последняя версия. Сегодня он ставит и показывает минус 5 версий где-то от реальной последней, как последнюю. Публиковать последнюю повторно не даёт. Вот пример: amelisa - реальная последняя версия 0.1.33 (еще вчера так и было в npm) https://github.com/amelisa/amelisa/commits/master Но сейчас npm показывает 0.1.28 https://www.npmjs.com/package/amelisa

Stale reads

Может вообще сервак с метаданными без мастера

Понятно, ну ждём когда поддержка проснётся

А какие best practicies по нивелированию проблем с npm? Поднять приватный npm?

Юзаем https://github.com/rlidwka/sinopia, полет нормальный

а что sinopia делает, если находит у себя версию пакета, удовлетворяющую запращиваемой, но при этом в npm есть более свежая подходящая версия? Ходит в npm?

как в зависимостях в package пропишешь так и смотрит вроде

Привет всем! Подскажите хороший npm пакет для того, чтобы мокать API риквесты. Спасибо!

Вот только недавно сам наткнулся ) https://github.com/visionmedia/supertest

Вот только недавно сам наткнулся ) https://github.com/visionmedia/supertest

спасибо!

https://github.com/rvagg/bole

А, ой.

Что-то телеграм у меня показывал только что про лёгкий логгер вопрос.

Подскажите легкий логгер?

^^

Не знаю, насколько он тебе будет полезный, но он лёгкий.

https://github.com/rvagg/bole

Но не похоже, что bunyan-совместимый, включая все коннекторы для сервисов, которые есть

Но не похоже, что bunyan-совместимый, включая все коннекторы для сервисов, которые есть

А он просил совместимый?

Я проглядел, значит.

)) Официально нет, но предвосхищаем события, не стесняемся =)

Хотя ридми говорит что в большинстве случаев совместимый.

Кстати.

интересно

bole.output([ { level: 'debug', stream: fs.createWriteStream('app.log') }, { level: 'info', stream: process.stdout } ])

да, похоже

коннекторы не нужны

нужно писать в stdout

Надо кстати journald потыкать, пока руки не дошли.

Потыкал.

Выглядит очень круто.

Выкину к чертям все логгеры, приколочу к журналд.

Наш чел, который сейчас на проекте сказал, что фигачит на Ноде. Говорит, что ядро, но это странненько) завтра с КАМом ещё поговорю, доложу новости

Добрый день. Поговорили?

Добрый день. Поговорили?

Добрый! Немного да) но пока не все понятно. У меня сложилась такая картинка: НИИ анализируют геном, используя cmd-like тулзу под линуксом, анализ генома на R и питоне производят. Мы же делаем AWS-based платформу для облачных вычислений. Ядро на Java, видимо, обвязка на ноде, коннекторы к по учёных на питоне. Плюс rest

Сейчас допишу))

В пути

А какие best practicies по нивелированию проблем с npm? Поднять приватный npm?

https://www.theodo.fr/blog/2016/01/speed-up-npm-install-with-a-nexus-proxy-to-cache-packages/

Добрый день. Поговорили?

Женя, понятнее стало?

Я думал будет еще одно сообщение, а не исправление, поэтому только сейчас увидел. Да, в целом ощущение "W00t??" пропало

Женя, понятнее стало?

Спасибо :)

Я думал будет еще одно сообщение, а не исправление, поэтому только сейчас увидел. Да, в целом ощущение "W00t??" пропало

фуууух ?

Кто-нибудь слал файлы с сервера на сервер?

Да, бывает шлю иногда

Кто-нибудь слал файлы с сервера на сервер?

А что конкретно интересует?

@corpix Во всех примерах что я видел берется path файла и запихивается в readablestream и так отправляется правда в сервере-приемнике я вижу тупо path с отправленного сервера который мне ничего не дает

@corpix поэтому интересует видимо как правильно это сделать)

@corpix поэтому интересует видимо как правильно это сделать)

Готового решения у меня нет, но есть например https://github.com/request/request С её помощью можно отправить данные по HTTP протоколу. Соответственно на другой стороне должен быть HTTP сервер, готовый принять эти данные. Советую погуглить что-нибудь про отправку файлов по http в nodejs

@corpix Во всех примерах что я видел берется path файла и запихивается в readablestream и так отправляется правда в сервере-приемнике я вижу тупо path с отправленного сервера который мне ничего не дает

Верно, что отправлено в stream то и будет принято(если это была строка с именем файла, то на другом конце это тоже будет строка, никакой магии)

ERROR: S client not available

так и что мне делать с этой строкой-путем файла? если второй сервер физически в другом месте я ж его не могу прочитать чтобы сохранить

когда с фронтэнда на сервер приходит файл там же объект где временный путь на сервере до файла его размер и тд

тут такого что-то нема)

1. Читаешь файл в буффер

2. require('http')

3. ...

4. PROFIT

так и что мне делать с этой строкой-путем файла? если второй сервер физически в другом месте я ж его не могу прочитать чтобы сохранить

Вообще тут бы не помешали знания о том как вообще HTTP протокол работает. Ну и стримы в nodejs. Прочитай хотя бы поверхностно про эти вещи, пазл начнёт собираться.

Стримы-то зачем

Для отправки

По мне, тк проще и эффективнее(нет буферизации всего файла в памяти).

Не проще ни разу

Кому что нравится :)

И в 99% случаев – оверинженеринг на пустом месте

Вот тут категорически не согласен, под нагрузкой "буферизированный подход" сложится быстро и легко.

там нагрузки никакой нет) одну пикчу гонять только)

Вот тут категорически не согласен, под нагрузкой "буферизированный подход" сложится быстро и легко.

Смешно

там нагрузки никакой нет) одну пикчу гонять только)

Ну с одной пикчей поэкспериментировать можно и с буферизацией, ок. Но это будет плохо работать под нагрузкой

Смешно

Поясни, где смеяться?

Пример нагрузки в числах, желательно с ссылками на собственный опыт, когда это ложиться

причем здесь нагрузка? вопрос ресурсов

Пример нагрузки в числах, желательно с ссылками на собственный опыт, когда это ложиться

Да примеры с числами тут особо и не нужны. Давай сравним два подхода. 1. При каждом запросе с файлом мы читаем его в память полностью и отправляем. Основные минусы в том что отправка начнётся после полного простения файла в память и в том что мы не всегда можем знать размер файла. Причем если он будет размером, скажем, 1 ГБ то на каждый запрос мы будем сгружать файл в оперативную память полностью. Когда-нибудь память у нас кончится(вероятно это случится довольно быстро). А ещё ведь есть клиенты с недобрыми намерениями, которые могут специально загружать к нам большие файлы очень медленно, забивая память. 2. При каждом запросе мы вычитываем файл маленькими кусочками с клиента и сразу же отправляем кусочки принимающей стороне(которая поступает также, читает файл по кусочкам и записывает в некоторое персистентное хранилище, например на файловую систему). Серьёзных минусов у этого подхода я не вижу, а вот плюсы в том что мы разумнее расходуем память и можем обслужить большее число клиентов(если клиентов станет много то мы просто будем работать медленнее).

причем здесь нагрузка? вопрос ресурсов

Т.е. если ресурсов много, то можно не думать о томЮ насколько быстро будет работать приложение? Не надо так :)

Неплохо замахнулся на один гигабайт. Файл к тому же можно и просто mmap'нуть ;) На заливке по дефолту nginx (и не только) зарубит с длинным POST'ом. И самое главное – проблемы надо решать по мере их поступления.

когда есть вариант сделать за 5 минут с полным чтением или за 5 минут с стримом - зачем делать плохо?

То есть с самого начала подкладывать себе проблему в будущее?

Неплохо замахнулся на один гигабайт. Файл к тому же можно и просто mmap'нуть ;) На заливке по дефолту nginx (и не только) зарубит с длинным POST'ом. И самое главное – проблемы надо решать по мере их поступления.

Тк никто про nginx не говорил, речь о том как решить правильно ;)

Человека может вообще устроит по неткату на каждом конце

Чтобы было что решать?

Вопрошающий похоже вообще не знает про HTTP, а вы про стриминг

Издеваетесь чтоле