Подскажите по sequelize пожалуйста, а то не догоняю. Нужно инстанс db в роуты пробрасывать или нет ? Nипа в app.js ипортировали все модели , и в роутреы отдавать route(app, db); У них в примере, в каждом роуте импортируются все модели.

Или, чуть более зашкваренный метод, но тоже сработает. В express есть .app свойство. В нем делаешь ссылку на сиквелайз, а сиквелайзом в инит файле импортишь все модели. Потом просто request.app.sequelize.model('model').

Ды вот , как то так и думал. Реально же получается, что они на каждый роутер создаются ?

В их примере

https://github.com/sequelize/express-example

Ды вот , как то так и думал. Реально же получается, что они на каждый роутер создаются ?

не создаются они на каждый роут

Они создаются один раз, а в каждый роут идут по ссылке

https://github.com/sequelize/express-example/blob/master/routes/users.js

var models = require('../models'); в каждом роуте

var models = require('../models'); в каждом роуте

я не знаю как там под капотом устроено, но почему-то почти уверен, что оно кешируется или что-то такое, если ты об этом

Ды вот , как то так и думал. Реально же получается, что они на каждый роутер создаются ?

Первый вызов require инициализирует модуль, то есть выполняет его код и возвращает module.exports из модуля, а все последующие только возвращают уже готовый module.exports из модуля без повторного выполнения кода модуля. Так что модели там не на каждый роутер заново создаются.

Спасибо большое! Так и подумал сначала, но что то сомнения закрались ? За это получается сам движок отвечает ?

Прсто про это нормально, мало где написано. Хотя если бездумно кодить )))

Спасибо большое! Так и подумал сначала, но что то сомнения закрались ? За это получается сам движок отвечает ?

Да. Кстати в случае сомнений можно на практике проверить, вставив в код каждого модуля console.log(имя_модуля)

В сам модуль, и по идее если его 100 раз импортировать то он 1 раз исполнится ?

можно кстати ещё влезть во фронтенд (например скачать какой-нибдуь проект) и посмотреть какой код webpack для модулей генерирует

В сам модуль, и по идее если его 100 раз импортировать то он 1 раз исполнится ?

да

модуль - это просто кусок кода

который может установить объект module.exports

а может не устанавливать и просто выполнить некий код

А вообще я удивлён, что для ноды почти не практикуется такая штука как dependency injection. На ES6 это довольно просто делается и это позволило бы избавиться от такой проблемы: require('../../../../../my-module')

Подскажите пжлст, в чем может быть проблема: Копирую 3000 файлов из одной диры в другую, перед этим сравниваю их имена с записями в бд и переименовываю. Все очень медленно делается пять файла в минуту. Почему?

Сделал то же самое со 100 файлами, все это сделалось за меньше минуты

кстати да а что вы делаете на ноде с проблемой require('../../../../../my-module')? в вебпаке там алиасы есть

Sergey код пожаласта

150 строк, сейчас на гист закину

ок

https://gist.github.com/SergProduction/84ecf93b85c0857f29429d98a355a2c9

Json там очень большой, я его кусками из файла читаю, на него можно не обращать внимания

почему var в начале кода?

кстати да а что вы делаете на ноде с проблемой require('../../../../../my-module')? в вебпаке там алиасы есть

симлинк my-module в node-modules

потом es6 дальше

Проверь. Не в этом проблема)

let dirArr = fs.readdirSync( path.join(__dirname, 'base/jpg/') )

мб тут?

если там 5к жпегов

Ааа

Может

Но думаю нет

хотя... он же файлнеймы читает

вообще --inspector творит просто магию

Сто файлов он обрабатывает меньше чем за минуту

3к файлов, я запустил 10 мин назад, только 300 обработал

глянь в htop

мб память скушалась

Не скушалась, вроде же нода не может задействовать всю память. Точно не знаю, поэтому и спрашиваю

baseArray.forEach( (row, i, arr) => { fileName.forEach( (file, z) => {

Может быть, есть способы задействовать всю оперативу

?

вставь на вызове equalBase вывод длины baseArray

baseArray.forEach( (row, i, arr) => { fileName.forEach( (file, z) => {

Ааа, да - кажется здесь. baseArray.length = 220k fileName.length = 3k

там цикл в цикле

И Того 220к * 3к

а задача-то вообще какая?

там цикл в цикле

Естественно, а и иначе как сравнить имя файла с записями в бд(baseArray)

чето тут не бд, а json

Ага

https://www.npmjs.com/package/lowdb

если там 220*3 кк, то чтение json целиком и парсинг могут оказаться значительно быстрее, чем гоняние массивов

хотя... без индексов anyway тормоза будут это же seqScan

Там json на 40мб я сперва пробывал его целиком прочесть, нода выкинула ошибку о том что память закончилась, теперь я читаю кусками через потоки

readJsonСhunk -> insert manipulating delete * from table

перебор на 220 строк это ужс что

Может быть есть способы задействовать всю оперативу?

Не сдавайся, ответ совсем рядом.

оператива не даст тебе нормальный поиск)

/stat@combot

ERROR: S client not available

combot.org/chat/-1001041204341

С поиском все нормально, 100 картинок копируются меньше чем за минуту с той же базой.

оператива не даст тебе нормальный поиск)

Еще не пробовал на практике, нужно почитать, попробовать, распределять нагрузку на все ядра. Может быть это поможет

эм

ну лан)

или брать дерево

но деревьев будет несколько судя по количеству сравнений

Ммм

row[5] == file.date && row[4] == file.show && row[3].match(/\d+/)[0] == file.id субд такое сделает за мгновение + если ты ищешь конкретно по row[3].match - стоит положить это доп. элементом в массив?

С поиском все нормально, 100 картинок копируются меньше чем за минуту с той же базой.

хороший тебе вариант предложили прочитай файл кусками и запхай во временную базу с индексами затем оперируй уже тем что есть в базе после нужных операций, просто пройдись по файликам и переименовывай или что там а потом снеси записи

Да, придется

я когда писал утилитку в электрон так и делал

Не хотелось задействовать бд, но вижу что здесь она необходима

можно и деревьями, но надо в деревья уметь:)

а какая разница, если данные в памяти не помещаются?

там 220к строк поиск идет по date, show (не знаю че там, мб буль?) и fileid все три легко кастятся в int три дерева на 220к листьев влезут в ram

хотя тут не совсем дерево-то ну короче алгоритмы и структуры затащщат если надо,

а вообще ты мог выкидывать копирование в отдельные процессы. было бы в разы быстрее

ребят, еще вопросик

по ресту модифаить отдельные доки лучше через пут или патч?

я почитал, используются оба, но вот бест практис не увидел, в каких случаях какой запрос выбирать

по ресту модифаить отдельные доки лучше через пут или патч?

PUT - полное обновления ресурса, то есть ты должен кинуть весь ресурс целиком PATCH - частичное, ты можешь кидать только то, что нужно обновить

сделал npm install amazon-cognito-identity-js, пытаюсь запустить следующий скрипт с помощью node scriptname.js ошибка TypeError: Cannot read property 'AuthenticationDetails' of undefined Что я не так делаю? var AWSCognito = require('amazon-cognito-identity-js'); var authenticationData = { Username : '123456n@yandex.ru', Password : 'thai4EengG2@', }; var authenticationDetails = new AWSCognito.CognitoIdentityServiceProvider.AuthenticationDetails(authenticationData); https://github.com/aws/amazon-cognito-identity-js

PUT - полное обновления ресурса, то есть ты должен кинуть весь ресурс целиком PATCH - частичное, ты можешь кидать только то, что нужно обновить

понял, спасибо

Sergey а сколько там ram? я сейчас json на 180Мб на 400к+ строк распарсил за 7 секунд на 1 гб оперативы

зохавало 700-800 Мб примерно

даже меньше

632Мб

Sergey а сколько там ram? я сейчас json на 180Мб на 400к+ строк распарсил за 7 секунд на 1 гб оперативы

2gb win7

да, там уже гига вряд ли будет лишнего

тогда точно через субд - они умеют хорошо работать в условиях "не влазит в ram"

Дело в том, что я открываю диспечер задач, и вижу что нода даже половины оперативны не использует