Cluster ?

не

не

Спасибо, а то я сегодня хотел его заюзать

во вторых, чтобы иметь возможность остановить инсерт, не нужно в .map перебирать, его не прервать

Спасибо, а то я сегодня хотел его заюзать

cluster хорош для создания кластера и не больше )

cluster хорош для создания кластера и не больше )

Наверное я не так понимаю кластеры) я думал что это запускается новый демон ноды и ему передаются задачи

Наверное я не так понимаю кластеры) я думал что это запускается новый демон ноды и ему передаются задачи

А зачем в данном случае кластер, если можно просто породить дочерний процесс для выполнения конкретной задачи вставить в базу кучу данных?

А зачем в данном случае кластер, если можно просто породить дочерний процесс для выполнения конкретной задачи вставить в базу кучу данных?

А если обратная связь нужна?

Наверное я не так понимаю кластеры) я думал что это запускается новый демон ноды и ему передаются задачи

cluster имеет два варианта раннеров Запускается один и тот же файл в котором есть условия, что исполнять для мастер процесса, а что для слейва мастер просто запускает несколько дочерних процессов и собирает с них данные

А зачем в данном случае кластер, если можно просто породить дочерний процесс для выполнения конкретной задачи вставить в базу кучу данных?

подойдет обычный worker на самом деле

А если обратная связь нужна?

А как в случае кластера эта проблема решается?

А как в случае кластера эта проблема решается?

Хз, я их не так понимал, Сова объяснил (спасибо), думал они как воркеры работают

подойдет обычный worker на самом деле

а доступ к апи будет? сейкюлайз тот же подключить, а то в соседнем чяте обсуждали просто web worker, у него с этим проблемы как я понял

cluster имеет два варианта раннеров Запускается один и тот же файл в котором есть условия, что исполнять для мастер процесса, а что для слейва мастер просто запускает несколько дочерних процессов и собирает с них данные

+

а доступ к апи будет? сейкюлайз тот же подключить, а то в соседнем чяте обсуждали просто web worker, у него с этим проблемы как я понял

https://m.habrahabr.ru/post/132785/

а доступ к апи будет? сейкюлайз тот же подключить, а то в соседнем чяте обсуждали просто web worker, у него с этим проблемы как я понял

будет

спсб, поковыряю

так и как замутить процесс прерывания? избавляться от Promise.all и делать простые циклы?

скорее всего организовывать инсерт пачками

и перед каждым инсертом проверять условие

типа if (!this.break) db.insert

но это так, примерное

а воркер прибить можно же? или он продолжит молотить пока всё не сделает?

а воркер прибить можно же? или он продолжит молотить пока всё не сделает?

на счет этого не знаю, но это не очень хорошая практика

в любом случае нужно знать сколько ты уже инсертнул, иначе дубликаты

у меня unique индексы, оно просто не вставится второй раз

но ошибочки будут)

ну их можно обработать :3

ну лишняя логика к примеру, пихаешь 5К записей отменил после вставки 4К запускаешь снова, и ждешь пока пройдут 4К запросов на существующие записи

такое себе, не правда ли?

ну да

лучше делить на пачки, по 50-100 запросов (экспериментально подбирается) и составлять список не вставленных, чтобы можно было повторить

лучше делить на пачки, по 50-100 запросов (экспериментально подбирается) и составлять список не вставленных, чтобы можно было повторить

ЧЯДНТ? почему он ищет свободный порт? я же выбрал ipc https://pastebin.com/FrKqG7hj

Надо смотреть как работает electron-workers

ога, сервак поднимает

я вообще имел ввиду webWorker

но похоже webworkers в электроне не алё

ибо не thread-safe

видимо да, придется ещё один процесс поднимать

ЧЯДНТ? почему он ищет свободный порт? я же выбрал ipc https://pastebin.com/FrKqG7hj

IPC — межпроцессное взаимодействие. таки портами же

чёт пишут, что это какие-то траблы электрона и spawn

Чет да

Ты писал что электрон самопадает?

нет

короче я тоже видел такое же падение

но похоже webworkers в электроне не алё

this? Any native Node.js module can be loaded directly in Web Workers, but it is strongly recommended not to do so. Most existing native modules have been written assuming single-threaded environment, using them in Web Workers will lead to crashes and memory corruptions. Note that even if a native Node.js module is thread-safe it's still not safe to load it in a Web Worker because the process.dlopen function is not thread safe. The only way to load a native module safely for now, is to make sure the app loads no native modules after the Web Workers get started.

ага

https://github.com/electron/electron/blob/master/docs/tutorial/multithreading.md

а что может пойти не так?

работа с базой будет внутри воркера, где-то в другом месте в это же время к базе вряд ли будет какое-то обращение

классические проблемы параллельности

с базой это самый простой пример

но решается легко — транзакции и атомарность

nodeIntegrationInWorker только только добавили, я так понял мне надо до 1.6.4 обновиться, а в npm 1.6.2

ага

как 1.6.4 поставить?

npm install --save-dev electron@1.6.4?

npm install --save-dev electron@1.6.4?

@latest или так

npm install --save-dev electron@beta

latest 1.6.2

или бету не стоит трогать?

Да ну

сделай в консоли npm info electron

и промотай до версий вверх

у меня последняя 1.6.4

[v

хм, действительно бета

слушай, так как ты только разрабатываешь, ставь бету

главное чтобы к выпуску твоей прилажки, версия перестала быть бета

чёт не робит :с Uncaught Error: ENOENT, worker\api\exports\electron.js not found in C:\Users\Sheldhur\WebstormProjects\Vector\node_modules\electron\dist\resources\electron.asar

файл найти не может

https://github.com/electron/electron/tree/master/lib/worker

пусто

не завезли видимо ещё

странно =(

буду пилить синхронное выполнение INSERT'ов, и надеяться, что в api скоро завезут

или можно что-то ещё сделать?

заспаунить чайлд процесс

не делается

как в обычной ноде

эм...

ну я в в мейн процессе пробовал var electron = require('electron') var proc = require('child_process') // will print something similar to /Users/maf/.../Electron console.log(electron) // spawn Electron var child = proc.spawn(electron)