это все можно замечательно инлайнить и на ура в в8 оптимизировать

Так в куку же ты тоже токен записываешь? Я не бек если что. Если хуйню сморозил

зачем куку куда-то засовывать? вообще никак с ней не работаешь

Соре, что не в тему, но нужно срочно. Скиньте, пожалуйста, что-нибудь, что может помочь в борьбе с утечками памяти

Соре, что не в тему, но нужно срочно. Скиньте, пожалуйста, что-нибудь, что может помочь в борьбе с утечками памяти

Решение проблем неправильного использования памяти в Node.js https://habrahabr.ru/post/343276/

Решение проблем неправильного использования памяти в Node.js https://habrahabr.ru/post/343276/

Спасибо. А есть какая-нибудь информация по анализу снепшотов? Самому по-моему в них нереально разобраться, а ничего толкового найти не могу

Спасибо. А есть какая-нибудь информация по анализу снепшотов? Самому по-моему в них нереально разобраться, а ничего толкового найти не могу

Не могу подсказать к сожалению.

Спасибо. А есть какая-нибудь информация по анализу снепшотов? Самому по-моему в них нереально разобраться, а ничего толкового найти не могу

Память течет, если есть циклические ссылки а объектах Когда у одного объекта полем является другой объект, у им которого полем является первый

Память течет, если есть циклические ссылки а объектах Когда у одного объекта полем является другой объект, у им которого полем является первый

У меня такой пример. Есть объект (list), в котором свойствами являются другие объекты. С определённым интервалом запускается цикл, который перебирает свойства вот этого родительского объекта (list), и работает с каждым свойством. Когда дочерний объект выполняет задачу, он удаляется из родительского (list) при помощи delete list[index]. Это же не приводит к утечке памяти, ссылка ведь удаляется, так ведь?

У меня такой пример. Есть объект (list), в котором свойствами являются другие объекты. С определённым интервалом запускается цикл, который перебирает свойства вот этого родительского объекта (list), и работает с каждым свойством. Когда дочерний объект выполняет задачу, он удаляется из родительского (list) при помощи delete list[index]. Это же не приводит к утечке памяти, ссылка ведь удаляется, так ведь?

Когда ты так удаляешь элемент, индексы не меняются у массива

Лучше затирай старый массив новым

c помощью Array.prototype.slice

Память течет, если есть циклические ссылки а объектах Когда у одного объекта полем является другой объект, у им которого полем является первый

про v8 не скажу - не в курсе, но оракловая JVM с этим вполне справляется и такие циклические штуки распутывает, когда они все не нужны. Более того, в большинстве случаев дело не столько в том, что есть циклические ссылки, а в том, что просто есть висящие ссылки.

Память течет, если есть циклические ссылки а объектах Когда у одного объекта полем является другой объект, у им которого полем является первый

ещё дескрипторы текут

про v8 не скажу - не в курсе, но оракловая JVM с этим вполне справляется и такие циклические штуки распутывает, когда они все не нужны. Более того, в большинстве случаев дело не столько в том, что есть циклические ссылки, а в том, что просто есть висящие ссылки.

В JS это есть

ещё дескрипторы текут

Только один частный случай назвал К сожалению, пишу так, что по памяти не проседают приложения

Прям с прямым циклом?

Ну хотя и хрен с ним)

Память течет, если есть циклические ссылки а объектах Когда у одного объекта полем является другой объект, у им которого полем является первый

С чего это вдруг? Нет конечно же. Циклические ссылки тут особо не причём. Их GC разруливает хорошо.

так же как с куками только без них - постучали на сервер с кредами в ответ получили токен, запомнили токен в каком-нибудь сторедже например сешшенсторедже и дальше в хедере бросаемся этим токеном регулярно, по необходимости продлеваем/обновляем

И чем это отличается от кук, если "профакапили запрос" по http? Куки - те же хедеры как бы. Секьюрность идентична.

И чем это отличается от кук, если "профакапили запрос" по http? Куки - те же хедеры как бы. Секьюрность идентична.

минимум тем что куки ты по-умолчанию профакапишь оно без спросу высылается, а хедеры явно руками подсовуются и это уже на девелоперской совести будет

минимум тем что куки ты по-умолчанию профакапишь оно без спросу высылается, а хедеры явно руками подсовуются и это уже на девелоперской совести будет

По какому-такому умолчанию? Ну да, допустим скриптик какой во фронт залез, ftp забыли выключить на сервере, старый php и прочие дела. Но и остальные запросы так же утекут. А вообще, сейчас как бы 17-го конец, https-only куки и современные браузеры. Остальное нам не подконтрольно, если пользователь сам дурак.

По какому-такому умолчанию? Ну да, допустим скриптик какой во фронт залез, ftp забыли выключить на сервере, старый php и прочие дела. Но и остальные запросы так же утекут. А вообще, сейчас как бы 17-го конец, https-only куки и современные браузеры. Остальное нам не подконтрольно, если пользователь сам дурак.

это работа браузера по-умолчанию - кука без спросу летает куда попало, а аус хедер надо явно руками в коде хендлить подсовывать

но в целом согласен с поинтом "если пользователь сам дурак"

хотя конечно это уже на совести бек девелопера и юзера если девелопер сайт с авторизацией по хттп сервит а юзер игнорит браузерные предупреждения

это работа браузера по-умолчанию - кука без спросу летает куда попало, а аус хедер надо явно руками в коде хендлить подсовывать

Куда попало - это слишком абстрактно и не совсем правда. А с api всё равно общение через токен, который нужен всегда. Я к тому, что не надо драматизировать о секьюрити. Если нужна солидная защита - применяются совсем другие техники. Но канал передачи данных остаётся тот же (заголовки).

Ребят здесь с линуксом дружат?

Ребят здесь с линуксом дружат?

Нет. Видели одного такого, но его давно в жёлтый дом забрали.

Сорри тогда

Куда попало - это слишком абстрактно и не совсем правда. А с api всё равно общение через токен, который нужен всегда. Я к тому, что не надо драматизировать о секьюрити. Если нужна солидная защита - применяются совсем другие техники. Но канал передачи данных остаётся тот же (заголовки).

никто не драматизирует, я ч-ка предупредил что он потенциально чуть немного более дырявую вещь чем токены собрался юзать

ниче не мешает и с куками работать если понимать как

никто не драматизирует, я ч-ка предупредил что он потенциально чуть немного более дырявую вещь чем токены собрался юзать

Ну вот нет, о том и речь. Вся дырявость в его же руках. Я не спорю, а просто показываю, что только своя голова и знания спасут. И то не всегда, как выяснилось)

Ну вот нет, о том и речь. Вся дырявость в его же руках. Я не спорю, а просто показываю, что только своя голова и знания спасут. И то не всегда, как выяснилось)

мой комент был о различии в дырявости - в случае с оаус каким-нить ее будет немножко меньше, от безрукости конечно только ликбез помогает

Ребят здесь с линуксом дружат?

дружат, но это не тема чата. с линухом лучше сюда обращайся https://t.me/devops_ru или https://t.me/grouplinux

Народ, сколько стоит такая работа? Вот краткое ТЗ На выходе должны иметь: файл эксель с данными из объявлений из рубрики "коммерческая недвижимость". Объявления должны собираться из сайтов: бибосс, авито, циан. Колонки: название, описание, номер телефона, почта (если есть). Ещё нужно удалить дубли объявлений Больше 500 тысяч строк там будет

выдимо в чьих-то мечтах на ноуте/компе риэлтора открыть такую эксельку

тк зачем делать отдельный проект интерфейсом, и фильтрами, вот еще этим погроммистам платить

а так видится: 1. Парсеры, лучше отдельный лес не городить, а взять что-то готовое где ты сможешь каждым ресурсам управлять с одной «кухни», не знаю что есть на ноде, таска идеально вкидывается на scrapy на питоне + бороться с банами придется постоянно, типа поиска проксей, которые не юзает уже кто-то кроме тебя 2. Дубли объявлений - по списку признаков тоже веселая, например есть объявление: 2х-комн. на ул. Ленина, 47, но телефон и мыло указаны разные, квартира одна и та же по факту, просто сдают разные агенты/родственники, чтобы разгрузить нагрузку входящих звонков например

теребить заказчика надо, пока по тому как поставлена задача/идея видится, что исполнителя в итоге заебут просто в конечном итоге, что отобьет у него желание конвертировать дальше свое время в деньги, тк цена будет неоправданно низкой

Хм

Т.е. думаете гораздо проще по самим сайтам шерстить?

конечно нет, но пока я вижу что заказчик хочет себе из эксельки сделают пиздатую систему, которая поможет ему лучше жить

Ну вообще да. Нужен список недвижимости

По котормоу будут звонить

карты - тоже список недвижимости с адресами по факту

все зависит от цели, которую преследует заказчик

я бы за такое не взялся. гемора и подводных камней слишком много

вот да

а как обычн оне заплтят нихера скорее всего 🙂

Мне нужна примерная стоимость. Чтобы у меня в экселевском файлике оказалась вся недвижимость из этих сайтов

Так а в чем гемор?

Что прокси надо покупать?

1. Пропуски объявлений, что-то ты забрал - где-то тебя забанили 2. Смена верстки - схем ответов от сайтов 3. Сидишь ты и не паришься, вроде все работает - заказчик тебе в гневе пишет, что ТЫ проебал объявление, а ОН проебал из-за тебя деньги, а ты по странице прошелся на пример, но на том же авито юзается сфикс для поиска, и очень пиздато когда у них там дельта вмержилась и на сайте всплыло новое объявление за вчера в поиске например, а ты не ходишь парсить не вчера, не позавчера, ты же уже собрал все

и куча других факторов

Так а в чем гемор?

Гемор в том, что пока не начнешь это делать- не поймешь, где будут подводные камни. Скажешь одну сумму, на деле понадобится больше времени, а потом начнется "мы же договорились" и хуй что докажешь, если заказчик не захочет платить больше

Да что там делать, это же легко (с)

а потом объявлений станет не 500к, а 1,5кк, экселька умирает, потому что подключили еще пару источников, и уже надо не пару городов собирать, а 10, как дельный ты начнешь складывать в базу, но ведь заказчик не полезет руками в базу, тебе придется делать интерфейс, а денег заказчик платить больше не захочет, зачем, в его мечтах когда вы ударили по рукам, ты должен запустить космический корабль за эту сумму и в срок, и тут опять встанет вопрос конвертации времени в деньги. Прежде чем браться за что-то, надо утрясти все подводные камни, узнать все желания заказчика и конечную цель, которую он преследует, в этом случае от гемора не уйти, но его станет поменьше и не такого критичного, возможно получится уйти на начальном этапе от фундаметальных ошибок и разногласий

подскажите плиз: я написал сервис и выгружаю его на сервак, он на локалке у меня запускается просо npm start на серваке как то по другому это организуется?

А где вообще можно почитать годный материал по парсингу данных с сайтов?

Тут неплохо описано http://www.consultant.ru/document/cons_doc_LAW_10699/51c53d82b60ac8c009745bdea3838d507064c6d3/

😅

Тут неплохо описано http://www.consultant.ru/document/cons_doc_LAW_10699/51c53d82b60ac8c009745bdea3838d507064c6d3/

И какое это имеет отношение к данному тз?)

я кажется нашел для себя решение

pm2

forever ещё гуд штука

да, pm2 подойдет

спасибо, посмотрю

а есть возможность у pm2 поднимать сервис когда тот упадет по какойто причине?

а есть возможность у pm2 поднимать сервис когда тот упадет по какойто причине?

ещё раз посмотри в сторону forever - их, вроде, можно с pm2 комбинировать. Forever поднимает после падения

Failed to load http://localhost:81/api/registration: Response to preflight request doesn't pass access control check: The 'Access-Control-Allow-Origin' header contains multiple values '*, *', but only one is allowed. Origin 'http://localhost:3001' is therefore not allowed access.

config nginx

contains multiple values '*, *' у тебя два раза этот астериск добавляется в конфиге

ну а где 2 раза

оставил только это

Есть тут те кто запускал нод js приложение на веб шторме ? Именно то которое там готовое уже

Надо на хостинг переносить а я его из консоли не могу запустить, только через кнопку Run

беда