while True: ....

написаный индусами

??????

ну ну локально все работало

я им говорю вы когда в продакшн это выкатите у вас все будут ждать в очереди

вообщем распилили вроде как 2 ляма инвесторских денег и свернули лавочку

это в США

while True: ждал пока целери прокэширует данные в БД

эх

все хочу что-нибудть кроме питона заюзать желательно на jvm стэке, но реально нет юз кейсов. ну кроме js - там просто без вариантов, было бы можно писать на питоне фронтэнд я бы на нем писал.

все хочу что-нибудть кроме питона заюзать желательно на jvm стэке, но реально нет юз кейсов. ну кроме js - там просто без вариантов, было бы можно писать на питоне фронтэнд я бы на нем писал.

Прикрутил как то к ie питон ?

Было забавно

Docker for Mac does not use VirtualBox, but rather HyperKit, a lightweight OS X virtualization solution built on top of Hypervisor.framework in OS X 10.10 Yosemite and higher.

имеет ли смысл разворачивать докер на amazon EC2?

я сейчас выношу некоторые части на отдельные инстансы.

первый на очереди mongodb

запустить его в отдельном инстансе в контейнере или бзе всякого докера?

имеет ли смысл разворачивать докер на amazon EC2?

Разве что ради удобства

запустить его в отдельном инстансе в контейнере или бзе всякого докера?

Если он там один и у тебя нет автоматического развертывания, то зачем?

пишу развертывание на ansible сейчас

Тогда разумнее все в докеры запихать

может еще coreOS взять гг

у меня сейчас t2.medium и памяти перестало хватать т.к. там крутятся еще elasticsearch и kibana и монга через некоторое время отжирает 40% из 4Gb через некоторое время. Я посмотрел - это WeirdTiger кэширует данные и размер кэша по дефолту - 60% of RAM - 1Gb поставил жесткий лимит на 1Gb пока. Апгрейд инстанса на следующий с 8Gb выйдет примерно в 87$ в месяц, если поднять еще один t2.small с 2Gb RAM для монги будет 57$

Расскажите, чем парсить?

lxml или BeautifulSoup?

lxml или BeautifulSoup?

lxml - быстро. BS - удобно.

и течет он. По крайней мере раньше оч любил

Я правильно понимаю, что сначала добывается исходник посредством urllib?

Я правильно понимаю, что сначала добывается исходник посредством urllib?

не обязательно urllib, но да - парсить надо готовый документ, а его надо где-то взять. Для lxml точно, не умеет он по url.

Я правильно понимаю, что сначала добывается исходник посредством urllib?

Лучше requests. До определённого порога он хорош

web_page = urllib.request.urlopen(LINK) soup = BeautifulSoup(web_page.read().decode('utf-8'), "html.parser")

Все верно делаю?

Все плохо. Но на этапе обучения сойдет

Что не так?

Например, urllib

Не используется?

Нет, можно его использовать, просто он не умеет keep-alive, например

у меня сейчас t2.medium и памяти перестало хватать т.к. там крутятся еще elasticsearch и kibana и монга через некоторое время отжирает 40% из 4Gb через некоторое время. Я посмотрел - это WeirdTiger кэширует данные и размер кэша по дефолту - 60% of RAM - 1Gb поставил жесткий лимит на 1Gb пока. Апгрейд инстанса на следующий с 8Gb выйдет примерно в 87$ в месяц, если поднять еще один t2.small с 2Gb RAM для монги будет 57$

Я конечно все понимаю, хотя не понимаю. Что я вру. Нахрена? За 50 баксов можно снять две машины в хетцнере с 32 гигами опретивы и i7 4770. Настроить между ними кластер овирта с автоматической миграцией. И наплодить там этих t2.small сколько душе угодно

кластер чего?

удобно че

амазон проработан и экономит деньги

во сколько обойдется администрирование кластера часов в месяц?

> @jebcoat Расскажите, чем парсить? https://github.com/lorien/grab/tree/master/grab

Продублируйте адреса на js группы.

Или одну.

да

Продублируйте адреса на js группы.

https://telegram.me/jsChat

Продублируйте адреса на js группы.

https://telegram.me/JSlang

Благодарю.

Ебать! Ну и Леонид!

байки )

Простите за офтоп, но очень уж в тему ?

ну к слову говоря это стремный для леонида рассказ )

ну к слову говоря это стремный для леонида рассказ )

Я бы тоже испугался ?

Docker for Mac does not use VirtualBox, but rather HyperKit, a lightweight OS X virtualization solution built on top of Hypervisor.framework in OS X 10.10 Yosemite and higher.

fuck yeah

как же меня бесил раньше виртуалбокс

поэтому и не докеризировал ничего

ну в плане за рамками “поиграться”

или поставить sentry на сервере

Пагни, кто-нибудь плотно с монгой работал?

Пагни, кто-нибудь плотно с монгой работал?

вопрос задавай, может кто и работал

Опять вы со своим жсоном

ERROR: S client not available

Жсон не субд

там не жсон

Окей. На самом деле, таблицы весят не так уж и много, но почему-то в dbpath плодится огромное количество файлов базы данных большого размера, например: dbname.1; dbname.2........dbname.26Судя по всему, какие-то реплики.

но очень похоже. Три буквы угадал

да, там бсон

Окей. На самом деле, таблицы весят не так уж и много, но почему-то в dbpath плодится огромное количество файлов базы данных большого размера, например: dbname.1; dbname.2........dbname.26Судя по всему, какие-то реплики.

Хватит использовать mmapv1

Хватит использовать mmapv1

на wired tiger перекатываться?

я с монгой работаю, даже сертификат есть

все давно на wiredtiger

с mmapv1 забавно когда база заняла все место и compact уже не работает. и удаление части данныех не уменьшает размер БД

собираю по бэкапам данные по изменению цен на товары в течении года сейчас гг

> db.history.count() 9385650

напишу скриптик чтобы залить это в influxdb (ну и в эластиксерч потом в timelion)

что нужно то с монгой?

сторадж какой?

WeiredTiger?

ты можешь в конфиге ограничить сколько памяти он будет под кэш забирать

по дефолту 60% - 1 Gb стоит

storage.wiredTiger.engineConfig.cacheSizeGB

а то что куча mongod’ов

я с монгой работаю, даже сертификат есть

где взял?

закончил курс на university.mongodb.com

Пацантосики, етсамое, есть wsgi приложуха, которую когда хттп-серв запускает соответсна директорию ./ воспринимает как свою и не импортируется ниче. Где настроить чтобы было норм? Ну чтоб руками не добавлять туда путь до проекта

ты можешь в конфиге ограничить сколько памяти он будет под кэш забирать

Т.е. это все кэш?

сторадж посмотри какой

монга какая версия?

монга какая версия?

Версия: 2.6.12 В db.serverStatus().storageEngine пустота

старая версия

хз что там