там же вроде бы вообще всё слито?

курсхантер?

Именно

там же вроде бы вообще всё слито?

Ну, точно не всё

Но более чем достаточно

там по большей части всё 16-17 года

от itvdn видел по flask у 18

А курс по чему именно ты ищешь?

но по 18 - это как то редкость

не знаю

просто ищу

)

Лучше книги ищи

Больше инфы

не умею по книгам

А ещё лучше официальный гайд и документация

Больше инфы

возможно. но они мне сложно даются

Просто хороший курс найти сложно

по питону

очень хорошо мне зашло

ля

ща, вспомню

tceh*

Но с книг всё же советую почитать "grokking algorithms"

хотелось бы уточнить: в оригинале лучше читать книги (англ в основе) или перевод?

хотелось бы уточнить: в оригинале лучше читать книги (англ в основе) или перевод?

а сами как думаете?

лучше смотреть на оригинальные картины или срисованные

Оригинал

Не бойся читать на инглише

Дело привычки

лучше смотреть на оригинальные картины или срисованные

палка о двух концах. с одной стороны более-менее професиональные переводчики, а с другой - морока с переводом

я читал на игнлише

Тогда проблем быть не должно

Бэк для полутора страниц + админка. Для работы с готовым фронтом нужно знать express + nodejs, handlebars. Оплата 20.000р + (10.000р в конце года) + доля компании (будущей). Срок – месяц. Начинал делать проект для себя, считаю стартапом, закончить не удалось, бросать жалко. Понимаю несерьезность оплаты, надеюсь, кого заинтересует сам проект, оплата как бонус. #работа #удаленка

Размер пачки пробовал менять?

Сорян, только добрался до кода. Да, размер пачки менял, уменьшал в 2, 4, 10, 100. Выиграл сомнительных 15 - 20 секунд, когда в 2 раза уменьшил. Вот код, всё не относящееся к вопросу удалил. https://github.com/razdolbai61/VNIIGMI-MCD.git

покажи код

Сообщением выше кинул ссыль на гит

Умеет ли постгре к файлу конект делать? Без хоста?

Умеет ли постгре к файлу конект делать? Без хоста?

нет

такс.... есть табличка комп_нейм, нейм, прайс апл, мега тилифон, 5 апл, мега гомно, 10 гугл, не мега тилифон, 4 .... делаю из этого json [ { комп_нейм: апл, нейм: мега тилифон, прайс: 5}, { комп_нейм: апл, нейм: мега гомно, прайс: 10}, ... ] а надо б запилить так: { апл: {нейм: мега тилифон, прайс: 5}, {нейм: мега гомно, прайс: 10}, }, {гугл: ....

хм... походу это как словарь в словаре, получается

совсем с этим запутался

хм... походу это как словарь в словаре, получается

Больше похоже на словарь со списками вместо значений, а в списки уже вложенны словари

такс.... есть табличка комп_нейм, нейм, прайс апл, мега тилифон, 5 апл, мега гомно, 10 гугл, не мега тилифон, 4 .... делаю из этого json [ { комп_нейм: апл, нейм: мега тилифон, прайс: 5}, { комп_нейм: апл, нейм: мега гомно, прайс: 10}, ... ] а надо б запилить так: { апл: {нейм: мега тилифон, прайс: 5}, {нейм: мега гомно, прайс: 10}, }, {гугл: ....

{ апл: [ {нейм: мега тилифон, прайс: 5}, {нейм: мега гомно, прайс: 10}, }], {гугл: .... как-то так

хм, что-то похожее а jsonify это продампить сможет?

{ апл: [ {нейм: мега тилифон, прайс: 5}, {нейм: мега гомно, прайс: 10}, }], {гугл: .... как-то так

это уже не жсон получится

боль

{ апл: [ {нейм: мега тилифон, прайс: 5}, {нейм: мега гомно, прайс: 10}, }], {гугл: .... как-то так

я ошибся, это валидно

осталось всего ничего написать "парсинг")

сейчас у меня такое for dat in data: items.append({"comp_name": dat.comp_name, "name": dat.name, "price": dat.low_price})

я так понимаю надо проверять, есть ли уже ключ "comp_name", если нет, то добавить иначе добавляем ещё одно значение ключу

я так понимаю надо проверять, есть ли уже ключ "comp_name", если нет, то добавить иначе добавляем ещё одно значение ключу

зависит от задачи

о, "комплексные словари" это

мне надо что-то типа такого потом: users = { "Tom": { "phone": "+971478745", "email": "tom12@gmail.com" }, "Bob": { "phone": "+876390444", "email": "bob@gmail.com", "skype": "bob123" } } а задача, потом из этого jsona строить на фронте таблички

Я если честно не советчик в этой теме, ответил на вскидку

Я если честно не советчик в этой теме, ответил на вскидку

всяко спасибо за совет и поддержку

У меня у самого проблема медленной записи в БД

У меня у самого проблема медленной записи в БД

мне тут на днях совет дали "используй many-to-many запрос"

тоесть запись будет выполнятся одним запросом что значительно ускорит работу

всяко спасибо за совет и поддержку

http://qaru.site/questions/13208724/create-json-from-list-of-dictionaries-in-python Это случайно не часть твоей проблемы описана?

тоесть запись будет выполнятся одним запросом что значительно ускорит работу

Я сейчас пишу одним запросом 130-150 тысяч строк на 100 столбцов, по времени 3-4 минуты примерно

http://qaru.site/questions/13208724/create-json-from-list-of-dictionaries-in-python Это случайно не часть твоей проблемы описана?

хох, тут чёт совсем мудрённо как-то, мне попрощ

Я сейчас пишу одним запросом 130-150 тысяч строк на 100 столбцов, по времени 3-4 минуты примерно

так это вроде "быстро"

а как железо себя ведёт?

мож по процу перегруз?

так это вроде "быстро"

Все по рзному говорят)

ERROR: S client not available

Я сейчас пишу одним запросом 130-150 тысяч строк на 100 столбцов, по времени 3-4 минуты примерно

какая бд, тюнинговал или так?

а как железо себя ведёт?

Проц до 50% максимум подпрыгивает, ОЗУ в зависимости от размера пачек, но время почти одинаковое.

какая бд, тюнинговал или так?

MySQL 8.0, в настройках ковырялся, но выиграл максимум 20 секунд

Проц до 50% максимум подпрыгивает, ОЗУ в зависимости от размера пачек, но время почти одинаковое.

по озу. ты все сразу всасываешь? поищи потоковый парсер.

какая бд, тюнинговал или так?

Если есть возможность сказать что именно менять и на какие значения, то буду благодарен.

по озу. ты все сразу всасываешь? поищи потоковый парсер.

Т.е. писать в несколько потоков?

Если есть возможность сказать что именно менять и на какие значения, то буду благодарен.

с мускулем работал оч давно

Т.е. писать в несколько потоков?

нет. не строить в оперативке все представление документа а обрабатывать в потоке. sax для xml видел?

по озу. ты все сразу всасываешь? поищи потоковый парсер.

Если весь список разом, то ОЗУ под 90% съедается, если пачками то около 76-65%

нет. не строить в оперативке все представление документа а обрабатывать в потоке. sax для xml видел?

нет, не видел

если ты какой нить многогиговый xml попробуешь всосать в память с построением dom то кранты, а если ты будешь обрабатывать sax т.е. потоковый парсер где ты оперируешь событиями start/end и наименованием тэга то жрет минимум оперативки

нет. не строить в оперативке все представление документа а обрабатывать в потоке. sax для xml видел?

Основное, железо: ноут 8Гб ОЗУ, проц AMD А12-9720

для json емнип был аналог sax

если ты какой нить многогиговый xml попробуешь всосать в память с построением dom то кранты, а если ты будешь обрабатывать sax т.е. потоковый парсер где ты оперируешь событиями start/end и наименованием тэга то жрет минимум оперативки

прикол в том, что вес самих данных маденький. .dat файл с необработанными данными весит метров 30

прикол в том, что вес самих данных маденький. .dat файл с необработанными данными весит метров 30

а формат какой?

а формат какой?

формат файла или чего? Данные пишу текстовые, а на сервере они уже преобразуются в int, decimal и Null. Самый тяжёлый 44метра.

формат файла или чего? Данные пишу текстовые, а на сервере они уже преобразуются в int, decimal и Null. Самый тяжёлый 44метра.

copy from/copy to?

copy from/copy to?

Извини, я ночью уже троить начинаю неимоверно. Читаю данные из .dat файла и пишу напрямую в БД через коннектор.

copy from/copy to?

Про это?

Про это?

просто если данные в нужном формате то sql субд умеет их импортить

без коннекторов и прочего

минимум накладных расходов

просто если данные в нужном формате то sql субд умеет их импортить

https://github.com/razdolbai61/VNIIGMI-MCD.git тогда наверное лучше будет, если ты сам глянешь на файл. 25372.dat

минимум накладных расходов

пытался найти, как это сделать, но видимо плохо искал

Убью ак улу если не помещаете регулярно

пытался найти, как это сделать, но видимо плохо искал

https://www.postgresql.org/docs/11/sql-copy.html в мускуле ищи такое

Убью ак улу если не помещаете регулярно

если на гит регулярно не помещаю?

https://www.postgresql.org/docs/11/sql-copy.html в мускуле ищи такое

спасибо

убью акулу? О_О

Подскажите плиз, Джанго умеет автоматически применять новые миграции?

Люди подскажите как в .service файле сделать два ExecStart

точнее чтобы файл обрабатывал два ExecStart