Roman
Но все таки мне больше nlp нравиться. Язык сложнее картинок
tfhx8
Как подсчитать количество строк в большом файле, который больше оперативы?
fs
поделитесь?
Сейчас на корпоративе...вергусь и скину
Nikolay
Как подсчитать количество строк в большом файле, который больше оперативы?
итерируйся сразу по дескриптору и увеличикай counter на 0
Taijef
Спасибо
Anonymous
Кто знает как можно вывести спарсеную инфу с сайта в телеграмм канал?
Denis
Отправить сообщение с этой инфой
Anonymous
Хороший ответ, как?🌚
Nikolay
🌚
Anonymous
🌚
Denis
https://core.telegram.org/method/messages.sendMessage
Aleksandr
Какую библу лучше юзать для openvpn? тех.зад. (бот коннектится по openvpn, проходит по url, отключается). У pip их больше десятка.
Anonymous
urllib
Taijef
В python3 импорть ее как import urllib.request
Михаил
Народ нужно посоветоваться. Я хз как все описать, но постараюсь) Есть реализованный/сильно проработанный строительный калькулятор сметы для Жилого индивидуального дома и он постоянно обрастает функционалом (я в двойне понял что функционала дохера, потому что уже начал на Visual Basic писать код. Структурно и архитектурно, можно выделить следующие моменты: 1) Есть листы с таблицами материалов и работ с ценами и прочими справочными данными (аля отдельные Базы данных) 2) Есть лист для входных данных, которые нужны для расчета кол-в в первую очередь (есть вторая и третья, но дольше расписывать) 3) Есть лист с большой таблицей самой калькуляции 4) Есть лист с дополнительной таблицей, которая удобна при предварительном расчете для быстрого составления КП (коммерческого предложения), которая также влияет на общий Калькулятор и при этом в ней сводятся стоимости по укрупненным разделам. В ней есть выбор материалов по большинству укрупненных позиций. Я в любом случае буду допиливать функционал до работающего состояния чисто имеющими средствами эксель. Но после параллельно хочу перейти на Python как на основной инструмент для реализации функционала. Тут у меня появляются следующие вопросы: 1) Стоит ли мне пытаться оставить все так же как есть сейчас, но всю функциональность пересадить на Python скрипт с библиотеками для Excel? То есть все формулы и зависимости буду описаны в скриптах (наверно по большей части, если не все), а в эксель будут выдаваться значения, чтобы таблицы заполнялись. 2) Имеет ли смысл сделать организацию таблиц-справочников в базе данных? Если да то в каких? А может и все и в экселе будет удобно работать. (Я начинаю понимать, что когда-то мне пригодятся уникальные идентификаторы, которых сейчас нет, но вводить их самому сложно, на уровне простой нумерации, их сложно ввести, но так как не ввел я и не ушел дальше начального понимания, чем они мне помогут) 3) Я начал делать Forms на VBA понял, что очень туго идет и с поиском информации и с поиском примеров и вообще думать в синтаксисе VBA мне прям трудно, я начинаю писать и постоянно пишу по питонячи и естественно почти все не работает сразу🤪. Соответственно, если переходить на питон, то интерфейсную часть я могу делать с помощью tkinter или Qt. Ну мне видится или то или другое. Если выбор норм, то нужно посоветовать к чему можно в итоге склонится, если есть еще варианты, то тоже буду рад рассмотреть. 4) Что я еще могу важное упускать в построении всей этой системы? 5) Надо будет в идеале форму КП на сайт запихнуть, чтобы можно было интерактивно расчет делать. 6) Ну соответсвенно еще куча других задач по интеграции например в Google-таблицу, CRM-систему, веб-сервис для ведения смет Если кого-то заинтересовало очень сильно и есть возможность уделить мне время, то пишите в ЛС я там и файл могу скинуть, чтобы предметно пообщаться. Денег пока предложить не могу. Пока только вот эти, местами возможно скучные, а местами возможно интересные задачи
Xenomorph
Всем привет, нужна помощь. Нужно найти большие данные для "Интеллектуального анализа больших данных". Если измерять в кол-во строках, то минимум от 200000. После нужно проанализировать и выявить закономерность к примеру (по данным из кредитов женщины больше и дольше, раньше берут кредиты). Срок до четверга.
Xenomorph
Какие именно данные?
Любые главное чтобы показать закономерность.
Xenomorph
Википедию скачай
Я готов заплатить если поможете
Denis
Я готов заплатить если поможете
Держи, бесплатно https://radimrehurek.com/gensim/corpora/wikicorpus.html
Xenomorph
Держи, бесплатно https://radimrehurek.com/gensim/corpora/wikicorpus.html
Ну данные я знаю где брать. А остальное? Проанализировать данные, построить красивые графики и выявить закономерность.
Denis
word2vec можешь обучить
Anonymous
word2vec можешь обучить
ему кредитную историю вроде надо аналитить
Anonymous
А зачем ему тогда википедия
понятия не имею :\😀
Xenomorph
Что проанализировать надо?
Данные к примеру по рождаемости и т.д.
Denis
Данные к примеру по рождаемости и т.д.
Тогда поищи на kaggle и в каких-нибудь открытых датасетах
Denis
Но если ты не знаешь, что тебе надо делать, возьми титаник
Михаил
Народ нужно посоветоваться. Я хз как все описать, но постараюсь) Есть реализованный/сильно проработанный строительный калькулятор сметы для Жилого индивидуального дома и он постоянно обрастает функционалом (я в двойне понял что функционала дохера, потому что уже начал на Visual Basic писать код. Структурно и архитектурно, можно выделить следующие моменты: 1) Есть листы с таблицами материалов и работ с ценами и прочими справочными данными (аля отдельные Базы данных) 2) Есть лист для входных данных, которые нужны для расчета кол-в в первую очередь (есть вторая и третья, но дольше расписывать) 3) Есть лист с большой таблицей самой калькуляции 4) Есть лист с дополнительной таблицей, которая удобна при предварительном расчете для быстрого составления КП (коммерческого предложения), которая также влияет на общий Калькулятор и при этом в ней сводятся стоимости по укрупненным разделам. В ней есть выбор материалов по большинству укрупненных позиций. Я в любом случае буду допиливать функционал до работающего состояния чисто имеющими средствами эксель. Но после параллельно хочу перейти на Python как на основной инструмент для реализации функционала. Тут у меня появляются следующие вопросы: 1) Стоит ли мне пытаться оставить все так же как есть сейчас, но всю функциональность пересадить на Python скрипт с библиотеками для Excel? То есть все формулы и зависимости буду описаны в скриптах (наверно по большей части, если не все), а в эксель будут выдаваться значения, чтобы таблицы заполнялись. 2) Имеет ли смысл сделать организацию таблиц-справочников в базе данных? Если да то в каких? А может и все и в экселе будет удобно работать. (Я начинаю понимать, что когда-то мне пригодятся уникальные идентификаторы, которых сейчас нет, но вводить их самому сложно, на уровне простой нумерации, их сложно ввести, но так как не ввел я и не ушел дальше начального понимания, чем они мне помогут) 3) Я начал делать Forms на VBA понял, что очень туго идет и с поиском информации и с поиском примеров и вообще думать в синтаксисе VBA мне прям трудно, я начинаю писать и постоянно пишу по питонячи и естественно почти все не работает сразу🤪. Соответственно, если переходить на питон, то интерфейсную часть я могу делать с помощью tkinter или Qt. Ну мне видится или то или другое. Если выбор норм, то нужно посоветовать к чему можно в итоге склонится, если есть еще варианты, то тоже буду рад рассмотреть. 4) Что я еще могу важное упускать в построении всей этой системы? 5) Надо будет в идеале форму КП на сайт запихнуть, чтобы можно было интерактивно расчет делать. 6) Ну соответсвенно еще куча других задач по интеграции например в Google-таблицу, CRM-систему, веб-сервис для ведения смет Если кого-то заинтересовало очень сильно и есть возможность уделить мне время, то пишите в ЛС я там и файл могу скинуть, чтобы предметно пообщаться. Денег пока предложить не могу. Пока только вот эти, местами возможно скучные, а местами возможно интересные задачи
Или может посоветуете, где еще я могу это обсудить?
Denis
Я 0
Тогда тебе рано в биг дату, пока теорвер и статистику осваивай
Xenomorph
Тогда тебе рано в биг дату, пока теорвер и статистику осваивай
Да мне зачёт надо поставить поэтому и говорю что нужна помощь
Nikolay
😏😏😏
Nikolay
Как ты сдашь зачет тогда?
Nikolay
Нам конкуренты не нужны🦔
Xenomorph
Как ты сдашь зачет тогда?
Заплачу тому кто сделает
Tishka17
на бигдату точно не тянет
Anonymous
на бигдату точно не тянет
че эт вдруг? есть же масса критериев некоторые считают что все что не влазит в эксель - сразу бигдата в учебниках ваще с титаника начинают а там не то что двухсот - там и двух тысяч нет
Xenomorph
200к строк в эксель влазят
Можно и в экселе сделать 😁
Anonymous
200к строк в эксель влазят
ну эт смотря какой эксель 😜
Tishka17
ну правда, как учебный материал для расчета - ок
Tishka17
как бигдата - нет
Denis
Бигдата это обычно то, что в один сервер не помещается
Alexey
#резюме #resume #cv #удалённо #удаленно #удалёнка #удаленка #remote #fulltime #python #пайтон #питон #django #джанго Python ~2 года Django ~полгода https://hh.ru/resume/0068452fff075b31020039ed1f4d756c5670
Adel
Народ нужно посоветоваться. Я хз как все описать, но постараюсь) Есть реализованный/сильно проработанный строительный калькулятор сметы для Жилого индивидуального дома и он постоянно обрастает функционалом (я в двойне понял что функционала дохера, потому что уже начал на Visual Basic писать код. Структурно и архитектурно, можно выделить следующие моменты: 1) Есть листы с таблицами материалов и работ с ценами и прочими справочными данными (аля отдельные Базы данных) 2) Есть лист для входных данных, которые нужны для расчета кол-в в первую очередь (есть вторая и третья, но дольше расписывать) 3) Есть лист с большой таблицей самой калькуляции 4) Есть лист с дополнительной таблицей, которая удобна при предварительном расчете для быстрого составления КП (коммерческого предложения), которая также влияет на общий Калькулятор и при этом в ней сводятся стоимости по укрупненным разделам. В ней есть выбор материалов по большинству укрупненных позиций. Я в любом случае буду допиливать функционал до работающего состояния чисто имеющими средствами эксель. Но после параллельно хочу перейти на Python как на основной инструмент для реализации функционала. Тут у меня появляются следующие вопросы: 1) Стоит ли мне пытаться оставить все так же как есть сейчас, но всю функциональность пересадить на Python скрипт с библиотеками для Excel? То есть все формулы и зависимости буду описаны в скриптах (наверно по большей части, если не все), а в эксель будут выдаваться значения, чтобы таблицы заполнялись. 2) Имеет ли смысл сделать организацию таблиц-справочников в базе данных? Если да то в каких? А может и все и в экселе будет удобно работать. (Я начинаю понимать, что когда-то мне пригодятся уникальные идентификаторы, которых сейчас нет, но вводить их самому сложно, на уровне простой нумерации, их сложно ввести, но так как не ввел я и не ушел дальше начального понимания, чем они мне помогут) 3) Я начал делать Forms на VBA понял, что очень туго идет и с поиском информации и с поиском примеров и вообще думать в синтаксисе VBA мне прям трудно, я начинаю писать и постоянно пишу по питонячи и естественно почти все не работает сразу🤪. Соответственно, если переходить на питон, то интерфейсную часть я могу делать с помощью tkinter или Qt. Ну мне видится или то или другое. Если выбор норм, то нужно посоветовать к чему можно в итоге склонится, если есть еще варианты, то тоже буду рад рассмотреть. 4) Что я еще могу важное упускать в построении всей этой системы? 5) Надо будет в идеале форму КП на сайт запихнуть, чтобы можно было интерактивно расчет делать. 6) Ну соответсвенно еще куча других задач по интеграции например в Google-таблицу, CRM-систему, веб-сервис для ведения смет Если кого-то заинтересовало очень сильно и есть возможность уделить мне время, то пишите в ЛС я там и файл могу скинуть, чтобы предметно пообщаться. Денег пока предложить не могу. Пока только вот эти, местами возможно скучные, а местами возможно интересные задачи
Кучи листов в экселе преобразовать в справочники, положить в sql Все остальное сделать на winforms с python for .net
Tishka17
С учётом, что человек хочет потом на сайте сделать, бы винформс выкинул и сразу накидал простую хтмл страницу
Adel
С учётом, что человек хочет потом на сайте сделать, бы винформс выкинул и сразу накидал простую хтмл страницу
А я бы с формы кидал на дотнетовский вебсервис и результат отдавал обратно на веб
Tishka17
Или зачем тут питон
Adel
Зачем тут дотнет?
Ему делать калькулятор для строителей. Сложный ui с кучей данных. На винформс куча инструментов и готовых компонентов для этого. Датагрдиов разных завались. Питон здесь только потому что он умеет в питон, а так на дотнете можно и в c# и в vb и в питон (постольку поскольку)
Tishka17
Совмещать два языка можно только если у тебя есть хотя бы два разработчика, по одному на каждый
Tishka17
А он знает питон
Tishka17
Не знаю что там на винформс, на Qt поля для ввода чиселок и пагинацию сделать не проблема
Михаил
Кучи листов в экселе преобразовать в справочники, положить в sql Все остальное сделать на winforms с python for .net
Я правильно понимаю, что вопрос какую именно SQL взять не будет играть большой роли? Так объективно в чем я проигрываю, если отказываться от winforms? Разнообразие готовых инструментов?
Михаил
Не знаю что там на винформс, на Qt поля для ввода чиселок и пагинацию сделать не проблема
Пока что из того, что я начал накидывать в форме в самом Экселе, то вроде всех стандартных элементов хватает, не хватает каких-то свойств, для красивого оформления. Но возможно в дальнейшем ещё чё нибудь вылезет)
Михаил
Совмещать два языка можно только если у тебя есть хотя бы два разработчика, по одному на каждый
Пока я один. Трудо затраты на то что я сделал в одной книге Эксель ну наверно в общей сложности в 3 рабочих недели сложить можно
Tishka17
Винфорс тебе добавит работы, не даст профита
Anonymous
Винфорс тебе добавит работы, не даст профита
тут опять-таки непонятно что надо на выходе - только десктоп или еще и веб? можно опенсорсный стек типа пи-кьют + джанга нопремер или учить дотнет и делать все в нем - там и нативные апликухи под винду и скл-сервер и асп.нет - может даже проще связать это все будет в конце концов
Anonymous
Ребят, как заставить себя работать?))
Anonymous
Иди работай
👍 Спасибо, помогло!
Anonymous
Ребят, как заставить себя работать?))
отключай интернет и впирод
Tishka17
Anonymous
перестань сидеть в чате
Я сюда только залетел.
Tishka17
это не поможет работать
Михаил
Если тебе нужен веб, делай сразу веб
Хммм тут для меня пока не ясно. Опять же можешь Архитектурно или еще както описать? Сразу веб возможно тоже тяжело. Для меня пока что предельно понятна работа переноса функционала Эксель на питон, не более. Как я буду увязывать с другими сервисами, не ясно из-за того, что ещё нет понимания ни как это должно выглядеть, ни понятно какая часть функционала должна быть реализована и должна ли быть вообще и должна ли будет потом быть связь двусторонняя или ещё что-то. Вопрос миллиард, но как я предполагаю, какую архитектуру и структуру не выберу и реализую, я в дальнейшем смогу реализовать все остальное без масштабных переделок. P.s. надеюсь я не ошибаюсь)
Михаил
тут опять-таки непонятно что надо на выходе - только десктоп или еще и веб? можно опенсорсный стек типа пи-кьют + джанга нопремер или учить дотнет и делать все в нем - там и нативные апликухи под винду и скл-сервер и асп.нет - может даже проще связать это все будет в конце концов
Сейчас исхожу из того, что десктоп. Так как он понятен и ясен как день и продуман максимально полно. Так как у каждого сервиса куда потенциально будет что либо интегрироваться, будет зависеть и от апи сервиса и так далее, темный лес. Соответственно сейчас мне нужно понять, что может привести к полной переделке, тут хз как это спрогнозировать без опыта)
Anonymous
Хммм тут для меня пока не ясно. Опять же можешь Архитектурно или еще както описать? Сразу веб возможно тоже тяжело. Для меня пока что предельно понятна работа переноса функционала Эксель на питон, не более. Как я буду увязывать с другими сервисами, не ясно из-за того, что ещё нет понимания ни как это должно выглядеть, ни понятно какая часть функционала должна быть реализована и должна ли быть вообще и должна ли будет потом быть связь двусторонняя или ещё что-то. Вопрос миллиард, но как я предполагаю, какую архитектуру и структуру не выберу и реализую, я в дальнейшем смогу реализовать все остальное без масштабных переделок. P.s. надеюсь я не ошибаюсь)
достаточно наивно кто-то до тебя - ну тот кто писал это все на экселе думал примерно также а теперь вот ты можешь сам себе заложить неприятную мину на будущее ну может не себе - если поймешь шо этот проект не тянешь и вовремя соскочишь и повесишь гиморой с доделкой на кого-то 😀