tfhx8
А зачем?
в файле некий конфиг
Tishka17
То есть ты придумал формат, хочешь оттуда читать 300раз/сек
tfhx8
его надо считывать
Tishka17
Давай целиком задачу
Tishka17
20 метров слабо похоже на конфиг
Alex
https://m.habr.com/ru/post/317726/
У меня глупый вопрос от человека который почти ничего не знает о нейронках и пр. Насколько понимаю они обучаются на неких "эталонных" данных. А если текст будет не эталонным? Ну вот просто человеку было лень точки ставить и он без точек несколько предложений написал.
tfhx8
есть сайт, для каждой странцы свой конфиг
tfhx8
страниц много
Tishka17
Где-то я это уже слышал
Tishka17
Бери базу
tfhx8
тоесть каждый строка это и есть конфиг конкретной страницы
tfhx8
Бери базу
база лишняя прослойка, надо быстро с файла
Vadim
А вообще есть нормальные датасеты и это не тот чат
Tishka17
база лишняя прослойка, надо быстро с файла
Это и есть та прослойка, которая делает быстро
Alex
То нейронка научится неправильно
Не правильно выразился - если попытаться разобрать не эталонные данные уже обученной сетью?
Tishka17
Если надо ещё быстрее - в редис положи
Андрей
Скулайт в памяти тоже норм будет
Tishka17
база лишняя прослойка, надо быстро с файла
В смысле "прослойка"? Файл кто заполняет?
Tishka17
файл считывать быстрее
Нет. Тебе надо одну страницу отдать, а читать будешь весь файл
tfhx8
Чем редис?
хз как там поиск делать. Я же выше описал какой поиск
Vadim
Не правильно выразился - если попытаться разобрать не эталонные данные уже обученной сетью?
Я не понимаю что ты говоришь. Надо бы контекст. Ты даешь данные нейросети, получаешь результат в конце. Считаешь ошибку. С помощью backpropogation её уменьшаешь. Нейросеть учится.
Tishka17
Ну правда, ждём бинарный индекс рядом
Alex
файл считывать быстрее
Я не уверен что ты понимаешь как работает компьютер.
Tishka17
Или держи все в памяти и изредка перечитывай (не чаще чем раз в минуту) или бери базу
Vadim
не тоимел ввиду
Держи в оперативке и не парься
Vadim
Тип как dictionary, если файл не большой
Tishka17
в памяти, в редисе?
Редис и держит за тебя в памяти
Alex
тоесть редисе?
как вариант. Или скулайт настроенный на инмемори
Vadim
Tishka17
Он боится баз данных
Могу посоветовать психолога
tfhx8
мне файл нужен для тогоЮ чтобы быстро в случае чео поправить руками
Valerii
😿 Редисы эти ваши аэроспайки ещё ну медленные же че непонятного
Alex
Могу посоветовать психолога
"Покажи где дядя архитектор-БД тебя трогал?"
tfhx8
а если в бд все хранить, это будет не так быстро. Как просто открыть текстовой файл в редакторе и что то поправить ручками
Tishka17
Чо
Tishka17
Открой 20 метров в редакторе
Tishka17
И сохрани
Tishka17
Особенно по сети
Ilya
Он боится баз данных
Программисты в 2020: баюсб баз дянных
tfhx8
Sql запрос в скулайт тоже можно руками.
sql это все равно не быстро. Мне надо быстро, открыть в редакторе в виме к примеру и подправить
Valerii
Редис нав
Valerii
Я думаю он просто ошибся, и хотел сказать 20 килобайт.
Ilya
XD
Я как всегда вовремя
Tishka17
update tablename set title='qwerty' whеre page_id=10;
tfhx8
select * from tablename where page_id=10;
нафига мне скукл запрос еще писать итп, когда япросто лоткрываю в виме, потом нажимаю / и пишу то что найти надо. Так быстрее
Tishka17
Я достаточно быстро написал?
Si
Всем привет, подскажите как можно триггерить на картинку(в окне приложение, желательно что-то на подобие Selenium) или как-то по другому с помощью какой либо библиотеки в python. Задача, нужно загружать аккаунты в приложение, но там иногда окно меняется и мне нужно на него как-то реагировать
Tishka17
С телефона
Denis
csv хороший формат
Vadim
Всё таки 20 мегабайт лучше руками не менять...
Denis
В либреофисе можно открыть и удобно поменять
Tishka17
нафига мне скукл запрос еще писать итп, когда япросто лоткрываю в виме, потом нажимаю / и пишу то что найти надо. Так быстрее
Ага, а какая колонка что значит как контролируешь? А разделители как считаешь? А что если в колонке надо будет символ | использовать?
Андрей
Проблема из ничего, короче.
Ilya
А подскажите начало сабжа, а то выглядит как сюр какой-то?
tfhx8
Всё таки 20 мегабайт лучше руками не менять...
это максимум. Так строк максимум наверно 500к будет
Tishka17
500к строк - это дохуя
Андрей
А подскажите начало сабжа, а то выглядит как сюр какой-то?
Файл в 20 мб читать и парсить питоном проще, чем бд
Denis
csv.DictReader
Tishka17
Вимом бегать по файлу 20метров - у тебя поиск только будет работать несколько секунд
Ilya
Откуда тут ВИМ бля