в новых ESP (S3) через USB быстрая заливка

Не особо, через uart все равно выходит быстрее

Скорость зависит от чипа моста. Есть чипы для которых 115200 это максимальная скорость. А вот FT легко переваривают 2М

Шил esp32-s2 на 2.5М на самосборном usb-uart модуле

Но на самом деле выше 1.5 уже не особо есть разница, там уже основные задержки вносит запись в память.

самособранный на каком чипе? ну и у вас esp32, а тут esp8266

самособранный на каком чипе? ну и у вас esp32, а тут esp8266

Самосборный на stm32. Да, извиняюсь, думал речь о esp32.

Скорость зависит от чипа моста. Есть чипы для которых 115200 это максимальная скорость. А вот FT легко переваривают 2М

То есть загрузчик переварит, если тут больше выставить?

переварит если чип моста usb-com это позволит. Если не позволит, то обычно драйвер сообщает об этом

Но на самом деле выше 1.5 уже не особо есть разница, там уже основные задержки вносит запись в память.

Именно так

Есть у кого пример работы esp32 ble advertising в режиме рекламирования? ☝️

Коллеги, подскажите в си/си++ который в ардуино есть какие нибудь способы/методы сортировки каких нибудь данных?

вроде там в сях есть функция sort же

в школе нынче не учат алгоритмам?

esptool.py -p /dev/tty.wchusbserialfa130 --baud 115200 write_flash -fs 16m -fm qio -ff 40m \ 1x0 ../../bootloader/firmware_prebuilt/rboot.bin 0x1000 ../../bootloader/firmware_prebuilt/blank_config.bin 0x2000 ./firmware/http_server.bin

115200 это оч медленно

попробую потом поднять

Коллеги, подскажите в си/си++ который в ардуино есть какие нибудь способы/методы сортировки каких нибудь данных?

Какие именно данные сортировать? Есть что по умолчанию Под сложное есть либы

https://github.com/emilv/ArduinoSort

Какие именно данные сортировать? Есть что по умолчанию Под сложное есть либы

Фактически это строки от каждого гпио собираются в одну строку. Могу добавить каждой int порядок сортировки и сделать массив.

можно традиционно свой callback подсунуть для сортировки сложных данных

https://github.com/emilv/ArduinoSort

👍

а если углубица - то всё зависит от объема данных для сортировки

дональд кнут, том 3-й.

меня на последнем собесе попросили написать тестовое задание - сортировка 100 ГБ файла при лимите памяти в 2 ГБ.

(я написал, да)

Хотя я могу наверно упростить, сделать нарастающий цикл и выбирать данные соответсвующие порядку сортировки, это увеличит время сбора данных до 10 раз, но это нужно только при ручном запросе.

Хотя я могу наверно упростить, сделать нарастающий цикл и выбирать данные соответсвующие порядку сортировки, это увеличит время сбора данных до 10 раз, но это нужно только при ручном запросе.

Я ток хотел предложить Нахрена козе баян, просто работайте с массивом)

меня на последнем собесе попросили написать тестовое задание - сортировка 100 ГБ файла при лимите памяти в 2 ГБ.

А ограничение на время? Потоки? Что за данные??

Я ток хотел предложить Нахрена козе баян, просто работайте с массивом)

Пойду делать сортировку, как сделаю покажу

Пойду делать сортировку, как сделаю покажу

Несколько массивов В одном массив строк с именами Во втором массив адресов пинов что переключаются И все

А потом просто с номерами работаете

А ограничение на время? Потоки? Что за данные??

тестовые строки вида 454000<tab>city & street here надо было отсортировать по адресу, затем по индексу. ограничения на время - две минуты :) потоки - максимум 8

тестовые строки вида 454000<tab>city & street here надо было отсортировать по адресу, затем по индексу. ограничения на время - две минуты :) потоки - максимум 8

10 гигов????

100

100 гигов адресов???????????? Не 1, не 2, не 5 а 100? Во всем мире мне кажется столько адресов не наберется

Вообще задача интересная

это просто тестовые данные. Представь что там не адреса, а это чьи-то логи.

это просто тестовые данные. Представь что там не адреса, а это чьи-то логи.

За стогиговый файллог надо за яйца вешать всех причасных

не надо так серьезно, это просто была задача на ленточную сортировку.

Если логи больше 100мб это уже жесть жесткая

дональд кнут, том 3

не надо так серьезно, это просто была задача на ленточную сортировку.

Да там можно и пузырками и через промежуточную базу

да там неважно как сортировать парты

один хер - сначала бьёца на сортированныке парты, потом слияние.

Да задача типовая

Меня просто цифры смущают

почему? на современном проце + nvme ssd вполне всё работает ок

Ахаха

Таки внешняя буферизация

Я думал надо именно в рамках буфера 2гб развернутся

Без перезаписи на жеском

можно использовать не более 2 ГБ RAM для сортировки, тоесть не более 256 МБ размер одного парта на ядро

Учитывая размер, милиарды операций над диском очень быстро будут его убивать если это типовая задача на сервере

можно использовать не более 2 ГБ RAM для сортировки, тоесть не более 256 МБ размер одного парта на ядро

Чет вы как то неправильно многопоточность изучали

?

В рамках озу на двух гигах можно развернутся Что бы на сам жеский уже чисто читало исходник и писало чистовой файл только Но это надо реально заморочится Вы же как я понимаю разбили на кадры и тасовали уже в рамках ссд

читаешь исходный файл, бьёшь на парты, пишешь их на диск. по окончанию - открываешь все парты и считывая оттуда сливаешь в конечный файл, выбирая в нужном порядке строки.

ничо сверхсложного

Ого Да просто но ресурсоемко По сути ВЕСЬ файл обрабатывается ТРИЖДЫ Сначала когда парсишь, потом когда разбиваешь на индексы, а затем когда собираешь с индекса Да работает но не для биг дата Я так понимаю после тестового не перезвонили? Тут сама задача была посмотреть как вы оптимально будете работать с большими данными Выгрузить весь файл в псевдобд по выборке это круто но ресурсоемко и геометрически масштабируемо

> Я так понимаю после тестового не перезвонили? ты удивишься но это было моё второе собеседование за последние 12 лет и я щас тут работаю - всмысле по итогам всех собесов мне сделали охуенный оффер

второй собес после тестового был вообще не про это

> Я так понимаю после тестового не перезвонили? ты удивишься но это было моё второе собеседование за последние 12 лет и я щас тут работаю - всмысле по итогам всех собесов мне сделали охуенный оффер

Ну тогда мои поздравления) Я так понимаю работа не оч связана с большими массивами данных? Именно в плане монолитных кусков данных огромного обьема

вообще никак не связана, ну тоесть тут я их просто не вижу нигде в таком виде

второй собес после тестового был вообще не про это

Скорее всего тогда просто тимлид с инета выдернул какое то задание и смотрел больше как ты его решаешь)

всё как обычно - микросервисы, базы, вебморды и т.д.

вообще никак не связана, ну тоесть тут я их просто не вижу нигде в таком виде

Повезло значит Бигдата это боль)

всё как обычно - микросервисы, базы, вебморды и т.д.

Классика тоесть)

ну тут есть и бигдаты, но они в разных других хранилищах - sentry, git lfs, и т.д.

Теплое и мягкое это две большие разницы

Да рвботать с терабайтами индексированными это тоже искуство

Но индексировать терабайты это вообще отдельное искусство полное боли))

да это я уже всё проходил с clickhouse и tarantool немнош даже

и базы у меня жили на разных проектах очень разные

IT от жизни отличается тем, что в в жизни учении тяжело а в бою легко, а в IT в учении сложно а в бою вообще пиздец))))

ну для этого есть разные соломки

У меня по работе есть логер Разработали что бы можно в шкафы вешать иметь независимые отчеты за квартал по отказам и тд Так вот там за квартал накапывает до гига логов Около пол года секса пока не внедрили нормальную систему сбора и обработки этой срани Причем был как человеческий фактор, когда оператор просто задрачивался вставлять и менять sd карты, так и блядский програмный когда из за одного битого символа некорректно парсило весь файл

бывает

Там в итоге пришли к единому формату с разбиением и подписями, но прийти к этому стоило ведер слез

можно использовать не более 2 ГБ RAM для сортировки, тоесть не более 256 МБ размер одного парта на ядро

любопытно, с каким окладом была та вакансия?

нормальным для начала :)

вакансия вообще не про тестовое задание, я же говорил

да, я только щас дочитал. дурацкая привычка комментировать не дочитав.