да

обычно при долгом расписывании находится ответ

+ или хотя-бы нейросеть на ходу тренируясь оптимизирует описание сжимая и сокращая его удаляя ненужные "ээээ" да "мэээ" которых в realtime речи всегда много

А что если он написал сценарий для ролика, прописал все реплики, потом снял видос, смонтировал, а вы не хотите смотреть?

ага "писал сценарий" цитирую: запись пошла... видео просто в таком.. видео формате ... и сразу-же перейду к коду... или к ошибке... лучше скорее всего к ошибке и так получается, что полезной информации в этом потоке наверное 20%, а всё остальное - потраченное время зрителя

не делайте так

+

да

спасибо

Roman Sharkov (0) увеличил репутацию Daniel Podolsky (4)

Ребят. Вопрос для тех кто работал с ffmpeg и вообще с видео. Задал его в таком видео формате: https://youtu.be/564LwISPMUQ Буду благодарен, если кто-нибудь сможет подсказать в чем проблема Код здесь: https://github.com/VLZH/rtmp_sandbox P.S Про сон в главной горутине я знаю... не комильфо P.P.S В видео я сказал, что фрейм енкодится в flv, сказал так, потому что в ffmpeg есть такой енкодер (Рекламные ролики s7airlines)

rtmp - труп

rtmp - труп

rtmp в первую очередь подходит мне из-за nginx-rtmp-module А так да...

Здравствуйте, как мне оптимизировать производительность Go кода? ОС: шиндовс 8.1 x32-64. Суть работы: приложение подключается последовательно к 30 БД (локальных БД), копирует данные в temp файл (ибо эти БД могут использовать другие приложения), считывает данные из temp файла и записывает считанные дынные с БД в текстовые файд "query.txt". Приметка: в БД может быть от 10 строк до 7 тысяч строк. На все это уходит секунд 6-7 на мощном ноутбуке, а если ещё и запускать на более слабых пк/ноутбуках то может занять более 25 сек. Но я то знаю что может быть результат намного лучше, но вот только не знаю как сделать так чтоб результат был лучше, извините за тафтологию. Код: https://pastebin.com/sHYDevDK

Здравствуйте, как мне оптимизировать производительность Go кода? ОС: шиндовс 8.1 x32-64. Суть работы: приложение подключается последовательно к 30 БД (локальных БД), копирует данные в temp файл (ибо эти БД могут использовать другие приложения), считывает данные из temp файла и записывает считанные дынные с БД в текстовые файд "query.txt". Приметка: в БД может быть от 10 строк до 7 тысяч строк. На все это уходит секунд 6-7 на мощном ноутбуке, а если ещё и запускать на более слабых пк/ноутбуках то может занять более 25 сек. Но я то знаю что может быть результат намного лучше, но вот только не знаю как сделать так чтоб результат был лучше, извините за тафтологию. Код: https://pastebin.com/sHYDevDK

Для начала я бы подумал точно ли это имеет смысл. БД специально предназначены для конкурентной работы с данными

А потом выпилил open из цикла и вытащил его наружу

Для начала я бы подумал точно ли это имеет смысл. БД специально предназначены для конкурентной работы с данными

Имеет, без БД не обойтись. Окей, сейчас попробую выпилить наружу функцию

Я как раз намекал на обойтись без файлов

Я как раз намекал на обойтись без файлов

Всё в БД записывать? Подумаю над этим. Но пока у меня работа с файлами идет, а из БД конкретно получение информации

Имеет, без БД не обойтись. Окей, сейчас попробую выпилить наружу функцию

Ну просто стоит понимать, что 10000 тысяч опенов на файл это медленно

Ну просто стоит понимать, что 10000 тысяч опенов на файл это медленно

Ок. То есть когда я сейчас создаю файл в цикле я создаю его 100500 раз?

Он же 1 раз создается, по идее цикл тут не влияет ни на что

Ибо там стоит флаг os.O_APPEND

Ибо там стоит флаг os.O_APPEND

И? А открывается хренову кучу раз.

И? А открывается хренову кучу раз.

А, точно, извиняюсь за тупость

Открытие файла за цикл вынести надо.

Открытие файла за цикл вынести надо.

Вынес, но чет не очень то и помогло.

Вынес, но чет не очень то и помогло.

показывай что получилось

показывай что получилось

https://pastebin.com/gmz0tZjz

показывай что получилось

Сейчас ещё профилирование врублю, но это изменение заметно только на доли секунды

да, профайлер очень поможет.

Можно ещё вместо sprintf делать fprintf, но это экономия на спичках

Можно писать не каждую строчку, а накапливать буффер и вконце его сливать в файл

Можно писать не каждую строчку, а накапливать буффер и вконце его сливать в файл

Или вынести два треда и соеденить их каналом

Типа того: var buffer bytes.Buffer for i := 0; i < 1000; i++ { buffer.WriteString("a\n") } buffer.String() // Write to file

Кстати что за БД?

Ну это все как я понял максимум что сократит время на 1-2 сек максимум ?

Кстати что за БД?

mysql

ну это при условии, что тормозит именно запись в файл. Можно запустить без записи в файл и посмотреть время. Возможно, из БД медленно забираешь

mysql

точно не sqlite?

точно не sqlite?

извиняюсь, перепутал это sqlite

ну это при условии, что тормозит именно запись в файл. Можно запустить без записи в файл и посмотреть время. Возможно, из БД медленно забираешь

Хотя я сейчас так протестировал, это похоже связанно с самой БД ибо я только что поптылася открыть 60 файлов и записать в них примерно по 4 тысячи строк и вышло намного быстрее чем через БД

Поэтому походу можно сказать я достиг предела

Это очень странно. Выбрать из sqlite 10k строк это быстро

а нет ли проблемы в Next()? никогда не работал с бд из го, если убрать все из цикла, сильно быстрее станет? либо убрать пока только запись, то есть найдите для начала узкое место, прежде чем оптимизировать что-то

Поэтому походу можно сказать я достиг предела

Попробуй чтение проводить в несколько потоков.

а так - получается просто гадание какое-то

Ну так это самым первым надо было делать, через профилер прогнать.

и у вас в цикле или опечатка или что if _, err = wfile2.WriteString(hkInfo); err != nil { fmt.Println(err) }

а самого объявления wfile2 не нашел

и у вас в цикле или опечатка или что if _, err = wfile2.WriteString(hkInfo); err != nil { fmt.Println(err) }

наверное символ потер, там вместо wfile стоит wfile2

Ну так это самым первым надо было делать, через профилер прогнать.

я просто через профайлер не когда ничего не делал) сегодня только начал его юзать, раньше он был мне не нужен, поэтому не знаю что и как там

Да можно и по-старинке просто время замерять самому

Не такой большой уж и кол

Код

Здравствуйте, как мне оптимизировать производительность Go кода? ОС: шиндовс 8.1 x32-64. Суть работы: приложение подключается последовательно к 30 БД (локальных БД), копирует данные в temp файл (ибо эти БД могут использовать другие приложения), считывает данные из temp файла и записывает считанные дынные с БД в текстовые файд "query.txt". Приметка: в БД может быть от 10 строк до 7 тысяч строк. На все это уходит секунд 6-7 на мощном ноутбуке, а если ещё и запускать на более слабых пк/ноутбуках то может занять более 25 сек. Но я то знаю что может быть результат намного лучше, но вот только не знаю как сделать так чтоб результат был лучше, извините за тафтологию. Код: https://pastebin.com/sHYDevDK

как мне оптимизировать производительность Go кода? профайлить, профайлить и ещё раз профайлить

Да можно и по-старинке просто время замерять самому

можете подсказать комманду на винде пожалуйста? ибо на linux есть time

как мне оптимизировать производительность Go кода? профайлить, профайлить и ещё раз профайлить

нужно ещё научится это делать, ибо я вэтом 0

Речь о t =time.Now() и print(time.Now().Sub(t))

нужно ещё научится это делать, ибо я вэтом 0

Go для этого предоставляет все нужные инструменты, профайлинг CPU, latency, памяти... чего угодно просто нужно выделить пару дней и прокурить тему

Речь о t =time.Now() и print(time.Now().Sub(t))

Ок. Я думал о времени измерения выполнения приложения user time, system time и т.д

Речь о t =time.Now() и print(time.Now().Sub(t))

EEST это и есть время выполнения программы?

Речь о t =time.Now() и print(time.Now().Sub(t))

я даже не ожидал, выдало 10 секунд

10.195 *

Речь о t =time.Now() и print(time.Now().Sub(t))

А потом половина линтеров оклеветает тебя, потому что не знаешь о time.Since(t)

А потом половина линтеров оклеветает тебя, потому что не знаешь о time.Since(t)

Как что-то плохое, исправляешь и уже знаешь)

Господа, мне сейчас один очень умный человек сказал что нету никакого Database Locked (Ибо когда я открывал через DB Browser for SQLITE мне выдавало эту ошибку и пришлось закрывать посторонние приложения), сейчас же убрал все функции копирования и результат сократился на 4 секунды)

Если выпелить ещё несколько функций думаю можно и до 3 сек дотянуть

Будет вообще прекрасно

Ну просто стоит понимать, что 10000 тысяч опенов на файл это медленно

Откуда такие цифры? И зачем вообще постоянно открывать файлы?

Вынес, но чет не очень то и помогло.

Ожидаемо, потому что там надо сильно постараться

Откуда такие цифры? И зачем вообще постоянно открывать файлы?

Ну у чувака в коде был опен на каждую строку, а строк 10к

Буферизация записи неплохо бы помогла тоже

А сам селект, кстати сколько выполняется?

Ну у чувака в коде был опен на каждую строку, а строк 10к

Это погоды не сделает совсем.

А сам селект, кстати сколько выполняется?

смотря сколько строк в таблице, допустим 44 строки = 23 мс (выдает db browser)

Ну так вы же выбираете все строки в коде из таблицы, сколько уходит на именно этот sql?

Ну так вы же выбираете все строки в коде из таблицы, сколько уходит на именно этот sql?

хрен его знает, я не знаю как замерять время sql запроса в Go ))

Ну, в том же браузере

Explain там, explain analyze

Хз что там в SQLite есть

хрен его знает, я не знаю как замерять время sql запроса в Go ))

Заметьте тем же time тогда

Почему то есть стойкое ощущение, что нас тут троллят

unbelievable xdd 9к строк = 24 мс . А так я думаю что вы меня троллите ))

Я тут вообще 0 на палочке

Если вы про СТРОКИ из ВСЕХ БД вместе взятых то я не знаю как это замерить

Если секретного ничего нет - кинь весь проект архивом в личку или сюда, хз, домой доеду - поковыряюсь

Буферизация записи неплохо бы помогла тоже

как ответил @Tratatatataas ? через buffer.Buffer?

как ответил @Tratatatataas ? через buffer.Buffer?

Да

Ок, сейчас попытаюсь. Да вообщем меня сейчас устраивает результат, сейчас попробую с буферизацией и всё) У меня не высоконагруженные системы чтоб заботится о каждой НАНО секунде)

Привет, когда я беру и изменяю слайс из мапы, то данные во втором слайсе будут равны данным в первом слайсе?

а?!

Структура: map[int][]int Если я беру слайс происходит, то новый слайс указывает на тот же массив или происходит копирование?

слайс копируется, массив остается, конечно

Спасибо, а то начал сомневаться)

в Go принято писать ошибки с малой буквы? типа: fmt.Errorf("some error occurred") вместо fmt.Errorf("Some error occurred")

в Go принято писать ошибки с малой буквы? типа: fmt.Errorf("some error occurred") вместо fmt.Errorf("Some error occurred")

Да

не подскажите с какими флагами собрать ехе файл из под линукса?

не подскажите с какими флагами собрать ехе файл из под линукса?

погугли "cross compiling go exe on linux"