Nikolay Markov
делать vfs в памяти полноценную?
Alexey
Nikolay есть минимальный самодостаточный пример?
Nikolay Markov
а что вообще за ls? откуда он?
у меня на гластере файлы появляются рандомно в папках, и мне надо отлавливать самые свежие из них по mtime
Roman
не совсем так. моком он может эмулировать неверное поведение.
Nikolay Markov
я с помощью ls сортирую их по нему и беру последние
Roman
Нет, не обязателен 🙂
ну тогда тратьте время на выяснение того, почему у вас упал тест на ровном месте на системе Х потратить час чтоб потом в итоге понять, что та директория в которой тест проворячивает свои дела сначала была примаунчена к некой сетевой ФС а потом примаунчена к какому-то диску... тесты то падают, то нет.. тратьте время на-здоровье, товарищи 🙂
Nikolay Markov
допустим. но это не отвечает на вопрос про ls )
func (gfw *GlusterFileWatcher) GetLastFeedFile(feedPath string) (string, error) { cmd := exec.Command("ls", "-v", "-r", feedPath) out, err := cmd.Output() if err != nil { return "", err } years := strings.Split(strings.TrimSpace(string(out)), "\n") lastYear := years[0] cmd = exec.Command("ls", "-v", "-r", filepath.Join(feedPath, lastYear)) out, err = cmd.Output() if err != nil { return "", err } months := strings.Split(strings.TrimSpace(string(out)), "\n") lastMonth := months[0] cmd = exec.Command("ls", "-v", "-r", filepath.Join(feedPath, lastYear, lastMonth)) out, err = cmd.Output() if err != nil { return "", err } days := strings.Split(strings.TrimSpace(string(out)), "\n") lastDay := days[0] cmd = exec.Command("ls", "-v", "-r", filepath.Join(feedPath, lastYear, lastMonth, lastDay)) out, err = cmd.Output() if err != nil { return "", err } lastFile := strings.Split(string(out), "\n")[0] lastFilePath := filepath.Join(feedPath, lastYear, lastMonth, lastDay, lastFile) if lastFile == "" { return "", errors.New(fmt.Sprintf("No files in %s", lastFilePath)) } return lastFilePath, nil }
Nikolay Markov
Nikolay Markov
жуть. почему не inotify?
потому что у нас старый гластер, который в него не умеет еще
Nikolay Markov
так-то я бы рад
Nikolay Markov
причем тут glusterfs?
ну не работает inotify поверх него в старых версиях, я не знаю, почему конкретно
Alexey
ну тогда тратьте время на выяснение того, почему у вас упал тест на ровном месте на системе Х потратить час чтоб потом в итоге понять, что та директория в которой тест проворячивает свои дела сначала была примаунчена к некой сетевой ФС а потом примаунчена к какому-то диску... тесты то падают, то нет.. тратьте время на-здоровье, товарищи 🙂
Роман, я не буду говорить за всех, но я, например, это всё знаю. Я знаю зачем и как моки. Но я бы не настаивал так сильно на своей точке зрения. Часто нужно, чтобы система работала, а не кусок кода с моками. Я столько раз видел, когда тест отлично проходил с моком, но код не работал, что не передать. 🙂 Почитайте pdf выше. Она немного старая, но интересная. Автор – практик старше нас всех.
Nikolay Markov
inotify работает на уровне vfs, ему пофиг
я так понимаю, тут изменения не становятся видны на хосте, пока их явно не запросишь, поэтому ls их триггерит, а inotify не пашет. Но могу быть неправ
Мерль
Слушайте, о чём вообще речь Мы все помним, что программа исполняемся на реальном железе? Надо, очевидно, мокать процессор и доступ к оперативной памяти
Nikolay Markov
и потом, с ls логика работает уже, на самом деле, и вполне нормально
Nikolay Markov
проблема только с тем, как ее тестить :)
Alexey
Мерль🛠 Аргумент сведения к абсурду силён в тебе 😄
Nikolay Markov
его тоже можно замокать, чрутом!
Alexey
Ну харе 🙂
Tishka17
сразу видно, ядро не отлаживали
Nikolay Markov
А зачем ls, кстати, а не через Go?
а он умеет в ls -vr кодом?
Roman
out, err := cmd.Output() if err != nil { return "", err }
Roman
отсюда какая ошибка прилетает?
Nikolay Markov
отсюда какая ошибка прилетает?
никакая, этот код работает нормально
Alexey
а он умеет в ls -vr кодом?
Важна именно обратная сортировка?
Roman
тогда как ты понимаешь, что файла нет?
Roman
точнее откуда об этом узнаешь?
Nikolay Markov
Важна именно обратная сортировка?
ну в целом хотелось бы, да, пусть и необязательно
Nikolay Markov
тогда как ты понимаешь, что файла нет?
падает не тут, а в другом куске, в функции, которую я постил выше
Nikolay Markov
по сути, падает вот в этом коде func (gfw *GlusterFileWatcher) GetTimestamp(fpath string) time.Time { fi, err := os.Stat(fpath) if err != nil { // we should never get here! logger.Warning.Printf("WARNING: Failed to check last mtime for '%s': %v!\n", fpath, err) } return fi.ModTime() }
Nikolay Markov
вот тут
Alexey
Я бы использовал https://golang.org/pkg/path/filepath/#Glob
Alexey
Или https://golang.org/pkg/path/filepath/#example_Walk
Nikolay Markov
а они умеют в сортировку?
Alexey
Или https://golang.org/pkg/io/ioutil/#ReadDir
Nikolay Markov
по mtime?
Alexey
Нет, надо самому делать
Roman
я того мнения, что mock (как и сам тест) должен быть максимально прост его реализацию можно даже непосредственно в самом тесте желательно в паре строк кода определить (а не отдельно огромный mock который для всех тестов, это опасно) code review поможет избежать багов в тестах, дабы мы не прибигали к абсурдному вопросу "кто будет тестировать тесты"
Alexey
https://golang.org/pkg/os/#File.Readdir
Alexey
https://golang.org/pkg/os/#File.Readdirnames
Nikolay Markov
Нет, надо самому делать
как, брать руками все содержимое и каждый файл руками проверять? это может быть дороговато
Alexey
Э, нет, там часть функций возвращает структуры, не только имена
Roman
еще бы вы не накосячили с моками, тогда хорошо. а то мок на ФС делать - это экзотично мягко говоря. для этого нужно понимать, как она работает для начала.
Roman
кэп в треде
к вашим услугам. Я удивлён что мне это вообще приходится объяснять
Alexey
Так в том-то и дело, что не надо – мы это всё понимает. Просто не согласны
Nikolay Markov
к вашим услугам. Я удивлён что мне это вообще приходится объяснять
это все очевидно довольно, но не имеет отношения к вопросу, к сожалению
Nikolay Markov
еще бы вы не накосячили с моками, тогда хорошо. а то мок на ФС делать - это экзотично мягко говоря. для этого нужно понимать, как она работает для начала.
есть готовые реализации, но что-то получается жирновато для маленького теста проверки наличия файла
Roman
это все очевидно довольно, но не имеет отношения к вопросу, к сожалению
тогда меня дезинформировали когда заявили что тестируется только код, а не вся система в целости 🙂
Nikolay Markov
тогда меня дезинформировали когда заявили что тестируется только код, а не вся система в целости 🙂
тестируется логика, написанная на ls, вызывающаяся из go программы. Удачи потестить ее на моках.
Nikolay Markov
это не невозможно, но крайне геморройно
Roman
// Stat calls Logger().Stat, if a logger has been set. func Stat(name string) { if log := Logger(); log != nil { log.Stat(name) } }
Roman
тестируется логика, написанная на ls, вызывающаяся из go программы. Удачи потестить ее на моках.
тогда вы не код некого приложения тестируете, а взаимодействие этого приложения с системой
Roman
разница как небо и земля
Alexey
Что за максимализм 🙂
Roman
попробуй заменить os.Stat на os.Open
Nikolay Markov
как тестировать пайплайны, написанные на баше и вызывающиеся из го? мокать терминал?
Nikolay Markov
то-то и оно
Roman
Что за максимализм 🙂
скорее классификация проблемы
Nikolay Markov
попробуй заменить os.Stat на os.Open
а как это поможет? он разве внутри себя stat не делает сам?
Nikolay Markov
Не писать пайпланый на баше 😭
не, вполне норм, иногда приходится
Roman
может кэш использует
Alexey
Угу, а потом другие это несколько лет выпиливают. (Говорю про себя)
Nikolay Markov
например, csv-файлы на awk анализировать - зачастую куда лучше и на порядок быстрее, чем на питоне и на го