Лучше загубленная кукушка

Да, я б сходил послушать.

ну так поди выложат, апосля

Господа, тут появился несколько странный вопрос - какой наиболее простой способ автоматической дозаписи чего-нибудь в начало файла?

Пожалуй, тоже спрошу: а какой наиболее эффективный способ дозаписать в голову файла на 30-40гб?

JFYI: ради эксперимента я ставил security.bsd.stack_guard_page=256 на releng/11.1. Поднялось всё, кроме ntpd.

Что лучше, совой об пень или пнём об сову? (Intel® AES-NI) instructions and a latency reduction in the PCLMULQDQ instruction. These changes were designed specifically to increase the performance of the Galois/Counter Mode of AES, commonly referred to as AES-GCM.

Речь не о том, что AES-NI ускоряет в том числе GCM, а о том, что этот GCM не принято использовать для дисков.

Пожалуй, тоже спрошу: а какой наиболее эффективный способ дозаписать в голову файла на 30-40гб?

разово ?

копион врайт тоже не принято использовать для дисков.

копион врайт тоже не принято использовать для дисков.

Расскажи это SSD. ?

Пожалуй, тоже спрошу: а какой наиболее эффективный способ дозаписать в голову файла на 30-40гб?

Такого не бывает нужно

СУБД?

Не бывает субд аппендящих в начало файла:)

А если найду? [напишу]

Напиши, вместе посмеёмся. Так-то я в 5 классе тоже сортировку за O(n!) написал

разово ?

Желательно не разово.

Такого не бывает нужно

Да ладно. Это частный случай более грустной ситуации, когда у тебя файл и в середине оказалась дырка и хочется от нее избавиться

Что значит "оказалась дырка"? Давай целиком задачу

Ну вот тебе пример, грепал я лог размером 975 гиг (у меня lz4, чего мне его ротировать? ?), результат записал в файл. Но промахнулся с фильтрацией по дате, и так получилось, что первые 32 гига результата лишние.

oh my god! 975 гиг охренеть.

Академические задачи - они такие. ? Я как-то сломал случайно logrotate на одном из FTP-серверов, так он за недельку 50 гиг вполне себе нормально насрал.

Грепай ещё раз:)

Место закончилось.

Что значит "оказалась дырка"? Давай целиком задачу

sparse file жи

Блджад, вы мне опять напомнили про мускуль в продакшене.

> у меня lz4, чего мне его ротировать? ?) вот тут-то корни проблем и растут =)

Место закончилось.

Удали криво нагрепанное и сгрепай нормально

sparse file жи

sparse файлы просто так не появляются

Удали криво нагрепанное и сгрепай нормально

Неоткуда, сервак с оригинальным логом отправлен на утилизацию (как раз перед этим грепали).

Т.е. из файла кусок не вырезать

Т.е. из файла кусок не вырезать

https://lists.freebsd.org/pipermail/freebsd-fs/2011-March/010881.html

Неоткуда, сервак с оригинальным логом отправлен на утилизацию (как раз перед этим грепали).

Пиши софтину которая будет читать файл пропуская ненужные записи и писать в его же начало, потом truncate'нёт хвост

И этой софтиной мог бы стать шелл и его »> или нечто подобное.

https://lists.freebsd.org/pipermail/freebsd-fs/2011-March/010881.html

Так porting же ключевое слово

И этой софтиной мог бы стать шелл и его »> или нечто подобное.

для этого есть перл

И этой софтиной мог бы стать шелл и его »> или нечто подобное.

Я бы не извращался

perl/python если устраивает скорость, иначе C

для этого есть перл

Предлагаю убрать из sh > и <, ибо для этого есть perl.

При чем тут убрать? Чтение и запись в один файл не разу не юзкейс шелла

Так porting же ключевое слово

Ну ок, я не знал что этого нет в freebsd.

При чем тут убрать? Чтение и запись в один файл не разу не юзкейс шелла

Реализовать без чтения. ? Раз можно дописать в конец - то почему бы не запилить так, чтобы можно было таким же образом дописать в начало? Да, я знаю, что пример весьма странный и что просто так это не сделаешь, но сегодня у меня день странных задачек. Вот, в соседнем чятике такую предложил: https://t.me/MikrotikRu/164626

Реализовать без чтения. ? Раз можно дописать в конец - то почему бы не запилить так, чтобы можно было таким же образом дописать в начало? Да, я знаю, что пример весьма странный и что просто так это не сделаешь, но сегодня у меня день странных задачек. Вот, в соседнем чятике такую предложил: https://t.me/MikrotikRu/164626

Если машина может ездить, то почему бы ей не летать

Некорректный пример. Тут скорее "если машина ездит вперёд - то почему бы ей не ездить ещё и назад?"

ога, поезд из машины давайте сделаем

почему у машины вперед 5 передач, а назад только одна? ^_^

Смотря у какой. У некоторых военных машин, например, количество передач в обе стороны хода равно.

а у поезда так даже и у гражданских, не военных!

У поезда или у локомотива? ?

и у локомотива, и у электропоезда (например, метро)

Будьте проще. Дописывание в начало файла либо должно подразумевать перезаписывание всего файла с выравниванием блоков, либо должно подразумевать сущестование блоков произвольной длины и поддержку оных на уровне файловой системы.

ну, теоретически мог бы существовать хак на уровне fs, например, UFS - сдвигаем не весь контент, а блокпоинтеры

Будьте проще. Дописывание в начало файла либо должно подразумевать перезаписывание всего файла с выравниванием блоков, либо должно подразумевать сущестование блоков произвольной длины и поддержку оных на уровне файловой системы.

И это - правильный ответ.

но зачем бы он в нормальной эксплуатации был бы нужен ^_^

Незачем, думаю.

давным-давно, когда компьютеры были большими... позволить себе такие вещи в операционке было проще

Ну вот тебе пример, грепал я лог размером 975 гиг (у меня lz4, чего мне его ротировать? ?), результат записал в файл. Но промахнулся с фильтрацией по дате, и так получилось, что первые 32 гига результата лишние.

Вот тут как раз hole punching помог бы

но зачем бы он в нормальной эксплуатации был бы нужен ^_^

Эмм... Образы виртуальных машин вообще-то

Наверх анонсим поддержку trim

В виртуалках нельзя же урезать контейнер, там можно только дырявым его делать.

В виртуалках нельзя же урезать контейнер, там можно только дырявым его делать.

Речь про реально занимаемое место

Говорят, в VBox работает.

В виртуалках нельзя же урезать контейнер, там можно только дырявым его делать.

Файл с образом весит, допустим 64гб, а реально занято 32гб. Гость удаляет 16гб, а вернусь обратно блоки никак нельзя. И тут гость через trim может посигналить что блоки свободны.

Говорят, в VBox работает.

@pragus, вот: https://superuser.com/questions/646559/virtualbox-and-ssds-trim-command-support Так что можно и код посмотреть, как именно сделали.

Но судя по тому, как дико оно тупит при этом - полагаю, там как раз копирование идёт.

Наверх анонсим поддержку trim

а причем тут trim и голова файла?

ERROR: S client not available

В случае с виртуалкой - trim тоже виртуальный.

Кажется, я уже привёл ссылку на то, как это работает в VBox.

а причем тут trim и голова файла?

Это все об одном и том же: про возможность приложению управлять расположением данных на диске.

очень сильно по-разному.

Например, у тебя zfs и надо из файла A скопировать в файл B 30гб.

Зачем делать честную копию, если можно попросить zfs просто сделать ссылки на блоки файла A?

за портабельностью приложений, например? иногда это слишком дорогая цена

checking if system supports ZFS... yes

код сам себя не напишет

Конечно. Но это ни в коем случае не значит, что было бы плохо его написать, даже если использоваться будет не всегда.

на практике, это PITA

либо же сразу писать приложение с требованием "работает только на ZFS"

Ну вот bdrewery@ сотоварищи запилили в свою пороховницу как поддержку ZFS, так и UFS, например. Не говорят "ZFS only".

и оно, конечно, не работает на линуксе -> нах не сдалось широким массам

А лайнопс ни при чём. Изначально шла речь о том, стоит ли писать код, который будет специфичен только для ZFS. Иногда - стоит.

cat big_file | sort -r < head | sort -r

Что то типа такого надо

Это фантазия конечно

Мы уже о бинарях говорим...

Но направление

Для бинарей не пойдет. Для бинарей cat 1 big_file > big1

Но да двойное потребление места

Ограничения на это в оригинальной задаче отсутсовало :)

ты так пишешь место, как будто не 2017 на дворе

Кстати может быть fs с блочным дедупом может помочь с местом

Ограничения на это в оригинальной задаче отсутсовало :)

Отсутствовало, но мы уже успели обсудить несколько примеров, которые являются более сложными производными оригинальной задачи.

ты так пишешь место, как будто не 2017 на дворе

Как будто в 2017 место не может закончиться.

В прочем если поднимать сложность задачи то до уровня хотя бы 100Pb

16 exbibytes (264 bytes): maximum size of a single file

Не

Избыточно

ебибайт