гит

вот кстати интересная идея, локальными коммитами спамить

каждый раз создавать снэпшот? может лучше реально какую-то систему контроля версий

Когда все пришли в тарабуч

Короче, получается, если очень надо откатывать состояние, то придется какого-то франкенштейна создавать. Так-то мне не надо такое внедрять, просто интересно было какие есть решения. А то из-за упавших заданий в rq остаются ненужные артефакты - мой внутренний перфекционист негодует!

нельзя записывать созданные артефакты в какой-то "лог" и при фейле "транзакции" удалять их?

А как кто решает проблему откатиться после неудачного выполнения? Типа транзакции, но не только в базе. Например, насоздавались файлы, записано что-то в бд, потом еще какое-нибудь действие, и тут все падает. Надо вернуться в исходное состояние. При этом действий-то несколько, но они последовательные, надо откатить только те, что выполнились. В try except каждый шаг заворачивать по типу луковицы как-то громоздко выглядит.

никак. вот ради этого придумали всякие let it crash и вот это всё

Короче, получается, если очень надо откатывать состояние, то придется какого-то франкенштейна создавать. Так-то мне не надо такое внедрять, просто интересно было какие есть решения. А то из-за упавших заданий в rq остаются ненужные артефакты - мой внутренний перфекционист негодует!

какие именно артефакты?

зачем изобретать велосипед

Кто-нибудь сталкивался с тиранией mkl_intel_thread.dll???

какие именно артефакты?

Новые файлы, новые директрии, новые записи в бд.

Новые файлы, новые директрии, новые записи в бд.

это временные файлы?

это временные файлы?

Нет, но можно сделать, чтобы были временные, и переименовывать в самом конце задачи.

так генери в отдельной папке и по результату копируй

если слетело - грохай папку и всё

Нет, но можно сделать, чтобы были временные, и переименовывать в самом конце задачи.

это самый правильный путь

вообще, никогда не пишите файлы туда, где они должны оказаться, особенно если качаете что-то из инета.

или просто по сети передаете.

сначала во временный, потом os.rename, благо он атомарен и ничего не стоит

это самый правильный путь

я уже поняла, когда нашла в хранилище файлы нулевого размера ?

вообще, никогда не пишите файлы туда, где они должны оказаться, особенно если качаете что-то из инета.

#prettydesignpatterns

я уже поняла, когда нашла в хранилище файлы нулевого размера ?

угу. еще можно такое получить целой пачкой разных способов. например, все было хорошо и тут пропало питание.

некоторые фс зануляют такие полузаписанные файлы

все было хорошо, пока не появился %username%

правда, в моем случае было чуть иначе: у меня была ошибка при выкачивании файла в несколько соединений и проявлялось оно относительно редко. а вот когда я стал параноить и вообще всегда проверять хеши(даже когда файл с диска беру) - удалось такой баг найти.

но восстанавливаться из таких полузаписанных состояний - боль

некоторые фс зануляют такие полузаписанные файлы

Кстати, ищу нормальный тьюториал по фс. Или только хардкор, только чтение документации к ним?

https://github.com/torvalds/linux/tree/master/fs

Тутор != сорсы

согласен

там рядом еще документация лежит https://github.com/torvalds/linux/blob/master/Documentation/filesystems/00-INDEX

там рядом еще документация лежит https://github.com/torvalds/linux/blob/master/Documentation/filesystems/00-INDEX

О, это в том направлении, что надо. Спасибо.

Кстати, ищу нормальный тьюториал по фс. Или только хардкор, только чтение документации к ним?

по какой именно фс? можно просто почитать маны на всякие вызовы в vfs: stat, fstat, read/readv/preadv, readahead, posix_fadvise, madvise(внезапно, да!)

по какой именно фс? можно просто почитать маны на всякие вызовы в vfs: stat, fstat, read/readv/preadv, readahead, posix_fadvise, madvise(внезапно, да!)

Что-то обзорное, чтобы идеи понять, для решения каких задач фс создавали. Маны плохо запоминаются, если нет реальной задачи :-/ А мне для общего развития надо, чтобы лучше понимать, что вообще в системе происходит.

была какая-то вводная книга по линуксу от русского автора, там все такое описывалось, а в конце даже писали модуль ядра. старая, правда :)

http://www.nersc.gov/assets/Uploads/05-Filesystem-best-practices-short.pdf

была какая-то вводная книга по линуксу от русского автора, там все такое описывалось, а в конце даже писали модуль ядра. старая, правда :)

К слову о модулях ядра, на степике недавно была бета курса по программированию модулей. Пока прикрыли, фидбек собрали, но скоро должен быть релизный запуск ?

но вообще лучше конечно вчитываться в особенности и для себя решать когда и что юзать и внимание уделять тому, зачем вообще начали разработку (сами разрабы фс)

была какая-то вводная книга по линуксу от русского автора, там все такое описывалось, а в конце даже писали модуль ядра. старая, правда :)

https://www.ozon.ru/context/detail/id/3520239/ вот это я имел в виду, кажется

пдфки гуглятся :)

всегда мечтал купить linux

не, в пдфке ерунда, кроме всяких тонкостей "юзайте это вместо вот этого"

но это и в гите по фс найти можно, так что не в счет

вообще насколько имеет смысл питоноразрабу об этом задумываться? если только он не какую-то нативщину пробрасывает

как только начал писать в файлы уже полезно понимать, что там вообще происходит

как только начал писать в файлы уже полезно понимать, что там вообще происходит

Заметила, что при сохранении файла забывают про буферизацию, потом появляются удивительные баги, которые не всегда воспроизводятся.

это какие например?

Сохранили файл, передали его путь другой функции, которая еще раз считала файл и увидела, что он невалидный, выдала ошибку.

Вроде, еще размер файла может быть неправильный, если средствами операционки его запросить.

так а по факту что с файлом было? он недозаписался? не так прочитался?

так а по факту что с файлом было? он недозаписался? не так прочитался?

Недозаписался на момент, когда его считывали. Когда смотришь ошибку в логах и пытаешься воспроизвести баг, все ок, не воспроизводится.

http://www.nersc.gov/assets/Uploads/05-Filesystem-best-practices-short.pdf

это не про то

Да я чуть ниже уже это написал.

Заметила, что при сохранении файла забывают про буферизацию, потом появляются удивительные баги, которые не всегда воспроизводятся.

Шта??

Вроде, еще размер файла может быть неправильный, если средствами операционки его запросить.

единственный баг с буферизацией, что можно словить - это когда после записи мы не сделали close.

единственный баг с буферизацией, что можно словить - это когда после записи мы не сделали close.

Помогло os.fsync, вот я как раз не очень хорошо в работе с файлами и файловыми системами разбираюсь, буду курить маны :)

Помогло os.fsync, вот я как раз не очень хорошо в работе с файлами и файловыми системами разбираюсь, буду курить маны :)

не надо так. fsync нужен только если тебе важно, что данные легли на физический носитель.

не надо так. fsync нужен только если тебе важно, что данные легли на физический носитель.

А что, если после сохранения файла, вызвается os.stat?

Здравствуйте. Подскажите, что может быть не так в шаблоне jinja 2?

server { listen 80; {{ssl}} charset {{vhost.charset}}; root /home/u{{vhost.userid}}/web/{{vhost.mainname}}; index {{vhost.index}}; {% if aliases is defined %} server_name {{vhost.mainname}} www.{{vhost.mainname}} {{aliases}}; {% else %} server_name {{vhost.mainname}} www.{{vhost.mainname}}; {% endif %} {% if errorpages.len() >0 %} {% for page in errorpages %} error_page {{page.type}} {{page.url}} {% endfor % } {% endif %} {% if redirects.len() >0 %} {% for item in redirects %} location = {{item.from}} { return {{item.type} {{item.to}} } {% endfor % } {% endif%} location / { try_files \$uri \$uri/ /{{index}} } location ~ /\.ht { deny all; } {% if mode=='nginx %} location ~ \.php$ { try_files \$uri /index.php =404; fastcgi_split_path_info ^(.+\.php)(/.+)$; fastcgi_pass unix:/var/run/php{{php}}-{{siteuser}}; fastcgi_index index.php; fastcgi_param SCRIPT_FILENAME \$document_root\$fastcgi_script_name; include fastcgi_params; } {% elif mode=='apache' %} location ~ \.php$ { proxy_set_header X-Real-IP \$remote_addr; proxy_set_header X-Forwarded-For \$remote_addr; proxy_set_header Host \$host; proxy_pass http://127.0.0.1:81; } location ~ /\.ht { deny all; } {% endif %} }

https://ideone.com/4W34rm

А что, если после сохранения файла, вызвается os.stat?

после сохранения или после закрытия? )

А именно - где-то у меня не за

после сохранения или после закрытия? )

После закрытия :) Может какой-то race condition случиться у файловой системы? Не успела записать и считала размер файла меньше, чем есть?

ERROR: S client not available

Спасибо Коле :)

уууу

После закрытия :) Может какой-то race condition случиться у файловой системы? Не успела записать и считала размер файла меньше, чем есть?

так не бывает

server { listen 80; {{ssl}} charset {{vhost.charset}}; root /home/u{{vhost.userid}}/web/{{vhost.mainname}}; index {{vhost.index}}; {% if aliases is defined %} server_name {{vhost.mainname}} www.{{vhost.mainname}} {{aliases}}; {% else %} server_name {{vhost.mainname}} www.{{vhost.mainname}}; {% endif %} {% if errorpages.len() >0 %} {% for page in errorpages %} error_page {{page.type}} {{page.url}} {% endfor % } {% endif %} {% if redirects.len() >0 %} {% for item in redirects %} location = {{item.from}} { return {{item.type} {{item.to}} } {% endfor % } {% endif%} location / { try_files \$uri \$uri/ /{{index}} } location ~ /\.ht { deny all; } {% if mode=='nginx %} location ~ \.php$ { try_files \$uri /index.php =404; fastcgi_split_path_info ^(.+\.php)(/.+)$; fastcgi_pass unix:/var/run/php{{php}}-{{siteuser}}; fastcgi_index index.php; fastcgi_param SCRIPT_FILENAME \$document_root\$fastcgi_script_name; include fastcgi_params; } {% elif mode=='apache' %} location ~ \.php$ { proxy_set_header X-Real-IP \$remote_addr; proxy_set_header X-Forwarded-For \$remote_addr; proxy_set_header Host \$host; proxy_pass http://127.0.0.1:81; } location ~ /\.ht { deny all; } {% endif %} }

'nginx %}

круто)

У тебя ж даже пастбин подсветил

'nginx %}

там ещё пробелы после % и иногда не хватает ещё парочки фигурных скобок

Это стикеры? Или комикс?

единственный баг с буферизацией, что можно словить - это когда после записи мы не сделали close.

я ошиблась, во flask-е надо самостоятельно close вызывать, если при сохранении файла из запроса передан не путь, а объект.

Так что не было close, и из-за этого плавающий баг :-/

Так что не было close, и из-за этого плавающий баг :-/

ну, ссзб.

Это стикеры? Или комикс?

Комикс

?

красавцы

Тут между делом на улице спасли чувака. Вызвали скорую ему.

кажется людей стало больше

Тут между делом на улице спасли чувака. Вызвали скорую ему.

быстро ответили? быстро приехала?

быстро ответили? быстро приехала?

5 минут

быстро ответили? быстро приехала?

Но он обдалбанный был, пульс ровный, поверхностное дыхание, расширенные зрачки. Но больше повеселил чел, который орал

из этого надо сделать лозунг

"spbpython спасает жизни. Приходи к нам пить"

"spbpython спасает жизни. Приходи к нам пить"

Не знаю насчёт spbpython, но по крайней мере мы смогли связать этих чуваков и beerjs :D

каких? о_0 умирающих?

Ага

Мы в Punk Brew внутри

простите коллеги, не смог сегодня

same. работа