Vladimir
Так что у меня лто4 прям надолго думаю ещё
Vladimir
Жаль там нет лтфс
Denis 災 nobody
Vladimir
Vladimir
А так да
Denis 災 nobody
и нет PCI-E?
Vladimir
Ага
Vladimir
Например ноут :)
Denis 災 nobody
эм...
Denis 災 nobody
https://www.sonnettech.com/product/legacyproducts/temposasproexpresscard34.html
Vladimir
У меня знакомый видеоператор снимает видео в прочтите ебенях, где интернета нет . Поэтому пишется все на лто6 и отправляется курьером
Vladimir
Denis 災 nobody
оно конечно дикая экзотика, но и под ноуты бывает
Denis 災 nobody
Vladimir
Ну с ним сейчас проблем как раз нет
Vladimir
Есть вообще стримеры, на которых сразу видео можно смотреть
Yury
А кассеты ты в Арктику потом отправляешь?
One
два уцелевших черно-белых фото - вот и все данные...
Vladimir
Dmitry
тот что не безлимит до 5тб
когда упретесь, там наверняка предложат накинуть еще 5 ТБ за какую-то сумму. Думаю и в dropbox и в yandex disk тоже самое будет. То что нет тарифа, не значит что так нельзя. Не обязательно для этого брать enterprise. А если даже брать enterprise, то там обычно ты платишь за количество пользователей. А в вашем случае можно будет использовать одного пользователя, поэтому это будет не дорого.
Евгений
Егор
Привет. Подскажите, почему не работает такая конфигурация gitlabci:
include:
remote: "https://git.id-network.ru/ap/common-pipeline/-/blob/master/ci/.gitlab-ci.yml"
variables:
IMAGE_VERSION: 0.1.0
PROJECT_NAME: "worker-domain"
и работает вот такая:
include:
local: "template/.gitlab-ci.yml"
variables:
IMAGE_VERSION: 0.1.0
PROJECT_NAME: "worker-domain"
И в том, и в другом случае один и тот же файлик. Только в первом случае — remote.
yaml invalid: Included file `https://git.id-network.ru/ap/common-pipeline/-/blob/master/ci/.gitlab-ci-1.yml does not have valid YAML syntax!`
error: CI/CD YAML configuration error!
Плюс, почему-то создаётся сразу 2 пайплайна.
rus
Егор
На raw надо ссылку указывать.
Пардон, указывал. Не сработало.
include:
- project: 'ap/common-pipeline'
ref: master
file:
- '/ci/.gitlab-ci.yml'
Вот так взлетело
Belov
Хабр у всех прилёг?
rus
Belov
Belov
И правда. Только что выхватил
Егор
На под упавший попал
Дурак из фильма
селектел прилёг тоже?
Дурак из фильма
Сувернет тестируют?
Nikolay
Да мы живы, вроде как)
Браунлі 🇺🇦🏳️⚧️
Доброго времени
Чем можно эффективно перенести большое количество (1-1.5ТБ) относительно небольших файликов между двумя серваками под CentOS 8?
Сейчас юзается rsync --archive --verbose --compress --delete -e "ssh -p 1234" <server> <localdir>
Но, оно медленное и на одном из серверов иногда вылетает с out of memory.
rus
Браунлі 🇺🇦🏳️⚧️
Спасибо, видел. incremental recursion юзается
Браунлі 🇺🇦🏳️⚧️
Делить по поддиректориям - это последний вариант
Vladimir
Vladimir
по идее как workaround oom’у можно список файлов рсинку передавать
Браунлі 🇺🇦🏳️⚧️
Vladimir
One
Браунлі 🇺🇦🏳️⚧️
лют 09 03:23:46 CDN1 kernel: Out of memory: Killed process 162325 (rsync) total-vm:2418268kB, anon-rss:2049252kB, file-rss:0kB, shmem-rss:0kB, U>
лют 09 03:23:46 CDN1 CROND[162309]: (root) CMDOUT (rsync: connection unexpectedly closed (3736878782 bytes received so far) [receiver])
лют 09 03:23:46 CDN1 CROND[162309]: (root) CMDOUT (rsync error: error in rsync protocol data stream (code 12) at io.c(226) [receiver=3.1.3])
Браунлі 🇺🇦🏳️⚧️
Попробую поднять сервер. Посмотрим
Vladimir
Попробую поднять сервер. Посмотрим
тогда и передавать спиок файлов, условно взять find’ом сделать список, поsplit’ать его по кускам по 10 тысяч файлов и их синкать уже
One
я по 20 тер таскал рсинком... загрузил в скрине, неделю льется неспешно. до консоли доберусь, гляну набор ключей
Igor
Если качает кучка разных серверов с одного, можно посмотреть в сторону libtorrent и настрогать на питоне свою обертку под это
Igor
Он там жрет пару десятков мегабайт оперативки при загрузке в 12 мегов в секунду
Igor
И чем больше серверов, естесна общая скорость выше, и нет такого что пердит только один сервак во всю
One
Браунлі 🇺🇦🏳️⚧️
Браунлі 🇺🇦🏳️⚧️
Поднял демон, качается быстрее, но на память клиента не повлияло никак
Браунлі 🇺🇦🏳️⚧️
Ночью - это просто через ssh
Браунлі 🇺🇦🏳️⚧️
One
а файлов сколько? у меня гдет около 1.5млн было
Igor
Ну мы в проде юзаем, все шикарно
Igor
А так как раздаем клиентам, и они друг другу, еще и канал экономим
One
Igor
Ну собсна этим и занимаемся
Igor
Библиотечка-то отличная
Igor
Юзается в делюгах всяких
Браунлі 🇺🇦🏳️⚧️
Igor
Единственное что могу добавить про загрузку через либторрент - если файлы изменились, а размер уменьшился этих файлов, то нужно руками делать truncate, ибо торрент не чекает финальный размер файла, а только блоки
One
Где-то 14млн
руби пополам, если оомнется, то на 4 части, и так пока не будет пролетать, как лом через говно, как Владимир и советовал
One
у тебя же оно валится на стадии построения списка?
Браунлі 🇺🇦🏳️⚧️
Там три диска, которые нужно иногда чекать и только один тащить.
Браунлі 🇺🇦🏳️⚧️
One
ну или
for i in $(ls -1)
do
rsync <some args> $i
done
One
по каталогам скрипт копирования не особо сложнее
dk
А таром чем плохо?
dk
tar -c | nc -> nc | tar -x
dk
Если упороться, то можно дифференциально/инкрементально сделать
Браунлі 🇺🇦🏳️⚧️
Спасибо, попробую
dk
Спасибо, попробую
Если распаковывать в финале не надо, то можно tar | curl -> nginx с webdav
Vladimir
tar jcpf - [что бэкапить] | ssh user@host "cat > /куда/передать/backupfile.tar.bz2"
Vladimir
вообще можно передать тем же синктинком в одну сторону и нормално
dk
бзипать и шифровать 1.5ТБ?
Vladimir