Vladimir
Так что у меня лто4 прям надолго думаю ещё
Vladimir
Жаль там нет лтфс
Denis 災 nobody
Ну и lto6 он на usb 3, медленно но более универсально
SAS вполне универсально, HBA стоят почти копейки
Vladimir
SAS вполне универсально, HBA стоят почти копейки
Иногда надо воткнуться во что где нет sas
Vladimir
А так да
Denis 災 nobody
и нет PCI-E?
Vladimir
Ага
Vladimir
Например ноут :)
Denis 災 nobody
эм...
Denis 災 nobody
https://www.sonnettech.com/product/legacyproducts/temposasproexpresscard34.html
Vladimir
У меня знакомый видеоператор снимает видео в прочтите ебенях, где интернета нет . Поэтому пишется все на лто6 и отправляется курьером
Vladimir
https://www.sonnettech.com/product/legacyproducts/temposasproexpresscard34.html
Экспрес кард я давно в ноутах не видел новых
Denis 災 nobody
оно конечно дикая экзотика, но и под ноуты бывает
Denis 災 nobody
Экспрес кард я давно в ноутах не видел новых
ок, в отдельных случаях и усб3 нужен )
Vladimir
Ну с ним сейчас проблем как раз нет
Vladimir
Есть вообще стримеры, на которых сразу видео можно смотреть
Yury
А кассеты ты в Арктику потом отправляешь?
One
два уцелевших черно-белых фото - вот и все данные...
Dmitry
тот что не безлимит до 5тб
когда упретесь, там наверняка предложат накинуть еще 5 ТБ за какую-то сумму. Думаю и в dropbox и в yandex disk тоже самое будет. То что нет тарифа, не значит что так нельзя. Не обязательно для этого брать enterprise. А если даже брать enterprise, то там обычно ты платишь за количество пользователей. А в вашем случае можно будет использовать одного пользователя, поэтому это будет не дорого.
Dmitry
не у меня задача все упростить свое хранилище до старости) и вроде как вариант 4000-5000 уе ) за 60тб на долгие года с возможностью менять( и увеливать до 152ТБ не такое уж плохое решение
на балконе долго не проживут. Нужна стабильная температура, иначе посыпятся эти диски довольно быстро. Самое худшое место где их хранить как раз балкон, температура всегда меняется, это ад же для них
Dmitry
Высока вероятность, что на одного юзера тырпрайз не продадут
ну не факт. Мы когда dropbox брали, нас особо не спрашивали сколько там юзеров будет. Потом уже добавляли, и цена увеличивалась потихоньку за каждого
Егор
Привет. Подскажите, почему не работает такая конфигурация gitlabci: include: remote: "https://git.id-network.ru/ap/common-pipeline/-/blob/master/ci/.gitlab-ci.yml" variables: IMAGE_VERSION: 0.1.0 PROJECT_NAME: "worker-domain" и работает вот такая: include: local: "template/.gitlab-ci.yml" variables: IMAGE_VERSION: 0.1.0 PROJECT_NAME: "worker-domain" И в том, и в другом случае один и тот же файлик. Только в первом случае — remote. yaml invalid: Included file `https://git.id-network.ru/ap/common-pipeline/-/blob/master/ci/.gitlab-ci-1.yml does not have valid YAML syntax!` error: CI/CD YAML configuration error! Плюс, почему-то создаётся сразу 2 пайплайна.
Егор
На raw надо ссылку указывать.
Пардон, указывал. Не сработало. include: - project: 'ap/common-pipeline' ref: master file: - '/ci/.gitlab-ci.yml' Вот так взлетело
Belov
Хабр у всех прилёг?
Belov
Belov
И правда. Только что выхватил
Егор
На под упавший попал
Дурак из фильма
селектел прилёг тоже?
Дурак из фильма
Сувернет тестируют?
Nikolay
Да мы живы, вроде как)
Браунлі 🇺🇦🏳️‍⚧️
Доброго времени Чем можно эффективно перенести большое количество (1-1.5ТБ) относительно небольших файликов между двумя серваками под CentOS 8? Сейчас юзается rsync --archive --verbose --compress --delete -e "ssh -p 1234" <server> <localdir> Но, оно медленное и на одном из серверов иногда вылетает с out of memory.
Браунлі 🇺🇦🏳️‍⚧️
Спасибо, видел. incremental recursion юзается
Браунлі 🇺🇦🏳️‍⚧️
Делить по поддиректориям - это последний вариант
Vladimir
Доброго времени Чем можно эффективно перенести большое количество (1-1.5ТБ) относительно небольших файликов между двумя серваками под CentOS 8? Сейчас юзается rsync --archive --verbose --compress --delete -e "ssh -p 1234" <server> <localdir> Но, оно медленное и на одном из серверов иногда вылетает с out of memory.
у рсинка есть свой протокол серверный, где нет шифрования (в отличии от ссш), возможно стоит о нем подумать дополнительно, если это все во внутренней доверенной сети, так как ssh жрет ресурсы.
Vladimir
по идее как workaround oom’у можно список файлов рсинку передавать
Браунлі 🇺🇦🏳️‍⚧️
а что в логах, если oom?
Оно просто всю память сожрало и ядро его убило
Браунлі 🇺🇦🏳️‍⚧️
лют 09 03:23:46 CDN1 kernel: Out of memory: Killed process 162325 (rsync) total-vm:2418268kB, anon-rss:2049252kB, file-rss:0kB, shmem-rss:0kB, U> лют 09 03:23:46 CDN1 CROND[162309]: (root) CMDOUT (rsync: connection unexpectedly closed (3736878782 bytes received so far) [receiver]) лют 09 03:23:46 CDN1 CROND[162309]: (root) CMDOUT (rsync error: error in rsync protocol data stream (code 12) at io.c(226) [receiver=3.1.3])
Браунлі 🇺🇦🏳️‍⚧️
Попробую поднять сервер. Посмотрим
Vladimir
Попробую поднять сервер. Посмотрим
тогда и передавать спиок файлов, условно взять find’ом сделать список, поsplit’ать его по кускам по 10 тысяч файлов и их синкать уже
One
я по 20 тер таскал рсинком... загрузил в скрине, неделю льется неспешно. до консоли доберусь, гляну набор ключей
Igor
Если качает кучка разных серверов с одного, можно посмотреть в сторону libtorrent и настрогать на питоне свою обертку под это
Igor
Он там жрет пару десятков мегабайт оперативки при загрузке в 12 мегов в секунду
Igor
И чем больше серверов, естесна общая скорость выше, и нет такого что пердит только один сервак во всю
Браунлі 🇺🇦🏳️‍⚧️
rsync -avzh
У меня те же
Браунлі 🇺🇦🏳️‍⚧️
Поднял демон, качается быстрее, но на память клиента не повлияло никак
Браунлі 🇺🇦🏳️‍⚧️
Ночью - это просто через ssh
One
а файлов сколько? у меня гдет около 1.5млн было
Igor
Ну мы в проде юзаем, все шикарно
Igor
А так как раздаем клиентам, и они друг другу, еще и канал экономим
Igor
Ну собсна этим и занимаемся
Igor
Библиотечка-то отличная
Igor
Юзается в делюгах всяких
Браунлі 🇺🇦🏳️‍⚧️
Igor
Единственное что могу добавить про загрузку через либторрент - если файлы изменились, а размер уменьшился этих файлов, то нужно руками делать truncate, ибо торрент не чекает финальный размер файла, а только блоки
One
Где-то 14млн
руби пополам, если оомнется, то на 4 части, и так пока не будет пролетать, как лом через говно, как Владимир и советовал
One
у тебя же оно валится на стадии построения списка?
Браунлі 🇺🇦🏳️‍⚧️
Там три диска, которые нужно иногда чекать и только один тащить.
Браунлі 🇺🇦🏳️‍⚧️
One
ну или for i in $(ls -1) do rsync <some args> $i done
One
по каталогам скрипт копирования не особо сложнее
dk
А таром чем плохо?
dk
tar -c | nc -> nc | tar -x
dk
Если упороться, то можно дифференциально/инкрементально сделать
Браунлі 🇺🇦🏳️‍⚧️
Спасибо, попробую
dk
Спасибо, попробую
Если распаковывать в финале не надо, то можно tar | curl -> nginx с webdav
Vladimir
tar jcpf - [что бэкапить] | ssh user@host "cat > /куда/передать/backupfile.tar.bz2"
Vladimir
вообще можно передать тем же синктинком в одну сторону и нормално
dk
бзипать и шифровать 1.5ТБ?
Vladimir
бзипать и шифровать 1.5ТБ?
это просто как пример =)