Denis 災 nobody
но не подходит он 1 раз в 2 года
Pavel
Неправильно использовать инструмент и жаловаться на него -- это проблема
Проблема то, что в одной СКВ вообще не проблема, а в другой приходится решать еще и задачи по правильному распиливанию и мейтейнингу сабмодулей.
Евгений
Это чат по девупсу или сборище ноющих закостенелых программистов?
Alex
Привет коллеги. Ситуация такая. Есть 5 терабайт данных мелкими архмивами по 1-10 мегабайт на сервере в хетнере. И есть второй сервер на хетцнере. Как с одного скопировать на другой максимально быстро?
Dmitry
ну, не устраивает гит в вашем флоу - используйте свн.
Denis 災 nobody
вот программисты и творят херню, а девопсам это потом разруливать.
Pavel
Тут впринципе практики сидят )
Denis 災 nobody
Denis 災 nobody
хотя можно для ускорения сделать tar (без сжатия, тупо склейка)
Alex
а он многопоточый?
Dmitry
грузовик - не вариант?
Alex
нет места чтобы упаковать в архмив
Pavel
Еще можно каждый архивчик засунуть в свой сабмодуль. И на другом сервере зачекаутить.
Denis 災 nobody
😂
Denis 災 nobody
👍
Denis 災 nobody
покажет скорость
Pavel
Архивация архивов не даст выигрыша по размеру, можно просто гнать с одного сервера на другой
Denis 災 nobody
ну, не устраивает гит в вашем флоу - используйте свн.
а потом начинается "неужели в наше время кто-то ещё использует свн"
Denis 災 nobody
Архивация архивов не даст выигрыша по размеру, можно просто гнать с одного сервера на другой
а кто про архивацию говорит?
Dmitry
рсинк по директ линку, 2 тб ~8 часов. пакетные репы
Pavel
а кто про архивацию говорит?
Я так понял что у него идея все архивы сжать в еще более архивный архив, и уже его перенести на сервер, но не хватает места
Трайбор
Denis 災 nobody
Я так понял что у него идея все архивы сжать в еще более архивный архив, и уже его перенести на сервер, но не хватает места
не вижу про архивацию в общий...
Pavel
нет места чтобы упаковать в архмив
Alex
видимо rcynk и ждать
Denis 災 nobody
тар без сжатия имеет реальный смысл, когда файлов условный миллион, и они по 10 кб, тогда перекачка с нескольких суток уменьшается до нескольких часов
Aleksandr
товарищи, лимит тсп 65к как через него перепрыгнуть?
Alex
rsync*
Aleksandr
т.е. тупо скейлить кол-во балансеров?
Denis 災 nobody
65к чего?
Sergei
Denis 災 nobody
портов - оно в связке с айпи, больше айпи дать
Mentat
т.е. тупо скейлить кол-во балансеров?
Либо можно скейлить число ip адресов на машинке, но это сложнее)
Denis 災 nobody
и разрулить
🇷🇺 Роман
git clone —no-checkout —depth 1 git@github.com:foo/bar.git && cd bar && git show HEAD:path/to/file.txt
оно, на мой взгляд, склонирует всю репу (появится дира .git), но файлов проекта не положит... т.е. в результате появится только дира .git и все. ну и, конечно, покажет содержимое файла path/to/file.txt на экран, сам файл физически не появится
Denis 災 nobody
Либо можно скейлить число ip адресов на машинке, но это сложнее)
если балансеры циски, то ой как не проще)
Mentat
если балансеры циски, то ой как не проще)
Дык я всегда советую незнакомым людям самый простой вариант)
Aleksandr
клиентов откидывает с балансеров. балансеры наружу торчат через асу.
сейчас решили тем что впихнули еще 1 ип на машину и пробросили под новым ip, но это какой то костыль блин..
🇷🇺 Роман
а балансер кто?
Mentat
клиентов откидывает с балансеров. балансеры наружу торчат через асу.
сейчас решили тем что впихнули еще 1 ип на машину и пробросили под новым ip, но это какой то костыль блин..
Holywar: Может не надо асу, а? суппорт уже закрыт, железо так себе по нынешним временам, может потихоньку вынести?
Aleksandr
rh7
Denis 災 nobody
Aleksandr
Holywar: Может не надо асу, а? суппорт уже закрыт, железо так себе по нынешним временам, может потихоньку вынести?
по сетевым железкам не я решаю) сейчас циски и фортинеты стоят
🇷🇺 Роман
а nginx какой версии?
🇷🇺 Роман
и есть ли там ssl?
🇷🇺 Роман
нет
Sergey
бывает, что порты висят в FIN_WAIT
🇷🇺 Роман
если версия nginx меньше 1.12.1, то можно попробовать accept_mutex off;
Aleksandr
почитаю спа.
🇷🇺 Роман
в 1.9 был по дефолту accept_mutex on, при котором хендшейки сериализуются в один воркер и выходит, что 65к коннектов предел
Aleksandr
не, я верю что коннекций до опы... это просто портал типо госуслуг. там народу тонна
🇷🇺 Роман
собственно, именно эту шнягу рассказывал девелопер nginx на HL++ 2017
🇷🇺 Роман
https://www.youtube.com/watch?v=28It-qfZFic&list=PLH-XmS0lSi_yn4pCZVOHqWaqQ9trMpyLI&t=543s&index=2
🇷🇺 Роман
ну и вообще: https://www.youtube.com/playlist?list=PLH-XmS0lSi_yn4pCZVOHqWaqQ9trMpyLI
Tadeusz
Друзья, а держит кто Кликхаус в проде?
Tadeusz
под аналитику, хочу туда засунить данные под 100Гб, и меня полнует вопрос, мне прям 100Гб оперативки нужно, чтобы реайл-тайм считать или можно как-то обойтись 20Гб, к примеру поделить данные на партишены: типо свежие в памяти, старые на диске.
Aleksandr
чирканите потом, получилось или нет.... интересно
Если разрешат экспериментировать - обязательно :)
🇷🇺 Роман
какой же это эксперимент?
🇷🇺 Роман
на мой взгляд, правильнее всего было бы последовать рекомендациям авторов nginx и перейти в продакшн на крайнюю стабильную верстию 1.12.x
🇷🇺 Роман
либо, опять же, последовать рекомендациям авторов nginx и отключить mutex, так как толку от них никакого, процессов nginx дико мало
🇷🇺 Роман
эксперименты не детектируются )))