Lex
ну с таким подходом да, незачем
Vladimir
ну с таким подходом да, незачем
Тем более уже есть написанный значимый кусок стэка на Го, логично писать остальное на Го и критичные к скорости места выносить в сишные либы
Vladimir
Lex
дык не спорю Я же
Anonymous
Так интереснее )
А ещё есть шанс, что роботы не смогут прочитать твоё код на Го. Только гугол сможет
Vladimir
https://aphyr.com/posts/332-jepsen-crate-0-54-9-version-divergence уже прям с введения понятно, что будет весело
Kirill
Ребят, есть задача из смежной области, по ресурсоёмкости сравнимой с прогоном билдов и тестов.
Конкретно: математические эксперименты, которые выполняются от часа до 3, а серия заданий может выполняться 12+ часов.
Что я хочу: написать небольшой конфиг по типу вот такого:
servers.json
{[['name': 'DevOps.amazon1',
'ip': '128.128.256.256',
'ssh-key': 'asdsadiados8d'],
['name': 'DevOps.amazon2',
'ip': '128.128.256.255',
'ssh-key': 'aisu9s2i222i'], ....
]
}
tasks.json
{[
['command': 'python xgboost_train.py', 'num':1],
['command': 'python collect_results.py', 'num':2]
]}
experiments.json
{[[ 'num': 1,
'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees',
'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'output': 'results_1.txt'}],
[ 'num': 2,
'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees и немного другой функцией потерь',
'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'loss_function': 'quadratic_mean', 'output': 'results_1.txt'}],
], ........
]}
потом запустить его на ноутбуке, а он уже сам зайдёт на серваки, запустит задания считаться в параллельных потоках (например, 4 потока на сервак, по числу GPU), а потом сам соберёт результаты и вернёт на ноутбук или сложит на 1 сервер.
В чудесном OpenDataScience уже подсказали
* Mesos
* Yarn
* Luigi
* Sacred
Что вы можете ещё подсказать? какие ещё есть инструменты для решения этой задачи?
Gennadiy
господа, у меня тут жопа небольшая с debian и архитектурами пакетов... запустил установку tinyproxy и, не дочитав, что он мне предлагает сделать с моими пакетами, нажал Y %_% поставился почему-то tinyproxy:i386 и с ним переустановился cron с amd64 на i386, плюс ещё пара-тройка пакетов... И теперь apt-get install —reinstall cron по-прежнему берёт i386 версию крона и я в ступоре о_о конечно же, dpkg —remove-architecture i386 не даёт ничего сделать, поскольку на сервере стоят так же и пакеты этой архитектуры, а в apt-get не увидел опции как у dpkg —force-architecture... Есть у кого совет?)
Kirill
Kirill
не?
Denis 災 nobody
как-то так
Gennadiy
оу, пробуем)
Kirill
Ребят, есть задача из смежной области, по ресурсоёмкости сравнимой с прогоном билдов и тестов.
Конкретно: математические эксперименты, которые выполняются от часа до 3, а серия заданий может выполняться 12+ часов.
Что я хочу: написать небольшой конфиг по типу вот такого:
servers.json
{[['name': 'DevOps.amazon1',
'ip': '128.128.256.256',
'ssh-key': 'asdsadiados8d'],
['name': 'DevOps.amazon2',
'ip': '128.128.256.255',
'ssh-key': 'aisu9s2i222i'], ....
]
}
tasks.json
{[
['command': 'python xgboost_train.py', 'num':1],
['command': 'python collect_results.py', 'num':2]
]}
experiments.json
{[[ 'num': 1,
'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees',
'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'output': 'results_1.txt'}],
[ 'num': 2,
'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees и немного другой функцией потерь',
'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'loss_function': 'quadratic_mean', 'output': 'results_1.txt'}],
], ........
]}
потом запустить его на ноутбуке, а он уже сам зайдёт на серваки, запустит задания считаться в параллельных потоках (например, 4 потока на сервак, по числу GPU), а потом сам соберёт результаты и вернёт на ноутбук или сложит на 1 сервер.
В чудесном OpenDataScience уже подсказали
* Mesos
* Yarn
* Luigi
* Sacred
Что вы можете ещё подсказать? какие ещё есть инструменты для решения этой задачи?
Ещё FGLab подкинули
Denis 災 nobody
и потом снести все 386
Anonymous
Anonymous
рньше было так, а теперь гугол сразу вставляет свою зонды в твои бинари, аки мокрописки телеметрию при компиляции в студии.
Gennadiy
Denis 災 nobody
видимо ты воткнул где-то 386
Denis 災 nobody
на сервере не нужны )
Gennadiy
хм, вручную вроде сам не втыкал
Denis 災 nobody
ну и dpkg -l|grep 386
Gennadiy
мМм
Denis 災 nobody
и смотри
Gennadiy
угу, делал, там дофига
Denis 災 nobody
а что говорит uname -m
Gennadiy
Gennadiy
всё норм
Denis 災 nobody
тогда чисти сурсы и ставь 64
Denis
Ребят, есть задача из смежной области, по ресурсоёмкости сравнимой с прогоном билдов и тестов.
Конкретно: математические эксперименты, которые выполняются от часа до 3, а серия заданий может выполняться 12+ часов.
Что я хочу: написать небольшой конфиг по типу вот такого:
servers.json
{[['name': 'DevOps.amazon1',
'ip': '128.128.256.256',
'ssh-key': 'asdsadiados8d'],
['name': 'DevOps.amazon2',
'ip': '128.128.256.255',
'ssh-key': 'aisu9s2i222i'], ....
]
}
tasks.json
{[
['command': 'python xgboost_train.py', 'num':1],
['command': 'python collect_results.py', 'num':2]
]}
experiments.json
{[[ 'num': 1,
'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees',
'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'output': 'results_1.txt'}],
[ 'num': 2,
'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees и немного другой функцией потерь',
'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'loss_function': 'quadratic_mean', 'output': 'results_1.txt'}],
], ........
]}
потом запустить его на ноутбуке, а он уже сам зайдёт на серваки, запустит задания считаться в параллельных потоках (например, 4 потока на сервак, по числу GPU), а потом сам соберёт результаты и вернёт на ноутбук или сложит на 1 сервер.
В чудесном OpenDataScience уже подсказали
* Mesos
* Yarn
* Luigi
* Sacred
Что вы можете ещё подсказать? какие ещё есть инструменты для решения этой задачи?
возьми луиджи, а таски отправляй руками. мне кажется если это не многоразовая задача, будет удобнее всего.
Denis 災 nobody
# apt-cache show tinyproxy
Package: tinyproxy
Version: 1.8.3-3
Installed-Size: 223
Maintainer: Ed Boraas <ed@debian.org>
Architecture: amd64
Anonymous
Что показывает file /bin/bash?
Gennadiy
# apt-cache show tinyproxy
Package: tinyproxy
Version: 1.8.3-3
Installed-Size: 218
Maintainer: Ed Boraas <ed@debian.org>
Architecture: i386
Depends: libc6 (>= 2.7), logrotate
Description: A lightweight, non-caching, optionally anonymizing HTTP proxy
Homepage: https://banu.com/tinyproxy/
Description-md5: 5f9809691e6f07a3c790f0754405e166
Tag: interface::daemon, network::server, protocol::http, role::program,
use::proxying
Section: web
Priority: optional
Filename: pool/main/t/tinyproxy/tinyproxy_1.8.3-3_i386.deb
Size: 87510
MD5sum: bf4112a570f0a4b7507f2d31de9f271f
SHA1: cc060f20be17e8973a8ca5c85c3545b92d91aac7
SHA256: d1892ac20ffc0e4cfe428da0fb7408518cff6ef1f30b03d1af458780db0c5c87
Gennadiy
Что показывает file /bin/bash?
/bin/bash: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.26, BuildID[sha1]=0x9a06896152461d75e58bafd507d587daad819322, stripped
Denis 災 nobody
у тебя явно лажа с репами
Dmitriy
а чем сейчас принято логи шипить? и куда шипить? в кафку какую-нибудь, например?
Gennadiy
ага, я недавно на это наткнулся %_%
Anonymous
Да, показывай sources.list.
Gennadiy
Denis 災 nobody
просто лист
Anonymous
Всё бинарное и без комментариев.
Denis 災 nobody
deb http://ftp.ru.debian.org/debian wheezy main contrib
# security updates
deb http://security.debian.org/ wheezy/updates main contrib
Denis 災 nobody
но тут нет арча
Anonymous
Denis 災 nobody
оно же в базе вроде
Gennadiy
есть же ещё source.list.d Oo
Dmitriy
А тебе для чего?
эмм... для последующей обработки логстешем и засовывания в эластик
Anonymous
Да, оттуда тоже всё вываливай.
Gennadiy
deb http://mirror.yandex.ru/debian/ wheezy main
deb-src http://mirror.yandex.ru/debian/ wheezy main
deb http://security.debian.org/ wheezy/updates main
deb-src http://security.debian.org/ wheezy/updates main
deb http://mirror.yandex.ru/debian/ wheezy-updates main
deb-src http://mirror.yandex.ru/debian/ wheezy-updates main
deb http://ftp.ru.debian.org/debian wheezy main non-free
Anonymous
Gennadiy
deb http://dl.google.com/linux/chrome/deb/ stable main
deb http://dl.google.com/linux/chrome/deb/ stable main
deb-src http://ppa.launchpad.net/mystic-mirage/komodo-edit/ubuntu wheezy main
Anonymous
Выглядит валидно.
Gennadiy
и я так думаю :\
Gennadiy
Gennadiy
Gennadiy
может, найти amd64 deb-пакет крона, например, и поставить? оО
Gennadiy
через dpkg и уже указать —force-architecture amd64
Denis 災 nobody
curl http://ftp.ru.debian.org/debian/pool/main/t/tinyproxy/
Denis 災 nobody
ну тут оно есть
Gennadiy
Ош http://security.debian.org wheezy/updates/main Sources
404 Not Found [IP: 212.211.132.32 80]
Ош http://security.debian.org wheezy/updates/main amd64 Packages
404 Not Found [IP: 212.211.132.32 80]
Ош http://security.debian.org wheezy/updates/main i386 Packages
404 Not Found [IP: 212.211.132.32 80]
Gennadiy
выдаёт apt-get update в какой-то момент
Denis 災 nobody
можно просто вгетом качнуть и dpkg -i
Gennadiy
угу, понял
Denis 災 nobody
закомменти свои строки и сделай как у меня
Gennadiy
ок, ща
Gennadiy
В кэше http://security.debian.org wheezy/updates/main Translation-en
Ош http://ftp.ru.debian.org wheezy/contrib Translation-en
Неверный заголовок
Ош http://security.debian.org wheezy/updates/main amd64 Packages
404 Not Found [IP: 195.20.242.89 80]
Ош http://security.debian.org wheezy/updates/main i386 Packages
404 Not Found [IP: 195.20.242.89 80]
Gennadiy
странно, apt-get update выдаёт всё равно
Gennadiy
хм, ip-то пингуется
Denis 災 nobody
а apt-get update делал?
Gennadiy
ага, вот он и выдаёт в один из моментов, какое-то время думает, потом заканчивается
Gennadiy
блин, deb начал ставить, говорит зависит от logrotate, зато apt-cache show tinyproxy стал показывтаь amd64 %)
Anonymous
Так оно ставит, а потом жалуется на зависимости.
Gennadiy
кажется, была где-то команда, заставлять насильно ставить зависимости, но я всё время забываю %_%
Gennadiy
однако, установка deb помогла... осталось вспомнить все пакеты которые заменились на i386)
Denis 災 nobody
dpkg -l тебе в помощб