Lex
ну с таким подходом да, незачем
Anonymous
зачем, когда есть Го?
Зачем Го, когда есть шашки?
Vladimir
ну с таким подходом да, незачем
Тем более уже есть написанный значимый кусок стэка на Го, логично писать остальное на Го и критичные к скорости места выносить в сишные либы
Vladimir
Lex
дык не спорю Я же
Anonymous
Так интереснее )
А ещё есть шанс, что роботы не смогут прочитать твоё код на Го. Только гугол сможет
Vladimir
https://aphyr.com/posts/332-jepsen-crate-0-54-9-version-divergence уже прям с введения понятно, что будет весело
Kirill
Ребят, есть задача из смежной области, по ресурсоёмкости сравнимой с прогоном билдов и тестов. Конкретно: математические эксперименты, которые выполняются от часа до 3, а серия заданий может выполняться 12+ часов. Что я хочу: написать небольшой конфиг по типу вот такого: servers.json {[['name': 'DevOps.amazon1', 'ip': '128.128.256.256', 'ssh-key': 'asdsadiados8d'], ['name': 'DevOps.amazon2', 'ip': '128.128.256.255', 'ssh-key': 'aisu9s2i222i'], .... ] } tasks.json {[ ['command': 'python xgboost_train.py', 'num':1], ['command': 'python collect_results.py', 'num':2] ]} experiments.json {[[ 'num': 1, 'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees', 'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'output': 'results_1.txt'}], [ 'num': 2, 'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees и немного другой функцией потерь', 'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'loss_function': 'quadratic_mean', 'output': 'results_1.txt'}], ], ........ ]} потом запустить его на ноутбуке, а он уже сам зайдёт на серваки, запустит задания считаться в параллельных потоках (например, 4 потока на сервак, по числу GPU), а потом сам соберёт результаты и вернёт на ноутбук или сложит на 1 сервер. В чудесном OpenDataScience уже подсказали * Mesos * Yarn * Luigi * Sacred Что вы можете ещё подсказать? какие ещё есть инструменты для решения этой задачи?
Gennadiy
господа, у меня тут жопа небольшая с debian и архитектурами пакетов... запустил установку tinyproxy и, не дочитав, что он мне предлагает сделать с моими пакетами, нажал Y %_% поставился почему-то tinyproxy:i386 и с ним переустановился cron с amd64 на i386, плюс ещё пара-тройка пакетов... И теперь apt-get install —reinstall cron по-прежнему берёт i386 версию крона и я в ступоре о_о конечно же, dpkg —remove-architecture i386 не даёт ничего сделать, поскольку на сервере стоят так же и пакеты этой архитектуры, а в apt-get не увидел опции как у dpkg —force-architecture... Есть у кого совет?)
Kirill
не?
Denis 災 nobody
sudo vim /etc/sources.list
apt-get install tinyproxy:amd64
Denis 災 nobody
как-то так
Gennadiy
оу, пробуем)
Kirill
Ребят, есть задача из смежной области, по ресурсоёмкости сравнимой с прогоном билдов и тестов. Конкретно: математические эксперименты, которые выполняются от часа до 3, а серия заданий может выполняться 12+ часов. Что я хочу: написать небольшой конфиг по типу вот такого: servers.json {[['name': 'DevOps.amazon1', 'ip': '128.128.256.256', 'ssh-key': 'asdsadiados8d'], ['name': 'DevOps.amazon2', 'ip': '128.128.256.255', 'ssh-key': 'aisu9s2i222i'], .... ] } tasks.json {[ ['command': 'python xgboost_train.py', 'num':1], ['command': 'python collect_results.py', 'num':2] ]} experiments.json {[[ 'num': 1, 'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees', 'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'output': 'results_1.txt'}], [ 'num': 2, 'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees и немного другой функцией потерь', 'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'loss_function': 'quadratic_mean', 'output': 'results_1.txt'}], ], ........ ]} потом запустить его на ноутбуке, а он уже сам зайдёт на серваки, запустит задания считаться в параллельных потоках (например, 4 потока на сервак, по числу GPU), а потом сам соберёт результаты и вернёт на ноутбук или сложит на 1 сервер. В чудесном OpenDataScience уже подсказали * Mesos * Yarn * Luigi * Sacred Что вы можете ещё подсказать? какие ещё есть инструменты для решения этой задачи?
Ещё FGLab подкинули
Denis 災 nobody
и потом снести все 386
Anonymous
рньше было так, а теперь гугол сразу вставляет свою зонды в твои бинари, аки мокрописки телеметрию при компиляции в студии.
Gennadiy
apt-get install tinyproxy:amd64
не находит %_%
Denis 災 nobody
не находит %_%
значит проверяй репы
Gennadiy
и потом снести все 386
опасно сносить, поскольку не знаю, вдруг какие-то нужны
Denis 災 nobody
видимо ты воткнул где-то 386
Denis 災 nobody
на сервере не нужны )
Gennadiy
хм, вручную вроде сам не втыкал
Denis 災 nobody
ну и dpkg -l|grep 386
Gennadiy
мМм
Denis 災 nobody
и смотри
Gennadiy
угу, делал, там дофига
Denis 災 nobody
а что говорит uname -m
Gennadiy
всё норм
Denis 災 nobody
тогда чисти сурсы и ставь 64
Denis
Ребят, есть задача из смежной области, по ресурсоёмкости сравнимой с прогоном билдов и тестов. Конкретно: математические эксперименты, которые выполняются от часа до 3, а серия заданий может выполняться 12+ часов. Что я хочу: написать небольшой конфиг по типу вот такого: servers.json {[['name': 'DevOps.amazon1', 'ip': '128.128.256.256', 'ssh-key': 'asdsadiados8d'], ['name': 'DevOps.amazon2', 'ip': '128.128.256.255', 'ssh-key': 'aisu9s2i222i'], .... ] } tasks.json {[ ['command': 'python xgboost_train.py', 'num':1], ['command': 'python collect_results.py', 'num':2] ]} experiments.json {[[ 'num': 1, 'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees', 'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'output': 'results_1.txt'}], [ 'num': 2, 'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees и немного другой функцией потерь', 'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'loss_function': 'quadratic_mean', 'output': 'results_1.txt'}], ], ........ ]} потом запустить его на ноутбуке, а он уже сам зайдёт на серваки, запустит задания считаться в параллельных потоках (например, 4 потока на сервак, по числу GPU), а потом сам соберёт результаты и вернёт на ноутбук или сложит на 1 сервер. В чудесном OpenDataScience уже подсказали * Mesos * Yarn * Luigi * Sacred Что вы можете ещё подсказать? какие ещё есть инструменты для решения этой задачи?
возьми луиджи, а таски отправляй руками. мне кажется если это не многоразовая задача, будет удобнее всего.
Gennadiy
тогда чисти сурсы и ставь 64
спасибо) попробую. как-то опасался отключать поддержку i386)
Denis 災 nobody
# apt-cache show tinyproxy Package: tinyproxy Version: 1.8.3-3 Installed-Size: 223 Maintainer: Ed Boraas <ed@debian.org> Architecture: amd64
Anonymous
Что показывает file /bin/bash?
Gennadiy
# apt-cache show tinyproxy Package: tinyproxy Version: 1.8.3-3 Installed-Size: 218 Maintainer: Ed Boraas <ed@debian.org> Architecture: i386 Depends: libc6 (>= 2.7), logrotate Description: A lightweight, non-caching, optionally anonymizing HTTP proxy Homepage: https://banu.com/tinyproxy/ Description-md5: 5f9809691e6f07a3c790f0754405e166 Tag: interface::daemon, network::server, protocol::http, role::program, use::proxying Section: web Priority: optional Filename: pool/main/t/tinyproxy/tinyproxy_1.8.3-3_i386.deb Size: 87510 MD5sum: bf4112a570f0a4b7507f2d31de9f271f SHA1: cc060f20be17e8973a8ca5c85c3545b92d91aac7 SHA256: d1892ac20ffc0e4cfe428da0fb7408518cff6ef1f30b03d1af458780db0c5c87
Gennadiy
Что показывает file /bin/bash?
/bin/bash: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.26, BuildID[sha1]=0x9a06896152461d75e58bafd507d587daad819322, stripped
Denis 災 nobody
у тебя явно лажа с репами
Dmitriy
а чем сейчас принято логи шипить? и куда шипить? в кафку какую-нибудь, например?
Gennadiy
ага, я недавно на это наткнулся %_%
Anonymous
Да, показывай sources.list.
Denis 災 nobody
просто лист
Anonymous
Всё бинарное и без комментариев.
Denis 災 nobody
deb http://ftp.ru.debian.org/debian wheezy main contrib # security updates deb http://security.debian.org/ wheezy/updates main contrib
Denis 災 nobody
но тут нет арча
Denis 災 nobody
оно же в базе вроде
Gennadiy
есть же ещё source.list.d Oo
Dmitriy
А тебе для чего?
эмм... для последующей обработки логстешем и засовывания в эластик
Anonymous
Да, оттуда тоже всё вываливай.
Gennadiy
deb http://mirror.yandex.ru/debian/ wheezy main deb-src http://mirror.yandex.ru/debian/ wheezy main deb http://security.debian.org/ wheezy/updates main deb-src http://security.debian.org/ wheezy/updates main deb http://mirror.yandex.ru/debian/ wheezy-updates main deb-src http://mirror.yandex.ru/debian/ wheezy-updates main deb http://ftp.ru.debian.org/debian wheezy main non-free
Gennadiy
deb http://dl.google.com/linux/chrome/deb/ stable main deb http://dl.google.com/linux/chrome/deb/ stable main deb-src http://ppa.launchpad.net/mystic-mirage/komodo-edit/ubuntu wheezy main
Anonymous
Выглядит валидно.
Gennadiy
и я так думаю :\
Denis 災 nobody
есть же ещё source.list.d Oo
да, туда надо пихать всё своё, а не гадить в основной лист
Gennadiy
да, туда надо пихать всё своё, а не гадить в основной лист
угу, в курсе) я, вроде в общий ничего не пихал)
Gennadiy
может, найти amd64 deb-пакет крона, например, и поставить? оО
Gennadiy
через dpkg и уже указать —force-architecture amd64
Denis 災 nobody
curl http://ftp.ru.debian.org/debian/pool/main/t/tinyproxy/
Denis 災 nobody
ну тут оно есть
Gennadiy
Ош http://security.debian.org wheezy/updates/main Sources 404 Not Found [IP: 212.211.132.32 80] Ош http://security.debian.org wheezy/updates/main amd64 Packages 404 Not Found [IP: 212.211.132.32 80] Ош http://security.debian.org wheezy/updates/main i386 Packages 404 Not Found [IP: 212.211.132.32 80]
Gennadiy
выдаёт apt-get update в какой-то момент
Denis 災 nobody
можно просто вгетом качнуть и dpkg -i
Gennadiy
угу, понял
Denis 災 nobody
закомменти свои строки и сделай как у меня
Gennadiy
ок, ща
Gennadiy
В кэше http://security.debian.org wheezy/updates/main Translation-en Ош http://ftp.ru.debian.org wheezy/contrib Translation-en Неверный заголовок Ош http://security.debian.org wheezy/updates/main amd64 Packages 404 Not Found [IP: 195.20.242.89 80] Ош http://security.debian.org wheezy/updates/main i386 Packages 404 Not Found [IP: 195.20.242.89 80]
Gennadiy
странно, apt-get update выдаёт всё равно
Gennadiy
хм, ip-то пингуется
Denis 災 nobody
а apt-get update делал?
Gennadiy
ага, вот он и выдаёт в один из моментов, какое-то время думает, потом заканчивается
Gennadiy
блин, deb начал ставить, говорит зависит от logrotate, зато apt-cache show tinyproxy стал показывтаь amd64 %)
Anonymous
Так оно ставит, а потом жалуется на зависимости.
Gennadiy
кажется, была где-то команда, заставлять насильно ставить зависимости, но я всё время забываю %_%
Gennadiy
однако, установка deb помогла... осталось вспомнить все пакеты которые заменились на i386)
Denis 災 nobody
dpkg -l тебе в помощб