
Alex
29.06.2016
10:23:37
Тоже норм

Vladimir
29.06.2016
10:23:50
Тоже норм
сайт конторы на вордпресе, весь софт на D
ну кроме опенсорсного, типа хапрокси
ну и всякие выдающиеся технические решения типа ubuntu 11.04 в продакшене в 2014 году

Google

Pavel
29.06.2016
10:24:40

Vladimir
29.06.2016
10:25:09

Alex Milushev
29.06.2016
10:25:17

Pavel
29.06.2016
10:25:26
На D писать это экзотика, я только одну компанию видел иностранную

Alex Milushev
29.06.2016
10:25:30
подробностей

Vladimir
29.06.2016
10:25:46

Pavel
29.06.2016
10:25:55
Да, точно они

Alex Milushev
29.06.2016
10:26:25
они самые
они еще на D1 пишут, только переползают на D2, но начали открывать наработки, что радует

Vladimir
29.06.2016
10:26:27
Да, точно они
вроде сейчас они получше стали, но пару лет назад жили в хецнере )
и руководствуются правилом "пишем так чтобы GC не включался"
по мне это очень умно

Google

Vladimir
29.06.2016
10:27:16
(сарказм)

Pavel
29.06.2016
10:27:23
Вот надо же не зассали и начали на D писать

Vladimir
29.06.2016
10:27:43

Alex Milushev
29.06.2016
10:27:45
ну GC во многих не критичных местах ок

Vladimir
29.06.2016
10:27:49
и они просто зафорсили написание кода на Ди
методом "или пишешь на Ди или мы тебя не берем"

Alex Milushev
29.06.2016
10:28:09
они критику переводят на non GC но не вся std поддерживает

Vladimir
29.06.2016
10:28:31
и как бы нет смысла писать на Ди, если ты не можешь использовать его плюшки
он ничем не лучше C/C++ будет
Это как писать на Го без горутин

Alex Milushev
29.06.2016
10:29:12

Vladimir
29.06.2016
10:29:43

Alex Milushev
29.06.2016
10:29:52
опять-же отвязывают phobos от GC потихоньку, если ребяты с переездом на D2 вернут наработки — будет ок

Vladimir
29.06.2016
10:30:42
что за задачи такие?
Да в том то и дело, что никаких особых задач. Стандартная автоматизация и редкое написание мелочей в рамках графита.

Alex Milushev
29.06.2016
10:31:20
он же простой как python для простых задач, но да — либ маловато :(

Vladimir
29.06.2016
10:32:14

Alex Milushev
29.06.2016
10:32:55
ну общение по сети — vibe.d с асинхронностью и плюшками

Google

Vladimir
29.06.2016
10:33:27

Alex Milushev
29.06.2016
10:33:51
ну с таким подходом да, незачем

Ivan
29.06.2016
10:33:51

Vladimir
29.06.2016
10:34:36
ну с таким подходом да, незачем
Тем более уже есть написанный значимый кусок стэка на Го, логично писать остальное на Го и критичные к скорости места выносить в сишные либы

Alex Milushev
29.06.2016
10:34:52
дык не спорю Я же

Ivan
29.06.2016
10:35:24
Так интереснее )
А ещё есть шанс, что роботы не смогут прочитать твоё код на Го. Только гугол сможет

Vladimir
29.06.2016
10:43:51
https://aphyr.com/posts/332-jepsen-crate-0-54-9-version-divergence уже прям с введения понятно, что будет весело


Kirill
29.06.2016
10:50:07
Ребят, есть задача из смежной области, по ресурсоёмкости сравнимой с прогоном билдов и тестов.
Конкретно: математические эксперименты, которые выполняются от часа до 3, а серия заданий может выполняться 12+ часов.
Что я хочу: написать небольшой конфиг по типу вот такого:
servers.json
{[['name': 'DevOps.amazon1',
'ip': '128.128.256.256',
'ssh-key': 'asdsadiados8d'],
['name': 'DevOps.amazon2',
'ip': '128.128.256.255',
'ssh-key': 'aisu9s2i222i'], ....
]
}
tasks.json
{[
['command': 'python xgboost_train.py', 'num':1],
['command': 'python collect_results.py', 'num':2]
]}
experiments.json
{[[ 'num': 1,
'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees',
'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'output': 'results_1.txt'}],
[ 'num': 2,
'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees и немного другой функцией потерь',
'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'loss_function': 'quadratic_mean', 'output': 'results_1.txt'}],
], ........
]}
потом запустить его на ноутбуке, а он уже сам зайдёт на серваки, запустит задания считаться в параллельных потоках (например, 4 потока на сервак, по числу GPU), а потом сам соберёт результаты и вернёт на ноутбук или сложит на 1 сервер.
В чудесном OpenDataScience уже подсказали
* Mesos
* Yarn
* Luigi
* Sacred
Что вы можете ещё подсказать? какие ещё есть инструменты для решения этой задачи?


Gennadiy
29.06.2016
10:53:55
господа, у меня тут жопа небольшая с debian и архитектурами пакетов... запустил установку tinyproxy и, не дочитав, что он мне предлагает сделать с моими пакетами, нажал Y %_% поставился почему-то tinyproxy:i386 и с ним переустановился cron с amd64 на i386, плюс ещё пара-тройка пакетов... И теперь apt-get install —reinstall cron по-прежнему берёт i386 версию крона и я в ступоре о_о конечно же, dpkg —remove-architecture i386 не даёт ничего сделать, поскольку на сервере стоят так же и пакеты этой архитектуры, а в apt-get не увидел опции как у dpkg —force-architecture... Есть у кого совет?)

Kirill
29.06.2016
10:54:29
не?

Denis 災 nobody
29.06.2016
10:54:54
как-то так

Gennadiy
29.06.2016
10:55:32
оу, пробуем)


Kirill
29.06.2016
10:56:13
Ребят, есть задача из смежной области, по ресурсоёмкости сравнимой с прогоном билдов и тестов.
Конкретно: математические эксперименты, которые выполняются от часа до 3, а серия заданий может выполняться 12+ часов.
Что я хочу: написать небольшой конфиг по типу вот такого:
servers.json
{[['name': 'DevOps.amazon1',
'ip': '128.128.256.256',
'ssh-key': 'asdsadiados8d'],
['name': 'DevOps.amazon2',
'ip': '128.128.256.255',
'ssh-key': 'aisu9s2i222i'], ....
]
}
tasks.json
{[
['command': 'python xgboost_train.py', 'num':1],
['command': 'python collect_results.py', 'num':2]
]}
experiments.json
{[[ 'num': 1,
'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees',
'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'output': 'results_1.txt'}],
[ 'num': 2,
'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees и немного другой функцией потерь',
'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'loss_function': 'quadratic_mean', 'output': 'results_1.txt'}],
], ........
]}
потом запустить его на ноутбуке, а он уже сам зайдёт на серваки, запустит задания считаться в параллельных потоках (например, 4 потока на сервак, по числу GPU), а потом сам соберёт результаты и вернёт на ноутбук или сложит на 1 сервер.
В чудесном OpenDataScience уже подсказали
* Mesos
* Yarn
* Luigi
* Sacred
Что вы можете ещё подсказать? какие ещё есть инструменты для решения этой задачи?
Ещё FGLab подкинули


Denis 災 nobody
29.06.2016
10:56:49
и потом снести все 386

Peter
29.06.2016
10:57:05
рньше было так, а теперь гугол сразу вставляет свою зонды в твои бинари, аки мокрописки телеметрию при компиляции в студии.

Gennadiy
29.06.2016
10:57:47

Denis 災 nobody
29.06.2016
10:58:02

Google

Gennadiy
29.06.2016
10:58:07

Denis 災 nobody
29.06.2016
10:58:11
видимо ты воткнул где-то 386
на сервере не нужны )

Gennadiy
29.06.2016
10:58:27
хм, вручную вроде сам не втыкал

Denis 災 nobody
29.06.2016
10:58:31
ну и dpkg -l|grep 386

Gennadiy
29.06.2016
10:58:31
мМм

Denis 災 nobody
29.06.2016
10:58:34
и смотри

Gennadiy
29.06.2016
10:58:37
угу, делал, там дофига

Denis 災 nobody
29.06.2016
10:59:07
а что говорит uname -m

Admin
ERROR: S client not available

Gennadiy
29.06.2016
10:59:25
всё норм

Denis 災 nobody
29.06.2016
10:59:42
тогда чисти сурсы и ставь 64


ptchol
29.06.2016
10:59:51
Ребят, есть задача из смежной области, по ресурсоёмкости сравнимой с прогоном билдов и тестов.
Конкретно: математические эксперименты, которые выполняются от часа до 3, а серия заданий может выполняться 12+ часов.
Что я хочу: написать небольшой конфиг по типу вот такого:
servers.json
{[['name': 'DevOps.amazon1',
'ip': '128.128.256.256',
'ssh-key': 'asdsadiados8d'],
['name': 'DevOps.amazon2',
'ip': '128.128.256.255',
'ssh-key': 'aisu9s2i222i'], ....
]
}
tasks.json
{[
['command': 'python xgboost_train.py', 'num':1],
['command': 'python collect_results.py', 'num':2]
]}
experiments.json
{[[ 'num': 1,
'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees',
'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'output': 'results_1.txt'}],
[ 'num': 2,
'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees и немного другой функцией потерь',
'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'loss_function': 'quadratic_mean', 'output': 'results_1.txt'}],
], ........
]}
потом запустить его на ноутбуке, а он уже сам зайдёт на серваки, запустит задания считаться в параллельных потоках (например, 4 потока на сервак, по числу GPU), а потом сам соберёт результаты и вернёт на ноутбук или сложит на 1 сервер.
В чудесном OpenDataScience уже подсказали
* Mesos
* Yarn
* Luigi
* Sacred
Что вы можете ещё подсказать? какие ещё есть инструменты для решения этой задачи?
возьми луиджи, а таски отправляй руками. мне кажется если это не многоразовая задача, будет удобнее всего.


Gennadiy
29.06.2016
11:00:12

Denis 災 nobody
29.06.2016
11:00:18
# apt-cache show tinyproxy
Package: tinyproxy
Version: 1.8.3-3
Installed-Size: 223
Maintainer: Ed Boraas <ed@debian.org>
Architecture: amd64

here1am
29.06.2016
11:00:57
Что показывает file /bin/bash?

Gennadiy
29.06.2016
11:01:01
# apt-cache show tinyproxy
Package: tinyproxy
Version: 1.8.3-3
Installed-Size: 218
Maintainer: Ed Boraas <ed@debian.org>
Architecture: i386
Depends: libc6 (>= 2.7), logrotate
Description: A lightweight, non-caching, optionally anonymizing HTTP proxy
Homepage: https://banu.com/tinyproxy/
Description-md5: 5f9809691e6f07a3c790f0754405e166
Tag: interface::daemon, network::server, protocol::http, role::program,
use::proxying
Section: web
Priority: optional
Filename: pool/main/t/tinyproxy/tinyproxy_1.8.3-3_i386.deb
Size: 87510
MD5sum: bf4112a570f0a4b7507f2d31de9f271f
SHA1: cc060f20be17e8973a8ca5c85c3545b92d91aac7
SHA256: d1892ac20ffc0e4cfe428da0fb7408518cff6ef1f30b03d1af458780db0c5c87
Что показывает file /bin/bash?
/bin/bash: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.26, BuildID[sha1]=0x9a06896152461d75e58bafd507d587daad819322, stripped

Denis 災 nobody
29.06.2016
11:01:54
у тебя явно лажа с репами

Google

Dmitriy
29.06.2016
11:01:59
а чем сейчас принято логи шипить? и куда шипить? в кафку какую-нибудь, например?

Gennadiy
29.06.2016
11:02:09
ага, я недавно на это наткнулся %_%

here1am
29.06.2016
11:02:15
Да, показывай sources.list.

Gennadiy
29.06.2016
11:02:25

Denis 災 nobody
29.06.2016
11:02:35
просто лист

here1am
29.06.2016
11:02:40
Всё бинарное и без комментариев.

Denis 災 nobody
29.06.2016
11:02:45
deb http://ftp.ru.debian.org/debian wheezy main contrib
# security updates
deb http://security.debian.org/ wheezy/updates main contrib
но тут нет арча

here1am
29.06.2016
11:03:02

Denis 災 nobody
29.06.2016
11:03:05
оно же в базе вроде

Gennadiy
29.06.2016
11:03:29
есть же ещё source.list.d Oo

Dmitriy
29.06.2016
11:03:40
А тебе для чего?
эмм... для последующей обработки логстешем и засовывания в эластик

here1am
29.06.2016
11:03:54
Да, оттуда тоже всё вываливай.

Gennadiy
29.06.2016
11:03:59
deb http://mirror.yandex.ru/debian/ wheezy main
deb-src http://mirror.yandex.ru/debian/ wheezy main
deb http://security.debian.org/ wheezy/updates main
deb-src http://security.debian.org/ wheezy/updates main
deb http://mirror.yandex.ru/debian/ wheezy-updates main
deb-src http://mirror.yandex.ru/debian/ wheezy-updates main
deb http://ftp.ru.debian.org/debian wheezy main non-free

here1am
29.06.2016
11:04:22

Gennadiy
29.06.2016
11:04:29
deb http://dl.google.com/linux/chrome/deb/ stable main
deb http://dl.google.com/linux/chrome/deb/ stable main
deb-src http://ppa.launchpad.net/mystic-mirage/komodo-edit/ubuntu wheezy main

here1am
29.06.2016
11:04:56
Выглядит валидно.

Gennadiy
29.06.2016
11:05:13
и я так думаю :\

Denis 災 nobody
29.06.2016
11:05:45

Gennadiy
29.06.2016
11:06:05
может, найти amd64 deb-пакет крона, например, и поставить? оО