@devops_ru

Страница 537 из 4568
Alex
29.06.2016
10:23:37
Тоже норм

Vladimir
29.06.2016
10:23:50
Тоже норм
сайт конторы на вордпресе, весь софт на D

ну кроме опенсорсного, типа хапрокси

ну и всякие выдающиеся технические решения типа ubuntu 11.04 в продакшене в 2014 году

Google
Pavel
29.06.2016
10:24:40
сайт конторы на вордпресе, весь софт на D
А расскажи что за контора такая, ведет какую-то публичную деятельность?

Pavel
29.06.2016
10:25:26
На D писать это экзотика, я только одну компанию видел иностранную

Vladimir
29.06.2016
10:25:46
sociomatic небось?
они самые

Pavel
29.06.2016
10:25:55
Да, точно они

Alex Milushev
29.06.2016
10:26:25
они самые
они еще на D1 пишут, только переползают на D2, но начали открывать наработки, что радует

Vladimir
29.06.2016
10:26:27
Да, точно они
вроде сейчас они получше стали, но пару лет назад жили в хецнере )

они еще на D1 пишут, только переползают на D2, но начали открывать наработки, что радует
Ага, притом что человеки выбрали язык с Garbage Collector'ом и переписали кусок стандартной библиотеки Ди чтобы избавить его от GC

и руководствуются правилом "пишем так чтобы GC не включался"

по мне это очень умно

Google
Vladimir
29.06.2016
10:27:16
(сарказм)

Pavel
29.06.2016
10:27:23
Вот надо же не зассали и начали на D писать

Vladimir
29.06.2016
10:27:43
Вот надо же не зассали и начали на D писать
Потому что основателям понравился Ди в свое время, типа в студенческие годы

Alex Milushev
29.06.2016
10:27:45
ну GC во многих не критичных местах ок

Vladimir
29.06.2016
10:27:49
и они просто зафорсили написание кода на Ди

методом "или пишешь на Ди или мы тебя не берем"

Alex Milushev
29.06.2016
10:28:09
они критику переводят на non GC но не вся std поддерживает

методом "или пишешь на Ди или мы тебя не берем"
С++ разрабов переучивают, есть такое

Vladimir
29.06.2016
10:28:31
ну GC во многих не критичных местах ок
конечно, но когда ты пишешь RTB систему у тебя оно критично очень много где

и как бы нет смысла писать на Ди, если ты не можешь использовать его плюшки

он ничем не лучше C/C++ будет

Это как писать на Го без горутин

Vladimir
29.06.2016
10:29:43
ну сейчас там те-же range без GC
не в курсе, я не вижу применения Ди для своих задач

Alex Milushev
29.06.2016
10:29:52
опять-же отвязывают phobos от GC потихоньку, если ребяты с переездом на D2 вернут наработки — будет ок

Vladimir
29.06.2016
10:30:42
что за задачи такие?
Да в том то и дело, что никаких особых задач. Стандартная автоматизация и редкое написание мелочей в рамках графита.

Alex Milushev
29.06.2016
10:31:20
он же простой как python для простых задач, но да — либ маловато :(

Vladimir
29.06.2016
10:32:14
он же простой как python для простых задач, но да — либ маловато :(
Маловато либ, нет смысла когда мои задачи по большей части или связаны с общением по сети (т.е. Го) или для них хватает питона. Если задача не попадает под первое и второе по какой-то причине, то там нужна скорость, а значит си или плюсы

Alex Milushev
29.06.2016
10:32:55
ну общение по сети — vibe.d с асинхронностью и плюшками

Google
Vladimir
29.06.2016
10:33:27
Alex Milushev
29.06.2016
10:33:51
ну с таким подходом да, незачем

Ivan
29.06.2016
10:33:51
зачем, когда есть Го?
Зачем Го, когда есть шашки?

Vladimir
29.06.2016
10:34:36
ну с таким подходом да, незачем
Тем более уже есть написанный значимый кусок стэка на Го, логично писать остальное на Го и критичные к скорости места выносить в сишные либы

Alex Milushev
29.06.2016
10:34:52
дык не спорю Я же

Ivan
29.06.2016
10:35:24
Так интереснее )
А ещё есть шанс, что роботы не смогут прочитать твоё код на Го. Только гугол сможет

Vladimir
29.06.2016
10:43:51
https://aphyr.com/posts/332-jepsen-crate-0-54-9-version-divergence уже прям с введения понятно, что будет весело

Kirill
29.06.2016
10:50:07
Ребят, есть задача из смежной области, по ресурсоёмкости сравнимой с прогоном билдов и тестов. Конкретно: математические эксперименты, которые выполняются от часа до 3, а серия заданий может выполняться 12+ часов. Что я хочу: написать небольшой конфиг по типу вот такого: servers.json {[['name': 'DevOps.amazon1', 'ip': '128.128.256.256', 'ssh-key': 'asdsadiados8d'], ['name': 'DevOps.amazon2', 'ip': '128.128.256.255', 'ssh-key': 'aisu9s2i222i'], .... ] } tasks.json {[ ['command': 'python xgboost_train.py', 'num':1], ['command': 'python collect_results.py', 'num':2] ]} experiments.json {[[ 'num': 1, 'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees', 'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'output': 'results_1.txt'}], [ 'num': 2, 'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees и немного другой функцией потерь', 'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'loss_function': 'quadratic_mean', 'output': 'results_1.txt'}], ], ........ ]} потом запустить его на ноутбуке, а он уже сам зайдёт на серваки, запустит задания считаться в параллельных потоках (например, 4 потока на сервак, по числу GPU), а потом сам соберёт результаты и вернёт на ноутбук или сложит на 1 сервер. В чудесном OpenDataScience уже подсказали * Mesos * Yarn * Luigi * Sacred Что вы можете ещё подсказать? какие ещё есть инструменты для решения этой задачи?

Gennadiy
29.06.2016
10:53:55
господа, у меня тут жопа небольшая с debian и архитектурами пакетов... запустил установку tinyproxy и, не дочитав, что он мне предлагает сделать с моими пакетами, нажал Y %_% поставился почему-то tinyproxy:i386 и с ним переустановился cron с amd64 на i386, плюс ещё пара-тройка пакетов... И теперь apt-get install —reinstall cron по-прежнему берёт i386 версию крона и я в ступоре о_о конечно же, dpkg —remove-architecture i386 не даёт ничего сделать, поскольку на сервере стоят так же и пакеты этой архитектуры, а в apt-get не увидел опции как у dpkg —force-architecture... Есть у кого совет?)

Denis 災 nobody
29.06.2016
10:54:54
sudo vim /etc/sources.list
apt-get install tinyproxy:amd64

как-то так

Gennadiy
29.06.2016
10:55:32
оу, пробуем)

Kirill
29.06.2016
10:56:13
Ребят, есть задача из смежной области, по ресурсоёмкости сравнимой с прогоном билдов и тестов. Конкретно: математические эксперименты, которые выполняются от часа до 3, а серия заданий может выполняться 12+ часов. Что я хочу: написать небольшой конфиг по типу вот такого: servers.json {[['name': 'DevOps.amazon1', 'ip': '128.128.256.256', 'ssh-key': 'asdsadiados8d'], ['name': 'DevOps.amazon2', 'ip': '128.128.256.255', 'ssh-key': 'aisu9s2i222i'], .... ] } tasks.json {[ ['command': 'python xgboost_train.py', 'num':1], ['command': 'python collect_results.py', 'num':2] ]} experiments.json {[[ 'num': 1, 'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees', 'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'output': 'results_1.txt'}], [ 'num': 2, 'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees и немного другой функцией потерь', 'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'loss_function': 'quadratic_mean', 'output': 'results_1.txt'}], ], ........ ]} потом запустить его на ноутбуке, а он уже сам зайдёт на серваки, запустит задания считаться в параллельных потоках (например, 4 потока на сервак, по числу GPU), а потом сам соберёт результаты и вернёт на ноутбук или сложит на 1 сервер. В чудесном OpenDataScience уже подсказали * Mesos * Yarn * Luigi * Sacred Что вы можете ещё подсказать? какие ещё есть инструменты для решения этой задачи?
Ещё FGLab подкинули

Denis 災 nobody
29.06.2016
10:56:49
и потом снести все 386

Peter
29.06.2016
10:57:05
рньше было так, а теперь гугол сразу вставляет свою зонды в твои бинари, аки мокрописки телеметрию при компиляции в студии.

Gennadiy
29.06.2016
10:57:47
apt-get install tinyproxy:amd64
не находит %_%

Denis 災 nobody
29.06.2016
10:58:02
не находит %_%
значит проверяй репы

Google
Gennadiy
29.06.2016
10:58:07
и потом снести все 386
опасно сносить, поскольку не знаю, вдруг какие-то нужны

Denis 災 nobody
29.06.2016
10:58:11
видимо ты воткнул где-то 386

на сервере не нужны )

Gennadiy
29.06.2016
10:58:27
хм, вручную вроде сам не втыкал

Denis 災 nobody
29.06.2016
10:58:31
ну и dpkg -l|grep 386

Gennadiy
29.06.2016
10:58:31
мМм

Denis 災 nobody
29.06.2016
10:58:34
и смотри

Gennadiy
29.06.2016
10:58:37
угу, делал, там дофига

Denis 災 nobody
29.06.2016
10:59:07
а что говорит uname -m

Admin
ERROR: S client not available

Gennadiy
29.06.2016
10:59:25
всё норм

Denis 災 nobody
29.06.2016
10:59:42
тогда чисти сурсы и ставь 64

ptchol
29.06.2016
10:59:51
Ребят, есть задача из смежной области, по ресурсоёмкости сравнимой с прогоном билдов и тестов. Конкретно: математические эксперименты, которые выполняются от часа до 3, а серия заданий может выполняться 12+ часов. Что я хочу: написать небольшой конфиг по типу вот такого: servers.json {[['name': 'DevOps.amazon1', 'ip': '128.128.256.256', 'ssh-key': 'asdsadiados8d'], ['name': 'DevOps.amazon2', 'ip': '128.128.256.255', 'ssh-key': 'aisu9s2i222i'], .... ] } tasks.json {[ ['command': 'python xgboost_train.py', 'num':1], ['command': 'python collect_results.py', 'num':2] ]} experiments.json {[[ 'num': 1, 'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees', 'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'output': 'results_1.txt'}], [ 'num': 2, 'description': 'Тестирую, насколько быстро обучается Иксджибуст с obvioustrees и немного другой функцией потерь', 'params': { 'tree': 'obvious', 'max_iter': 10000, 'min_split_val': 0.8, 'loss_function': 'quadratic_mean', 'output': 'results_1.txt'}], ], ........ ]} потом запустить его на ноутбуке, а он уже сам зайдёт на серваки, запустит задания считаться в параллельных потоках (например, 4 потока на сервак, по числу GPU), а потом сам соберёт результаты и вернёт на ноутбук или сложит на 1 сервер. В чудесном OpenDataScience уже подсказали * Mesos * Yarn * Luigi * Sacred Что вы можете ещё подсказать? какие ещё есть инструменты для решения этой задачи?
возьми луиджи, а таски отправляй руками. мне кажется если это не многоразовая задача, будет удобнее всего.

Gennadiy
29.06.2016
11:00:12
тогда чисти сурсы и ставь 64
спасибо) попробую. как-то опасался отключать поддержку i386)

Denis 災 nobody
29.06.2016
11:00:18
# apt-cache show tinyproxy Package: tinyproxy Version: 1.8.3-3 Installed-Size: 223 Maintainer: Ed Boraas <ed@debian.org> Architecture: amd64

here1am
29.06.2016
11:00:57
Что показывает file /bin/bash?

Gennadiy
29.06.2016
11:01:01
# apt-cache show tinyproxy Package: tinyproxy Version: 1.8.3-3 Installed-Size: 218 Maintainer: Ed Boraas <ed@debian.org> Architecture: i386 Depends: libc6 (>= 2.7), logrotate Description: A lightweight, non-caching, optionally anonymizing HTTP proxy Homepage: https://banu.com/tinyproxy/ Description-md5: 5f9809691e6f07a3c790f0754405e166 Tag: interface::daemon, network::server, protocol::http, role::program, use::proxying Section: web Priority: optional Filename: pool/main/t/tinyproxy/tinyproxy_1.8.3-3_i386.deb Size: 87510 MD5sum: bf4112a570f0a4b7507f2d31de9f271f SHA1: cc060f20be17e8973a8ca5c85c3545b92d91aac7 SHA256: d1892ac20ffc0e4cfe428da0fb7408518cff6ef1f30b03d1af458780db0c5c87

Что показывает file /bin/bash?
/bin/bash: ELF 64-bit LSB executable, x86-64, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.26, BuildID[sha1]=0x9a06896152461d75e58bafd507d587daad819322, stripped

Denis 災 nobody
29.06.2016
11:01:54
у тебя явно лажа с репами

Google
Dmitriy
29.06.2016
11:01:59
а чем сейчас принято логи шипить? и куда шипить? в кафку какую-нибудь, например?

Gennadiy
29.06.2016
11:02:09
ага, я недавно на это наткнулся %_%

here1am
29.06.2016
11:02:15
Да, показывай sources.list.

Gennadiy
29.06.2016
11:02:25
Denis 災 nobody
29.06.2016
11:02:35
просто лист

here1am
29.06.2016
11:02:40
Всё бинарное и без комментариев.

Denis 災 nobody
29.06.2016
11:02:45
deb http://ftp.ru.debian.org/debian wheezy main contrib # security updates deb http://security.debian.org/ wheezy/updates main contrib

но тут нет арча

Denis 災 nobody
29.06.2016
11:03:05
оно же в базе вроде

Gennadiy
29.06.2016
11:03:29
есть же ещё source.list.d Oo

Dmitriy
29.06.2016
11:03:40
А тебе для чего?
эмм... для последующей обработки логстешем и засовывания в эластик

here1am
29.06.2016
11:03:54
Да, оттуда тоже всё вываливай.

Gennadiy
29.06.2016
11:03:59
deb http://mirror.yandex.ru/debian/ wheezy main deb-src http://mirror.yandex.ru/debian/ wheezy main deb http://security.debian.org/ wheezy/updates main deb-src http://security.debian.org/ wheezy/updates main deb http://mirror.yandex.ru/debian/ wheezy-updates main deb-src http://mirror.yandex.ru/debian/ wheezy-updates main deb http://ftp.ru.debian.org/debian wheezy main non-free

here1am
29.06.2016
11:04:22
Gennadiy
29.06.2016
11:04:29
deb http://dl.google.com/linux/chrome/deb/ stable main deb http://dl.google.com/linux/chrome/deb/ stable main deb-src http://ppa.launchpad.net/mystic-mirage/komodo-edit/ubuntu wheezy main

here1am
29.06.2016
11:04:56
Выглядит валидно.

Denis 災 nobody
29.06.2016
11:05:45
есть же ещё source.list.d Oo
да, туда надо пихать всё своё, а не гадить в основной лист

Gennadiy
29.06.2016
11:06:05
да, туда надо пихать всё своё, а не гадить в основной лист
угу, в курсе) я, вроде в общий ничего не пихал)

может, найти amd64 deb-пакет крона, например, и поставить? оО

Страница 537 из 4568