@phpclubru
Pavel08.08.2017
14:41:25
14:41:25
это аутстаффер )
Dmitry08.08.2017
14:42:44
14:42:44
ну ок, но аутсорс тоже не может быть в штате, ну да ладно
Pavel08.08.2017
14:43:31
14:43:31
Вот я - аутсорсер. Нахожусь в 10 тыщ километрах от офиса компании, но работаю только в ней и почти в штате состою.
Dmitry08.08.2017
14:43:45
14:43:45
значит ты не аутсорсер, а просто удаленный работник ;)
GooglePavel08.08.2017
14:43:47
14:43:47
Хотя я и аутстаф тоже в каком то роде
Dmitry08.08.2017
14:44:33
14:44:33
аутсорс - это передача штатных задач по договору кому-то еще
а штат - это штатное расписание, трудовой договор и все такое
Pavel08.08.2017
14:44:56
14:44:56
"удаленный работник" не так пафосно звучит (
Dmitry08.08.2017
14:45:19
14:45:19
ну если у тебя не трудовой договор, а договор подряда, то аутсорсер ;)
Pavel08.08.2017
14:45:41
14:45:41
Я вообще всем говорю что у меня свой бизнес, это действует наиболее мощно.
Dmitry08.08.2017
14:46:03
14:46:03
а я говорю, что я просто программист ;)
Pavel08.08.2017
14:47:08
14:47:08
Моя международная компания в лице меня оказывает информационно-телекоммуникационные услуги. Сделать сайтик, закомитить на гитхаб. Serious business.
Vladimir08.08.2017
14:47:42
14:47:42
везет вам, кто программист, у кого свой бизнес_) а я на разных CMS решаю разные задачи и пилю всякий функционал уже года 3 а так и не накодил ничего хорошего(((((
даже git не освоил
Pavel08.08.2017
14:48:46
14:48:46
Ну так освой. Учись учись и учись. Ты же Ленин!
Dmitry08.08.2017
14:49:20
14:49:20
у пхп все функции в snake case, аклассы и методы классов в cammel case?
Максим08.08.2017
14:49:56
14:49:56
даже git не освоил
а ты попробуй следущий проект запилить с использованием git, пусть это даже будет простейший сайт на какой-нибудь CMSGoogleМаксим08.08.2017
14:51:10
14:51:10
изучение базы git не должно занять много времени
Vladimir08.08.2017
14:54:24
14:54:24
Спасибо, я постараюсь выкроить время!
Андрей08.08.2017
14:55:48
14:55:48
даже git не освоил
и почитай про gitflow я как-то гит освоил сразу, а до этого добрался слишком поздно.Dmitry08.08.2017
14:56:27
14:56:27
gitflow... частенко избыточен
Андрей08.08.2017
14:56:49
14:56:49
Dmitry08.08.2017
14:56:50
14:56:50
но идею task branch понять стоит
dypa08.08.2017
16:34:03
16:34:03
Комрады, нужна помощь коллективного разума. Вводные данные - есть большая БД, в которые есть денормализованные записи данных в одной таблице Количество записей - миллиарды. изменения (upsert) - до 500 операций в секунду. Есть набор воркеров, которые с этими записями что-то делают. Чтение со слейва (репликация асинхронная). Воркеры, в зависимости от задачи делятся по типу. В рамках каждого типа воркеры должны быть линейно масштабируемы количеством. Воркеры не изменяют состояние оригинальной записи в данные в БД откуда читают вообще. Разные по типу воркеры не должны взаимно блокировать запись.
При этом естественно воркеры одного типа должны взаимно блокировать одну и ту же запись друг для друга для исключения повторной обработки. Типов воркеров сейчас 5, но будет больше (допустим 10).
Как решить проблему взаимной блокировки в рамках одного типа и обработки новых данный?
Пока самое оптимальное что придумал - таблицы очередей в отдельной БД, с оказание pid, времени блокировки, статуса, айдишника записи.
Но вижу минусы:
- отдельная БД, сетевые расходы, дисковый ввод/вывод сильно сократят скорость обработки.
- количество записей в очередях = кол-во записей * кол-во типов воркеров.
- IOPS на очереди будет 500 * 10 *2 (скорость изменения основных данных на количество типов воркеров + сначала заблокировать, потом поставить статус).
РСУБД не сдохнет под такими обьемами и IOPSами? А если не РСУБД то можем потерять очередь и придется заново обрабатывать все данные что не есть ок.
Поговорите со мной, а? А то я мозг сломал...
какая субд? покажи пожалуйста структуру таблицы если это возможно. сейчас сколько миллиардов записей, какой прирост? 500 операций - откуда эта цифра взялась? записи должны быть обработаны единожды одним типом воркера?хотя @miksir уже разжевал мою идею с разделением на диапазоны, не удобно в tg отслеживать дискуссию...
Eugene08.08.2017
17:15:48
17:15:48
какая субд? покажи пожалуйста структуру таблицы если это возможно. сейчас сколько миллиардов записей, какой прирост? 500 операций - откуда эта цифра взялась? записи должны быть обработаны единожды одним типом воркера?
Мускуль:( сорри не могу. 70+ полей денормализ данных. 500 - макс прогнозная нагрузка. Единожны после каждого обновления.В целом задачу я решил уже частично с идеями которыми подсказывали. Сделал х очередей по одной на тип воркера. Как только в хранилище прилетает апдейт или инсерт в нужные очереди в зависимости от лигики спавнятся сообщения. Ну а там уже просто - блокируем запись указанием пида и времени протухания в очереди. Если воркер сдох запись разблокируется сама.
Просто в очереди добавил партиционирование по дню и ротацию.
Вроде живое
Загнал в партицию под 200 лямов записей - вертится.
Остап08.08.2017
19:50:38
19:50:38
Можно ли удалить в xml карте сайта для гугла пункт <lastmod »?
а, вижу необезательно
Alexander08.08.2017
22:59:45
22:59:45
Подскажите, пожалуйста
Почему не работает получение данных через file_get_contents со стороннего сервера через cron?
Возвращает false всегда
Pavel08.08.2017
23:00:38
23:00:38
Возможно выключена опция allow_url_fopen
Alexander08.08.2017
23:00:50
23:00:50
в php.ini?
Pavel08.08.2017
23:01:00
23:01:00
да
GoogleAlexander08.08.2017
23:01:49
23:01:49
нет, включена
сразу скажу, все работает, если на страницу со скриптом захожу через браузер
cron же не выполняет ничего :С
Dmitry08.08.2017
23:03:19
23:03:19
у них разные пхп.ини могут быть
Alexander08.08.2017
23:07:20
23:07:20
всм? Я у cron нашел лишь cron.ini
Cronlog: "c:\openserver\userdata\logs\cron.log"
LogTimeFormat: "%DD% %MMM% %hh%:%mm%:%ss%"
YearField OFF
DefaultOpenMode: SWHide
DefaultPriority: NormalPriority
AsLoggedUser ON
DefaultRunMissedTime: 15
Dmitry08.08.2017
23:09:17
23:09:17
кто знает что там этих опенсерверов напридумано
Pavel08.08.2017
23:25:54
23:25:54
Запиши в исходнике чтобы он вывел значение этой настройки куда нибудь во временный файл и запусти через крон. Так и узнаешь
Aleksandr09.08.2017
06:11:23
06:11:23
-rwxr-xr-x 1 www www-data 33 Aug 9 14:07 start
Не подскажете, вот такие права на файл отпасно делать? Это файл запуска приложения на сервере
Т.е. получается он executable для всех видов пользователей
Задал права 775 в итоге
Dan
Kirill09.08.2017
07:59:09
07:59:09
Супервизор может от нужного тебе юзера выполнять
Остап09.08.2017
09:25:19
09:25:19
Люди, или нормальный этот компьютер для веб-программирования?
Aleksandr09.08.2017
12:06:34
12:06:34
Можно и 744
Ivan09.08.2017
14:17:57
14:17:57
Alexander09.08.2017
14:18:21
14:18:21
Ivan09.08.2017
14:19:30
14:19:30
Отлично)
Google
Gleb09.08.2017
16:57:23
16:57:23
хотя @miksir уже разжевал мою идею с разделением на диапазоны, не удобно в tg отслеживать дискуссию...
о, а я тебя в твиттере читаю, кажется. Клевенько!Alexander09.08.2017
18:42:10
18:42:10
Подскажите легкий bitcoin клиент для сервера с api. А то bitcoind весит 150 gb....
Pavel09.08.2017
18:43:37
18:43:37
Electrum
Alexander09.08.2017
18:43:39
18:43:39
electrum вроде имеет api но я не вижу там методов для отправки монет со всех адресов. А вручную собирать транзакцию с +100500 адресов - это проблемно
я вижу там только broadcast метод, т.е. транзакцию нужно самому собирать....
А вообще, какие сейчас популярные решения для работы с биткоинами + php есть? (генерация адресов, отправка средств хотя бы)
Oleg09.08.2017
19:10:07
19:10:07
Смотря для чего нужно. И блокчайн не понацея.
electrum вроде имеет api но я не вижу там методов для отправки монет со всех адресов. А вручную собирать транзакцию с +100500 адресов - это проблемно
Что значит "собирать транзакцию с +100500 адресов"?Alexander09.08.2017
19:11:11
19:11:11
ну баланс по адресам раскидан же
150 гигов слишком жирно стало...
обменники например всякие, они врятли пользуются полным клиентом
Oleg09.08.2017
19:12:35
19:12:35
Баланс раскидан 100к адресов?
Alexander09.08.2017
19:13:01
19:13:01
ну каждому юзверю по адресу, может и 100к быть )
Oleg09.08.2017
19:14:17
19:14:17
Есть либа на пхп, хорошая но сейчас к сожалению не поддерживается. Плюс есть модуль для пхп, пекловский вроде, там генерация адреса очень быстрая.
Alexander09.08.2017
19:15:34
19:15:34
это типа php-api для биткоина получается?
Oleg09.08.2017
19:17:00
19:17:00
Александр, на сколько вы в теме о цифровых валютах? Если новичек то долго объяснять.
Alexander09.08.2017
19:17:08
19:17:08
была такая идея, генерить адрес и приватные ключи, все это хранить в бд, и использовать публичные api для отправки...но эт сложно больно
более-менее в теме
GoogleAlexander09.08.2017
19:18:16
19:18:16
в идеале нужено подобие electrum с api которое может генерить адреса и слать транзакции
Oleg09.08.2017
19:19:30
19:19:30
Ну есть два варианта. Использовать сторонии апи, тот же блокчайн или електрум, но при больших кол-вах запросов прийдется платить бабло.
Alexander09.08.2017
19:21:14
19:21:14
ну в electrum я не нашел метода для простой отправки транзакции (типа отправить 100 монет на такой-то адрес)
Oleg09.08.2017
19:21:38
19:21:38
Второй вариант залить блокчайн себе, но это только первый этап. Блокчайн это не индексированная бд. Чтобы получить допустим текущий баланс по какому-то адресу, нужно будет пробежатся по всему блокчайну, декодировать каждую транзу, найти там вхождения искомо адреса, и посчитать входы и выходы.
Alexander09.08.2017
19:22:23
19:22:23
вот, это должен клиент делать. Bitcoind насколько я помню может, но он большой...
Oleg09.08.2017
19:22:25
19:22:25
ну в electrum я не нашел метода для простой отправки транзакции (типа отправить 100 монет на такой-то адрес)
А такого как бы и не будет нигде.Alexander09.08.2017
19:22:44
19:22:44
ну в клиенте то electrum'овском есть... Было бы api
block.io ещё есть, но там дорого и как-то тихо все...
Oleg09.08.2017
19:23:45
19:23:45
Есть там апи, только в несколько этапов, получить не растраченные транзы, выбрать которые нужно, сформировать новую транзу, подписать и отправить в сеть.
Это как и к электруму относится, так и к "оригинальному" клиенту.
Alexander09.08.2017
19:24:55
19:24:55
а что мешало разработчикам сделать это все одним методом?
Oleg09.08.2017
19:25:38
19:25:38
А кто будет решать какие транзакции использовать в переводе?
Oleg09.08.2017
19:26:34
19:26:34
Ну так это уже не один метод.
Alexander09.08.2017
19:27:23
19:27:23
мм почему нет, я бы мог из php вызвать этот клиент и пусть он сам считает все
а мне вернет результат
че-то не могу доку найти с методами bitcoind, но по моему там была такая команда типа отправить монеты на такой-то адрес...
нашел, sendfrom вроде как оно
https://en.bitcoin.it/wiki/Original_Bitcoin_client/API_calls_list
Открыть в Telegram