хе, есть вероятность что "платформа" хранит в binary, лучше в mysql смотреть

я думаю так и есть, но он не принимает бинарник

еслт бы я на каком нить чистом sql сделал бы insert(Registered) values(1) то он бы съел :)

ну и да, тут без вариантов — или переопределять type_cast или для всех boolean полей прописывать кастомный сериализатор/тип/etc

class Integer def to_bin(width) '%0*b' % [width, self] end end

собственно to_bin

ну и да, тут без вариантов — или переопределять type_cast или для всех boolean полей прописывать кастомный сериализатор/тип/etc

или переопределять type_cast <= с Этого места поподробнее пожалуйста

собственно to_bin

мне просто нужно запретить рельсам конвертить 1 и 0 в бинарник, мне не нужно ничего конвертить

или переопределять type_cast <= с Этого места поподробнее пожалуйста

см. ссылку на рельсы выше. Переопределяешь https://github.com/rails/rails/blob/master/activerecord/lib/active_record/connection_adapters/abstract_mysql_adapter.rb#L848 для when 1 (или сколько там у тебя).

как же не нужно если на входе TrueClass а на выходе бинарь

или я не в струю уже)))

как же не нужно если на входе TrueClass а на выходе бинарь

просто не нужно)

да

я розобралсо, у нас там косяк с paranoia был = )

Сори за оффтоп, каким шестигранником меняются колодки на мазда три БЛ?

надо мануал читать =)

Господа, а как лучше всего реализовать, например нужно переодически вытаскивать с другого сайта информацию, а потом на основе этой информации делать рассылку? Как бы реализованый кусок по вытаскиванию и по рассылке, а как лучше это все автоматизировать? Вытаскивать через whenewer( тут как бы не обьязательно в очередь сохранять, так как опрос будет очень часто), а рассылку уже нужно что бы была очередь - через Active Job?

что там использовать для шедулера и запуска фонового процесса – это как раз детали

что значит вытаскивать, как часто, как парсить-форматировать, нужно ли сохранить понавытасканное и куда

вот это более важные вопросы)

если прям часто, то и whenewer не нужен, сделать крошечный сервис, который внутри себя треды крутит и постоянно что-то “вытаскивает”/обрабатывает

если прям часто, то и whenewer не нужен, сделать крошечный сервис, который внутри себя треды крутит и постоянно что-то “вытаскивает”/обрабатывает

ну раз в минуту или пару минут, сохранятся будет в базу Postgresql. При рассыле будет тоже эта же база сканироватся, сопоставляться данные и происходить рассылка

я бы просто сделал бесконечный тред вместо whenever и оформил бы запуск этого в виде сервиса systemd

иначе придется еще заботиться о том, чтобы второй процесс не стартовал когда первый еще не закончил работу

@nottewae ojab в итоге забил болт и сконвертировал поля в tinyint, платформе пофигу, жизнь продолжается.

иначе придется еще заботиться о том, чтобы второй процесс не стартовал когда первый еще не закончил работу

там как бы непринцыпиально что бы последовательно процессы выполнялись. Главное что бы рассыльщик выполнял рассылку

я скорее не о последовательности выполнения. а о том, что если интервал нужен короткий, то высока вероятность встрять на получении кучи процессов, которые запустились и что-то пытаются парсить и писать в базу одновременно

можно всякие lock-файлы или редис, конечно, использовать для предотвращения этого

но это, имо, решение проблемы, которую вообще можно избежать посмотрев на задачу под другим углом

Хм ... а если будет служба разве проблемы с блокироваками в базе не исчезнут?

если там будет один тред, бесконечно выполняющий последовательность действий http-get -> распарсить -> сохранить -> заснуть на 30 сек то откуда возьмутся блокировки?

а для рассылки – ну да, джоб, который создат запись о рассылке, в которой храняться таймстепы от-до. и запустит джоб майлера для рендеринга и отправки всего этого

а рассылка должна быть не в общем треде со сборщиком данных? Все-таки там тоже идет обращение к бд?

в разных тредах

в разных тредах

ну а как тогда разруливать блокрирвки базы, если например один тред будет писать в базу, а другой в этот момент будет читать эти данные?

у тебя что блокировка в бд стразу на всю таблицу стоит? да и насколько знаю база в этом случае сама разрулит

Можно лочить только часть тейбла?)

Возможно

Rails 5.2.0 NoMethodError (undefined method `verbose_query_logs=' for ActiveRecord::Base:Class): Что это такое? И как решить?

оно? https://github.com/flyerhzm/bullet/issues/395

народ кто кто сталкивался? нужно искать по sha256 в базе какой тип лучше юзать bytea? насколько он быстрее текста ищет, что по нагрузкам?

всем привет)

БД PG

оно? https://github.com/flyerhzm/bullet/issues/395

Это 5,2,0

Это 5,2,0

не думаю что проблем разный.... тем не менее

народ кто кто сталкивался? нужно искать по sha256 в базе какой тип лучше юзать bytea? насколько он быстрее текста ищет, что по нагрузкам?

индексу пофиг, по большому счёту

индексу пофиг, по большому счёту

хотелось бы подробностей, а если там млн+ записей так ли пофик? Ладно, подробности возможны, только если у кого то реально возникали ситуации. На то и был вопрос.

если важна производительность на млн+ записей — делаешь hash index, ему пофиг

ибо varchar и byte хешируются одинаково

оно? CREATE INDEX name ON table USING HASH (column);

ага

сенк)

но учитывай что оно в wal не попадает, если меньше десяточки (оно, вроже, об этой warning выдаёт)

там никогда меньше не будет

можешь джобы завести и сунуть их в крон

Всем привет. Встала задача реализовать geoip определение города. Есть n количество городов у всех есть ширина и долгота. По геоайпи надо подсунуть клиенту ближайший. Подскажите куда копать ?

скорее всего в сторону платных геолокационных сервисов

https://github.com/yhirose/maxminddb

Всем привет. Встала задача реализовать geoip определение города. Есть n количество городов у всех есть ширина и долгота. По геоайпи надо подсунуть клиенту ближайший. Подскажите куда копать ?

Если ширина и долгота городов тебе известна, geoip отдает ширину и долготу айпишника, погугли нахождение расстояния от точки до точки. учитывай допустимую погрешность в расстоянии, не все айпи будут находиться в одной точке, возьми к примеру 50км и прогоняй с ними тестовые данные

По сути нужно гонять все точки городов, как это все будет дружить с производительностью?

По сути нужно гонять все точки городов, как это все будет дружить с производительностью?

я лишь предложил вариант куда копать

А кто-нибудь работал с geodist redis

?

ERROR: S client not available

Если кому интересно, редис отлично подходит для этой задачи

Спасибо тем кто откликнулся

подскажет кто - как через selenium-webdriver заполнить форму для логина по определённому урлу? ну или хотя бы найти адекватную доку по ведбрайверу под руби

там ж элементарно, у меня правда под рукой для ватира, но там мало чем отличаеться browser = Watir::Browser.new :chrome # , switches: ['--incognito'] browser.goto 'instagram.com/accounts/login/' #Navigate for username and password fields, inject info ap 'Logging in..' browser.text_field(:name => 'username').set "#{username}" sleep(rand(3..7)) browser.text_field(:name => 'password').set "#{password}"

О, прикольно

Тогда получается, что для селениума можно юзать доку от ватира, если она есть?

https://github.com/SeleniumHQ/selenium/wiki/Ruby-Bindings

Тогда получается, что для селениума можно юзать доку от ватира, если она есть?

не

https://github.com/SeleniumHQ/selenium/wiki/Ruby-Bindings

Спасибо

Селениум, как я понял, полностью эмулирует работу браузере и можно потом вытянуть данные, которые через js подтягиваются?

http://seleniumhq.github.io/selenium/docs/api/rb/Selenium/WebDriver.html

угу

Если кому интересно, редис отлично подходит для этой задачи

postgres/postgist тоже ок

Добрый день, есть такой хэш {["yes", 0.45]=>1, ["yes", 0.7]=>1, ["yes", 1.0]=>1, ["no", 1.0]=>1, ["no"=> 0.5]=>1} подскажите пожалуйста как можно получить такой {'yes' => 2.15, 'no'=> 1.5}

{'yes' => 2.15, 'no', 1.5} не похоже на хэш

{'yes' => 2.15, 'no', 1.5} не похоже на хэш

сейчас похож

Добрый день, есть такой хэш {["yes", 0.45]=>1, ["yes", 0.7]=>1, ["yes", 1.0]=>1, ["no", 1.0]=>1, ["no"=> 0.5]=>1} подскажите пожалуйста как можно получить такой {'yes' => 2.15, 'no'=> 1.5}

{...}.keys.inject({}) { |p, key| p[key[0]] = key[1] }

hash.reduce(Hash.new { |h, k| h[k] = 0 }) { |memo (k, v)| memo[k] += v }

2.5.0 :005 > hash = {["yes", 0.45]=>1, ["yes", 0.7]=>1, ["yes", 1.0]=>1, ["no", 1.0]=>1, ["no", 0.5]=>1} => {["yes", 0.45]=>1, ["yes", 0.7]=>1, ["yes", 1.0]=>1, ["no", 1.0]=>1, ["no", 0.5]=>1} 2.5.0 :006 > hash.keys.inject({}) { |memo, el| memo[el.first] ||= 0; memo[el.first] += el.last; memo } => {"yes"=>2.15, "no"=>1.5}

hash.reduce(Hash.new { |h, k| h[k] = 0 }) { |memo (k, v)| memo[k] += v }

а какая версия руби?

да, фигню написал. hash.reduce(Hash.new { |h, k| h[k] = 0 }) { |memo, ((k, v), _)| memo[k] += v; memo }

да, фигню написал. hash.reduce(Hash.new { |h, k| h[k] = 0 }) { |memo, ((k, v), _)| memo[k] += v; memo }

nil can't be coerced into Fixnum

trello работает?

nil can't be coerced into Fixnum

прозреваю что последний элемент должен быть ["no", 0.5]=>1, а не ["no"=> 0.5]=>1

А я, полную фигню написал, сорян, чет я не понял вопрос

точно. Спасибо большое всем кто откликнулся. я затупил немного.

trello работает?

от провайдера зависит.

trello работает?

Вчера статика отвалилась UGC-шная

trello работает?

Да, но я не в РФ

Эти РКН блокировки уже и до РБ докатились, магистральные провайдеры ставят блок и у нас уже у некоторых linkedin и другие сайты не открываются

Белоруссия?