RubyMine же, вы чего?

мне нравится

Рубимайн 2017 крутой чет

Первый в этом году срач за редакторы?

у всех телеграм шатает? сообщения шлются по минуте?

Да, чет беда вообще

было пару минут назад сейчас нормально пашет

было пару минут назад сейчас нормально пашет

+

Рубимайн 2017 крутой чет

сижу на нем с 7 версии, брат жив

Сижу на нем с Idea

Хз с какой версии, настолько привык

Мужики привет. ктонить с адвордс работает? интересует отправка оффлайн конверсий. есть 2 гема https://github.com/google/google-api-ruby-client А вот этот https://github.com/googleads/google-api-ads-ruby есть прямо в гугле в качестве примера. вот тут https://developers.google.com/adwords/api/docs/demo-apps/ что брать то?

Первое This client library is supported but in maintenance mode only. — значит второе, очевидно

ну ок, заюзаю. Но было бы интересно послушать тех, кто непосредственно решает такую же задачу

Мужики привет. ктонить с адвордс работает? интересует отправка оффлайн конверсий. есть 2 гема https://github.com/google/google-api-ruby-client А вот этот https://github.com/googleads/google-api-ads-ruby есть прямо в гугле в качестве примера. вот тут https://developers.google.com/adwords/api/docs/demo-apps/ что брать то?

для конверсий юзаю это https://github.com/railslove/rack-tracker

адвордс там тоже поддерживается

Добрый вечер. На проекте есть экспорт в csv арибутов модели, к примеру - вакансий. Вакансий таких - порядка 90к и с каждым днем количество будет увеличиваться. Нажимается кнопка экспорт и происходит генерация csv посредством CSV.generate с последующей записью строк в цикле. На локалхосте такой процесс занимает порядка 30сек, а вот на стейдже дело заканчивается падением. Оптимизировать в коде особо нечего. Нет никаких n+1 и т.д. Может кто сталкивался с экспортом большого количества данных и может что-то посоветовать в плане выбора инструмента?

find_each?

Hiii

find_each?

Пробовал и замерял время прохода. Разницы особой цифры не показали.

Добрый вечер. На проекте есть экспорт в csv арибутов модели, к примеру - вакансий. Вакансий таких - порядка 90к и с каждым днем количество будет увеличиваться. Нажимается кнопка экспорт и происходит генерация csv посредством CSV.generate с последующей записью строк в цикле. На локалхосте такой процесс занимает порядка 30сек, а вот на стейдже дело заканчивается падением. Оптимизировать в коде особо нечего. Нет никаких n+1 и т.д. Может кто сталкивался с экспортом большого количества данных и может что-то посоветовать в плане выбора инструмента?

Что есть "падение"?

сервак виснет

Если postgres — можно сделать COPY (SELECT * FROM vacancies) TO куда-нибудь CSV и на стороне рельс ловить/отдавать.

вообще странно что на 90к что то виснет

но вообще надо разбираться, почему виснет — это ненормально. Хотя, прозреваю, память кончается.

это не хероку случайно?

нет, DO

я бы добавил памяти и посмотрел что будет ?

github у меня одного не работает?

у меня тоже

сначала лагал минут 5, тперь совсем упал

http://status.github.com/ же

@masterdefy что значит “заканчивается падением” ? что именно падает?

у меня как минимум два варианта - таймаут от БД, и таймаут от nginx, например

а вообще такие вещи решаются background джобой )

У меня в голове есть такой вариант, но это несколько другой подход. В таком случае файлик изначально будет сгенерирован и по кнопочке экспорт будет просто скачиваться, а его обновление можно сделать по крону раз в сутки, например.

а вообще такие вещи решаются background джобой )

если сервак виснет — не решаются, ага

автор вопроса не уточнил что именно падает

сервак виснет

а да, сорян

хотя стоп

сервак - это веб-сервер, nginx, или инстанс?

У меня в голове есть такой вариант, но это несколько другой подход. В таком случае файлик изначально будет сгенерирован и по кнопочке экспорт будет просто скачиваться, а его обновление можно сделать по крону раз в сутки, например.

можно по нажатию кнопки создавать джобу и юзеру отвечать сразу, а потом яксом подгружать ссылку на скачивание как только джоба отработала

автор, можете кусок кода прислать, который билдит ваш csv ?

Добрый вечер. На проекте есть экспорт в csv арибутов модели, к примеру - вакансий. Вакансий таких - порядка 90к и с каждым днем количество будет увеличиваться. Нажимается кнопка экспорт и происходит генерация csv посредством CSV.generate с последующей записью строк в цикле. На локалхосте такой процесс занимает порядка 30сек, а вот на стейдже дело заканчивается падением. Оптимизировать в коде особо нечего. Нет никаких n+1 и т.д. Может кто сталкивался с экспортом большого количества данных и может что-то посоветовать в плане выбора инструмента?

могу предложить решение, не совсем то, но создай бекграунд джобу, на клиент верни ее айди, собирай свой цсв долго и оптимизировано по памяти в бэкграунде и пиши в файл, а с клиента опрашивай бек по этому аййди и возвращай статус, что либо еще собирается, либо что собрано и ссылку на файл

О, блин, прочитал дальше, а тут уже все расписали

http://smsohan.com/blog/2013/05/09/genereating-and-streaming-potentially-large-csv-files-using-ruby-on-rails/ можно попробовать

кто-нибудь знает более менее высокоуровенвые клиенты для Elasticsearch которые работают не только под рельсами?

chewy такой классный, но бляха рельсы

Где там рельсы? В зависимостях только activesupport.

казалось бы нет, но блин https://github.com/toptal/chewy/blob/master/lib/chewy/config.rb#L158

щас

иии?

короче в проекте на синатре в депенденси есть actionview, actionview тянет rails-html-sanitizer и rails-dom-testing, один из них видимо дефайнит модуль Rails, а неточная провека в chewy полагает что это значит все рельсы подтянуты

впрочем я уже нашел альтернативу, она похоже даже больше подходит https://github.com/karmi/retire

короче в проекте на синатре в депенденси есть actionview, actionview тянет rails-html-sanitizer и rails-dom-testing, один из них видимо дефайнит модуль Rails, а неточная провека в chewy полагает что это значит все рельсы подтянуты

ничто не мешает сделать PR на эту тему (и в качестве временного решения положить конфиг в config/chewy.yml)

впрочем я уже нашел альтернативу, она похоже даже больше подходит https://github.com/karmi/retire

мёртвенькое же

кажется пора отдохнуть от работы ? спасибо за идею с yml конфигом, попробую. надеюсь это единственная такая проверка там

и actionview не дефайнит Rails, как минимум $ ruby -raction_view -e 'p defined?(Rails)' nil

так что что-то ещё, вестимо

https://github.com/rails/rails-dom-testing/blob/master/lib/rails/dom/testing/assertions.rb

а вот депенденси дефайнят

Всем привет. Начал учить rspec ну вот столкнулся с ошибкой на первом же тесте

ERROR: S client not available

лучше код в gist

версия рельс какая?

5.1.4

Тогда params надо в аргументе params передавать в виде хеша (т. е. get :show, params: { id: post.id })

get :show, params: { id: post.id }

Я думал и так пойем что хеш из одного элемента в 4 понимал же

да, в 5 поменяли

ну и лучше вместо контроллерных спеков писать request-спеки

Помогло спасибо)

(ибо их в любом случае придётся писать, а если они есть — контроллерные бесполезны)

(ибо их в любом случае придётся писать, а если они есть — контроллерные бесполезны)

не понял о чем ты

https://relishapp.com/rspec/rspec-rails/docs/request-specs/request-spec

Добрый вечер. На проекте есть экспорт в csv арибутов модели, к примеру - вакансий. Вакансий таких - порядка 90к и с каждым днем количество будет увеличиваться. Нажимается кнопка экспорт и происходит генерация csv посредством CSV.generate с последующей записью строк в цикле. На локалхосте такой процесс занимает порядка 30сек, а вот на стейдже дело заканчивается падением. Оптимизировать в коде особо нечего. Нет никаких n+1 и т.д. Может кто сталкивался с экспортом большого количества данных и может что-то посоветовать в плане выбора инструмента?

собственно варианты расписали, - делать в бэкграунде, и проверять аяксом, - делать в бэкграунде, выливать файл на с3 например, или прям на сервере, юзеру ссылку в мыло, либо аттачем файл, - стримить, но для этого надо вебсервер подстраивать

не понял о чем ты

сейчас ты тестируешь что контроллер что-то присвоил и что-то отправил рендерится, но тебе в любом случае нужно тестировать что запрос по такому-то url'у пришёл в контроллер и отдалось то что нужно. Это делаю request spec'и.

собственно варианты расписали, - делать в бэкграунде, и проверять аяксом, - делать в бэкграунде, выливать файл на с3 например, или прям на сервере, юзеру ссылку в мыло, либо аттачем файл, - стримить, но для этого надо вебсервер подстраивать

Или генерировать csv на стороне базы, ага.

ojab ага понял. Слушайте кто-то может кинуть пример тестирования стандартного контролерра(сгенирированого через скаффолд) для примера. а то нагуглить не могу?

rspec-rails же генерирует спеки при создании контроллеров

https://github.com/rspec/rspec-rails/tree/master/lib/generators/rspec/scaffold/templates

о спасибо))

Нужно ли тестировать валидацию на модели?

можно протестировать, что она есть

Для этого можно заюзать http://matchers.shoulda.io/, как вариант

it 'render 404 if an post is not found' do get :show, params: { id: 0 } expect(response.status).to eq(404) end

.find в контроллере кидает ActiveRecord::RecordNotFound, до рендеринга даже не доходит

в ответе придёт 500

(но до ответа в спеках не дойдёт)

def show if @post render json: @post else head :not_found end end def set_post @post = Post.find(params[:id]) end

Что тут тогда не так?

всё так

но нужно ловить ActiveRecord::NotFound вместо else