чтоб было удобнее работать юзеру, (через консоль не вариант)

1гб это 1000 война и мир, 10 гб это 10 000 война и мир

10гб на руби это плохая идея, тут я с Дмитрием согласен

чтоб было удобнее работать юзеру, (через консоль не вариант)

может быть вам обратить внимание на ssh и передавать при помощи scp

а сколько времени ловально (на хорошем проце) руби будет обрабатывать? неужели так долго?

локально*

а сколько времени ловально (на хорошем проце) руби будет обрабатывать? неужели так долго?

зависит от вашей задачи.

что там делать надо?

текстовый поиск, ну например input: "my" output: 3

текстовый поиск, ну например input: "my" output: 3

для этого есть написанные на C утилиты из проекта gnu

например grep.

если вам нужен поиск, то мы сейча сможем посчтиать скорость поиска.

ну можно и на Go написать, но хотелось бы на руби)

ну можно и на Go написать, но хотелось бы на руби)

если вам нужен поиск, то за вас это давно написано, есть большое множество утилит таких как grep

Дима правильно говорит. Есть интсрументы уже заточенные. Есть языки более уместные. Плчему вы так привязались к руби?

Только потому что знаете его?

потому что иконка прикольная!

а вообще прямые руки решают любые задачи любыми средствами

Насколько бы не были руки прямыми у каждого языка есть ограничения

Смотря что понимать под словом простенькое, самое быстрый старт с минимальным изучениям это sinatra

Не согласен. Синатра только роутинг, кроме этого ещё куча проблем, которые надо решить будет

после квейка на екселе мою веру в прямоту рук не пошатнуть!

для текстового поиска, как я слышал, руби подходит. У кого то был опыт?

But when it comes to scanning, extracting, and transforming text, Ruby is that tool, and Rob Miller is the right guide to instruct you in the most effective and efficient application of it.

для текстового поиска, как я слышал, руби подходит. У кого то был опыт?

Это тонкий вопрос. Требующий деталий.

для текстового поиска, как я слышал, руби подходит. У кого то был опыт?

10ГБ это размер уже требующий оптимизации решений.

а вообще прямые руки решают любые задачи любыми средствами

Многопоточную вычислительную систему вряд ли на руби будешь писать. И вряд ли это будет исполняться быстрее чем легковесные потоки erlang

для текстового поиска, как я слышал, руби подходит. У кого то был опыт?

Такие задачи на жаргоне называются "числодробилки", и тут уже быстро работают оптимизированные скомпилированные программы. Т.е. вы можете использовать Ruby, но для поиска в таком объеме текста использовать скомпилированный модуль.

Дело в том, что нету вопроса в скорости. Будет вместо 1 секунды, 15-20, хорошо. :)

но конечно хотелось бы быстро7

Это будет 15-20 с одного запроса

В пределах 10гб это будет огромная потеря в памяти

Можно разбить файл, на много частей и работать с каждым в тредах?

хотя нет

Можно разбить файл, на много частей и работать с каждым в тредах?

я провел расчет, скачал из интернет докуметацию по gnu/grep которая весит 182кб добавил в конец это документации ключь, и посчитал время поиска ключа.

после чего я увуличил размер файла в 2е, просто продублировав документацию добавил ключь в конец, и посчитал сколько время будет потрачено на поиск.

потом вложил все это в цикл.

И сколько вышло?

10гиг это огромный шмат текста. может вы ошиблись в размере

10гб CSV норм вроде перевиривает

который увеличивает объем файла, пуетм добавления содержимого файла к самому себе, добавлет в конец полученного файла ключь, и ищет этот ключь засекая время.

поиск в 20М занимает 0.01 sec

выходит 10 гиг 5 секунд,

выходит 10 гиг 5 секунд,

нет так не выходит.

выходит 10 гиг 5 секунд,

ruby -e "p (1000_000/20)*0.01"

1 гиг = 500 секунд

10 гиг = 5000 секунд

а сори, я думал 0.01 милисекунда

ruby -e "a = (1000_000_000/20)*0.01; p a, a/3600, a/(3600*24)" 500000.0 138.88888888888889 5.787037037037037

т.е. поиск строки которая лежит в самом конце 1TB куска текста займет 5 суток

не понял, если 1 гиг 500 секунд, то 10 гиг 5к секунд? а не 500к

5к секунд это 83 минуты

не понял, если 1 гиг 500 секунд, то 10 гиг 5к секунд? а не 500к

я уже путаюсь

да

5к секунд это 83 минуты

точно ruby -e "a = (10_000_000/20)*0.01; p a, a/3600, a/(3600*24)" 5000.0 1.3888888888888888 0.05787037037037037

не понял, если 1 гиг 500 секунд, то 10 гиг 5к секунд? а не 500к

я там на террабайт считал

Это решение на С?

Это решение на С?

ага. Это вызов из Ruby решения написанного на C. https://goo.gl/P97JST

о спасибо!

круть

На руби вполне решаемо

про потребление памяти не очень понятно, это легко соптимизировать

никто же не будет 10 гб файл в память грузить верно?

просто это будет апишка вида - загрузить файл на сервер, получить id. Дальше по этому id периодически дергать и проверять готово или нет

ERROR: S client not available

статус код 202 вроде

ктонить activestorage с цефом пробывал?

оно взлетит вообще без жестких хаков?

а паперклип совсем отменили?

а паперклип совсем отменили?

Полностью

всегда carrierwave юзал

5к секунд это 83 минуты

Теоретические расчеты: поиск ключа в 1Гиг занимает 500 секунд оказались НЕВЕРНЫМИ. Практическй эксперемент показал что поиск ключа в файле 1Гиг занимает всего 3 секунды (!). В программе я изменил коэфциент умножения с 1 на 500: multyply i*500 и таким образом проверил время на 1.1GB.

Теоретические расчеты: поиск ключа в 1Гиг занимает 500 секунд оказались НЕВЕРНЫМИ. Практическй эксперемент показал что поиск ключа в файле 1Гиг занимает всего 3 секунды (!). В программе я изменил коэфциент умножения с 1 на 500: multyply i*500 и таким образом проверил время на 1.1GB.

ты файл в память грузишь?

самое главное не написал

SSD или HDD

SSD

и на хостинг SSD поставишь?

Мне казалось сейчас везде ssd на впсках

Мне казалось сейчас везде ssd на впсках

тогда у тебя по 8 гб на клиента - все файлы могут не влезть

и не, не везде )

чуть дороже стоит

Ну да, дороже это логично, просто обычно там разница 1-2к на объеме 500гб примерно

подумаешь, копейки )))

Ну для компании да ))

всегда carrierwave юзал

а его можно отдельно от AR юзать?

а его можно отдельно от AR юзать?

> It works well with Rack based web applications, such as Ruby on Rails.

а его можно отдельно от AR юзать?

А еще вот про такой читал

https://github.com/shrinerb/shrine

это @vyacheslavk предоставил утилиту pv, за что ему спасибо.

5к секунд это 83 минуты

Ваш вопрос породил богатейшую дискуссию мы сейчас измеряем скорость работы системы через pv /dev/urandom > /dev/null

https://github.com/shrinerb/shrine

Он крутой

Теоретические расчеты: поиск ключа в 1Гиг занимает 500 секунд оказались НЕВЕРНЫМИ. Практическй эксперемент показал что поиск ключа в файле 1Гиг занимает всего 3 секунды (!). В программе я изменил коэфциент умножения с 1 на 500: multyply i*500 и таким образом проверил время на 1.1GB.

У меня вышло немного дольше. (Proc 2.6 GHz Intel Core i7) Multyply file: 34.84 sec 1.0G Grep in file: 23.54 sec

Не у кого не было такого бага, что в гитхаб contibution не помечаются?

Например у меня есть массив ["a", "b", "c"] Как можно удалить отсюда "b" ?

Например у меня есть массив ["a", "b", "c"] Как можно удалить отсюда "b" ?

ну например [1, 1, 2, 2, 3, 3, 3, 4, 5] - [1, 2, 4] #=> [3, 3, 3, 5]