а чанки потом парсить и себе писать, куда надо

Это одноразовая задача?

Постоянная, нужно сфинкс индекс обновлять по текстовым данным в кликхаус

Тогда когда данные залезают в кликхаус они сразу же должны посылаться в сфинкс

не понимаю смысла в сфинксе если есть кликхаус, это же почти одно и тоже, нет?

Пришел кусок текста (не строк) надо выделить строки, потом оставшуюся не строку куда лучше писать и как Туда дописать чанк след

Не одно и тоже

пишешь класс который поточно это парсит, лол

я скажу так - пожалуй, это тот случай, когда за бесплатно вряд ли смогут помочь

производительности не хватит

Ты что то не правильно архитектурно строишь, я думаю твоя идея - костыль.

?

производительности не хватит

ну вот тогда всегда есть другие языки)

Эксперты ?

я просто не сталкивался с такой ситуацией. Гипотетически, если бы столкнулся - то слал бы чанками из пункта А в пункт Б, там бы это сохранял куда-нибудь на диск, к примеру. Когда полный набор данных соберется, тогда их можно уже скармливать в сфинкс. Тут еще зависит от того, что есть чанк. Некоторые могут под ним иметь ввиду реально кусок данных зашифрованный, который сам по себе не имеет никакого смысла без всех остальных чанков. А если чанк несет в себе целостные данные - то их можно сразу кормить сфинксу и выкидывать из памяти потом

я просто не сталкивался с такой ситуацией. Гипотетически, если бы столкнулся - то слал бы чанками из пункта А в пункт Б, там бы это сохранял куда-нибудь на диск, к примеру. Когда полный набор данных соберется, тогда их можно уже скармливать в сфинкс. Тут еще зависит от того, что есть чанк. Некоторые могут под ним иметь ввиду реально кусок данных зашифрованный, который сам по себе не имеет никакого смысла без всех остальных чанков. А если чанк несет в себе целостные данные - то их можно сразу кормить сфинксу и выкидывать из памяти потом

tab separated сказали же выше )

не знаю почему ты шифрованные данные постоянно подвязываешь, они обычно через https шлются в нормальном виде.

потому что у меня на одном из проектов, где питонисты без ORM развлекались, на протобуфе+tcp такая фантастика написана, что просто капец

и там шлются асинхронными запросами как раз чанками данные

Я кстати не смотрел насколько в ruby стримминг развит

в линухе например можно поток через пайпы расшифровать, в ноде тоже

Чанки - это кусок текста, разделенный \n для новых строк, но чанк может посередине строки отдаться

Т.е ты как бы принимаешь шифрованный поток, оборачиваешь его расшифровщиком и дальше парсеру кормишь расшифрованные данные тоже чанками.

Чанк это кусок.

От начала строки до конца чанками его куда лучше писать

Что значит куда? а как ты задачу решаешь?

рейк таском? джобом? вручную скрипт запускаешь?

архитектуру сам строишь.

я стриммингом в рубях не занимался но я бы написал класс под эту задачу

Вручную скрипт пишу который отдает новый tsv файл в котором пронумерованы строки, это требование сфинкса уже

Плюс под csv уверен есть поточный парсер уже

и возможно он реализован на C

На уникальность строк

Эксперты ?

* Пришел в чат * Ребята как сделать? * Эксперты блжад

Вручную скрипт пишу который отдает новый tsv файл в котором пронумерованы строки, это требование сфинкса уже

Т.е ты на лету создаешь 200 гиговый файл локально?

Нафига писать про платность?

Потому что это комплексная задаяча и тебе ее никто полностью не будет решать бесплатно

В общих чертах тебе уже подсказали, дальше надо самому копаться, тыжпрограммист.

Ну и в производительность упрешься скорее всего, я бы пересмотрел решение задачи.

Производительность чего?

Производительность рубей.

Руби хороши для логики, скорость у них слабенькая.

Памяти, проц, i?

Io?

Производительности интерпритатора

Чего именно

Господи, руби медленный.

Соответственно в первую очередь это скорость аллокации в памяти и проц

Руби медленный для чего ?

для много чего

для работы в целом

Руби вообще медленный.

Просто это нивелируется тем что его не используют в тех местах где его производительности недостаточно.

вот возьмешь тот же golang, простейший gin-http и возрадуешься производительности по сравнению с синатрой

Переписывают куски на C и т.д.

я вчера смотрел beego

я вчера смотрел beego

https://beego.me/docs/mvc/model/overview.md На главной страничка, ведущая на 404

С руби я упирался только в то, что все процы загружены, памяти не хватает или вся ширина канала забита, или на Иопс не хватает, так что в сам руби еще ни разу не упирался

https://beego.me/docs/mvc/model/overview.md На главной страничка, ведущая на 404

нет

я завел нормально, хотя первый раз тоже промахнулся

На какой задаче ты уперся в интерпретатор руби ?

да, я хочу почитать про ORM usage

и она ведет в никуда

На какой задаче ты уперся в интерпретатор руби ?

Проц, память это и есть упереться в производительность рубей

template usage too

грубо говоря это означает что интерпритатор рубей работает медленней чем этот код написанный на языках побыстрее

Мне всегда казалось это очевидной вещью

ERROR: S client not available

Руби вообще медленный.

не быстрый, медленный - обидно

да, не быстрый.

питон же догнал

:)

Для поточного парсинга большого файла мне кажется не очень подойдет.

Руби вроде сравнялись с питоном по скорости, но питон тоже медленный.

я понял, если открывать доки на английском, то все есть статьи)

Можешь конкретней задачу сравнение привести где руби медленнее бы работал ?

я понял, если открывать доки на английском, то все есть статьи)

Лол, мне кажется любую документацию надо читать на английском by default.

Медленнее чего опять же ))

у меня по дефолту русская открылась почему-то

да почти всего

В русском зачастую бывает целых кусков не хватает, или устарело.

я хз

Можешь конкретней задачу сравнение привести где руби медленнее бы работал ?

2 + 2

сперва подумал, что мб английский вообще нет

http helloword на 10к запросов будет на руби медленней

Давай практическую задачу какую нибудь комплексную

http helloword на 10к запросов будет на руби медленней

http helloword на 10к запросов будет на руби медленней

Медленнее чего ?

Чем на C/Golang

Не понимаю этого холивара, в этом чатике подавляющее большинство любят руби (я уверен) при этом они же утверждают вполне себе факт что руби не очень быстрый.

Насколько медленнее ?

намного

Любят, но вопрос медленности кмк преувилечен

http://take.ms/QSYdN

http://benchmarksgame.alioth.debian.org/u64q/compare.php?lang=yarv&lang2=go

ну вот если мы с рельсой сравним производительности - то разница в нагрузке 51k vs 3k

any more questions?

Прости господи: http://benchmarksgame.alioth.debian.org/u64q/compare.php?lang=yarv&lang2=php

404

а в хроме ок