Потому что ты не первый кто приходит с quik, а я не торгую потому что считаю эту деятельность крайне ненадёжной.

В таком случае, есть весьма забавное решение. Называется "база данных", из быстрых баз данных лично я советую redis, благо оно умеет ещё и в брокерство сообщенек с подписками, а служебные данные ты можешь хранить в ней и время от времени делать снапшоты.

Это в перспективе, у меня собственная СУБД

Смотри какая смешная фигня https://redis.io/topics/pubsub

Потому что ты не первый кто приходит с quik, а я не торгую потому что считаю эту деятельность крайне ненадёжной.

Спасибо тебе! давно таких адекватов не читал)

Условно, твой QUIK-клиент потрошит ТОС на фигню и пушит в каналы редиски, подписанные клиенты (другие приложения) перехватывают и что-то с ними делают, потом ссылают результат обработки в какой-нибудь канал где их прочитает кто-то ещё. Готовый пайплайн.

Условно, твой QUIK-клиент потрошит ТОС на фигню и пушит в каналы редиски, подписанные клиенты (другие приложения) перехватывают и что-то с ними делают, потом ссылают результат обработки в какой-нибудь канал где их прочитает кто-то ещё. Готовый пайплайн.

Неееееееет)))) зачем)

пушит он только мне)) зачем мне ктото)) деньги любят тишину)

Если не секрет, чем занимаешься по жизни?

Если не секрет, чем занимаешься по жизни?

Программирую.

Программирую.

Я так понимаю давно) а языки?

Lua, Python, JS, C(++), D, основной рабочий — Lua.

Что такое D? А Lua - в чем преимущества?

Lua преимущество в том, что оно не трахает тебе мозги, в отличии от большинства других. Очень тупая внутрення организация и лёгкое встраивание. Из первых двух пунктов вытекает весьма приличная скорость для скриптов, особенно в интерпретаторе Luajit. Но мощен, лаконичен и приятен. D — язык, считай что переизобретение C++, но без говнях которым С++ наполняли десятилетиями. Очень приятен но не очень богат на инструменты.

к слову, текущая ТОС - 5,6 лямов строк

Lua преимущество в том, что оно не трахает тебе мозги, в отличии от большинства других. Очень тупая внутрення организация и лёгкое встраивание. Из первых двух пунктов вытекает весьма приличная скорость для скриптов, особенно в интерпретаторе Luajit. Но мощен, лаконичен и приятен. D — язык, считай что переизобретение C++, но без говнях которым С++ наполняли десятилетиями. Очень приятен но не очень богат на инструменты.

Чувствую себя стариком какимто🙊 кодить начал в 1998 году) потом плавно переплываю в фин. сектор.) но до сих пор так четко писать как вы не могу)

Я много общаюсь с людьми и разбираю проблемы, просто несколько лет практики.

Я много общаюсь с людьми и разбираю проблемы, просто несколько лет практики.

В любом случае, спасибо огромное! Если - мало ли - начнете смотреть на рынок, и что-то заинтересует, я готов оказать помощь, с вами интересно работать....

Сегодняшняя ТОС, Что быстрее всех превратит ее в отдельные файлы?

Или давайте не так. Пока что схема такая. Машина 1. стоит квик и пишет полную тос в файл (текстовый) . Я не знаю на что способен квик с сокетами и тд. я не нашел решения, возможно их и нет, квик и запуск стороннего скрипта вроде не позволяет . Машина 2. постоянно читает это файл с сетевого диска и разбирает на части. в течение времени они чередуют себя - запись чтение. в итоге вечером у нас 5 миллионов строк. первая машина с квиком исполняет все хорошо, и ее нельзя нагружать! она наш трансфер! и вот вторая спотыкается, т.к она перечитывает с начала, и у нее уходит 18 секунд до начала считывания новых данных. Цель 1 секунда.

file:seek("set", position), время от времени получай текущий курсор файла через local position = file:seek() Подобные операции перемещения курсора чтения файла практически мгновенны.

file:seek("set", position), время от времени получай текущий курсор файла через local position = file:seek() Подобные операции перемещения курсора чтения файла практически мгновенны.

Луа только на машине 1

с++ может так же?

Seek — это стандартная операция во всех ОС. Что за приложения занимаются считыванием?

Разумеется может.

Delphi

Разумеется. Это стандартная операция, её поддерживает практически любой ЯП. http://www.delphibasics.ru/Seek.php

я в курсе) но файл у нас текстовый

Не имеет значения.

Не имеет значения.

как так?

http://delphi.scps.ru/file/file5506.htm

Ну вот так вот, не имеет значения, бинарный файл или текстовый. Берёшь и гуляешь по нему курсором.

По умолчанию, при открытии файла на чтении, курсор находится в начале файла. При чтении, например, строки — курсор перемещается на начало следующей. Seek — установка курсора чтения в произвольное место со смещением, как правило, по байтам.

Единственная потенциальная разница при открытии текстового или бинарного файла — есть шанс что при чтении оно будет игнорировать неотображаемые ascii-символы в текстовом.

я сейчас перекомпилю проект

Ну в общем, если у тебя кучу времени занимает обработка — время от времени сохраняй где-нибудь прогресс и стартуй с последнего запомненного места.

Или пили свой TOC на кучу мелких табличек, которые быстро обрабатываются.

Слышал что-нибудь про методику map-reduce?

Слышал что-нибудь про методику map-reduce?

нет. о чем?

[DCC Error] _reader_tos_from_lan.dpr(84): E2008 Incompatible types

роцедура Seek перемещает текущую позицию записи в открытом двоичном файле указанном FileHandle в новою позицию RecordNumber. Файл, должно быть, был назначен AssignFile и открыт с помощью Reset или ReWrite. Для нетипизированных файлов, размер записи устанавливается используя подпрограммы Reset или ReWrite. Для типизированных файлов, размер записи = SizeOf(тип файла). Первая запись в файле 0 запись.

Условно, твой QUIK-клиент потрошит ТОС на фигню и пушит в каналы редиски, подписанные клиенты (другие приложения) перехватывают и что-то с ними делают, потом ссылают результат обработки в какой-нибудь канал где их прочитает кто-то ещё. Готовый пайплайн.

Про пайплайн что то вспомнилось))))

Или пили свой TOC на кучу мелких табличек, которые быстро обрабатываются.

в этом и смысл, клиент качает тос - это квик - остальные дербанят

роцедура Seek перемещает текущую позицию записи в открытом двоичном файле указанном FileHandle в новою позицию RecordNumber. Файл, должно быть, был назначен AssignFile и открыт с помощью Reset или ReWrite. Для нетипизированных файлов, размер записи устанавливается используя подпрограммы Reset или ReWrite. Для типизированных файлов, размер записи = SizeOf(тип файла). Первая запись в файле 0 запись.

https://ru.wikipedia.org/wiki/MapReduce Грубо говоря, у тебя есть очень большие данные которые нужно обработать. Ты берёшь и распиливаешь данные на небольшие блоки и рассылаешь куче приложений/машин (map), которые параллельно посчитают результат, и вышлют тебе обратно, отфильтровав лишнее и минимизировав размеры ответа (reduce), на основе которых уже можно строить выводы.

В чём цимес: скорость обработки задачи ускоряется примерно в N раз, где N — количество решающих задачу машин (приложений, ядер цпу и т.д).

Грубо говоря, ты можешь распилить свой файл на N подфайлов для каждой машины. В результате, время ожидания ответа уменьшится до ожидания пока самая последняя принявшая кусок машина решит свой кусочек.

текущая ситуация - г.ноут амд а6....

вторая машина одна

лаг при одной, пока я читаю файл и пропускаю то что не надо у меня уходит 18-25 секунд

Сколько ядер процессора на второй машине? )

Ты можешь смело запускать на ней N - 1 задачек, занимающихся вычислениями. Одно ядро оставляешь под нужды ОС и файловые операции, а остальные смело могут читать файлы и считать.

Собственно я на ней)

Ну вот и отлично, ускоряешь процесс обработки в три раза легко.

тут вопрос к языку скорее всего...

Нет. Просто открываешь ТРИ приложения, каждое грызёт свой файлик или, например, каждую третью строку в файлике со смещением. ОС разберётся кому какое ядро выделить.

Нет. Просто открываешь ТРИ приложения, каждое грызёт свой файлик или, например, каждую третью строку в файлике со смещением. ОС разберётся кому какое ядро выделить.

А там нельзя разве корутинами?

Корутины и прямые аналоги не ускоряют вычисления.

смотри. есть файл. из него надо сделать быстро . например . SI). Ну и как ты это предлагаешь сделать? оно тестовооое!

Как вычисляется SI?

Ну примерная формула.

Как вычисляется SI?

это инструмент) фьючерс бакса)Фьючерс – это биржевой контракт, предусматривающий обязанность покупки/продажи базового актива в будущем по цене, зафиксированной в момент сделки. Базовым активом фьючерса может служить товар (например, нефть или золото), акция, биржевой фондовый индекс и другие активы. Торговать фьючерсом зачастую удобнее и дешевле, чем самим базовым активом.

local data = { {a, b, c, d}, {a, b, c, d}, {a, b, c, d}, } local SI= 0 for i, v in ipairs(data) do SI = SI + v.a / v.b - v.c end Формула какая-нибудь?

При обработке массивов данных ты, как правило, можешь получить какие-то промежуточные данные, из которых уже побырому собрать что-то готовое, например, просуммировав результаты, вычислив среднее арифметическое или что-то такое.

да)

ты уже сам себе ответил..

И вот если параллелить самую сложную часть и сохранить где-нибудь промежуточные данные, ты можешь распараллелить что-то сложное и ускорить эту часть в N раз, где N это количество распараллеленных мест.

Я хотел какого-то кодового примера функции, чтобы я мог дать пример как это можно распараллелить.

Просто если ты хочешь ускорять — тебе придётся это делать, распараллеливаемость это слишком большой профит в скорости. В противном случае твой кампуцер нагружен только на 1/N (в твоём случае, на четверть из возможного). Ускорение в два-три-четыре раза это МНОГО, особенно при обработке чего-то средне-крупного.

дай я подумаю) както мысли поплыли мои)

у меня есть сжатый тос. очень давно. это ускоряет....... думаю дальше

О, я посмотрел, кстати quik вполне тянет луасокеты обыкновенные, либа просто подрубается как обычная dll.

в принципе с приложением и контурами я все уже сделал по максимуму... в том языке. и меня устраивает. лаг сейчас в том, что я имею задержку в дельфине при чтении файла, пока он доберется до нужной строки проходит 18 секунд.

Ну вот с этой частью я уже сказал, file seek должно работать, найди в гугле тот вариант который заработает или пошамань, они точно есть.

О, я посмотрел, кстати quik вполне тянет луасокеты обыкновенные, либа просто подрубается как обычная dll.

ты там смотри) шлаки не торгуй))

Я проверил, обычная ли луа туда встроена, или кастомный интерпретатор. Ответ: обычная.

Ну вот с этой частью я уже сказал, file seek должно работать, найди в гугле тот вариант который заработает или пошамань, они точно есть.

да нифига) я не первый раз искал. для n[n не пашет

n[n? тхт? txt?

Я проверил, обычная ли луа туда встроена, или кастомный интерпретатор. Ответ: обычная.

Объясни утечку памяти тогда

n[n? тхт? txt?

сорян тхт, csv

Объясни утечку памяти тогда

Ммм, в чём она выражается? Растёт потребление памяти при работе приложения?