с пыхом подругому не получится, увы

при том, что гребаный системный калькулятор в Win 10 15 метров озу жрет

ну там ооп поди правильный все такое ))

вот так и работают современные зарзаботчики, вместо оптимизации предлагают памяти добавить)) когда то uTorrent клиент весил 150 кб, сейчас уже 4 мегабайта, MS Office весил 250 мб, щас уже гигабайтами измеряется. вряд ли там на порядок больше возможностей стало

вариант "кешировать постранично" невариант? )

невариант. Фильтры разные всякие есть. На все сочетания кеша не напасешься

что бы спам обрабатывать. мне нужен реалтайм . а это дорого. Спам система в приопитете. только потом в конце запускается карма

особенно когда 50 человек флудят круглосуточно

Приветствую! Подскажите по принципиальной логике работы. Представьте себе что-то вроде авито - доска объявлений. Сервер отфильтровал результаты поиска и передает их клиенту в виде json. Клиент -рендрит. Максимальное количество результатов - 1000 с пагинацией или без. Есть 2 варианта основных: 1. передать 1000 результатов клиенту (сайту), а на уровне клиента уже делать пагинацию. 2. передавать клиенту по 50 результатов и клиент будет дергать сервер за пагинацией. 1. - запрос достаточно большой, зато один. 2. - запрос небольшой, но нужно каждый раз инициировать фреймворк и дергать базу. Как лучше

Приветствую! Подскажите по принципиальной логике работы. Представьте себе что-то вроде авито - доска объявлений. Сервер отфильтровал результаты поиска и передает их клиенту в виде json. Клиент -рендрит. Максимальное количество результатов - 1000 с пагинацией или без. Есть 2 варианта основных: 1. передать 1000 результатов клиенту (сайту), а на уровне клиента уже делать пагинацию. 2. передавать клиенту по 50 результатов и клиент будет дергать сервер за пагинацией. 1. - запрос достаточно большой, зато один. 2. - запрос небольшой, но нужно каждый раз инициировать фреймворк и дергать базу. Как лучше

никто в здравом уме не будет передавать сразу все

что бы спам обрабатывать. мне нужен реалтайм . а это дорого. Спам система в приопитете. только потом в конце запускается карма

тут вопрос... а бот этот окупается как-то? или просто как реклама работает какая-то?

да некуда толком оптимизировать . ну может что-то закешировать. 3 бд жрут на 3х где-то 4 гб. mysql, redis, и кликхаус . Остальное это воркеры +40 штук. Нейронки 2 штуки.

у меня железо свое на работе. + есть азуре фришное

ооо, интеесно)) а для чего используется конкретно у Вас redis и для чего clickhouse? а для чего нейронки и на каком языке?)

есть где почитать об этом боте? статью не писал никуда?

в innodb пока. в мемори риск потерять сообщения велик . почему раз в 3 месяца. потому что рейтинги и т.д статистика должна посчитаться. а пока расчет с кликхауса я не умею. приходиться делать так

c primary key = autoincrement id?

@ExileeD, почему спросил - больше года разрабатываю и дорабатываю 2 схожих друг с другом тизерных системы(на yii2 и cakephp3) и пока что в день порядка 300 000 - 1 000 000 визитов в день(но в планах как минимум 10-кратное увеличение), и думаю как оптимальнее хранить и обрабатывать статистику. Давно есть желание заюзать кликхаус - но руки не доходят, т.к. рискованно пока время уделять его изучению, вдруг не сильно подходит для такого рода задач. ну и нейронки думаю заюзать для более точной выдачи под каждого юзера

ага, но все равно выборка идет по хешу . инкремент для с внешних ключей нужен только

elasticsearch или clickhouse

elasticsearch читал у некоторых тупит и приходится его вручную докешировать. Или это просто неправильно приготовлен? У меня самый приоритет - быстрая запись/обновление метрик и обновление счетчиков, на основе который выстраиваются рейтинги. Отображение статистики в админке - имеет наименьший приоритет по скорости выдачи результатов (но в разумных пределах, желательно не дольше 3-5 сек максимум)

@ExileeD, почему спросил - больше года разрабатываю и дорабатываю 2 схожих друг с другом тизерных системы(на yii2 и cakephp3) и пока что в день порядка 300 000 - 1 000 000 визитов в день(но в планах как минимум 10-кратное увеличение), и думаю как оптимальнее хранить и обрабатывать статистику. Давно есть желание заюзать кликхаус - но руки не доходят, т.к. рискованно пока время уделять его изучению, вдруг не сильно подходит для такого рода задач. ну и нейронки думаю заюзать для более точной выдачи под каждого юзера

колоночные бд как раз идеально ложаться на кейс со статистикой. на работе стоит Vertica для хранения и анализа больших данных

Есть рекомендации куда лучше перенести сессии? Смотрю в сторону Redis либо Memcache, но не особо понимаю в них разницы. На одной из систем memcache пока для кеша юзается. Решил идти также к уменьшению обращений к диску (хотя бы операций записи), т.к. за год fastvps уже раза 3-4 сообщал о том, что SSD сыпятся и заменял их. Логи nginx и апача(наверное лучше все же будет fpm) перенес в tmpfs, откуда периодически переношу данные в обычные логи, + решил отказаться от файловых сессий. Ну и mysql подумаю как оптимизировать для этого

сессии в мемкеше опасно. случайный флеш и все )

а у redis разве не так же?)

в редисе это сложнее сделать. + можно на диск дампить состояние текущее

@sizepermru на данный момент при каждом визите происходит как минимум чтение сессии. А в среднем - и запись (мб и несколько, не изучил еще класс сессии на то пачкой он записывает или нет). У меня для mvp была реализована самая простая проверка на уникальность пользователя - повешенной кукой и хранением id просмотренных тизеров в сессии (палками не бить, тут мне действительно в голову еще хорошего решения не пришло. Да и не особо надо точная уникальность - используется лишь для учета того, что уже просмотрено за последние 2 дня). В итоге большое кол-во лишних обращений к диску (и есть подозрения, что fastvps подсовывает старые ssd)

вообще конечно лучше вебсокеты, ангуляр и ноду для этого юзать :D

primary key в бд составным сделать можно

на составной ключ, вроде нельзя повесить связь.