ну так и экономия 20% от размера файлов не особо нужна

а может у него кода пара десятков гигов)

а может у него кода пара десятков гигов)

он там шэлы пишет

казнить!

сейчас уже не нулевые. От шелов только чуть меньше, чем нихера

кто может натолкнуть на правильный путь? есть проект.в него пользователи загружают свои файлы. никто не ожидал что будетпользоваться популярностью но это случилось. теперь более сотни тысяч файлов в одной папке на сервере. все осложняется тем что доступ к этим файлам прописан в скриптах в более 300-тах мест. и одномоментно это не переписать а останавливать сервер более чем на 15 мин ОЧЕНЬ не желательно. вопрос в общето такой. Как разбросать файлы по разным папкам но иметь доступ как просто они в одной папке лежат?

кто может натолкнуть на правильный путь? есть проект.в него пользователи загружают свои файлы. никто не ожидал что будетпользоваться популярностью но это случилось. теперь более сотни тысяч файлов в одной папке на сервере. все осложняется тем что доступ к этим файлам прописан в скриптах в более 300-тах мест. и одномоментно это не переписать а останавливать сервер более чем на 15 мин ОЧЕНЬ не желательно. вопрос в общето такой. Как разбросать файлы по разным папкам но иметь доступ как просто они в одной папке лежат?

а зачем? в чем проблема то?

а зачем? в чем проблема то?

во времени доступа. попробуйте просто открыть папку с 120тыс файлов

во времени доступа. попробуйте просто открыть папку с 120тыс файлов

моментально

)

файловая система поди странная и без кеша)

во времени доступа. попробуйте просто открыть папку с 120тыс файлов

ты про винду говоришь или про linux?

моментально

ну ка расскажи, чем ты это сделаешь

какая файловая система?

пролинукс.

во времени доступа. попробуйте просто открыть папку с 120тыс файлов

Не делай ls, проблем не будет:)

ну ка расскажи, чем ты это сделаешь

ты мне лучше скажи, зачем тебе делать ls на сервере где доступ к конкретным файлам нужен

какой ls ? запрос из пхп на чтение конкретного файла.

ты мне лучше скажи, зачем тебе делать ls на сервере где доступ к конкретным файлам нужен

хм. Логично

какой ls ? запрос из пхп на чтение конкретного файла.

какую файловую систему юзаешь?

ext3

о кеше не может идти речь. все не помещается в оперативку.

ну я бы предложил нехитрую операцию с созданием раздела в XFS и маунтом в ту директорию

или ext4 потестить какой

XFS недостатки Возможность потери данных во время записи при сбое питания, так как большое количество буферов данных хранится в памяти при том, что метаданные записываются в журнал (на диск) оперативно. Это характерно и для других файловых систем с журналированием метаданных.

XFS недостатки Возможность потери данных во время записи при сбое питания, так как большое количество буферов данных хранится в памяти при том, что метаданные записываются в журнал (на диск) оперативно. Это характерно и для других файловых систем с журналированием метаданных.

тут стоит уточнить что потеря данных возможна только для тех данных, которые сейчас пишутся. то есть ты грузишь картинку и у тебя сервак упал

и картинки не будет

спасибо

но как минимум переход на xfs даст тебе какую-то фору что бы уже делать лучше

наверно стоит попробовать

я тоже такогоже мнения.

понятно что надо все переписать...... но это писец товарищи.

изначальные ошибки в архитектуре тянут как кирпич

а что именно медленно с чтением файла напрямую? долго ищет в файловой системе? долго читает сам файл? может там куча конкуретнных запросов и диск просто не успевает головки двигать? или может он вообще устал и его пора заменить?

понятно что надо все переписать...... но это писец товарищи.

ну зато теперь ты будешь ценить абстракции над файловой системой (типа flysystem)

а что именно медленно с чтением файла напрямую? долго ищет в файловой системе? долго читает сам файл? может там куча конкуретнных запросов и диск просто не успевает головки двигать? или может он вообще устал и его пора заменить?

у ex3 есть деградация производительности когда много файлов в одной директории

манал я такие ценности! я уже и так ценю кучу всего что считал раньше мелочами не стоящими внимания.

у ex4 таких вещей нет уже например, но там свои заморочки. xfs или там btrfs банально более современные

https://serverfault.com/questions/98235/how-many-files-in-a-directory-is-too-many-downloading-data-from-net

вот поподробнее, еле нашел этот пост

p.s. мои знания могли устареть, так как я почти всегда файлы на каком s3 храню

у ex3 есть деградация производительности когда много файлов в одной директории

а, пропустил ответ про ext3

кто может натолкнуть на правильный путь? есть проект.в него пользователи загружают свои файлы. никто не ожидал что будетпользоваться популярностью но это случилось. теперь более сотни тысяч файлов в одной папке на сервере. все осложняется тем что доступ к этим файлам прописан в скриптах в более 300-тах мест. и одномоментно это не переписать а останавливать сервер более чем на 15 мин ОЧЕНЬ не желательно. вопрос в общето такой. Как разбросать файлы по разным папкам но иметь доступ как просто они в одной папке лежат?

Впринципе 300+ не так и много. Если бы сильно напрягало можно было и зарефакторить. Было дело с переносом данных с вордпресса на другой двиг 12к статей 80к картинок. Все сделали

да , немного. но это несколько дней на переписывание и еще пару недель на тестирование.

а это прямая потеря внемени , которое можно было бы направить на развитие а не латание дыр.

Привет ребят. Подскажите плиз по wp. Есть блок при редактировании записи. Во всех post-type, в которых шаблон должен использоваться всё в полном порядке, кроме одного типа. Захожу в редактирование, блока нет, открываю настройки экрана, выключаю включаю отображение блока - он появляется.

Привет ребят. Подскажите плиз по wp. Есть блок при редактировании записи. Во всех post-type, в которых шаблон должен использоваться всё в полном порядке, кроме одного типа. Захожу в редактирование, блока нет, открываю настройки экрана, выключаю включаю отображение блока - он появляется.

не тот профиль у чата

сорян

Ну мало ли, может кто знает.

сумел сократить времявыполнения регулярки которуюобсуждали с 40 секунд до 0.33 сек. всего 3дня анализа шаблонов. и вуаля !!! (а здесь смайлик который бьется головой о стену)

Привет ребят. Подскажите плиз по wp. Есть блок при редактировании записи. Во всех post-type, в которых шаблон должен использоваться всё в полном порядке, кроме одного типа. Захожу в редактирование, блока нет, открываю настройки экрана, выключаю включаю отображение блока - он появляется.

@phpGeeks тут больше шансов найти ответ

@phpGeeks тут больше шансов найти ответ

Жду уже там ответа.)

сумел сократить времявыполнения регулярки которуюобсуждали с 40 секунд до 0.33 сек. всего 3дня анализа шаблонов. и вуаля !!! (а здесь смайлик который бьется головой о стену)

расскажи же какие-то подробности

да какие подробности. сидел 3 дня и исследовал шаблоны что нужно было найтии искал что лишнее отрезать чтобы быстрее искалось.

уточнял так сказать шаблон регулярки

а это прямая потеря внемени , которое можно было бы направить на развитие а не латание дыр.

Если продолжать развиваться, не залатав дыры, то можно упереться в то, что развиваться дальше будут мешать дыры, а латать их будет непозволительно дорого

уже

спрятать всю работу с ФС за общим интерфейсом (хоть какой-нить сраный синглтон впилить, не важно) новые данные писать в новую структуру старые данные в фоне переносить для получения нужен феиловер, который смотрел бы сначала в новое место, потом в старое не самая сложная задача, в общем

спрятать всю работу с ФС за общим интерфейсом (хоть какой-нить сраный синглтон впилить, не важно) новые данные писать в новую структуру старые данные в фоне переносить для получения нужен феиловер, который смотрел бы сначала в новое место, потом в старое не самая сложная задача, в общем

Поправочка, сначала в новое, а потом в старое и переносил оттуда в новое

да, я уже сам поправился)

только синхронизации при чтении - так себе идея) проще в фоне с околонулевым приоритетом долбить

только синхронизации при чтении - так себе идея) проще в фоне с околонулевым приоритетом долбить

ну как сказать. так по сути будет лениво работать, зато не переместит лишние файлы, которые уже не нужны

там из 100к файлов реально используется поди не больше 10к

Гайз, пишу сервер по специфакии. в приложении есть xsd-шки всяких core объектов, есть удобный способ перегнать это в пхп классы? (я пока только начинаю искать тулзу) мб у кого уже есть готовое или опыт какой?

можно после обращения класть задачу в очередь на перемещение файла, как вариант

у кого-то есть чтиво/линки по timeseries данным и аналитике? чет нагугливается поверхностный шлак

у кого-то есть чтиво/линки по timeseries данным и аналитике? чет нагугливается поверхностный шлак

ммм.... а что именно тебя интересует?

ERROR: S client not available

тебя интересует как это юзать или как работают хранилища под такие данные?

тебя интересует как это юзать или как работают хранилища под такие данные?

скорее как строить правильно пайплайны для накопления timeseries данных и последующей аналитики и без Хадупа

скорее как строить правильно пайплайны для накопления timeseries данных и последующей аналитики и без Хадупа

ну я б сам почитал, но то как я это себе представляю - ты записываешь те события, которые тебя интересуют и из стрима событий потом агрегируешь нужную тебе информацию

типа "вася кликнул туда-то, вася заполнил такую-то форму, вася получил инвойс"

ток с аналитикой будет тяжело

что для тебя аналитика?

итоговую сумму получи за действия вась в течение полугода)

такое да, но зависит от того, как собираешь данные)

хотя может бред несу

ну, формально нет. При получении от васи бабла можно кидать эвент, что капнуло бабло

но это какая-то бесконечная погоня за проекциями выходит

в моем варианте - каждые N часов собираем колво данные о том, сколько у Васи бабла

сколько у каждого Васи, прошу заметить

в моем варианте - каждые N часов собираем колво данные о том, сколько у Васи бабла

просто так брать, восстанавливать поток событий по каждому васе, что бы узнать скок суммарно?) дорого чёт

и при таком раскладе я (вроде бы) не могу ответить на вопрос, сколько всего было бабла у Вась в такое-то время

не, у меня не ивенты, у меня метрики

то есть, я кидаю не ивент "Вася положил бабла на счет"

Ну к примеру, пусть есть датчик который пушит метрики раз в пару минут. Эти данные сохраняются в каком-нибудь сторадже, который умеет сохранять и потом делать выборки по этим метрикам. Дальше, строить ли проекции или делать агрегацию вручную, как обеспечить синхронизацию данных с проекциями и ещё много вопросов есть, а инфы гуглится маловато

read и write модели не будут синхронными)

как не крутись

я бы со своей маленькой вышки рекомендовал взять тот же influxdb и поиграться с ним к нему можно grafana как тулзу для посмотреть красивости, ну или chronograf - чуть попроще

но это чисто как r&d

понять, как оно работает я так этот путь проходил

если говорить в контексте событий, то получается: 1. writeValueCommand 2. ValueWritedEvent затем есть слушатель, который подписан на ValueWritedEvent и который уже генерирует представление в рамках этого датчика. Ещё 1 может обновлять какое-то общее представление с агрегированными данными. но синхронности у представлений не будет

я бы со своей маленькой вышки рекомендовал взять тот же influxdb и поиграться с ним к нему можно grafana как тулзу для посмотреть красивости, ну или chronograf - чуть попроще

Сейчас его и кручу в свободное время. TICK выглядит многообещающим, но отсутствие кластеризации в опенсорсной версии напрягает.

угу, есть такая беда мне пока хватает, но у меня и нагрузки немного

как вариант, если датчиков будет много и данных много - держать несколько инстансов под группы датчиков но это костыль, конечно

Привет всем. Подскажите плиз. Проект будет для тестирования учащихся. Будет много запросов на backend на запись в базу ответов на тесты. Так же выборка теста. Будет в реальном времени просмотр кто на сколько тестов ответил и на каком тесте и вопросе остановился. Какой фреймворк посоветуете php?

Тестовое задание ?

Неа

А какая разница какой фреймворк?

Симфонисты закричат что ларавел гавно, и наоборот