Всем привет! Подскажите плиз, как в yii2 правильно выберать большое колличество данных. В таблице почти 150тыс записей

Вариантов несколько, простой foreach($query->each() as $v)

А . генераторы не для этого предназначены

для этого

Всем привет! Подскажите плиз, как в yii2 правильно выберать большое колличество данных. В таблице почти 150тыс записей

Мб ->batch() попробуете вместо выборки всего и выбирать частями в цикле

для этого

+

Ужасный шаблон. Не понятно зачем сделали разделение на фронт и бек. они все равно зависят от коммон. Значит они не самодостачны. С таким же успехом можно просто разделять приложение неймспейсами. Кривой yii serve Еще много чего могу сказать.

Чтобы разрабатывать в компонентном подходе.

Чтобы разрабатывать в компонентном подходе.

И без этого шаблона можно разрабатывать компонентно.

Можно, но будет грязновато.

не будет

Можно, но будет грязновато.

Нет

advanced - слишком оверхедная попытка разбить приложение на несколько частей. Много лишнего, путающего ньюбайс

Чтобы разрабатывать в компонентном подходе.

чтобы разрабатывать в компонентном подходе нужно писать независимые модули - для этого advanced не нужен

чтобы разрабатывать в компонентном подходе нужно писать независимые модули - для этого advanced не нужен

backend/frontend/common и есть модуль. backend не знает о frontend, а frontend о backend. А common о frontend и backend. Все хорошо разделено. Не нужно создавать кучу модулей по ответственности, когда это не нужно.

привет, как в yii1 ускорить createUrl?

у меня 200 роутов, вызываю createUrl в цикле, в итоге страница больше секунды генерируется

Закешить?

Вроде, есть такая возможность из коробки.

страницу?

Что "страницу"?

страницу закешировать?

Роуты

так они и так закешированы

Ну, значит еще кешим, что по выше.

И т.д. пока не будет результата.

что за костыли

Кеширование - костыль?

конечно, оно поможет только для второго захода

Роуты меняются?

роуты нет, параметры - да

И как параметры изменяются?

Откуда они берутся?

из БД, у каждого пользователя свои

Ну, я пока не понимаю до конца, но как вариант: вызвать один раз createUrl() а позже заменить параметры без постоянного вызова не пойдет?

как определить что в строке было параметрами, а что роутом?

Вообще, странно. createUrl() не такая и требовательная.

Я не знаю. Я не вижу шаблона и я не Ванга.

когда в цикле на 100 элементов вызывается createUrl на 200 роутов, то получается долго

Покадите timeline лучше.

Посмотрим, что тормозит.

backend/frontend/common и есть модуль. backend не знает о frontend, а frontend о backend. А common о frontend и backend. Все хорошо разделено. Не нужно создавать кучу модулей по ответственности, когда это не нужно.

модули выделяют по достаточно узкой функциональности, а не по такой широкой как здесь админка, здесь фронт

у меня 200 роутов, вызываю createUrl в цикле, в итоге страница больше секунды генерируется

вместо отдельных роутов создавать более общие классы, обслуживающие логически общие урлы

Вообще, странно. createUrl() не такая и требовательная.

двести роутов - это двести лейзи объектов. для createUrl, создающего ссылку по последнему, 200-му роуту, нужно создать 200 объектов и все их обойти, пока не найдет свой роут. в цикле это будет 200 * i раз. бешеный оверехед

двести роутов - это двести лейзи объектов. для createUrl, создающего ссылку по последнему, 200-му роуту, нужно создать 200 объектов и все их обойти, пока не найдет свой роут. в цикле это будет 200 * i раз. бешеный оверехед

Да он говорит у него вызывов 200, а самих роутов неизвестно.

модули выделяют по достаточно узкой функциональности, а не по такой широкой как здесь админка, здесь фронт

Иногда это хороший вариант.

Да он говорит у него вызывов 200, а самих роутов неизвестно.

вроде точно написал что 200 роутов

вроде точно написал что 200 роутов

Извиняюсь тогда.

вроде точно написал что 200 роутов

у меня роутов было 110) так что я знаю о чем говорю) выделяй группы роутов в общие правила типа PostUrlRule, GoodsUrlRule итд

у меня роутов было 110) так что я знаю о чем говорю) выделяй группы роутов в общие правила типа PostUrlRule, GoodsUrlRule итд

думал есть легкий способ получить от yii CUrlRule с моим роутом, и у него вызывать createUrl

думал есть легкий способ получить от yii CUrlRule с моим роутом, и у него вызывать createUrl

там просто перебор, так что нет

а у тебя yii2 или 1?

в yii2 там что-то улучшили уже. можно группировать из коробки вроде

yii1

тогда нет)

но можно было бы этот перебор делать только для первого вызова Yii::app()->createUrl

но можно было бы этот перебор делать только для первого вызова Yii::app()->createUrl

наверное. можешь допилить урл менедежр, чтобы кэшировал результаты

Кто-нибудь делал хранилища под изображения с объединением в один файл? Нужно на лету создать подобное для каждого пользователя. Может подскажете решения?

конкретизируй

Ну есть куча картинок. В итоге упираюсь в лимит по количеству файлов в ФС. Нужно складировать картинки в один файл (как делает фб, ВК итд) и доставать оттуда уже нужную картинку по смещению. Но таких хранилищ должно быть несколько (на пользователя) с возможностью быстро создать его и складировать туда изображения. Насколько я знаю есть решения от Яндекса подобное, но там вроде как используется одно хранилище, да и нужен вариант чуть проще. Создали хранилище, загрузили изображения, обработали, удалили.

что за картинки? пользовательские? что за лимит по кол-ву? в первый раз слышу ФБ, ВК так для пользовтаельских не делают. Вкратце - дичь какая-то

Картинки пользовательские. Есть лимиты ext3 на количество inodes (файлов на диск) В кратце ожидаю ответ по существу.

используйте вложенность для уменьшения кол-ва файлов в одной дире. ну не склеивать же их.

Вложенность используется и так. Нужна именно склейка чтобы не упираться в лимиты по inodes (количество файлов на диске), что я собственно написал.

да прекращайте уже. вы видимо не с той ноги встали, что такой вариант всерьез рассматриваете.

если вы в какой-то лимит уперлись, то явно в дире даже не десятки тысяч файлов. как вы вообще будете клеить эти файлы и выгружать их на клиента? фарс

мне кажется, вместо того, чтобы этой порнографией (склейкой) заниматься, лучше обойти ограничение на колличество inodes (кстати, тоже впервые слышу о таком, но, коллеги, такое существует) на stackoverflow рекомендуют такое решение http://superuser.com/questions/585641/changing-max-inode-count-number-in-ext3-filesystem-in-cent-os

Shared-хостинг. Ограничение по inodes 50к. Я бы не рассматривал склейку если бы можно было решить другим способом.

ERROR: S client not available

Вложенность используется и так. Нужна именно склейка чтобы не упираться в лимиты по inodes (количество файлов на диске), что я собственно написал.

Вы что коллажи создаёте чтоли ? Или спрайты для CSS ?

простите, я не так хорошо разбираюсь в linux, но inodes - это ограничение на количество файлов на директорию, или на весь путь?

простите, я не так хорошо разбираюсь в linux, но inodes - это ограничение на количество файлов на директорию, или на весь путь?

На весь диск

Вы что коллажи создаёте чтоли ? Или спрайты для CSS ?

Много фоток от пользователей (исходные могут быть около 10-20Мб, генерируются пара уменьшенный копий для работы в браузере, дальше обрабатываем исходные файлы).

Shared-хостинг. Ограничение по inodes 50к. Я бы не рассматривал склейку если бы можно было решить другим способом.

вы точно уверены что нужно решать проблемы шареда, а не купить что-нибудь для файлового хостинга? за 15 баксов например можно на DO файловый хостинг сделать на 100 гб - s3-совместимый

возможно ограничение связано с shared-хостингом? что-то мне слабо верится, что с таким ограничением на диск можно хоть что-то записать (помимо стандартных файлов linux) я последних три года пользуюсь либо vds, либо dedicated серверами, и колличество файлов что там что там обычно превышало даже 100к на одну директорию (интернет-магазин, 30к товаров, и к каждому есть минимум 2 фото, в среднем - 3-4 фото на товар + миниатюры)

вообще шаред - это дичь в век копеечных дроплетов от DO или vscale

раз shared существует, кому то он полезен просто одним проектам хватает shared, другие требуют более серьёзного железа

мне не везёт, моё на shared не работает (ибо я прошеный, люблю ssh до сервера и базу через миграции делать)

очевидно он полезен тем, кто хочет из панельки сайт развернуть. но прогер может нджинкс и сам настроить.

Шаред это реально дичь.

Повис sshd — терпи.

я так прикинул... вы если будете склеивать изображения 100х100 в пачки по 100 штук, а потом их ещё и разбирать, то у вас shared заберут из-за превышения время работы процессора

я так прикинул... вы если будете склеивать изображения 100х100 в пачки по 100 штук, а потом их ещё и разбирать, то у вас shared заберут из-за превышения время работы процессора

+

на лету разбирать обратно в одну картинку? я думал он хочет эту матрицу 100 на 100 выводить клиенту со смещением как спрайт.

по крайней мере слово смещение прозвучало

Lamp/lemp я могу настроить без проблем. Смещение и длина чтобы знать откуда читать из хранилища. Клиенту отдавать пофайлово.

пофайлово - то есть, резать на сервере?

Да

ну это же тяжело)

для сервера

разве что вы их по 5-10 штук в одно будете склеивать, не больше иначе - упрётесь в ограничение время работы процессора также (я пропустил?) вы не сказали будут-ли изображения одинакового размера (хотя-бы по одной стороне), ибо это ооочень будет влиять на конечный результат по времени разве что, как решение, сделать cloudflare как кэширующий cdn, и кэшировать все изображения, чтобы ваш сервер не так нагружался (но по первым порам CPU будет 100%, или даже 150%)

в общем я этот фарс не продолжаю, но пользуясь случаем, советую всем юзать вот такую штуку - https://www.minio.io/ классно абстрагирует приложение от хранилища, имеет s3-совместимый апи и клиенты под все языки и платформы.

Не... не спрайты, он хочет с файлом работать напрямую. Читать побайтово со смещением. И все соотвествия смещения хранить в бд, или еще где. Это надо суметь вообще такое придумать. )) Для сервера это не очень напряжно, но цель не оправдывает средства. Бред.

в общем я этот фарс не продолжаю, но пользуясь случаем, советую всем юзать вот такую штуку - https://www.minio.io/ классно абстрагирует приложение от хранилища, имеет s3-совместимый апи и клиенты под все языки и платформы.

А можно в нём хранить отрендеренные тайлы mapnik'a ?

А можно в нём хранить отрендеренные тайлы mapnik'a ?

вы заливаете туда файл, у вас есть урл по которому этот файл доступен. можно?

вы заливаете туда файл, у вас есть урл по которому этот файл доступен. можно?

да. Отлично. Спасибо за сервис.

поддерживает бакеты, публичные ссылки, приватные ссылки на заданное время, временные урлы для заливки с клиента, заливку файлов програмно через апи

поддерживает бакеты, публичные ссылки, приватные ссылки на заданное время, временные урлы для заливки с клиента, заливку файлов програмно через апи

что такое бакет?

ведро в переводе). ну категория файлов. то есть не все в одно место складываается, а можно разделять.

в общем я этот фарс не продолжаю, но пользуясь случаем, советую всем юзать вот такую штуку - https://www.minio.io/ классно абстрагирует приложение от хранилища, имеет s3-совместимый апи и клиенты под все языки и платформы.

+1 Но вот проблему с ограничением на количество inodes это не решит. Зато даст очевидное приемущество в виде простой последующей миграции на другое S3 совместимое хранилище

+1 Но вот проблему с ограничением на количество inodes это не решит. Зато даст очевидное приемущество в виде простой последующей миграции на другое S3 совместимое хранилище

не решит. ее не надо решать. ни таким образом ни вообще.