Всем привет.
Есть задача выгрузить 2млн строк из Mysql в CSV в фоне.
Пытаюсь сделать через $query->batch(100)
PHP не хватает памяти - "Allowed memory size of 134217728 bytes exhausted"
Говорят что нужно отключить буферизацию. Добавляю
\Yii::$app->db->pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
Получаю ошибку Cannot execute queries while other unbuffered queries are active. Consider using PDOStatement::fetchAll(). Alternatively, if your code is only ever going to run against mysql, you may enable query buffering by setting the PDO::MYSQL_ATTR_USE_BUFFERED_QUERY attribute.
Если я правильно понимаю, мне нужно сделать новое подключение к БД? или как правильнее организовать подобную выборку?
логгер включен? выкини его нахуй :D
The Ant
The Ant
инфа сотка, логгер засоряет
Anonymous
если можно на машину себе дернуть .sql
Anonymous
типо такого
Anonymous
$sql="LOAD DATA LOCAL INFILE '../upload/csvfile.csv'
INTO TABLE table_name FIELDS
TERMINATED BY ','
ENCLOSED BY ''
LINES TERMINATED BY '\n' "
Kairzhan
ребят. снова нужна ваша помощь.
Kairzhan
с ценами разобрался.
Kairzhan
разобрался. надо было просто сохранить без валидации
Эд
Максим
Надо проверять что юзер вводит, чтобы потом не было мучительно больно
Kairzhan
Надо проверять что юзер вводит, чтобы потом не было мучительно больно
просто мне нужно сохранить не нужную заявку. при этом что цена в этой заявке может быть уже в ненужных у других.
Roman
Kairzhan
тоже хорошая идея. точнее правильная. спасибо за подсказку
☕️ 𝕽𝖔𝖈𝖐𝖊𝖙𝕽𝖆𝖈𝖈𝖔𝖔𝖓
просто мне нужно сохранить не нужную заявку. при этом что цена в этой заявке может быть уже в ненужных у других.
Сохранить ненужную заявку? Не нужная цена? Не сохраняй ее
Kairzhan
Сохранить ненужную заявку? Не нужная цена? Не сохраняй ее
я не так описал.
в таблице заявки должны быть все заявки.
ненужные в данном случае это заявка которую редактировали.
новая создается (заявка 2) на основе поданой заявки (заявка 1)
а в заявке 1 ставим статус другой. и она уходит как бы в историю.
Kairzhan
а можно ли в правиле указать значение по уникальности?
[['price','torgId'],'unique','targetAttribute' => ['price','torgId','status'],'on' => 'newrequest']
чтобы статус он проверял только 0
[['price','torgId'],'unique','targetAttribute' => ['price','torgId','status'=>0],'on' => 'newrequest']
так пойдет?
☕️ 𝕽𝖔𝖈𝖐𝖊𝖙𝕽𝖆𝖈𝖈𝖔𝖔𝖓
Kairzhan
Если данные не валидны не надо пихать их в базу
в моем случае в заявках со статусом 0 не должно быть одинаковых цен
Kairzhan
стоит ли мне делать транзакции если уникальность важна?
при скажем одномоментой отправке заявок от 2 и более с одной ценой сможет ли такие правила гарантировать уникальность?
Kairzhan
[['price', 'torgId', 'status'], 'unique', 'targetAttribute' => ['price', 'torgId', 'status'], 'when' => function ($model) {
return $model->status == 0;
},
👻
В базу все равно будет писать по очереди
👻
Но у тебя там по сути уникальности нет
👻
У тебя она в моделе
Kairzhan
т.е. я могу спать спокойно, надеясь на эти правила в модели?
Kairzhan
ктонибудь пользователся расписаниями/события в mysql?
Дмитрий
я пользовался
👻
т.е. я могу спать спокойно, надеясь на эти правила в модели?
Ну вероятность маленькая что у тебя в 1 и тот же лот поменяют цены в одну и ту же сотую доли секунды
Kairzhan
Ну вероятность маленькая что у тебя в 1 и тот же лот поменяют цены в одну и ту же сотую доли секунды
будем надеяться на такой исход
Дмитрий
Несколько лет работает
Kairzhan
мне надо чтобы аукцион начался ровно в указанные часы и минуты
Дмитрий
Норм
D
скедьюлер?
шедулер
D
https://translate.google.com/#en/ru/scheduler
Vladimir
https://www.babla.ru/%D0%B0%D0%BD%D0%B3%D0%BB%D0%B8%D0%B9%D1%81%D0%BA%D0%B8%D0%B9-%D1%80%D1%83%D1%81%D1%81%D0%BA%D0%B8%D0%B9/scheduler
Vladimir
ну, ок, видимо есть разница американский и британский вариант
D
кстати, да
Vladimir
у нас обычно британскому учат)
Vladimir
поэтому я привык к первому варианту)
D
тогда уж timetable может подойти)
D
но это уже лирика
Ярослав
Всем привет. Кто-нибудь слышал о такой надстройке над Yii1 - Sii Framework? Пришел сайт на доработку, смотрю его, а тут мало того что старый yii, так еще и переписанный судя по всему. Может кто сталкивался с ним?
Alexey
кстати, да
In the UK, the prevalent pronunciation is /ˈʃɛdjuːl/ (shed-yool), while the prevalent pronunciation in the US is /ˈskɛdʒuːl/ (skedzh-ool).
Alexey
Мы вроде в американском ит мире существуем, а не в британском 😎
Павел
Мы вроде в американском ит мире существуем, а не в британском 😎
И получаешь наверное в долларах 😆
Павел
Ну в американском ИТ без вариантов
Evgeny
надо туда попасть.. кто то там уже существует. может инвайты есть?
Erzhigit
Тут есть сеошники?
Erzhigit
Вопрос такой. сайт написано в вордпресе example.kz Но личный кабинет на фремворке поддомен site.example.kz при продвижение сайта example.kz связи будет с site.example.kz ? (Или просто прописать одинаковая ключевые слова )
Erzhigit
То есть продвигать оба сайта как отдельное
Vitaliy
А личный кабинет зачем поисковики вообще должны видеть? @tagay_e
Vitaliy
И поддомены это разные сайты с точки зрения гуглояндексов.
Shokha
yii\data\ActiveDataProvider Object
(
[query] => Array
(
[0] => app\models\Image Object
(
[_attributes:yii\db\BaseActiveRecord:private] => Array
(
[id] => 75
[img_name] => 1524630758.jpg
[article_id] => 35
)
Shokha
return '<img src="/upload/'.$dataProvider->img_name.'"/ height="100" width="100">';
Shokha
почему не печатает
Shokha
$dataProvider['img_name'] так тоже не получилос
Дмитрий
Вопрос такой. сайт написано в вордпресе example.kz Но личный кабинет на фремворке поддомен site.example.kz при продвижение сайта example.kz связи будет с site.example.kz ? (Или просто прописать одинаковая ключевые слова )
А какой смысл продвигать личный кабинет. Если там вход по логину и паролю
Erzhigit
когда в поисковике набираешь мтс или белайн оно находит mtc.com и my.mtc.com к примеру
mrG1K
це брендовые запросы и да по таким вариант продвинуть и какой нибудь поддомен почти без контента..
тупо за счет базовой и поведенческих которые туда сливаются постоянно
Alexander
Всем привет, подскажите плз:
есть категории новостей, путь у них /news/categories/Bitcoin_News
А есть новости, урл у них /news/chilean-crypto-exchanges-go-to-court-to-fight-the-banks-killing-an-entire-industry
как сделать, чтобы у категорий был путь /news/Bitcoin_News
Эмин
вам необходиом изменить правило роута
Эмин
https://www.yiiframework.com/doc/guide/2.0/en/runtime-routing
Эмин
Ознакомьтесь и все станет ясно
Niko
$sql="LOAD DATA LOCAL INFILE '../upload/csvfile.csv'
INTO TABLE table_name FIELDS
TERMINATED BY ','
ENCLOSED BY ''
LINES TERMINATED BY '\n' "
При такой выгрузке мы же блочим доступ к таблице? Я думаю если очень много записей будет
Anonymous
Anonymous
Но задачу выполнить должна
I
Добрый день.
Есть таблица Клиенты с определенными полями необходимо сделать так чтобы администратор сайта мог при необходимости через настройки добавить поля для Клиента.
Как это можно сделать ?
Я думаю для этого создать двае таблицы в одной будут отписаться какие поля будут у клиента :
Ид | Название поля |тип
А в другой таблице будут хранится сами данные клиентов
Ид клиента | ключ | значен.
1 | tel | 8925..
I
Может кто сталкивался?
Ruslan
Добрый день.
Есть таблица Клиенты с определенными полями необходимо сделать так чтобы администратор сайта мог при необходимости через настройки добавить поля для Клиента.
Как это можно сделать ?
Я думаю для этого создать двае таблицы в одной будут отписаться какие поля будут у клиента :
Ид | Название поля |тип
А в другой таблице будут хранится сами данные клиентов
Ид клиента | ключ | значен.
1 | tel | 8925..
да, норм вариант, только во второй табилце не ключ, а id из первой.
Можно еще в json это все в поле хранить, если не нужне фильтр по этим полям