Можно долго читать один, просто память освобождать

Как разбить? Какие библиотеки использовать?

при чем здесь мускул?

и что сложного сходить в гугл и узнать про sax парсеры?

Ничего сложно конечно же нет. советуюсь тут так как тут есть профи которые могу подсказать как сделать это лучше. Ведь я парсить собрался не 20 мегабат а 20 гиг.

sax парсер онли

и лучше не на пхп как показала практика )

ох, ну давай подкатим к местным, назвав их профи

какая разница пхп не пхп?

уж не вспомню

sax парсер онли

А на чем, не подскажите?

уж не вспомню

блестяще

блестяще

Ну я последний раз пхп брал в руки лет много назад, и тогда там как-то там было со всем этим грустно, проект был на пхп но оказалось прощее и быстрее написать парсер на python

Видимо осталось от пхп такое послевкусие :)

https://github.com/prewk/xml-string-streamer

https://github.com/prewk/xml-string-streamer

Спасибо, посмотрю

если я не ошибаюсь оно тогда пыталось файл сначала целиком в память загрузить а потом распарсить.

что-то из этой оперы

20 гиг в память не получится думаю

Разбить как-то надо этот файл

просто не надо его грузить в память. ключевое слово - XMLReader()

Ога

если я не ошибаюсь оно тогда пыталось файл сначала целиком в память загрузить а потом распарсить.

sax парсер? серьезно?

я знаю чем отличается SAX парсер от какого нибудь SimpleXML

но разница была на тот момент значительна

нюансов не могу сказать не помню.

и да я сравнивал именно SAX парсеры

значительна, но не известна

ох, ладно

Привет. Ребята. Как парсить xml файл размером 20 гиг и больше средствами php?

Тоже писал похожий парсер. Если задача не разовая, то придётся ещё о многом позаботиться. Если файл большой, то нужно ещё учитывать целостность, учитывать, что работа парсера может прерываться. А еще нужно учитывать, что bottleneck может быть в I/O. Ну и конечно логировать все, с оповещением по почте. Если таких файлов много, то нужно еще сервер очередей прикрычивать чтобы в многопроцессном режиме работать. + демонизация через systemv или supervisor

Тоже писал похожий парсер. Если задача не разовая, то придётся ещё о многом позаботиться. Если файл большой, то нужно ещё учитывать целостность, учитывать, что работа парсера может прерываться. А еще нужно учитывать, что bottleneck может быть в I/O. Ну и конечно логировать все, с оповещением по почте. Если таких файлов много, то нужно еще сервер очередей прикрычивать чтобы в многопроцессном режиме работать. + демонизация через systemv или supervisor

Спасибо большое!

Тоже писал похожий парсер. Если задача не разовая, то придётся ещё о многом позаботиться. Если файл большой, то нужно ещё учитывать целостность, учитывать, что работа парсера может прерываться. А еще нужно учитывать, что bottleneck может быть в I/O. Ну и конечно логировать все, с оповещением по почте. Если таких файлов много, то нужно еще сервер очередей прикрычивать чтобы в многопроцессном режиме работать. + демонизация через systemv или supervisor

Точно сам не знаю разовая задача будет или нет. Предположим что разовая. Как быть тогда

Привет, я тут с глупыми вопросами к вам Пытаюсь исправить бд, прикрутил миграции и тут понеслась куча ошибок sqlalchemy.exc.IntegrityError: (pymysql.err.IntegrityError) (1215, 'Cannot add foreign key constraint') [SQL: 'ALTER TABLE abbrev_food_group ADD FOREIGN KEY(ndb) REFERENCES abbrev (ndb)'] https://pastebin.com/T8BBeAAu Почему не может добавить?

по номеру ошибки (1215), как правило, довольно легко отыскать ответ https://stackoverflow.com/a/16969116/2908793

Привет, я тут с глупыми вопросами к вам Пытаюсь исправить бд, прикрутил миграции и тут понеслась куча ошибок sqlalchemy.exc.IntegrityError: (pymysql.err.IntegrityError) (1215, 'Cannot add foreign key constraint') [SQL: 'ALTER TABLE abbrev_food_group ADD FOREIGN KEY(ndb) REFERENCES abbrev (ndb)'] https://pastebin.com/T8BBeAAu Почему не может добавить?

я подозреваю, что типы не совпадают. но вообще детали можно посмотреть в SHOW ENGINE INNODB STATUS в секции "latest foreign key error"

Верно, тип данных не совпадал, привел к единому, но ошибка осталась

я подозреваю, что типы не совпадают. но вообще детали можно посмотреть в SHOW ENGINE INNODB STATUS в секции "latest foreign key error"

там будет только нарушение констрейна, фейл по созданию ключа туда не попадет

Верно, тип данных не совпадал, привел к единому, но ошибка осталась

а это значит, что скорее всего данные неконсистентны, и ты пытаешься повесить ключ на таблицу в которой есть значения, которых нет в родительской

там будет только нарушение констрейна, фейл по созданию ключа туда не попадет

проверил — попадает

надо тоже затестить будет... толку мало конечно от этого в выводе движка, ну да ладно

вот прямо запейстил тот пример со stackoverflow и: Cannot resolve table name close to: (`Case_Number` ) ON DELETE NO ACTION ON UPDATE NO ACTION, CONSTRAINT `fk_Clients_has_Staff_Staff1` FOREIGN KEY (`Staff_Emp_ID` ) REFERENCES `Alternative_Pathways`.`Staff` (`Emp_ID` ) ON DELETE NO ACTION ON UPDATE NO ACTION) ENGINE = InnoDB

Лоол, они там даже ссылочку на офф. доку подсовывают, мол смотри сюда :)

INSERT INTO user_agent (device_type, robot_name, is_robot, uid) VALUES (1, 'AppEngine-Google', 1, 'cf26cf29aed18e842f8a3b3064f9e402') ON DUPLICATE KEY UPDATE uid=VALUES(uid);

не понял юмора, пробую выполнить два раза-оба раза вставляет, вместо того чтобы во второй раз обновить

индекса нету уникального поди

или prymary

оуу

логично что база на основе него разруливает, да косяк

unique проставлю

да работает

а что придумать чтобы автоинкремент не увеличивался из за попытки вставки

а нужно ли поле с автоинкрементом, если уже есть уникальное поле?

тоже вопрос

тогда нужно будет в другой таблицы через uid связывать и там вставлять uid вместо id

а строка длиной в 32 символа в виде uid-не круто же наверное?

а строка длиной в 32 символа в виде uid-не круто же наверное?

да. там на самом деле нужно 16 байт, и тогда размер индекса примерно в два раза сократится

можно использовать HEX()/UNHEX(), вот тут пишут с примерами: http://mysqlserverteam.com/storing-uuid-values-in-mysql-tables/

а в 8.0 появились UUID_TO_BIN() и BIN_TO_UUID()

тоже вопрос

кстати, если ты уберёшь AUTO_INCREMENT и сделаешь uid первичным ключом, то вторичные индексы (если есть) распухнут. потому что используют первичный ключ в качестве указателя на данные. а значит сокращение длины до 16 байт станет ещё актуальнее

я решил от строки брать crc32

и тем самым сделать поле id где будет хранится уникальный результат от crc32

а в 8.0 появились UUID_TO_BIN() и BIN_TO_UUID()

у меня mariadb

у меня mariadb

а зачем, если не секрет?

ну вроде как "стабильнее" mysql

нет?

Но каких то различий в запросах и т.д я пока не видел

я бы так сказал: никаких цифр, которые бы подтверждали стабильность mariadb, я не видел. всегда с подозрением отношусь в вещам, которые нельзя ни подтвердить, ни опровергнуть

а в функциональном смысле mariadb уже явно не выдерживает конкуренции с ораклом. увы

а в функциональном смысле mariadb уже явно не выдерживает конкуренции с ораклом. увы

ну и сравнение...

ну вот такое сравнение, ага. я немного знаю, о чём говорю

да вижу

че получается мариядб почти что мускул?

да вижу

да точно знает

не знал

че получается мариядб почти что мускул?

код mariadb — это был на 100% mysql изначально. дальше они начали разъезжаться, но "на глазок" там и сейчас процентов 70-80 кода от mysql

ясно

а что придумать чтобы автоинкремент не увеличивался из за попытки вставки

З а ч е м

З а ч е м

Кончатся, бигинт?

это что такое надо хранить, чтобы unsigned bigint закончился очень быстро

Идёт лог

Там есть ссылка на значение справочника

Инсерт он апдейт увеличивает автоинкремент

Бигинт то норм, я про ини

autoincrement значение — это ссылка на значение справочника?

есть справочник

в таблице лога есть внешний ключ на него

при каждой новой записи в логе-нужно либо вставить уникальное значение в справочник, либо обновить

тогда не понимаю, в чём проблема с on duplicate key update. если оно делает обновление, то autoincrement в строчке не изменится. следующая вставка пойдёт с увеличенным autoincrement (то есть будет разрыв), но это ни на что не влияет?