Я не понимаю, как мне понять что s:2:"яя" на самом деле s:4:"яя"

ну, на самом деле внутри пхп оно идентично

а что говорит спека php serialize? что там должна быть длина указана в байтах или в символах в кодировке utf8?

s - string, 2 - 2 символа

тогда можно рками идти по строке по рунам

и проверять: _

Дак, парни какая мне разница что спека говоит, у меня вот база на руках где число - число символов, а в либе единственной что смог найти это число байт.

- мы на наступлии на двойную кавычку " - следующий символ после конца найше строки - она

я думаю просто идти по рунам и ждать кавычку, так?

да

и проверить что ее не было в середине

\" валидная строка

"\""

я бы падал в обеих ситуациях - т.к. гарантированно получишь хлам

кстати, да - еще эскейп надо отработать!

Полное дерьмо

ТАк, смотрите, я точно знаю, что у меня кирилица и латиница, без корейских алфавитов, т.е. в наихудшем случае два байта

хотя. никак не помогает же это.

s:21:"This is \"Спарта!\""

без разницы

они могут быть смешаны

лучше обрабатывать общий случай

ну получается что число в s:21 мне совсем бесполезно чтоль.

golang-овская utf8 либа нормально отрабатывает все эти случаи с длиной

полезно для проверки

тут вся идея то я так понимаю, не искать кавычку, а сразу знать сколько символов

s:15:"Низкое качество"

что строка не оборваалсь раньше, и закончилась в нужном месте

если идешь по рунам, то ты их проверяшь на кавычку

func (r *Reader) Read(b []byte) (n int, err error) тут вот про байты, а есть такой же про руны ;)

i:=21; for v,r=range str { ... i--} так идти?

грубо говря так

https://play.golang.org/p/yRUZVuHaFR

const nihongo = "日本語 \"Вася" for index, runeValue := range nihongo { fmt.Printf("%#U starts at byte position %d", runeValue, index) if runeValue == '"' { fmt.Printf(" <-- Achtung! Кавычка ") } fmt.Printf("\n") }

в доке более подробно

https://blog.golang.org/strings

да, спасибо это я понял. Тут конечно попандос с экранированием

да

хотя, я ж могу опираться на число символов

ну это можно решить флагом

прочитать по рунам все 21, убедится что последняя кавычка

не последняя - та, что за ней

видишь \ - ставишь флаг escape на следующем символе сбрасываешь

и перед выходом проверяешь, что флаг сброшен - иначе строка битая

ну да, так. Спасибо друг. Не думаю что мне особенно поможет. уверен оно щас отовсюду в либе полезет, но хоть шаг вперед

более чем уверен, что полезет :)

очень рекомендую написать ряд тестов, чтобы все эти сложные случаи обработать

а что делать то. три поля, полторамиллиона записей таких, надо перелопатить

вначале очевидные, что обсудили, а затем - на основе тех, данных что есть

я уж дамю в самом деле что ли считать их в php и переписать в json

тоже вариант

потратить день на это, чем патчить либу 2013 года

может даже быстрее будет

конвертор очень простой - читаешь самим пыхом эти сериалзованные данные и родной же либой пишешь в json

опять - если пых не смог прочесть - логировать такую строку, потом разгребать руками

Щас все таки запатчу, вдруг не вылезет. бываю же удачи

аа, дак понятно, мне ж не почему ранжем то идти . строка то не прочитана

ладно, прочитаем с запасом вперед

если нужно читать с произвольного места const nihongo = "日本語" for i, w := 0, 0; i < len(nihongo); i += w { runeValue, width := utf8.DecodeRuneInString(nihongo[i:]) fmt.Printf("%#U starts at byte position %d\n", runeValue, i) w = width }

и снова хочу отрекламировать замечательную статью :) https://blog.golang.org/strings

Евгений я понял про что вы, просто в ваших примерах уже const nihongo в начале, что вам и позваляет его читать, а у меня потоковый реадер типа

И опираясь на прочитанное число я и пытаюсь предсказать сколько буфера то прочитать вперед

а целиком нельзя загрузить в память? или они огромные?

Да можно наверное, но либа вся (не моя) на то расчитана что читаем

имхо это упростит дело, если читать мелкими буферами, то нужно будет обрабатывать продление каждого символа - т.к. часть будет обрываться и продолжатьс дальше

я пока придумал так, я вижу число s:15 и сразу читаю себе 30 байтов вперед на случай кирилицы

а затем отсчитываю там 15 рун

Запатчил s:15:"Низкое качество" == Низкое качество" заработало

Я, честно говоря, не особо в теме, но может быть, для потокового чтения рун вот это поможет: https://golang.org/pkg/bufio/#Reader.ReadRune

либо читать 1 байт и смотреть сколько еще из него надо дочитать utf8.RuneLen('界')

Правда, другие тесты в этой либе упали, хаха

Спасибо Олег!

Не знаю поможет ли но этот мой патч кеоторый двойной буфер читает, явно убивает либу

Да, конечно убивает, нашел место, оно как бы перематывает позицию реадера этого моего strings.Reader ,и потом там всё наперекос

Похоже func (*Reader) ReadRune моё спасение

А не проще php скриптом в нормальный вид преобразовать?

Уже бы решилось

Ну есть да такой вариант, согласен, но выбор то или go ковырять или php. Пока первое выбрал

ну вобщем отчаялся, все кто сразу говорил идти в php были правы.

Оппа. тока написал отчаялся, и тут же ошибку нашел, и тесты прошли.

Вы когда даже молчите и то помогаете

Я и не такое могу

прогнал тесты супротив базы, почти всегда работает

не жизнь а сказка просто

кто может пояснить, зачем нужны указатели?

уу жесть

вот так приплыли)

я вижу, что они нужны для изменения значения переменных определенных в других функциях

я вижу, что они нужны для изменения значения переменных определенных в других функциях

дуй в учебники

это наверное самая тупая для понимания тема в вузе моем была)

я сам допер только спустя какое то время)

а из пояснений в учебниках по go, понимаю, что с их помощью эмулируется ООП

мда)

Для большего понимания лучше с++ зайти)

где по человечески объясняется?

где по человечески объясняется?

Нигде, это сложно))

можно ими пользоваться и без разъяснений конечно, но хочется "концептуально" понять