тьфу

почему кодировку жуёт хз, я таким не сталкивался

может он в одну из виндовых перепиливает?

ты мне предлагаешь толпе хомячков объяснить, куда правильно тыкать в экселе, отправить на мою аппу?

может он в одну из виндовых перепиливает?

скорее всего windows-1251 ибо локаль русская. Однако не русские тоже будут пользоваться

Файл можешь выложить?

думаю да

Хотя, я же на телефоне...

хотя это не суть важно

эксель может стоять и на японской винде и на любой другой

а посмотрел чо изменилось?

и я точно знаю, что в зависимости от локали он может использовать разные кодировки и разные разделители

ну в частном случае изменилась кодировка, разделители и пропал UTF-8 BOM

но это на маке, на котором русская локаль и офис от мса было сделано

я хз, чего ждать от других локалей

Если файл остался утф8 то и чёрт с бомом.

у меня когда открываю файл автоматом предлагает выбрать кодировку

разделители кстати разные бывают

ну то есть тут наверное надо запаритьвася с декодированием всего подряд в себя

Если файл остался утф8 то и чёрт с бомом.

точно не utf-8

А никак у пользователя спросить, что он за разделители использовал?

https://github.com/onyxfish/csvkit

точно не utf-8

А какой?

Я где-то видел пост как Эксель открывает цсв. Там пизднец магия. 5 или 6 признаков он анализирует

А никак у пользователя спросить, что он за разделители использовал?

думаешь он знает? :)

А какой?

я пока не определил. Собственно как определить то?

думаешь он знает? :)

Ну, если не он, то кто?

точно не utf-8 и точно не windows-1251

Запятая или таб, другое трудно.

Ну, если не он, то кто?

я тебя умоляю, чувак просто нажал сохранить как, вбил новое имя и залил ко мне

я пока не определил. Собственно как определить то?

Ну, коли руками, то тупо в редакторе открыть да скормить в магический анализатор

то есть схема что ты заэкспортил, он открыл, подправил, сохранил и вернул тебе цсв? но апа теперь не видит?

я генерил запятыми, он вернулся с точка с запятой

Проверь два вариант а, какой-то сработает

тогда я бы реально брал например цсв кит, тырил исходники для разбору и не парился

цсв в каждой апе свой

Проверь два вариант а, какой-то сработает

хотелось бы еще и кодировку определить

либо просить не открывать в экселе

либо уметь открывать что угодно

я генерил запятыми, он вернулся с точка с запятой

А они идентичны в плане содержание? Ну, например, столбец 1 строка 1 в этих файлах одинаковые?

я не видел csvkit

пойду гляну

А они идентичны в плане содержание? Ну, например, столбец 1 строка 1 в этих файлах одинаковые?

да

ну в идеале

формально никто не мешает поменять

хотя там вообще все ляснется тогда

Сделай гуй для редактирования. ?

Сделай гуй для редактирования. ?

?

формально никто не мешает поменять

Ну, если бы были одинаковы, то принципиально можно было бы разделитель понять посимвольно сравнивая файлы - первое расхождение и будет тем самым разделителем

с горем пополам разделитель определяет стандартный сниффер

а вот кодировка - тот еще вопрос

Лет 10 назад было модно делать конвериеры кодировок. Может оттуда эвристики вернуть?

а вот кодировка - тот еще вопрос

"..There is the chardet library that uses that study to try to detect encoding. chardet is a port of the auto-detection code in Mozilla."

а .encode("utf8") не канает?

"..There is the chardet library that uses that study to try to detect encoding. chardet is a port of the auto-detection code in Mozilla."

пасыба, ща глянем

а .encode("utf8") не канает?

так не утф же

UnicodeDecodeError: 'utf8' codec can't decode byte 0xd0 in position 44: invalid continuation byte

дак проще внутри обрабатывать :)

пасыба, ща глянем

https://pypi.python.org/pypi/chardet

https://pypi.python.org/pypi/chardet

да, я справился :)

дак проще внутри обрабатывать :)

Кому как :))

потом декоде"cp1251"

хотя если на винде

да, я справился :)

По транслиту в имени чувствую соотечественника

я просто запарился с цп1251 для запрет инфо

ERROR: S client not available

По транслиту в имени чувствую соотечественника

Беларус?

.csv: ISO-8859-2 with confidence 0.7680486513248371

везде норм утф, а у них 1251 с глюками

таки не 1251

Беларус?

Угу :)

ладно, попробуем открыть в определенной кодировке

ладно, попробуем открыть в определенной кодировке

и как результат?

не спеши :)

странно, что-то из коммандлайна оно определило кодировку, а вот из консоли питона не осилило

может слишком длинную строку кормишь?

>>> d = UniversalDetector() >>> f = open('./test.csv') >>> for line in f: ... d.feed(line) ... if d.done: break ... >>> d.result {'confidence': 0.0, 'encoding': None}

>>> data = f.read() >>> chardet.detect(data) {'confidence': 0.7655266567779939, 'encoding': 'ISO-8859-2'}

однако

но я не могу себе позволить считать абсолютно весь файл

сразу

в пямять

ладно, я кажется понял, что я упустил

>>> d.close() вот что я пропустил

но оно все равно весь файл считало в итоге

>>> d.close() вот что я пропустил

менеджеры контекста наше всё?)

оно тут носит другой смысл

типа дать детектору понять, что больше строк не будет, он тогда сделает предположение о том, что там всетаки за кодировка

ы

ну хз, с горем пополам я таки распарсли конкретный файл. Не знаю, что будет на каких-либо других экзотических локалях...

ну хз, с горем пополам я таки распарсли конкретный файл. Не знаю, что будет на каких-либо других экзотических локалях...

Я сталкивался с подобным недавно. Один сервис не хотел жрать csv после экселя. Это проблема мс-офиса. Я пересохранил в LibreOffice и всё сразу пошло как надо. Но в твоём случае не знаю, что посоветовать.

но оно все равно весь файл считало в итоге

Ну так оборви после пары строк

ну хз, с горем пополам я таки распарсли конкретный файл. Не знаю, что будет на каких-либо других экзотических локалях...

Затести, в эксель же можно выбрать варианты

Так ему может ещё не попасться строка не ascii символа

Так ему может ещё не попасться строка не ascii символа

Детекту?

Затести, в эксель же можно выбрать варианты

Это мне на линуксе с экселем из вращаться?

Детекту?

Да

Это мне на линуксе с экселем из вращаться?

А онлайн офис их не умеет?