такое количество данных нельзя сохранить даже если всю планету превратить в компьютер.

А в остальном не сложно

Странно слышать это, ведь кто то уже сделал это =)

Странно слышать это, ведь кто то уже сделал это =)

Скорее всего вы что-то не так поняли

Странно слышать это, ведь кто то уже сделал это =)

я думаю, что вы заблуждаетесь.

https://lbc.cryptoguru.org/dio/

Подскажите, при go install и go build другие пакеты тоже перекомпилируются? я добавил дебаг принтов в других пакетах, но вижу только в main. если не перекомпилируются то каким способом лучше производить отладку?

Подскажите, при go install и go build другие пакеты тоже перекомпилируются? я добавил дебаг принтов в других пакетах, но вижу только в main. если не перекомпилируются то каким способом лучше производить отладку?

В любом пакете должны видеть, log.Printf("%v \n", err)

Ок я понял в чем проблема, я сделал форк проекта на гитхабе, а импорты указывают на upstream проект.

https://lbc.cryptoguru.org/dio/

И что по вашему это значит?

Подскажите, кто работал с изображениями на go. Использую стандартный image.Decode для проверки на тип и на "битость" изображений, но там аллоцируется очень много памяти в image.NewYCbCr, при этом не отдает почему-то память обратно в ОС. Кто-то сталкивался с подобным, или возможно знает что-то более подходящее для валидации. Проверяю png и jpeg

Ахахах

Годно

?????

Подскажите, кто работал с изображениями на go. Использую стандартный image.Decode для проверки на тип и на "битость" изображений, но там аллоцируется очень много памяти в image.NewYCbCr, при этом не отдает почему-то память обратно в ОС. Кто-то сталкивался с подобным, или возможно знает что-то более подходящее для валидации. Проверяю png и jpeg

делал и ресайз и конвертинг ничего не замечал с невозвратом памяти! как определяете img img, v_er = jpeg.Decode(imgfile)

Подскажите, кто работал с изображениями на go. Использую стандартный image.Decode для проверки на тип и на "битость" изображений, но там аллоцируется очень много памяти в image.NewYCbCr, при этом не отдает почему-то память обратно в ОС. Кто-то сталкивался с подобным, или возможно знает что-то более подходящее для валидации. Проверяю png и jpeg

Попробуй decodeconfig

Если не нужно само изображение, а только валидация

немного не в тему, Но: как сделать так, чтобы я смог сделать выборку в SQL последних сообщений в кол-ве 1 штуке по каждому уникальному тегу без вложенных Селектов? Сейчас у меня есть такое: select (select message from messages where type = 1 order by time desc limit 1) AS lastRobotMessage, (select message from messages where type = 2 order by time desc limit 1) AS lastHumanMessage;

group by type

Еще одни грабли. Можете подсказать из-за чего возникает panic на a.flag.PrintDefaults() в этом коде: https://play.golang.org/p/lYSp0akfJVV

Ок понял у меня в a.flag на тот момент находится nil так как я его передаю уже после валидации.

делал и ресайз и конвертинг ничего не замечал с невозвратом памяти! как определяете img img, v_er = jpeg.Decode(imgfile)

Делаю так, видимо оставляет там максимальный хип используемый для каждого потока, вот и раздувает его до самого максимального. Как почистить ума не приложу, runtime.GC() не помогает

Попробуй decodeconfig

Спасибо, сравню

Код бы посмотреть этой проверки изображений

Доброго вечера, коллеги. Помогите, пожалуйста, очень важный для меня вопрос по protobuf, который вот уже пару дней не дает покоя: Допустим есть 4 прото файла, в которых я хочу разбить сервисы. В них есть импорты и тд. Когда я хочу сгенерировать код - для nodejs все без проблем, код генерится и они подключаются. Когда же я генерирую для golang’а - ошибка, не может сгенерировать из-за того, что не может подключить файлы по relative path. Как сделать так, чтобы из большого кол-ва прото файлов генерировался только один скомилиный?

Код бы посмотреть этой проверки изображений

Если смотреть pprof вся память уходит здесь // NewYCbCr returns a new YCbCr image with the given bounds and subsample // ratio. func NewYCbCr(r Rectangle, subsampleRatio YCbCrSubsampleRatio) *YCbCr { w, h, cw, ch := yCbCrSize(r, subsampleRatio) i0 := w*h + 0*cw*ch i1 := w*h + 1*cw*ch i2 := w*h + 2*cw*ch b := make([]byte, i2) return &YCbCr{ Y: b[:i0:i0], Cb: b[i0:i1:i1], Cr: b[i1:i2:i2], SubsampleRatio: subsampleRatio, YStride: w, CStride: cw, Rect: r, } } При инициализации b

Куда уходит понятно, вот почему ее не возвращает

Я имею ввиду код, который использует потом этот &YCbCr

GC же должен работать тогда, когда уверен, что переменную больше не будут использовать

Код используется далее в func (d *decoder) processSOS но там довольно сложно. Так вот как бы принудительно заставить GC отработать, так то он вроде бы прав, но слишком затратно получается всю память занятой держать.

GC никак не заставишь удалить из памяти то, что может использоваться по его мнению

GC никак не заставишь удалить из памяти то, что может использоваться по его мнению

кроме как присвоить указателю nil

кроме как присвоить указателю nil

Тогда ссылок на данные не останется и GC их почистит, да

нулевые ссылки конечно почистит (вернее не ссылки а хипы на который они указывали), так как в хипе будет оезервированное место но никто на него не указывает! Ссылка валидна пока указывает на память! Место для хранения ссылки останется! Но согласен что архитектра неверна если приходится обнулять ссылки

group by type

как их правильно сгруппировать? мне надо что-то типа(псевдокод) foreach types(1,2,3) -> WHERE type = 1 AND date = last([dates] in type = 1)

подзапросом отсортировать таблицу по дате, потом сгруппировать по типу

интересно, на го никто еще не умудрился написать эмулятор терминала

интересно, на го никто еще не умудрился написать эмулятор терминала

с какими командами?

систем шелы есть!

ну альтернативу например xterm))

А зачем?

ну альтернативу например xterm))

опасно потом ни на одну работу не возьмут!

любопытно

любопытно

для любопытства есть google пара ресурсов пробиваются

вообще даже эмбедед интерпретатор писать опасно! Нахер никому не нужен хакер в конторе

интересно, на го никто еще не умудрился написать эмулятор терминала

Есть wm целый.

Есть wm целый.

а это что

а это что

Windows manager

Нашел одну старую программу, которая исправно работает. Скомпилирована на go1.7.3 была. Скомпилировал на текущем 1.11.1 и протестировал обе версии.

Старая версия выполняется 4 минуты 5 секунд. Новая 2 минуты 51 секнуды. Впечатляющий результат

Всем привет, я хочу сделать хранилище ооочень большого кол-ва данных. А потом нужно будет осуществлять поиск. Вот столько там будет записей по ~100 bytes. 543904625697166532776746648320380374280100293470930272690489102837043110636675 Я не очень хорошо в блокчейне. Был бы рад получить совет. Думаю сохранить их в несколько отдельных цепочек а потом перебирать их в несколько потоков. Или есть какой нибудь другой способ получать доступ к блоку по ключу?

вы что-то употребляли?

Размер бинарника 2.3M вместо 2.5M старого

Всем привет, я хочу сделать хранилище ооочень большого кол-ва данных. А потом нужно будет осуществлять поиск. Вот столько там будет записей по ~100 bytes. 543904625697166532776746648320380374280100293470930272690489102837043110636675 Я не очень хорошо в блокчейне. Был бы рад получить совет. Думаю сохранить их в несколько отдельных цепочек а потом перебирать их в несколько потоков. Или есть какой нибудь другой способ получать доступ к блоку по ключу?

Смотри на ceph

Рекомендую замутить тупейшую хэштаблицу и хранить ее в rbd например. Но это не оптимально

Нашел одну старую программу, которая исправно работает. Скомпилирована на go1.7.3 была. Скомпилировал на текущем 1.11.1 и протестировал обе версии.

а ты ldflags трогал?

У тебя херня. Потому что ключ по ходу будет длинеее чем валуе

Но это не точно

а ты ldflags трогал?

Нет

Всем привет, я хочу сделать хранилище ооочень большого кол-ва данных. А потом нужно будет осуществлять поиск. Вот столько там будет записей по ~100 bytes. 543904625697166532776746648320380374280100293470930272690489102837043110636675 Я не очень хорошо в блокчейне. Был бы рад получить совет. Думаю сохранить их в несколько отдельных цепочек а потом перебирать их в несколько потоков. Или есть какой нибудь другой способ получать доступ к блоку по ключу?

Под рукой только мобила но это число вроде как 2 в 256 степени

Гугли про rainbow table

Нет

тогда go build -ldflags "-w -s"

тогда go build -ldflags "-w -s"

1.7M вместо 2.3

ну вот )

Старая версия выполняется 4 минуты 5 секунд. Новая 2 минуты 51 секнуды. Впечатляющий результат

а что она делает?

Парсит netflow логи

Гугли про rainbow table

Спасибо большое, обязательно посмотрю, надеюсь это поможет.

https://www.jtolio.com/2016/03/go-channels-are-bad-and-you-should-feel-bad/

пожалуй, тут тоже надо ))

тогда go build -ldflags "-w -s"

А ещё goupx.

@socketpair я еще думал построить дерево на блокчейне, сортировать это как нибудь, а потом в несколько прыжков доставать нужный блок. Я думаю, так работают сайты, которые предоставляют поиск по биткоину. Сейчас почитаю еще про радужную таблицу, выглядит интересно.

@socketpair я еще думал построить дерево на блокчейне, сортировать это как нибудь, а потом в несколько прыжков доставать нужный блок. Я думаю, так работают сайты, которые предоставляют поиск по биткоину. Сейчас почитаю еще про радужную таблицу, выглядит интересно.

С блокчейном иди на хуй (простите). Забудь это слово для твоей задачи

Хорошо (прощаю) =)

Просто возьми либо готовую либо напиши свою реализацию B+ дерева

Ой

Просто B-дерева

Если по ключу надо найти значение

Еще рассмотри хранение в поцгресе. Неоптимально по размеру, зато быстро заюзать

@socketpair я еще думал построить дерево на блокчейне, сортировать это как нибудь, а потом в несколько прыжков доставать нужный блок. Я думаю, так работают сайты, которые предоставляют поиск по биткоину. Сейчас почитаю еще про радужную таблицу, выглядит интересно.

У вас нет книги по блокчейну? Там файловая система хранения.

У вас нет книги по блокчейну? Там файловая система хранения.

Как же вы заебали с блокчейном

Как же вы заебали с блокчейном

Ага.

На кой хрен он сдался в вашей задаче ?

На кой хрен он сдался в вашей задаче ?

чтоб машинлёнить его

и бигдатить

Смузи обкурились штоле

а есть ли ml на го? и чтобы с rest api

а есть ли ml на го? и чтобы с rest api

неважно, зато потом сразу в сбер можно идти

С гироскутера не упадите наехав на подвороты

У вас нет книги по блокчейну? Там файловая система хранения.

Нету, какую нибудь посоветуете?

неважно, зато потом сразу в сбер можно идти

За кредитом

Просто возьми либо готовую либо напиши свою реализацию B+ дерева

а ты оценил, сколько он хочет хранить данных?