Но.... возможно это не очень хорошая репа)))

Вот только если какая-то из реп не поддерживает что-то жизненно необходимое то будет больно

Ну вот примерно к такому выводу и пришли, так что я даже не знаю...

Но.... возможно это не очень хорошая репа)))

Половину уже отсеял: https://github.com/HentaiDB/HentaiDBot/projects/2

Половину уже отсеял: https://github.com/HentaiDB/HentaiDBot/projects/2

(не баньте плз)

Либо на крайний случай уже по ходу дела придумается нормальное решение(я бы вынес такие грабберы в отдельную "группу", они могли бы "кэшировать" данные в бд on demand)

Либо на крайний случай уже по ходу дела придумается нормальное решение(я бы вынес такие грабберы в отдельную "группу", они могли бы "кэшировать" данные в бд on demand)

Граббер в боте - временное решение для грабежа постов напрямую.

Для граббера мета-данных в отдельную all-in-one базу сейчас заготовлено местечко: https://github.com/HentaiDB/tooltacles

Да, тоже вариант, мета-данные проиндексировать, а картинки запрашивать непосредственно с репы. Интересно какие объёмы картинок в репах, кто знает, может их вполне реально сложить рядом с мета-данными

Да, тоже вариант, мета-данные проиндексировать, а картинки запрашивать непосредственно с репы. Интересно какие объёмы картинок в репах, кто знает, может их вполне реально сложить рядом с мета-данными

Хранить картинки рискованно, потому что "извините, у нас россия".

Тогда хранить их не в россии)

Или зашифровать

Да, тоже вариант, мета-данные проиндексировать, а картинки запрашивать непосредственно с репы. Интересно какие объёмы картинок в репах, кто знает, может их вполне реально сложить рядом с мета-данными

Был вариант тем же пауком делегировать несколько задач на один пост: сконвертировать и сохранить отполированные мета-данные, файл загрузить в телегу, потом выдрать FIleID и его тоже сохранить в БД. Через бота уже отддавать FileID, телега сама поймёт что за файл.

Пикчу в base64, а потом зашифровать ключом

А лимиты на количество загруженных данных у ботов есть?

С одной стороны немного неприятно нагружать сервера телеги терабайтами хлама, но зато впредь можно будет обойтись без перезагрузки одной и той же пикчи, так как будем отдавать кэш

А лимиты на количество загруженных данных у ботов есть?

В доках ничего об этом не сказано и, судя по всему, их нет.

Будет весело если так сделать, а потом они посмотрят на свои мониторинги(а бот внезапно несколько терабайт за день зальёт)

Ограничения только на вес и формат некэшированных данных, которые ты хочешь отдать напрямую.

С одной стороны немного неприятно нагружать сервера телеги терабайтами хлама, но зато впредь можно будет обойтись без перезагрузки одной и той же пикчи, так как будем отдавать кэш

Можно хранить id документа в телеграмме

Тогда ничего не надо хранить на сервере

Телеграм как кэш

Будет весело если так сделать, а потом они посмотрят на свои мониторинги(а бот внезапно несколько терабайт за день зальёт)

Был иной вариант - по-умолчанию давать напрямую, но если кто-нибудь отправил/загрузил файл, то драть его ID и сохранять в базу, а дальше по тому же пути отдавать уже кэш. Тогда не надо качать всё подряд сразу, сохранение будут запрашивать сами пользователи. Но и тут есть подводные камни в связи с ограничениями по весу.

Можно хранить id документа в телеграмме

Вот я об этом и сказал пару абзацев назад

Какую бд / сторейдж юзаешь?

Был иной вариант - по-умолчанию давать напрямую, но если кто-нибудь отправил/загрузил файл, то драть его ID и сохранять в базу, а дальше по тому же пути отдавать уже кэш. Тогда не надо качать всё подряд сразу, сохранение будут запрашивать сами пользователи. Но и тут есть подводные камни в связи с ограничениями по весу.

Ну это уже усложненный вариант. Наверное для начала можно просто ссылку сохранять, потом можно и переделать, не такое большое изменение

Какую бд / сторейдж юзаешь?

@kirilldanshin посоветовал RethinkDB (буквально за 4 дня до истории с закрытием команды). После беглых тестов вроде вариант очень даже. Раньше хотели юзать тарантул, но он, сука, тяжёлый в освоении, несмотря на скорость работы.

Будет весело если так сделать, а потом они посмотрят на свои мониторинги(а бот внезапно несколько терабайт за день зальёт)

не зальёт. заливка в телеграм весьма тормозная и однопоточная как я понимаю.

не зальёт. заливка в телеграм весьма тормозная и однопоточная как я понимаю.

А вот фиг знает. Вот и повод проверить.

@kirilldanshin посоветовал RethinkDB (буквально за 4 дня до истории с закрытием команды). После беглых тестов вроде вариант очень даже. Раньше хотели юзать тарантул, но он, сука, тяжёлый в освоении, несмотря на скорость работы.

У меня тоже от RethinkDB были приятные впечатления, а потом я офигел и расстроился

не зальёт. заливка в телеграм весьма тормозная и однопоточная как я понимаю.

Bot API работает по http, так что ему никто не мешает заливать в много потоков и быстро

Bot API работает по http, так что ему никто не мешает заливать в много потоков и быстро

... кроме, разве что, самого гейта :)

... в общем телеграмский сайт на эту тему гласит: —- The API will not allow more than ~30 messages to different users per second, if you go over that, you'll start getting 429 errors —- полагая что даже если заставить бот писать в приватный канал, то в этот лимит бот всё равно упрётся.

вот почему ко мне погода так поздно приходит

... в общем телеграмский сайт на эту тему гласит: —- The API will not allow more than ~30 messages to different users per second, if you go over that, you'll start getting 429 errors —- полагая что даже если заставить бот писать в приватный канал, то в этот лимит бот всё равно упрётся.

Но мы же грузим файл в телегу, это немного другое.

Плюс всё уже работает через вебхуки по SSL

Но мы же грузим файл в телегу, это немного другое.

в данном контексте сообщение == отсылка сообщения. sendDocument - сообщение. ну и лимиты на объекты: 10 мег на картинку, 50 мег на абстрактный документ или другую медию.

(как вариант - передача не контента, а http-ссылки на контент. там лимиты ещё меньше (5 мег и 20 мег соответсвенно), но зато телеграм сам подкачает данные. правда не факт, что "прямщас")

(как вариант - передача не контента, а http-ссылки на контент. там лимиты ещё меньше (5 мег и 20 мег соответсвенно), но зато телеграм сам подкачает данные. правда не факт, что "прямщас")

В inline ограничения ещё жёстче. НО, если отдавать кэш телеги, то все они обходятся

Ну вот. А почему в канал @HentaiDB нельзя писать?

В inline ограничения ещё жёстче. НО, если отдавать кэш телеги, то все они обходятся

ну собссно да, вопрос (ну, у меня для себя вопрос по крайней мере) только в том, где и как формировать кеш: либо у конечных пользователей и запоминать file_id, либо у себя в канальчике и остальных - ссылка на.

Ну вот. А почему в канал @HentaiDB нельзя писать?

В смысле, выгружать туда и драть FileID?

Ну вот. А почему в канал @HentaiDB нельзя писать?

Не, тот канал только для избранных пикч. Да и ежеминутно заливать новые пикчи с репозиториев - с ума сойти можно.

не. это не к вопросу про закгрузку картинок, а отдельный вопрос. я такой приджойнился в канал, а написать не могу

(чорт! зачем я зашёл на исходный канал? у меня мысли спутались =) )

не. это не к вопросу про закгрузку картинок, а отдельный вопрос. я такой приджойнился в канал, а написать не могу

На то и канал, туда подписчики писать не могут. Но в группу можешь вступить.

не. это не к вопросу про закгрузку картинок, а отдельный вопрос. я такой приджойнился в канал, а написать не могу

потому что писать - это owner, а глазеть - все остальные

На то и канал, туда подписчики писать не могут. Но в группу можешь вступить.

Там тебя няшно встретят. :3

а каналы и суперчаты в телеграме это две разные сущности?

а каналы и суперчаты в телеграме это две разные сущности?

Они взаимосвязаны между собой как бы в пределах проекта. Но вообще логически это два разных места.

а каналы и суперчаты в телеграме это две разные сущности?

разные.

самое важное отличие, что пока есть в каналах: каналы пока не подъедаются лангольерами. а переписка в чатиках и группах ими уничтожается постепенно.

Поддержка видяшек есть, но надо доработать BB для их посмотра и отдачи сниппетов в телегу.

И такое лучше в группу проекта пихать. Мало ли.

у нас тут партизаны сидят? ?

Нас всех посадят. )

Нас всех посадят. )

Мне не хотелось бы. Но в "этой стране" вполне могут, хотя я добиваюсь более тривиальной цели вписывающиеся в рамки искусства и законодательства.

Надо еще, для полноты картины, канал с порно пони создать. )))

Но остался один единственный вопрос: "А кого это е**т?"

Надо еще, для полноты картины, канал с порно пони создать. )))

Канала нет, но есть реп.

Присабачить его и ещё с десяток других - дело времени и ресурсов, которых у меня давно нет. ?

Слушайте, а никто не страдает "чтобы мне такого на go сделать, чтобы потренироваться"?

есть общественно полезное дело

ERROR: S client not available

Слушайте, а никто не страдает "чтобы мне такого на go сделать, чтобы потренироваться"?

Большое?

Никто не знает где в инстаграмме инвайт принять, кинутый другим разработчиком для теста его апы?

Никто не знает где в инстаграмме инвайт принять, кинутый другим разработчиком для теста его апы?

ты чаты перепутал

https://github.com/ngalayko/poeditor-golang я враппер написал для poeditor.com ,кто-то просил добавить фильтры, мне пока некогда, а для тренировки это как раз, там элеметарно ну и чего не хватает в принципе можно прикрутить

ты чаты перепутал

я просто уже отчаялся :(

Слушайте, а никто не страдает "чтобы мне такого на go сделать, чтобы потренироваться"?

во

Большое?

И да, и нет. Там сложность в правильно начать. Хочу алгоритмы ГОСТ, чтобы встравивалисб в стандартный crypto. с прицелом на принятие

Слушайте, а никто не страдает "чтобы мне такого на go сделать, чтобы потренироваться"?

Я иногда

Я иногда

"Хочу алгоритмы ГОСТ, чтобы встравивалисб в стандартный crypto. с прицелом на принятие"

"Хочу алгоритмы ГОСТ, чтобы встравивалисб в стандартный crypto. с прицелом на принятие"

Номера скинь, я уже не помню

Номера скинь, я уже не помню

Надо найти. Это часть задачи. Собственно "Кузнечик" есть. А вот с ключиками и сертификатами бида

https://ru.wikipedia.org/wiki/%D0%93%D0%9E%D0%A1%D0%A2_%D0%A0_34.11-2012 хэш

https://ru.wikipedia.org/wiki/%D0%93%D0%9E%D0%A1%D0%A2_%D0%A0_34.10-2012 подписи

https://ru.wikipedia.org/wiki/%D0%9A%D1%83%D0%B7%D0%BD%D0%B5%D1%87%D0%B8%D0%BA_(%D1%88%D0%B8%D1%84%D1%80) симметричный

нужны хэш и подписи. причем боюсь с проверкой на обратную совместимость

нужны хэш и подписи. причем боюсь с проверкой на обратную совместимость

С предыдущей версией ГОСТа? Это же совсем разные алгоритмы

С предыдущей версией ГОСТа? Это же совсем разные алгоритмы

Судя по википедии не совсем

Судя по википедии не совсем

Их объединяет только то что они оба ГОСТы. Ну и размеры ключей разве что. Внутренности у магмы и кузнечика не сильно похожи друг на друга(взять хотя бы то что первый построен на сети Фейстеля, а второй на SP-сети)

Их объединяет только то что они оба ГОСТы. Ну и размеры ключей разве что. Внутренности у магмы и кузнечика не сильно похожи друг на друга(взять хотя бы то что первый построен на сети Фейстеля, а второй на SP-сети)

так вроде между ними еще гост был

так вроде между ними еще гост был

Какой?

в девяностых был

не помню точно

Магма это шифр 94 года

ГОСТ_Р_34.11-94

а?!

89 же!

И ГОСТ_28147-89

ну вот

Ну они пачкой идут, хэш функция и алгоритм шифрования

С точки зрения безопасности использования поддерживать старый стандарт нет смысла. Это, по моему мнению, примерно как писать реализацию DES сейчас, если бы он был не так распространён :)

С точки зрения безопасности использования поддерживать старый стандарт нет смысла. Это, по моему мнению, примерно как писать реализацию DES сейчас, если бы он был не так распространён :)

Однако на DNSSEC есть только RFC на старые ГОСТ

Однако на DNSSEC есть только RFC на старые ГОСТ

Ооо, удачи вам с ним :) Я когда-то пытался DNSSEC освоить, долго после этого сатану из себя изгонял