никто не запрещает

Кстати, тарантул очень подходит на ту задачу, которую ты решаешь. Инмемори дб с реплекпцией

Nosql, естественно

На самом деле, даже похоже, что ты его заново пытаешься изобрести

вроде работает https://play.golang.org/p/UbTYUD7CT8R

Кстати, тарантул очень подходит на ту задачу, которую ты решаешь. Инмемори дб с реплекпцией

redis

работает даже если содержимое map-а менять : https://play.golang.org/p/YHfEpR4ADo-

редис 1. не имеет отказоустойчивости 2. странно ведет себя на высокой нагрузке

а тарантул under construction перманентно.

то это не работает, то то ещё не сделали....

Он достаточно стабилен для продакшена

помимо редиса и тарантула есть еще масса вариантов

так что это все отговорки

отговорки от чего? решение в 10 строчек надо поменять на БД?

так что это все отговорки

Да ждём человека обратно с воплями через месяцок

Это квыглядит как приходит новый техдир и через неделю говорит: надо переписать всё нах.

обычно и правда надо

но это потому, что любой наш софт перманентно в состоянии "надо переписывать"

Даже если надо, то в итоге выйдет ровно то же самое, что тоже надо переписать ?

но это потому, что любой наш софт перманентно в состоянии "надо переписывать"

Ну разве это хорошо?)

это так, как есть

мне кажется, что софт должен быть устойчивым к разным потрясениям.

"техдиры" приходят и уходят, а ему работать. ?

но мой совет, как разраба аналогичного софта с богатым опытом: сразу взять субд с репликацией (а то и с отказоустойчивостью). и прикрутить к нему очередь. а к очереди - средство контроля консистентности, например - монотонно увеличивающийся идентификатор сообщения

"техдиры" приходят и уходят, а ему работать. ?

Поэтому надо сделать свою базу данных с асинхронной репликацией без гарантий

Потому что это будет надёжнее чем готовая

но мой совет, как разраба аналогичного софта с богатым опытом: сразу взять субд с репликацией (а то и с отказоустойчивостью). и прикрутить к нему очередь. а к очереди - средство контроля консистентности, например - монотонно увеличивающийся идентификатор сообщения

Эм, а как у тебя может быть монотонный id в распределенной системе? Это ж ух какое узкое место

я почему ещё не хочу БД - это дополнительная сложность. Причём вполне сопоставимая с основной задачей. кроме репликации и бэкапов вылезают ещё мониторинг, алертинг, развёртывание и куча всего. Об этом обычно не думают. Типа, поставим БД и будем туда всё складывать. Но когда всем этим самому в итоге заниматься, то 200 раз подумаешь.

Поэтому надо сделать свою базу данных с асинхронной репликацией без гарантий

Михаил, вчитайся, а?

я почему ещё не хочу БД - это дополнительная сложность. Причём вполне сопоставимая с основной задачей. кроме репликации и бэкапов вылезают ещё мониторинг, алертинг, развёртывание и куча всего. Об этом обычно не думают. Типа, поставим БД и будем туда всё складывать. Но когда всем этим самому в итоге заниматься, то 200 раз подумаешь.

а твою штуку не надо бэкапить, мониторить, разворачивать? )

если так, то звучит как серебряная пуля

я почему ещё не хочу БД - это дополнительная сложность. Причём вполне сопоставимая с основной задачей. кроме репликации и бэкапов вылезают ещё мониторинг, алертинг, развёртывание и куча всего. Об этом обычно не думают. Типа, поставим БД и будем туда всё складывать. Но когда всем этим самому в итоге заниматься, то 200 раз подумаешь.

На самом деле все это в бд обычно есть

А что тут вчитываться? Мне не нужны все эти консистентности, гарантии и прочее.

А что тут вчитываться? Мне не нужны все эти консистентности, гарантии и прочее.

тогда зачем вообще информацию куда либо слать?

пусть живет в рамках одного хоста

есть БД, которая шлёт смс, когда она упала? Я отстал от жизни.

А что тут вчитываться? Мне не нужны все эти консистентности, гарантии и прочее.

это заявление выдает плохое знакомство с предметной областью.

Как раз наоборот. Я уже устал от всего этого и не хочу опять влезать в БД снова.

Как раз наоборот. Я уже устал от всего этого и не хочу опять влезать в БД снова.

поэтому ты делаешь свою базу?

я делаю то, что мне интересно делать и то, что считаю нужным.

это мы поняли.

а еще ты думаешь, что консистентность не нужна.

надеюсь, что хорошо развлёк вас этим утром.

как ты собираешься баги отлавливать, с неконсистентностью связанные - мы не знаем и знать не хотим

я делаю то, что мне интересно делать и то, что считаю нужным.

начальство в курсе?

Зачем? Чтьобы в очередной раз, как это любят обычно делать для сложных задач, меня назвали мудаком, который всё неправильно делает и хочет неправильного? И вместо того, чтобы подумать над проблемой, думали над моими умственными способностями?

процитирую себя.

какое начальство?

@MichaelMonashev так а зачем тебе вообще сообщать куда-то инфу о юзерах, если тебе эта инфа не важна?

какое начальство?

то есть проект - твоя собственность?

тогда ок

и консистентность и строго говоря ее наличие не имеет значение?

то есть проект - твоя собственность?

именно так

вообще не понимаю такого поведения, из раза в раз наблюдаемого прийти к сообществу людей со своим мнением, рассказать его, получить критику и предложения и начать яростно его отстаивать

много свободного времени что ли?

особенно со своим проектом

вообще не понимаю такого поведения, из раза в раз наблюдаемого прийти к сообществу людей со своим мнением, рассказать его, получить критику и предложения и начать яростно его отстаивать

ну может человек что-то недоговаривает и правда его решение единственно верное

лично мне пока еще интересно понять почему он так решил делать

да-да-да. Ещё больше сейчас расскажу, а потом кто-то придёт и скажет: нафига ты всё это рассказал и отбиваешься от тех, кто говорит, как надо.

да-да-да. Ещё больше сейчас расскажу, а потом кто-то придёт и скажет: нафига ты всё это рассказал и отбиваешься от тех, кто говорит, как надо.

так не рассказывай

так я и не хотел

Эм, а как у тебя может быть монотонный id в распределенной системе? Это ж ух какое узкое место

Расскажите это кафке)

Расскажите это кафке)

Не совсем понял причём тут она )

Не совсем понял причём тут она )

Распределенная система с монотонным идентификатором

В распределённой системе можно иметь постоянно растущий на 1 счётчик.

если система на Паксосе, то им может быть очередной инстанс паксоса

ERROR: S client not available

т.е. номер пачки данных, которая реплицируется по нодам.

В распределённой системе можно иметь постоянно растущий на 1 счётчик.

но невозможно добиться, чтобы полученные из него значения шли по порядку в потоке. поэтому делают один ровно источник сообщений, и отказоустойчивость

"по порядку в потоке" - что это значит?

Распределенная система с монотонным идентификатором

Поподробнее, не гуглится

гугли описание Paxos-а

Причём тут паксос

Поподробнее, не гуглится

https://kafka.apache.org

Приветствую, требуется парсер фб. Цель: спарсить весь фб Реализация: Фэйсбук имеет жесткие лимиты на почти весь парсинг, кроме парсинга по типу имя + город. Этим и воспользуемся. Указываем список городом и список имен. Парсим все, что нам выдают. Алгоритм будет примерно такой: Имеется города Нью-йорк, Филадельфия имена: Минди, Джон, Алиса Парсер обрабатывает так: Минди + Нью-йорк, Джон + Нью-йорк, Алиса + Нью-йорк Минди + Филадельфия, Джон + филадельфия, Алиса + филадельфия Понадобится где-то 1 к потоков. Вероятно, использовать амазон (как я понимаю, они для этих целей имеют сервера) Прокси ipv6. Вероятно, через браузер или имитацию его. Хотя можно и через хттп запросы попробовать. Аккаунты, в любом случае, будут лететь в бан, так что нужен регистратор, который будет подтягивать аккаунты на время парсинга. Далее все это собирается в базу. В которой мы можем: 1) Использовать минус-слова по нужным нам категориям. (например, имя и слово "Лера". Все люди с именем Лера, удалятся) 2) Плюс слова по нужным нам категориям. Например, имя и слово "Лера". Все люди с именем Лера, останутся. Этап фильтрации многоступенчатый. Т.е. операции плюс и минус слов могут использоваться несколько раз. Как в обычной бд. А также понадобится рейтинг по самым популярным совпадениям. Приведу пример. У нас есть категория Имя. Софт считает, сколько имен совпадает и выстраивает рейтинг от самого большого количества к самому меньшему. Если у нас в Списке: Сергей Филатов Сергей Есенин Александр Пушкин Софт выстроит все так: Сергей - 2 Александр 1 Категории: 1) !Вся! графа Favorites (рейтинг) 2) Образование 3) Город 4) имя и фамилия 5) Любимые цитаты (рейтинг_) 6) Работа (рейтинг) 7) пол

https://kafka.apache.org

Да, но где там инфа про айдишники

"по порядку в потоке" - что это значит?

ну у тебя есть поток сообщений. то, что он консистентный, можноопределеить только если в нем монотонно возрастающий id у сообщений. даже если у тебя есть источник таких id - в распределенной системе ты никак не можешь проконтролировать, что в поток сообщения попадут в нужном порядке

они сначала попадают в распределённую систему, реплицируются там и только потом она им может дать уникальный монотонно растущий id.

я весь 2016 потратил на эту херню

возможно, надо даже доклад на эту тему сделать

и после этого рекомендуешь БД?

до сих пор меня останавливало только то, что задача, в общем, решена

именно на бд она и решена

и решения там ой какие непростые

так и говори, что вместо 10 строчек на Go, тебе надо потрахаться с годин как я, чтобы потом всем тоже рекомендовать использовать БД.

Да, но где там инфа про айдишники

Там несколько раз они в доке упоминаются. Я растерялся на какое место вам дать ссылку без более конкретного вопроса. Each partition is an ordered, immutable sequence of records that is continually appended to—a structured commit log. The records in the partitions are each assigned a sequential id number called the offset that uniquely identifies each record within the partition.

Т.е. в контексте кафки идентификатор называется offset

Там несколько раз они в доке упоминаются. Я растерялся на какое место вам дать ссылку без более конкретного вопроса. Each partition is an ordered, immutable sequence of records that is continually appended to—a structured commit log. The records in the partitions are each assigned a sequential id number called the offset that uniquely identifies each record within the partition.

В рамках одного партишина обычный счетчик) он то не распределеннный

так и говори, что вместо 10 строчек на Go, тебе надо потрахаться с годин как я, чтобы потом всем тоже рекомендовать использовать БД.

мой трах начинался с 10 строк на го альтернативный проект был тоже наколеночный, но 10 строками там не пахло кончилось все аэроспайком

В рамках одного партишина обычный счетчик) он то не распределеннный

сам partition может быть размазан по нескольким инстансам kafka

В рамках одного партишина обычный счетчик) он то не распределеннный

Партишн реплецируется на все ноды. Но чтобы вам объяснить мне придется перепечаиать доку. Вам лучше прочитать из источника)

Приветствую, требуется парсер фб. Цель: спарсить весь фб Реализация: Фэйсбук имеет жесткие лимиты на почти весь парсинг, кроме парсинга по типу имя + город. Этим и воспользуемся. Указываем список городом и список имен. Парсим все, что нам выдают. Алгоритм будет примерно такой: Имеется города Нью-йорк, Филадельфия имена: Минди, Джон, Алиса Парсер обрабатывает так: Минди + Нью-йорк, Джон + Нью-йорк, Алиса + Нью-йорк Минди + Филадельфия, Джон + филадельфия, Алиса + филадельфия Понадобится где-то 1 к потоков. Вероятно, использовать амазон (как я понимаю, они для этих целей имеют сервера) Прокси ipv6. Вероятно, через браузер или имитацию его. Хотя можно и через хттп запросы попробовать. Аккаунты, в любом случае, будут лететь в бан, так что нужен регистратор, который будет подтягивать аккаунты на время парсинга. Далее все это собирается в базу. В которой мы можем: 1) Использовать минус-слова по нужным нам категориям. (например, имя и слово "Лера". Все люди с именем Лера, удалятся) 2) Плюс слова по нужным нам категориям. Например, имя и слово "Лера". Все люди с именем Лера, останутся. Этап фильтрации многоступенчатый. Т.е. операции плюс и минус слов могут использоваться несколько раз. Как в обычной бд. А также понадобится рейтинг по самым популярным совпадениям. Приведу пример. У нас есть категория Имя. Софт считает, сколько имен совпадает и выстраивает рейтинг от самого большого количества к самому меньшему. Если у нас в Списке: Сергей Филатов Сергей Есенин Александр Пушкин Софт выстроит все так: Сергей - 2 Александр 1 Категории: 1) !Вся! графа Favorites (рейтинг) 2) Образование 3) Город 4) имя и фамилия 5) Любимые цитаты (рейтинг_) 6) Работа (рейтинг) 7) пол

Недавно делал парсер для одного сайта вначале начал на го, но там защита хитрогребучая со всякими куками и редиректами, рекомендую заюзать селениум, но селениум я на шарпе юзал

у меня год назад была мысль написать отказоустойчивого демона для раздачи монотонно растущих id-шек. Но я так и не придумал, как всё нормально сделать, если клиент может взять id, не успеть её использовать, а потом умереть.

вот-вот

ну и вообще, это реально нужно 10 людям в год. денег не заработаешь, короче.

Тогда зачем думать об устойчивости? Упало - запустили заново

устойчивость нужна чтобы не шататься.

при ветре помогает.

Не грубите