Например, чтобы реестр запрещенных ресурсов не 10 минут мурыжить, и пару десятков секунд :)

А что вы с ним делаете 10 минут?

Эт не я, это я подслушал в чатике как кто-то мурыжит столько ? Подумалось сразу про пхп ?

Нет, гнать на похапе нынче модно

Но я думаю даже на нем это займет 1-2 секунды

Ну чтобы там и список айпи получить

И доменов

И что с HTTPS, а что нет

Года 3 назад другой набор данных обрабатывал на пхп, еще даже работает, 17 млн записей, 19 минут. Там 2-3 гига текстовых данных в XML: [ 0.928% -- ETA: 1175s (19m) -- 162049 / 17464566 ] ... [ 12.625% -- ETA: 533s (8m) -- 2204857 / 17464566 ] ... [ 97.290% -- ETA: 11s (0m) -- 16991265 / 17464566 ] При этом под производительность особо не адаптировался, просто явно громоздкие методы не использовал

А, да, он еще сразу в бд пишет и сравнивает, точно, потому 19 минут аж

Ну то есть нельзя просто заменить новым регистром - надо посмореть, а была ли запись до этого, если в новом ее нет, то переложить в соседнюю колонку (или сдвинуть бит - не суть), если записи не было, то создать, как и рядом стоящие сущности (ссылочку в соседнюю табличку, чтобы резолвер, например, подхватил домен и уже начал отслеживтаь изменения IP).

Ну и чистка данных, которые уже 3 дня не появлялись - полное вычленение

Вот все хочется на Redis переехать, посмотреть насколько шустро станет. Да еще и между операторами можно зеркал поразбрасывать :) (слейвов)

Коллеги, кто юзает смотрешку. У всех ли такой зажатый битрейт?

Макс, попробуй через ПХП делать загрузку в БД

А сравнение и анализ функции в базу кинь

Результат тебя приятно удивит

Функции лучше на триггеры повесить

Чтоб туда сюда не гонять

?

А на редиску переехать - ну можно

Но я б не стал

Под такую мелкую задачку

Из пушки

Зачем Редис когда есть Тарантул?

Потом что тарантул это не редис

Например тарантул хуже грузит мемкеш, который производительнее тарантула

Ну да, редис не гарантирует сохранность данных, как тарантул

Ну и не совсем стабильный он был ранее, когда мы нафиг послали

Он гарантирует сохранность, но не гарантирует доступность )

Доступность чего?

Падает он блин

По крайней мере падал

Бред

Ну конечно же бред - это я из личной ненависти

Если упадет - отвезешь кору в чат разработчиков, там ее моментально препарируют

Ага, отвезли

Сказали спасибо

Отработаем

В каком году было?

Начали ебацца почти год назад

Окончательно вычеркнули до тех пор пока не станет мастхевом где то месяца три-четыре

Интересно просто что с ним делали

Может чуть больше

12КК горячих объектов туда грузили

С глубиной статусов примерно 120-130 в зависимости от типа

В память то хоть влезало?

Да

512Гб

?

Что такое глубина статусов?

Ну влезало и в 256

Что такое глубина статусов?

Бизнес-логика

512Гб

Это данных или памяти в машине?

В машине

А данные влезали в 256

Надо 1 к 3

Индексы же

Это всего получалось 256

Разрабы сказали ставте 512

Бизнес-логика

Бизнес логика откуда? Она де в приложении?

А статусы где хранить?

В нем же родимом и хранили

Точнее разрабы сказали ставьте памяти пока не перестанет падать )

Мы поставили 512

Так же высыпался

В тарантуле нет статусов. Есть поля и индексы. Статусов нет.

Мы свои статусы хранили в тарантуле

ERROR: S client not available

По нашей БЛ

Какой размер записи в байтах? И сколько индексов было?

О, брат, я управленец - так далеко не копал

Я тебе дал количество SKU и глубину по цепочкам БЛ

И что по железу было

И ответ разрабов

После этого мы посмотрели и подумали, что покупать ради тарантула сервак с тером озу смысла нет

Ну просто выглядит так, будто использовали не совсем по назначению.

Если есть редис

Который то же самое молотит на тачке со 128Гб

В редис все то же самое влезало?

На стандартном нашем лезвии

Да

Но что вы делаете когда питание выключается?" У вашего редиса?

Сейчас связка пхп мускул редис мемкешед и немного нжинкс

Собираем объект заново

Он деманд

Насколько я понимаю

А у редиса же есть база на диске, не пользуетесь совсем?

А у редиса же есть база на диске, не пользуетесь совсем?

Дороже по ресурсам

Намного

Я просто знаю, что у нас собрать объект заново, дешевле чем писать его и обновлять

На всей цепочке

Главное не собирать все объекты одновременно

bottleneck

Так у вас долгий прогрев

Возможно Тарантул нужно было прогревать постепенно. Если там пихнули транзакцию, то писец.

Ну как сказать

А если на низеньком кустике сидит два десятка воробьев, не уж то пушку не подкатил бы? :)

С картечью :)

С реплик прочитать статусы - проверить по поднятому хранилищу

Выпавшие объекты сгенерировать заново