Nik
ну, понятие "правильно" оно очень условное.
Если хочется пользоваться решением из коробки, и нет особых требований к низкому network latency, то swarm-mode хорошее решение, и быстрое.
Oleg
^^^ related пост, может быть поможет
Oleg
там про другое вообще-то, но близко
A
Привет всем! Не нашел информацию про то, как работает одновременный read/write в volume, если работают несколько контейнеров. Может можно конфигурировать (например, транзакционно, с помощь локов и т. д.)?
Andrei
Привет всем! Не нашел информацию про то, как работает одновременный read/write в volume, если работают несколько контейнеров. Может можно конфигурировать (например, транзакционно, с помощь локов и т. д.)?
Так же как и у двух приложений одновременно. Если есть поддержка на уровне приложения, будет нормально работать. Если нет, будут проблемы.
A
Так же как и у двух приложений одновременно. Если есть поддержка на уровне приложения, будет нормально работать. Если нет, будут проблемы.
Это будет кеш браузера. Как я понял, будут большие проблемы. Или нет?
Andrei
Будут. Для кеша используйте лучше стороннее решени для хранения типа редиса, например. И кластеризовать при необходимости можно быстро будет.
🦠
кеш браузера в докере?
🦠
это вообще законно?
Andrei
Скорее всего просто вопрос задан не совсем корректно
🦠
есть такой инженерный принцип, работает для всего - использовать тот инструмент, который подходит больше всего
🦠
но для этого надо знать весь инструментарий
🦠
а то начинается очередь через бд
🦠
евентбас через крон
🦠
и другие антипаттерны сервисного слоя
A
Скорее всего просто вопрос задан не совсем корректно
Именно кеш браузер. Да, возможно звучит безумно. Я про вот это ~/.cache/chromium/Default/Cache.
Andrei
Именно кеш браузер. Да, возможно звучит безумно. Я про вот это ~/.cache/chromium/Default/Cache.
Простите, а зачем так развлекаться?
🦠
ну неисповедимы пути господни
🦠
хочет чел сесьюрити
🦠
прост не знает, что все, что он серфит - летит в гугель
🦠
и там уже сопоставить его профиль - нефиг делать
A
Простите, а зачем так развлекаться?
Пока это просто эксперимент. Пытаюсь ускорить загрузку. Начал со squid, дошел до этого. Знаю, звучит безумно.
A
хочет чел сесьюрити
Пока это просто эксперимент. Пытаюсь ускорить загрузку. Начал со squid, дошел до этого. Знаю, звучит безумно.
🦠
лучше всего ускоряет загрузку кластер из варнишей
🦠
сквид эт как апач, только небритый
🦠
они бухали вместе
A
лучше всего ускоряет загрузку кластер из варнишей
Правильно. Только доступа к приложению есть только как юзер. А приложение только по https. И еще не хочется подменять сертификаты юзеров.
🦠
кешировать https, майор ФСБ перелогиньтесь!
🦠
хотя мож викиликс выложит третью часть про СОРМ2
A
кешировать https, майор ФСБ перелогиньтесь!
Только статические ресурсы. Больше ничего. Вот поэтому и не хочу сломать нормальный https у юзеров. В кеш будет например, png картинки. mp3 и т. д. Ничего криминального. Эти ресурсы одни для всех.
A
И не меняются.
🦠
ну сообщения в телеграмме тоже не меняются, поэтому являются достаточным доказательством)
A
Ребята, может совсем занесло меня?
🦠
для кеширования https нужен очсильный аргумент
🦠
либо DPI, либо платежные реквизиты
🦠
в любом случае, как только вы подмените сертификат, большинство современных браузеров подымут вой
A
Вот именно, что и не подменяю.
Anton
Кешировать https?! аааааа
A
ничего не делаю.
🦠
хочешь знать своего клиента - строй свой браузер и форси его через политики
🦠
так делает гугель, так копирует яндыкс
🦠
в большинстве госорганизаций на конечную точку ставят свой сертификат
🦠
чтобы как раз иметь возможность читать, что пишут
A
Ребят, спокойно. Не надо мне ничего от клиента. Просто делаю веб скраппинг. И хочу ускорить загрузку приложения. А грузится 27-35 секунд.
🦠
но подается это как сертификат на авторизацию)
Anton
Ребят, спокойно. Не надо мне ничего от клиента. Просто делаю веб скраппинг. И хочу ускорить загрузку приложения. А грузится 27-35 секунд.
почему так долго? используй хром в headless режиме с установленным ublock adblock
A
Просто захотелось, чтоб например, логотип грузился с кеша браузера.
Anton
🦠
что кешировать - это ответственность браузера
Anton
задача кстати интересная, но браузеры и так кешируют статику
A
почему так долго? используй хром в headless режиме с установленным ublock adblock
Хром в headless уже есть. Рекламы нет, так что нечего блокировать. Веб апп использует большие картинки.
Anton
Хром в headless уже есть. Рекламы нет, так что нечего блокировать. Веб апп использует большие картинки.
точно не кеширует?тогда никак не ускоришь, пиши свой браузер либо делай все курлом
A
задача кстати интересная, но браузеры и так кешируют статику
Ну вот, как раз хочу сделать так, чтобы сделали один раз, а не каждый заново.
A
точно не кеширует?тогда никак не ускоришь, пиши свой браузер либо делай все курлом
Хром кеширует отлично. Хочу просто, чтоб остальные хромы использовали тот же кеш.
A
Несколько контейнеров, в каждoм по одному headless chrome.
🦠
когда мы строили свой лунапарк
A
Вот поэтому и спрашивал про volumes и ACID.
Anton
Не, так не будет
🦠
мы делали отдельные таски - для сайта со статикой мультикурл, для динамики с джиэсом - фантом/каспер, ибо это медленно
🦠
сам скрейп был разбит на три части - разведка урлов, постановка в очередь, непосредственно парс
🦠
на уровне разведки мы фильтровали повторы
🦠
и добавляли только уникальные урлы в очередь
Anton
Бооее чем уверен что хром в кеше хранит не под именами а по ключам, и у разных инстансов хрома ключи разные для одинаковых обьектов.Если можно в качестве бэкэнда кеша хрома подключит что-то другое тогда получилось бы может. Но точно придется программироваьь. Имхо экономия на спичках
A
мы делали отдельные таски - для сайта со статикой мультикурл, для динамики с джиэсом - фантом/каспер, ибо это медленно
Фантом/каспер уже попробовал, но не хватает специфических api-ов. а вот про мультикурл слышу первый раз.
Anton
волюмы никак не помогут. запусти два процесса хрома и укажим им одну папку для кеша ... и посмотри что будет😄
Anton
а вдруг получится
🦠
это обычный курл с запуском в параллели через multiget
Anton
у хрома cli богатый
🦠
но он жрет память сволочь еще хуже фантома)
🦠
в принципе фантом и есть хром
A
сам скрейп был разбит на три части - разведка урлов, постановка в очередь, непосредственно парс
Спасибо за шаринг опыта, у меня кстати довольно похоже получается, только делаю скраппинг через разные аккаунты с разными левелами доступа.
🦠
ну там достаточно умная система была
🦠
с противодействием обнаружению
Ale
гайз, а есть решение для docker4mac с nfs? Я пробовал https://github.com/stephank/docker-for-mac-nfs на 17.03, но не взлетело
🦠
d4m требует ща csrutil disable
🦠
я бы три раза подумал перед таким
🦠
и там нет отката