niko
и все дела
blkmrkt
curl -A "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5" http://sitename.com
MXLTN
omg работает
MXLTN
спасиоб
MXLTN
как они это делают?
MXLTN
как они защищаются от курла?
MXLTN
ну от обычного
Дима
Юзерагент смотрят
MXLTN
курла
MXLTN
хм.. понятно
MXLTN
нигодяи))
Дима
И скажи спасибо, что его, потому что есть способы куда изощреннее 😄
MXLTN
да? хахаха ну спасибо)))
Simar
phantomjs лучше вместо curl Тогда поробовать
Simar
сейчас на большей части сайтов js догружает полсайта
MXLTN
на самом деле я вообще гружу вапликухе на golang)) тут просто привет пример с курлом что бы долго не объяснять и в принципе репродюсится то же самое
Simar
я в таком случае обычно делаю копии запросов из хрома или firefox
Дима
Фантом неудобный в управлении ппц
Дима
Но выхода особо нет, да
Simar
есть готовый парсер который скопированый запрос из хрома culr распрарсит и струкруры на языке програмирования подготовит
Дима
Я только им через horseman рулю, хоть какое-то облегчение
Simar
https://mholt.github.io/curl-to-go/
blkmrkt
дело в том что я долго пользовался сайтом и регексом вытасквал данные, но вот они что-то сделал что теперь мне курл не отдает то что было
вместо регекса проще и производительнее выдергивать текст через xpath селекторы, например //*[@id="post"]/h2. В хроме открываешь девелоперскую консоль, правый клик по элементу, copy XPath
Nikolay
Что за дичь вы втираете?
Дима
А что?))
blkmrkt
https://github.com/dhamaniasad/HeadlessBrowsers вот тут есть для го готовый безголовый браузер
blkmrkt
а вот в таком шасси будет мигать слот с дисками, если самодиагностика диска задетектит ошибку?
Logan
долежн. Лампочки снизу.
Danila
Это чо, супермикровская полка?
Logan
да
blkmrkt
Это чо, супермикровская полка?
угу. вопрос как подобрать ssd к ней, чтоб работало вместе
Logan
угу. вопрос как подобрать ssd к ней, чтоб работало вместе
а что там может не работать? SATA везде одинаковый
blkmrkt
а что там может не работать? SATA везде одинаковый
а я еще слышал про hotplug, это значит что можно просто выдернуть и заменить мигающий диск?
Imperia
Жестак по идее должен тоже поддерживать хот плаг
blkmrkt
если он часть раида или zfs например, он автоматом разметится и добавится?
blkmrkt
я думал там вдобавок к sata еще какой-то спец. интерфейс для лампочек
Imperia
По идее да, но на практике не знаю
Imperia
Не имею таких шасси
blkmrkt
а может бывают 2U шасси, но в которых больше дисков чем 24 х 2,5? я смотрю там сзади куча слотов для pcie, можно было бы сделать выдвигающуюся коробку на рельсах из самого шасси с еще одним-двумя рядами для дисков
Sergei
бывают
blkmrkt
а как гуглить?
Logan
вообще такие штуки бэкблейз делает. Но у них они большие, 4 юнита, под 3.5 винты. Там практически весь объем - только винты
Sergei
supervisor simply double
Imperia
Рейд на 500 терабайт порнухи😆
blkmrkt
стесняюсь спросить - а зачем вам?
под бд, чтоб не арендовать, и с возможностью наращивать капасити
blkmrkt
supervisor simply double
вот это пушка, спасибо
Sergei
supervisor simply double
пардон, supermicro simply double
blkmrkt
какие-то Micron S650DC появились, фиг ли они такие дорогие то
Alexander
IOPS'ы?
blkmrkt
охренеть, как у intel 750 pcie скорость
Logan
под бд, чтоб не арендовать, и с возможностью наращивать капасити
а вы уверены что вам нужна такая капасити в одном сервере? Это 48Тб SSD рейд, не меньше. Как и чем вы это обрабатывать будете?
blkmrkt
а вы уверены что вам нужна такая капасити в одном сервере? Это 48Тб SSD рейд, не меньше. Как и чем вы это обрабатывать будете?
вот пока что сам не знаю нужно ли столько, но просто хочу сначала купить barebones, засунуть туда 6 дисков и добавлять по мере надобности. я архивирую данные с вк и одноклассников с неопределенной целью. захочу включить fulltext search или построить новый индекс - просто добавлю дисков например
Alexander
охренеть, как у intel 750 pcie скорость
ну, неудивительно) Micron и Intel используют те же производственные мощности)
Imperia
Т.е. ты собираешь архив вк?
blkmrkt
Т.е. ты собираешь архив вк?
да, skotobaza.org, может слышал
blkmrkt
все профили, посты, списки друзей и изменения
blkmrkt
да, skotobaza.org, может слышал
она сейчас сдохла тк raid5 полетел, вот я задумался что нужно что-то с этим делать)
Alexander
а какая монетизация у проекта?
Alexander
если не секрет)
Alexander 🐕
Это та самая Скотобаза, которую я помню еще по 2006-му году?
Karter
да, skotobaza.org, может слышал
Лол, заблокирован. )
Cate
че притихли?)
Karter
Работают. 🙊
Cate
19.36
Alexey
самое время поработать, чо
Karter
Едут домой, ладно.
Karter
Но я работаю.
Alexey
по дороге домой? :)
Karter
Почти. )
Karter
Мыслями я в дороге, да.