mva
даже невалидные и несуществующие домены
Snusmumriken
Разумеется. Но основные хосты мы получим ))
Snusmumriken
Маршрутизируемые? Маршрутизируемые. В интернете? В интернете.
С ipv6, разумеется, лучше так не делать : )
mva
2) во-вторых, даже если просто пройти по всем IP и проверить 80/443 порт - ты максимум попадёшь в дефолтный вхост. А их там миллионы могут быть на каждом сервере.
mva
Маршрутизируемые? Маршрутизируемые. В интернете? В интернете.
С ipv6, разумеется, лучше так не делать : )
c IPv6 - точно состаришься пока проверишь
mva
причём, не только ты, но и вселенная
mva
Разумеется. Но основные хосты мы получим ))
на самом деле, нихрена не получим. И это будет очень далеко от "ВСЕХ сайтов в интернете". У ~99.(9)% сайтов пусто в PTR их айпишников.
Snusmumriken
2) во-вторых, даже если просто пройти по всем IP и проверить 80/443 порт - ты максимум попадёшь в дефолтный вхост. А их там миллионы могут быть на каждом сервере.
Дефолтных вхостов может быть миллионы?
Карочи, фигня в том, что DNS работает. Когда мы обращаемся браузером на какой-то хост, он преобразуется в айпишник. И всё что есть доступное в интернете (кроме сайтиков повешенных чисто на айпишнике, а то и с кастомным портом) — обычно преобразуется обратно.
Конечно это не всё, совсем все сайты — тут опять таки необходимы божественные силы. Но вот всё доступное и с хостом — вполне. Разумеется, с кучей мусора, но хост-то есть.
Snusmumriken
Есть ещё разница между интЕРнетом и интРАнетом. Сайты для интранета — это отдельная фигня, они не маршрутизируются, и формально их можно запихнуть "в интернет" (это же тоже сетевая фигня, а?), но на самом деле их там нет.
mva
mva
вопросы?
Snusmumriken
Ну и чего?
Snusmumriken
Да, можно иметь сразу много айпишников, в чём проблема?
mva
я не об этом
mva
я о том, что ни один из них не резолвится обратно
Snusmumriken
Ну и норм : )
Snusmumriken
Это потом можно вычистить пингом/запросом.
mva
так ему же надо список всех сайтов
Snusmumriken
Это уже мне нужно список всех сайтов ))
mva
ну, это кореллирует с его поиском всех копий файлов, да :)
Snusmumriken
Ну вот народ хостит не только для сайтов, куча обращений к сервисам выгоднее с DNS, ибо перестаёшь зависеть от конкретного айпишника, у тебя у такого куча обращений из какого-то приложения на конкретный хост. Поэтому такое вот, не содержащее сайты — придётся чистить.
fgntfg
fgntfg
Получить информацию о всех доменах в одном месте - можно
Тоня
#вакансия #backend #tarantool #spb #cпб #Lua #офис #python #nodejs #работа #job
Backend developer (IoT, голосовой помощник) – Ready for Sky 🚀
📍 Работа в офисе полный день с гибким графиком (приход до 12:00), Спб, м. Нарвская
Мы ищем в команду Backend developer (Tarantool)
💡 для разработки облачного сервиса для интеграции с голосовыми помощниками и вендорами IoT устройств;
💡 и для разработки навыков для голосовых ассистентов для управления умной техникой (IoT);
💡 + участие в улучшении текущей архитектуры серверной инфраструктуры.
🔧🎺 Stack: Tarantool/Lua; MQTT; Postgres; GraphQL.
📡 Hard Skills: JS (backend) + Node.js ИЛИ Python 3.5+ asyncio
💊 Предлагаем:
Работу в профессиональной команде (Server side dept)
Полностью белая ЗП от 150 до 250 тыс. руб. на руки
После Исп.срока: ДМС/компенс.спорта, английский
Перекусы, молочко и овощи сразу. 🍰🍕
📬 Пиши мне, Тоня: @tonika1206
Snusmumriken
#вакансия #backend #tarantool #spb #cпб #Lua #офис #python #nodejs #работа #job
Backend developer (IoT, голосовой помощник) – Ready for Sky 🚀
📍 Работа в офисе полный день с гибким графиком (приход до 12:00), Спб, м. Нарвская
Мы ищем в команду Backend developer (Tarantool)
💡 для разработки облачного сервиса для интеграции с голосовыми помощниками и вендорами IoT устройств;
💡 и для разработки навыков для голосовых ассистентов для управления умной техникой (IoT);
💡 + участие в улучшении текущей архитектуры серверной инфраструктуры.
🔧🎺 Stack: Tarantool/Lua; MQTT; Postgres; GraphQL.
📡 Hard Skills: JS (backend) + Node.js ИЛИ Python 3.5+ asyncio
💊 Предлагаем:
Работу в профессиональной команде (Server side dept)
Полностью белая ЗП от 150 до 250 тыс. руб. на руки
После Исп.срока: ДМС/компенс.спорта, английский
Перекусы, молочко и овощи сразу. 🍰🍕
📬 Пиши мне, Тоня: @tonika1206
Тут не так часто появляются новые люди (не боты), а те кто есть — не факт что так часто меняют работу. Чутка пореже — было бы наверное эффективнее.
Тоня
Тут не так часто появляются новые люди (не боты), а те кто есть — не факт что так часто меняют работу. Чутка пореже — было бы наверное эффективнее.
окей, учту)
очень уж хочется найти того самого, поэтому это пока все та же вакансия.. возможно, редкое направление и задачи с голосовым помощником..поэтому вдруг все же глаз зацепится )
Tom
Лепикоршев
Ты типа такой берёшь и проверяешь каждый ipv4:
for i = 1, 255 do
for j = 1, 255 do
for k = 1, 255 do
for l = 1, 255 do
local ip = (%d.%d.%d.%d):format(i, j, k, l)
local h = socket.dns.tohost(ip)
if h then print(h) end
end
end
end
end
Не могу удержать от 5 копеек - одному ip могут соответствовать десятки доменов и страниц. Более того, они даже на одной связке ip:port могут все висеть.
Чтобы получить список всех сайтов в интернете, придётся получить доступ на корневые DNS, скачать базы, отрезолвить ip для найденных доменов, найти список NS для доменов следующего уровня, повторить.
Но лучше за гугл не делать его работу =)
Лепикоршев
P.s. IP адреса можно тоже в одном цикле перебирать
for ip=0,2^32-1 do ... end =)
Snusmumriken
Можно, можно, но мне лень выдумывать преобразоватор из одного формата в другой ))
Смысл особо не меняется, и производительность не подскочит.
Anonymous
How have you been (feeling)?
Anonymous
How's everything with you?
fgntfg
mva
смотря для каких целей
Egor
Начните с ТЗ.
Egor
Так как просто так вряд-ли можно ответить, я вроде как луа знаю, нгинкс знаю, но ни разу их вместе не применял) перл наше все =)
Yuriy
Так как просто так вряд-ли можно ответить, я вроде как луа знаю, нгинкс знаю, но ни разу их вместе не применял) перл наше все =)
Ну почему же. Я могу ответить что пользовался и те. И другим вместе и не раз. И думаю это далеко не один я тут делал. Так что не стоит говорить за всех
Egor
Ну почему же. Я могу ответить что пользовался и те. И другим вместе и не раз. И думаю это далеко не один я тут делал. Так что не стоит говорить за всех
не, я говорил, что без ТЗ что либо ответить нереально. Даже если ты делал что-то, но может быть задача вообще за пределами данного стэка?
Yuriy
А. Просто предложение неоднозначно мысль доносит.
Egor
угу, есть такое)
Pavel
> X сайт будет один, всегда. Желательно чтоб можно было указать список.
то есть рандомно представляться разными сайтами?
Pavel
> оставив при этом его IP, User Agent, Coockie.
а вот тут ваще не ясно.
куки то выставляют для сайта Г.
если их не подменять то другие сайты их и отправлять не будут.
Pavel
короче - идея сделать невидимый прокси
Pavel
короче - просто проксировать - не сложно ваще.
а вот чтобы html-ки рисовались....это прямо сложно.
Pavel
но надо ли
Ivan
Можно ли что-то ставить на компьютеры пользователей?
Какими сайтами можно управлять? Всеми А, Б ,В, Г или только некоторыми из них?
Лепикоршев
Как-то сильно похоже на попытку написать свой Citix Netscsler
Лепикоршев
Только с nginx и на lua
Лепикоршев
И формально, это будет два приложения - одно для управления соединениями, второе - сама прячущая прокся.
Pavel
тогда никаких проблем. в 3 строчки делается
Лепикоршев
Т. Е. Нужно замаскировать пользователей с сайтов А, Б, В так, чтобы сайту Г казалось, что они проишли из Х?
Лепикоршев
Черт, гениальная идея для стартапа =)
Лепикоршев
ты тоже подмал про скликивание рекламы?
Ну, почти)) я наоборот, подумал, что если мне кто-то не понравился, это классный способ задурить его CRM-метрики
Лепикоршев
Заставь врага скупать бесполезную рекламу задорого)) Снимать скадьпы теперь не модно
Pavel
темная сторона марркетинга...
Лепикоршев
Ты проверку по DNS в любом случае провалите. Т. Е. С фиксированного IP будут прилётать пакеты от разных сайтов, которые к этому IP не имеют отношения.
Приложение, для каких бы целей не планировали, будет работать только в корпоративных сетках и интранетах.
Pavel
Ты проверку по DNS в любом случае провалите. Т. Е. С фиксированного IP будут прилётать пакеты от разных сайтов, которые к этому IP не имеют отношения.
Приложение, для каких бы целей не планировали, будет работать только в корпоративных сетках и интранетах.
ты про обратный запрос?
это если кто-то все-таки его делает...
Pavel
большие типо яндекса - делают.
Pavel
не в шифровании дело.
просто сайт Г при желании сможет понять что запросы не с сайта Х
Pavel
именно при желании
Pavel
если все сайты ваши - то ваще не проблема
Snusmumriken
Сайт который выдаёт чужие данные за свои, да ещё и натягивает свои стили — это очень объёмно. И работает медленнее чем натив. И что делать если другие сайты отвалятся? А ведь они ещё могут заблочить по айпи, поэтому нужны прокси. А ещё у других сайтов меняется структура, поэтому под неё нужно адаптироваться.
Snusmumriken
Я прост работаю в чём-то подобном, на запрос пользователя — сделать серию запросов на несколько сайтов открытых данных (иногда с капчей, или с api + лимитами на кол-во запросов), собрать данные и сформировать отчёт, правда, там далеко не только это. И на поддержку этого дела уходит куча времени и сил.
Лепикоршев
ты про обратный запрос?
это если кто-то все-таки его делает...
Если делает, обычно сразу следует блокировка.
Лучше, чтобы совпадало.
Snusmumriken
Да, так попроще.
Snusmumriken
Но в целом, это выглядит как какой-то агрегатор, типа "интернет-магазин который тырит позиции других интернет-магазинов, умножая цену на 1.5 и перенаправляя корзину на местную". Кстати, отличная идея для стартапа ))
Лепикоршев
3 строчки, если делать абы как, и забить на производительность.
Для примера, такой функционал предоставляет решение Netscaler от компании Citrix. Вы удивитесь, сколько оно стоит =)
Pavel
3 строчки, если делать абы как, и забить на производительность.
Для примера, такой функционал предоставляет решение Netscaler от компании Citrix. Вы удивитесь, сколько оно стоит =)
https://github.com/openresty/lua-nginx-module#balancer_by_lua_block
Лепикоршев
Pavel
https://github.com/openresty/lua-nginx-module#balancer_by_lua_block
тут прямо все готово. вычисляй. подменяй HOST на что хочешь. процесь дальше
Snusmumriken
Да пофигу где, "наш" сайт же будет делать запросы на "их" сайты, это "наш" сайт будет делать всякие штуки. А коль нужен именно перехват-редирект с оригинальных на "наш" — тут уже интранет и dns-возня.
Pavel
Да пофигу где, "наш" сайт же будет делать запросы на "их" сайты, это "наш" сайт будет делать всякие штуки. А коль нужен именно перехват-редирект с оригинальных на "наш" — тут уже интранет и dns-возня.
это работает - если ты прямо все абсолютные урлы будешь еще подменять в процессе
а так-же урлы внутри JS
Pavel
ну и кукисы заодно
Лепикоршев
Да пофигу где, "наш" сайт же будет делать запросы на "их" сайты, это "наш" сайт будет делать всякие штуки. А коль нужен именно перехват-редирект с оригинальных на "наш" — тут уже интранет и dns-возня.
А, типа прокся, которая делает вид, что заказывает товар от себя, хотя фактически, заказ делает пользователь, который на неё зашёл?