Tishka17
Так же и " может начинать новый токен, заканчивать или не иметь значения
Tishka17
В r-строке это литерал?
Это обычный слэш, символ внутри литерала
Tishka17
Я может в терминологии путаюсь, писал такое только с нуля
Dmitry
Ничего не понял
если это не курсовая, и писать свой лексер с нуля не уперлось — можешь пример отсюда взять: https://github.com/ponyatov/metaL/blob/master/metaL.py import ply.lex as lex tokens = ['symbol','string','number','integer','hex','bin'] states = (('str','exclusive'),)
#свободуНавальному
Так что правила обработки символов определяются конкретным токеном, который разбираем
Да, я это и хотел сказать. И что, всё поведение в лексере программировать? Я представляю что всё работает так - Помечаю ключевые слова (if,{,},кавычки и т.д.) - Ключевые слова считаю управляющими конструкциями токенов - Обрабатываю поток символов (здесь основная логика) - Выдаю массив токенов в виде объектов
Tishka17
А. Окей, понял
Anonymous
Как подключить команду zip на python?
lexx
чего блядь
Tishka17
Так же и с другим символами может быть
lexx
че хочешь в итоге от зип?
Tishka17
У тебя есть правила обработки текущего токена. Например признак конца. Ключевые слова if и прочее - тоже токены
Dmitry
Пример посмотрю. Не курсовая, мне самому интересно
с текстовыми парсерами задача +\- полностью решена уже лет 20 а вот с бинарными все намного интереснее — это когда нужно поток данных группами битов парсить: разбор сетевого трафика, бинарных форматов данных есть еще symmetrical parsing когда генератор парсера генерит код и для распаковки данных, и для запаковки в бинарник из отдельных элементов как сделать бинарный потоковый симметричный парсер-генератор — сам ищу
#свободуНавальному
Не совсем, двойная кавычка просто так и внутри строки - разные вещи
Да и на стадии обработки я делаю об этом выводы. Помечаю что я вошел в контекст строки. Встретил ключевое слово "кавычка", проверяю, если я в контексте строки SingleQuoteString - то это просто символ, а если я контексте QuoteString, то это управляющий символ завершения строки. А можешь описать примерный алгоритм? Где это делаешь ты?
Tishka17
Хм.
Dmitry
Пример посмотрю. Не курсовая, мне самому интересно
если скинешь тестовый пример кода — могу набросать парсер для PLY там со строками используется фишка — в лексер добавляется отдельный режим работы, и для него отдельный набор регулярок определяется через функции t_str_*
Tishka17
Ну смотри Есть Парсер. У него есть состояние - в простом случае текущий токен. Типу токена соответствует правило разбора. Встретил новый символ - обработал его согласно правилу: * Преобразовал и добавил в токен * Поменял какие-то параметры токена, хз что ещё. * Закончил текущий токен * Выбросил ошибку В том числе тут возможны промежуточные состояния парсинга когда, ты ждёшь следующий символ для принятия решения При завершении токена может сразу начаться следующий.
Tishka17
Что-то такое
Anonymous
Не нажмал кнопку и бот удалил😳
lexx
мистика
Anonymous
Привет, подскажите пожалуйста. Такая ситуация, купил прокси socks 5 (на 1 скрине) через приложение proxifier юзаю его, но проблема в том что он не показывает страну, хотя я купил российский прокси и он должен Россию показывать, а он ничего. Как можно эту проблему решить? А для пробы, я поюзал бесплатный прокси socks5 (на 2 скрине), а он показал страну.
#свободуНавальному
если скинешь тестовый пример кода — могу набросать парсер для PLY там со строками используется фишка — в лексер добавляется отдельный режим работы, и для него отдельный набор регулярок определяется через функции t_str_*
А что именно должно быть в примере кода? Я пока что не смотрел на готовые парсеры, потому что не понимаю как можно учесть любой синтаксис и думаю что нужно придерживаться определённых правил, для описания синтаксиса. Имею в виду не правил как таковых, а конкретных правил
lexx
тебе нужна помощь от Бога
Anonymous
А в чем именно проблема?
Мне нужно, чтобы показывалась страна, а на 1 скрине видно, что нету "Страна: Неизвестно"
Tishka17
Или все таки что-то другое?
Tishka17
Вообще никто не обещал, что сервисы типа geo ip работабт со 100% точностью
Anonymous
Или все таки что-то другое?
Нужно, чтобы все сайты видели страну через мой платный прокси.
Anonymous
А он не показывается, что можно сделать?
lexx
попробуй другие сервисы
Tishka17
Нужно, чтобы все сайты видели страну через мой платный прокси.
У разных сайтов разные базы адресов юзаются и любой может косячить даже с реальными российскими адресами
#свободуНавальному
Ну смотри Есть Парсер. У него есть состояние - в простом случае текущий токен. Типу токена соответствует правило разбора. Встретил новый символ - обработал его согласно правилу: * Преобразовал и добавил в токен * Поменял какие-то параметры токена, хз что ещё. * Закончил текущий токен * Выбросил ошибку В том числе тут возможны промежуточные состояния парсинга когда, ты ждёшь следующий символ для принятия решения При завершении токена может сразу начаться следующий.
А как это разделять на модули? Составлять какую-нибудь карту обработчиков для токенов? Не писать же всё в одной функции. А если карту обработчиков создавать, то как в них передавать состояние? Например лексер стековый и нужно проверить не просто текущий токен, но ещё и находимся ли мы внутри чего-то выше. Тогда и стек передавать в обработчик токена?
Tishka17
Может это можно сделать после лексера при обработке токенов?
Anonymous
У разных сайтов разные базы адресов юзаются и любой может косячить даже с реальными российскими адресами
Подскажешь, где можно хорошие прокси купить? Чтобы не было такой проблемы, как у меня
lexx
у тебя не с прокси проблема, похоже, а с его определением сторонними ресурсами. они все показывают не то, что нужно?
#свободуНавальному
А, точно
Anonymous
Хз. А зачем тебе прокси?
Нужен для сайта, я хочу много раз зарегаться. Но он палит айпи и страну и данныe. User agent легко сменить, потом нужно айпи сменить. Остановился я на прокси и купил его. Подключил его, а он не показывает страну, то есть у админ сайта(где я хочу зарегаться) просто отправит меня в бан и все акки. Поэтому я хочу чтобы была видна страна
Tishka17
Спамер что ли?
Tishka17
Да точно спамер
Anonymous
Рефаундд
#свободуНавальному
Кстати, автомат это же просто функция? А конечный автомат - функция с конечным количеством возможных состояний? Не понимаю что написано на вики. За 2 года раза 3 пытался понять
Dmitry
ну вот пример разбора через PLY — в исходнике два симола и строка в кавычках
токены задаются через функции, в docstring которых прописаны регулярки для каждого типа токена порядок срабатывания определяется порядком определения функций — например нужно когда надо сначала чтобы сработало правило для чисел, а потом более общее для символов для строк задано отдельное состояние лексера, лексер переключается в него через t.lexer.push / t.lexer.pop правило t_str задано для основного состояния, оно срабатывает по " и переключает lexer.push(str) остальные правила с именами вида t_str_... работают только в exclusive состоянии для строк t_str_str срабатывает по закрывающей кавычке, должно быть выше всех по приоритету (выше в коде) строка считыватся из накопительной переменной в текущий токен, и он возвращается через return
Tishka17
В моем примере это был тип токена и правила обработки токена
Anonymous
Чо
Не забивай этой ерундой голову, ты хорошо шаришь в компах. Подскажи, что можно сделать?
Tishka17
Рефаундд
Звучит в совокупности с прошлым сообщением как что-то нелегальное и морально неприемлимое
Anonymous
Норм всё😄
Tishka17
Не забивай этой ерундой голову, ты хорошо шаришь в компах. Подскажи, что можно сделать?
Обратиться к владельцу сайта и попросить добавить твой айпи в белый список
Tishka17
Норм всё😄
Будешь рассказывать или в бан?
Anonymous
Что рассказывать?
lexx
че делаешь
Tishka17
Зачем тебе понадобилось автоматически регистрировать аккаунты. И при чем тут рефаунд
lexx
и почему не надо забивать голову если шаришь в компах?
Liubomyr Pavlyk
кто-то работал с pygame and opencv?
Anonymous
Я не говорил автоматически
Anonymous
Я сказал, что нужно подменит айпи. Я его подменил через прокси, но страна почему-то не показывается. Вот я и хочу у вас спросить почему и что можно сделать?
Tishka17
Я сказал, написать владельцу сайта, чтобы он добавил тебя в белый список
Anonymous
Он не добавит