𝕵𝖎𝖒 𝕸𝖔𝖗𝖗𝖎𝖘𝖔𝖓
Так же ?
Alex
первым параметром идет callable, который на вход принимает 1 аргумент и возвращает bool.
Alex
filter вызывает этот callable для каждого элемента последовательности и возвращает только те элементы, для которых вызов callable вернул True(ish).
Pavel
list = filter(None, list)
И еще, кстати, фильтер возвращает итерейбл, а не список И не надо встроенные имена переназначать
Alex
Первым параметром пишем то что хотим отфильтровать
признайся. ты пробовал документацию открывать?
𝕵𝖎𝖒 𝕸𝖔𝖗𝖗𝖎𝖘𝖔𝖓
𝕵𝖎𝖒 𝕸𝖔𝖗𝖗𝖎𝖘𝖔𝖓
Pavel
пиздишь
Он имел в виду, что документация есть, но он ее не открывал
Alex
По фильтру нет (
https://docs.python.org/3/library/functions.html#filter
𝕵𝖎𝖒 𝕸𝖔𝖗𝖗𝖎𝖘𝖔𝖓
Thx
Richard
Опять проксями обмажутся и воруют чужой контент
Так прокси это круто, сразу столько возможностей появляется
Richard
:)
Могу подкинуть свой парсер насков
Richard
До сих пор работает
Richard
Зачем?
Ну кто тебя знает. Вдруг понадобится
Tishka17
Не дай бог
Richard
Не дай бог
Начнёшь писать ботов в асинк тру с проксями?
Roman
Опять проксями обмажутся и воруют чужой контент
Вот что у тебя за этические проблемы с парсингом контента? А. Если например источник такой сто его апи стоит как космический корабль и например дешевле парсить? При этом другого источника с той же инфой нет? И фас при этом их не бил по голове. Что тогда делать? Просто забить не вариант
Roman
Мне кажеться сама технология и скачивание открытых уже данных это норм. Другое дело что потом с этими данными делают
Tishka17
да пусть качают, только чтобы машину из этого не пытались собрать
Roman
Если машина стоит 5 миллинов рублей, зачем её покупать, когда можно натырить деталей и собрать самому?
Плохая аналогия. Машина это серийная вещь. А парсят обычно то что не встречается в миллионе мест
Tishka17
а по моему она отлично описывает ситуацию, когда есть официальный способ, а люди пытаются найти обходной
Roman
Вот скажем тырят картинки с авито делают свой авито, отжимая рынок. Да это не очень хорошо
Roman
а по моему она отлично описывает ситуацию, когда есть официальный способ, а люди пытаются найти обходной
Нет. Официальный не всегда хорош, или очень дорого. Если обходной путь дешевле его прям можно благословить
Tishka17
если очень дорого - не покупай и не трогай контент который продается
Tishka17
бесите
Roman
если очень дорого - не покупай и не трогай контент который продается
Если тебе хочеться покупать покупай. А другие могут и не покупать. Нет такого этического закона что нужно все обязательно покупать
Alexander
Это хорошо, если API вообще есть
Alexander
Если бы у всех был API, это был бы идеальный мир
Tishka17
да вопрос не столько в апи, сколько в использовании данных скрытно от их владельца
Tishka17
не в парсинге, а в том, что юзают всякие прокси чтобы скрыть это
Alexander
если очень дорого - не покупай и не трогай контент который продается
И почему именно контент, который продаётся? Можно ведь парсить контент, который бесплатный.
Tishka17
как правило бесплытный контент можно использовать в личных целях
Alexander
бесплатный != доступный для коммерческого использования
А почему именно для коммерческого использования? Такая вводная была тут в чатике?
Tishka17
не видел чтобы тут парсеры писали по приколу
Tishka17
как правило есть какие-то заказы и люди этот контент пытаются как-то использовать в коммерческих проектах
Roman
Именно коммерческое. Все верно моя позиция такова что я не вижу ничего зазорного юзать парсинг данных если это рентабельней чем юзать ари
Egor
Заморачивался кто созданием 3D игр на питоне? Стоило оно того?
Alexander
Ну я парсю с проксями один общедоступный ресурс и не беру деньги с моих пользователей, например. Just for fun.
Egor
возьми уже unity
там си шарп
Egor
да мне не игру надо, а magica voxel, точнее что-то типа такого но чууть с другим функционалом
Dmitry
там си шарп
напиши на нем свой питон (язык)
Egor
Voxbox
гугл выдает что-то хардварное, кажется что-то для звука
Dmitry
ха-ха-ха
ну например Форт-клон за пару вечеров рисуется на любом языке кроме асма (если не учитывать что писать на Форте то еще извращение)
Dmitry
W = {} # словарь S = [] # стек лексер на PLY 15-20 строк функции завернуть вот в такой класс ``` class Fn(Active): def init(self,F): Active.init(self,F.name) self.fn = F def eval(self,env=W): return self.fn(env) ``` добавить парсер на ply.yacc — уже б/м полноценный скриптовый язычок получится с инфиксным синтаксисом с сисярпом будет единственная сложность — разобраться как пользоваться ANTLR
Tishka17
Смотрите, у меня есть два базовых датакласса и есть у них схемы, описывающие правила парсинга (какие поля парсить, предобработка и т.п.) @dataclass class A: a: int x: str = None @dataclass class B: b: int = 0 y: str = None class ASchema(Schema): only = ["a"] name_style = NameStyle.snake def pre_parse(self, data): print("aschema") data["a"] = data["a"] * 2 return data class BSchema(Schema): only = ["b"] exclude = ["y"] def pre_parse(self, data): print("bschema") data["b"] = -data["b"] return data aschema = ASchema() bschema = BSchema() Если я наследую от них обоих новый датакласс, для него никакая схема применяться не будет. Насколько логично иметь такой алгоритм: 1. pre_parse/post_parse/pre_serialize/post_serialize вызываются в MRO порядке 2. only, exclude, name_mapping объединяются в MRO порядке 3. прочие настройки типа name_style проверяются чтобы не противоречили друг другу. 4. кастомные parse, serialize не должны быть заданы То есть в данном случае будет эквивалентно: @dataclass class C(A, B): pass def c_pre_parse(self, data): data = aschema.pre_parse(self, data) data = bschema.pre_parse(self, data) return data cschema = Schema( only = ["a", "b"], exclude = ["y"], name_style = NameStyle.snake, pre_parse = c_pre_parse, ) Насколько это все логично?
@tikhonov_a раз ты тут, может ты думал в эту сторону.
Pavel
Смотрите, у меня есть два базовых датакласса и есть у них схемы, описывающие правила парсинга (какие поля парсить, предобработка и т.п.) @dataclass class A: a: int x: str = None @dataclass class B: b: int = 0 y: str = None class ASchema(Schema): only = ["a"] name_style = NameStyle.snake def pre_parse(self, data): print("aschema") data["a"] = data["a"] * 2 return data class BSchema(Schema): only = ["b"] exclude = ["y"] def pre_parse(self, data): print("bschema") data["b"] = -data["b"] return data aschema = ASchema() bschema = BSchema() Если я наследую от них обоих новый датакласс, для него никакая схема применяться не будет. Насколько логично иметь такой алгоритм: 1. pre_parse/post_parse/pre_serialize/post_serialize вызываются в MRO порядке 2. only, exclude, name_mapping объединяются в MRO порядке 3. прочие настройки типа name_style проверяются чтобы не противоречили друг другу. 4. кастомные parse, serialize не должны быть заданы То есть в данном случае будет эквивалентно: @dataclass class C(A, B): pass def c_pre_parse(self, data): data = aschema.pre_parse(self, data) data = bschema.pre_parse(self, data) return data cschema = Schema( only = ["a", "b"], exclude = ["y"], name_style = NameStyle.snake, pre_parse = c_pre_parse, ) Насколько это все логично?
Вроде бы логично
Pavel
Смотрите, у меня есть два базовых датакласса и есть у них схемы, описывающие правила парсинга (какие поля парсить, предобработка и т.п.) @dataclass class A: a: int x: str = None @dataclass class B: b: int = 0 y: str = None class ASchema(Schema): only = ["a"] name_style = NameStyle.snake def pre_parse(self, data): print("aschema") data["a"] = data["a"] * 2 return data class BSchema(Schema): only = ["b"] exclude = ["y"] def pre_parse(self, data): print("bschema") data["b"] = -data["b"] return data aschema = ASchema() bschema = BSchema() Если я наследую от них обоих новый датакласс, для него никакая схема применяться не будет. Насколько логично иметь такой алгоритм: 1. pre_parse/post_parse/pre_serialize/post_serialize вызываются в MRO порядке 2. only, exclude, name_mapping объединяются в MRO порядке 3. прочие настройки типа name_style проверяются чтобы не противоречили друг другу. 4. кастомные parse, serialize не должны быть заданы То есть в данном случае будет эквивалентно: @dataclass class C(A, B): pass def c_pre_parse(self, data): data = aschema.pre_parse(self, data) data = bschema.pre_parse(self, data) return data cschema = Schema( only = ["a", "b"], exclude = ["y"], name_style = NameStyle.snake, pre_parse = c_pre_parse, ) Насколько это все логично?
Часто ли только так полуучается, что класс наследуется от двух, а сам ничего нового не привносит?
Pavel
Смотрите, у меня есть два базовых датакласса и есть у них схемы, описывающие правила парсинга (какие поля парсить, предобработка и т.п.) @dataclass class A: a: int x: str = None @dataclass class B: b: int = 0 y: str = None class ASchema(Schema): only = ["a"] name_style = NameStyle.snake def pre_parse(self, data): print("aschema") data["a"] = data["a"] * 2 return data class BSchema(Schema): only = ["b"] exclude = ["y"] def pre_parse(self, data): print("bschema") data["b"] = -data["b"] return data aschema = ASchema() bschema = BSchema() Если я наследую от них обоих новый датакласс, для него никакая схема применяться не будет. Насколько логично иметь такой алгоритм: 1. pre_parse/post_parse/pre_serialize/post_serialize вызываются в MRO порядке 2. only, exclude, name_mapping объединяются в MRO порядке 3. прочие настройки типа name_style проверяются чтобы не противоречили друг другу. 4. кастомные parse, serialize не должны быть заданы То есть в данном случае будет эквивалентно: @dataclass class C(A, B): pass def c_pre_parse(self, data): data = aschema.pre_parse(self, data) data = bschema.pre_parse(self, data) return data cschema = Schema( only = ["a", "b"], exclude = ["y"], name_style = NameStyle.snake, pre_parse = c_pre_parse, ) Насколько это все логично?
Если у класса появились новые поля, то как бы все, прошлые схемы уже не особо помогают
Tishka17
вот да
Tishka17
ну если юзали не only, а exclude, то норм сработает
Alexander
@tikhonov_a раз ты тут, может ты думал в эту сторону.
Мне вообще не нравится идея делать ещё один класс для схемы, когда датакласс итак схему определяет
Tishka17
схема - это правила преобразования
Anonymous
как сказать shutil.copyfile что бы он ждал, пока другие процессы перестанут использовать файл, а потом скопировать его?
Tishka17
один датакалсс может юзаться с несколькими схемами
Anonymous
а то он крашится
Tishka17
Мне вообще не нравится идея делать ещё один класс для схемы, когда датакласс итак схему определяет
схема нужна как минимум в случае, когда по апишке ходит какая-нибудь хрень типа field-name, которую нельзя юзать как идентификатор.
Tishka17
Или когда хочешь на основе одной модели посылать в разные ручки разные наборы полей
Amaro
А почему оно названо схемой, а не адаптером?
Tishka17
в marshmallow схемы, решил назвать так же
Amaro
Или, скорее, медиатор, он же брокер.
Alexander
Или когда хочешь на основе одной модели посылать в разные ручки разные наборы полей
Пользователь может сделать датакласс под каждую ручку и преобразовывать один датакласс в другой как ему вздумается.
Tishka17
это уже так, навороты
Alexander
Что если половина полей будет иметь названия через дефис, а другая с подчёркиванием