@python_beginners
Agent28.12.2016
19:30:03
19:30:03
Как часики)
Maksim28.12.2016
19:50:31
19:50:31
как вернуть все ссылки с имиджами?
from bs4 import BeautifulSoup
import requests
html=('<html><body><img src="test.jpg">\n''<p>Some text\n''<img SRC=\'well.png\'>\n''</p></body></html>')
soup = BeautifulSoup(html, "html.parser")
print(soup)
result = soup.findAll('img src=')[:].get_text()
print(result)
img scr=
*src
Google
Johnnie28.12.2016
20:03:38
20:03:38
@bladdon @zartsoft
t1: 1332.5145938309997
t2: 808.875277266
t3: 134.11211553499925
:)
list_len = 300
min_num, max_num = 1, 50
repeats = 3
Denis28.12.2016
20:03:56
20:03:56
t3 это кто?
Johnnie28.12.2016
20:04:09
20:04:09
это твое
Denis28.12.2016
20:04:29
20:04:29
1000000 сделай
Johnnie28.12.2016
20:04:51
20:04:51
c = collections.Counter(order)
result = list(map({k for k, v in c.items() if v <= max_e}.__contains__, order))
это не работает :([False, True, False, True] should equal [20, 37, 21]
эээ, стоп
Zart28.12.2016
20:06:49
20:06:49
ну я писал навскидку
GoogleJohnnie28.12.2016
20:10:22
20:10:22
хочу запустить большой тест)
Zart28.12.2016
20:14:02
20:14:02
>>> import collections
>>> order, max_e = [1, 2, 3, 1, 2, 3, 3, 3], 2
>>> c = collections.Counter(order)
>>> list(filter({k for k, v in c.items() if v <= max_e}.__contains__, order))
[1, 2, 1, 2]
перепутал фильтр с мапом
Johnnie28.12.2016
20:14:53
20:14:53
Test.assert_equals(delete_nth([20,37,20,21], 1), [20,37,21])
[37, 21] should equal [20, 37, 21]
Igor28.12.2016
20:17:56
20:17:56
This code finds all tags whose id attribute has a value, regardless of what the value is:
soup.find_all(id=True)
...: images = soup.findAll('img', src=True)
...:
In [4]: for image in images:
...: print(image.attrs['src'])
Johnnie28.12.2016
20:20:10
20:20:10
это почему?
Task
Given a list lst and a number N, create a new list that contains each number of lst at most N times without reordering. For example if N = 2, and the input is [1,2,3,1,2,1,2,3], you take [1,2,3,1,2], drop the next [1,2] since this would lead to 1 and 2 being in the result 3 times, and then take 3, which leads to [1,2,3,1,2,3].
Example
delete_nth ([1,1,1,1],2) # return [1,1]
delete_nth ([20,37,20,21],1) # return [20,37,21]Zart28.12.2016
20:21:03
20:21:03
а, я условия не так прочитал
Johnnie28.12.2016
20:21:11
20:21:11
я тоже сначала не так прочел
Zart28.12.2016
20:21:15
20:21:15
я думал оставить лишь элементы, встречающиеся не чаще N раз
Igor28.12.2016
20:21:37
20:21:37
ыы, то же самое подумал
Zart28.12.2016
20:23:36
20:23:36
.count() в компрехеншн и алга
ну так алга же:
>>> [elem for i, elem in enumerate(order) if order[:i].count(elem) < max_e]
[20, 37, 21]Johnnie28.12.2016
20:23:53
20:23:53
ну с енумерейтом, да)
GoogleZart28.12.2016
20:24:09
20:24:09
это чтобы не перекладывать из одного листа в другой
Denis28.12.2016
20:24:14
20:24:14
долга
Johnnie28.12.2016
20:24:16
20:24:16
я хотел сначала что-то вроде [i for i in order if order.count(i) <= e_max]
Zart28.12.2016
20:24:25
20:24:25
долго, да. треугольно ж
я хотел сначала что-то вроде [i for i in order if order.count(i) <= e_max]
ну поэтому енумерейт со слайсом, да 8)хммм
>>> import collections
>>>
>>> order, max_e = [20, 37, 20, 21], 1
>>>
>>> def nth(e, cache=collections.defaultdict(int)):
... def check(x):
... cache[x] += 1
... return cache[x] <= e
... return check
...
>>> list(filter(nth(max_e), order))
[20, 37, 21]
Igor28.12.2016
20:36:10
20:36:10
как это работает :О
Johnnie28.12.2016
20:36:14
20:36:14
ээээ...
Zart28.12.2016
20:36:22
20:36:22
т.е. функция проверки ведет подсчет
и возвращает тру/фалс если порог превышен
Zart28.12.2016
20:36:35
20:36:35
фильтр тогда отбрасывает что превысило порог
Igor28.12.2016
20:36:59
20:36:59
а defaultdict(int) нулю равен по умолчанию получается?
я идиот всегда lambda: 0 писал
Zart28.12.2016
20:37:16
20:37:16
это по идее должно дать самый эффективный по скорости вариант, за счет отслеживания колва, а не считать его каждый раз заново через count
>>> int()
0
GoogleDenis28.12.2016
20:39:00
20:39:00
А время скоко?
Johnnie28.12.2016
20:39:06
20:39:06
запускаю с 1000000
бля, а как быстрей всего вывести время
datetime.datetime.time() ?
Denis28.12.2016
20:39:49
20:39:49
timeit.timeit(..., number=1)
Johnnie28.12.2016
20:41:06
20:41:06
не, я не про то
Zart28.12.2016
20:41:13
20:41:13
мда. граблями меня нихуево ща прищемило
import collections
order, max_e = [20, 37, 20, 21], 1
def nth(e):
cache=collections.defaultdict(int)
def check(x):
cache[x] += 1
return cache[x] <= e
return check
list(filter(nth(max_e), order))
потому что иначе придётся каждый раз указывать свежий кэш =_=;
Zart28.12.2016
20:43:27
20:43:27
>>> list(filter(nth(max_e), order))
[20, 37, 21]
>>>
>>> [i for i in order if nth(max_e)(i)]
[20, 37, 20, 21]
>>>
>>> f = nth(max_e) ; [i for i in order if f(i)]
[20, 37, 21]
тот случай когда нельзя напрямую фильтр в компрехеншен перегнать
во втором случае заново пересоздается кэш на каждый элемент
в фильтре вспомогательная функция генерится лишь раз
в третьем варианте вынесено для того же эффекта
Denis28.12.2016
20:45:45
20:45:45
(lambda f: [i for i in order if f(i)])(nth(max_e))
Johnnie28.12.2016
20:46:49
20:46:49
@bladdon ты общее время хотел посмотреть?
Denis28.12.2016
20:46:53
20:46:53
Ага
Johnnie28.12.2016
20:46:54
20:46:54
или отдельное для каждого теста?
Zart28.12.2016
20:46:56
20:46:56
врапперная лямбда..
я собсно изначально хотел это всё однострочником захуячить
Johnnie28.12.2016
20:46:56
20:46:56
а ок
GoogleJohnnie28.12.2016
20:47:00
20:47:00
Started at: 2016-12-28 20:46:01.461851
Finished at: 2016-12-28 20:46:11.356301
In seconds: 0:00:09.894450
Zart28.12.2016
20:47:16
20:47:16
просто слишком ёбнуто выходит там с c.__setitem__, c.setdefault
Johnnie28.12.2016
20:47:17
20:47:17
но это мелкий тест
Зарт, оставляю в том виде?
def delete_nth3(order, max_e):
def nth(e):
cache = collections.defaultdict(int)
def check(x):
cache[x] += 1
return cache[x] <= e
return check
return list(filter(nth(max_e), order))
Zart28.12.2016
20:47:52
20:47:52
ага. читабельно ж
Denis28.12.2016
20:48:09
20:48:09
Сравни вот это с моим на крупном тесте
Johnnie28.12.2016
20:48:11
20:48:11
list_len = 1000000
min_num, max_num = 1, 50
repeats = 3
Denis28.12.2016
20:48:14
20:48:14
Порядка 10^5
Johnnie28.12.2016
20:48:15
20:48:15
или другие поставить?
Denis28.12.2016
20:48:22
20:48:22
Ну или ^6
Johnnie28.12.2016
20:50:01
20:50:01
не, ты чо
Zart28.12.2016
20:50:05
20:50:05
в прошлый раз сколько было?
Denis28.12.2016
20:50:07
20:50:07
Это секунда
Denis28.12.2016
20:50:18
20:50:18
Потому что квадрат
Zart28.12.2016
20:50:19
20:50:19
@bladdon @zartsoft
t1: 1332.5145938309997
t2: 808.875277266
t3: 134.11211553499925