@ru_python

Страница 8119 из 9768
hachiman
16.02.2019
22:42:15
Файл появляется когда проигрываешь ?

Terminator
16.02.2019
22:44:01
@ceperacepera будет жить. Поприветствуем!

hachiman
16.02.2019
22:44:30
Да
Selenium кликает видео, ты даешь xpath и он получает файл

Google
^^
16.02.2019
23:12:54
Переходил по ссылку что я те отправил ?
Да, там писанно про лимиты, а мне надо именно список подленее, чего я не добился

То что я делаю, приближает меня к успеху ?
16.02.2019
23:36:30
Нужно ли смотреть на другие языки и потом подходить к Питону, или можно один Питон сразу изучать ?

^^
16.02.2019
23:47:18
У них что-ли нет платных сервисов ?
Есть, значит это возможно.

hachiman
16.02.2019
23:47:55
Mackenlly
17.02.2019
00:02:22


Подскажите, что делать?

hachiman
17.02.2019
00:13:15
В связе с чем столкнулись ?

^^
17.02.2019
00:19:38
Happy Hacking! :)
Спасибо

Mackenlly
17.02.2019
00:33:52
В связе с чем столкнулись ?
в связи с загрузкой датасета напрямую в память на 3гб

В связе с чем столкнулись ?
Даже на 1гб пробовал, все равно

Google
Mackenlly
17.02.2019
00:34:46


загрузился процесс на 4,5 гб RAM и все.... Memory Error.

Никитяо
17.02.2019
00:36:41
предположу, что своп кончается

на локальной тачке запускается?

Mackenlly
17.02.2019
00:37:45
на арчике



Никитяо
17.02.2019
00:38:49
обижаешь
так запускается или нет?

Mackenlly
17.02.2019
00:38:55
предположу, что своп кончается
как бы я же говорю, на половину RAM загружается резко и все, переполнение.

на 300мб

хочется в три раза больше минимум

Никитяо
17.02.2019
00:39:44
а на сервере нет? смотрим в чем разница конфигураций, смотрим разницу в метриках, в данном случае по памяти

Может он пытается распаковаться в память, крашится на выделении памяти интерпретатором

Mackenlly
17.02.2019
00:41:35
Может он пытается распаковаться в память, крашится на выделении памяти интерпретатором
Вооо я об этом подумал, что там есть ограничения свои по памяти встроенный в интерпретатор питона, но наткнулся на статью, что он опирается на ограничение предоставленной ОС

Вот к чему я скрин ulimit кинул. Там тип ограничений не накладывается

Через resource.setrlimit пытался убрать ограничение, но ничего не выходит

hachiman
17.02.2019
00:45:14
в связи с загрузкой датасета напрямую в память на 3гб
https://datascience.stackexchange.com/questions/27767/opening-a-20gb-file-for-analysis-with-pandas

https://www.dataquest.io/blog/pandas-big-data/

Mackenlly
17.02.2019
00:48:11
https://www.dataquest.io/blog/pandas-big-data/
ОооооО, спасибо, closed

Google
hachiman
17.02.2019
00:49:08
:)

nope - это типа Был рад помочь, Изи, не стоить блогодарности, если что...

Уточка
17.02.2019
02:25:40
Где брать смайлики?!

?

Tishka17
17.02.2019
02:33:53
Не надо

RigoSex
17.02.2019
03:37:14
Какие есть непрожорливые способы проверить вхождение элемента в список?

Я обычно использую перебор всех элементов и сравнение, но это мне не кажется идеальным вариантом

not in вообще непонятно как работает

Tishka17
17.02.2019
03:44:49
Если тебе надо постоянно проверять принадлежность списку, храни уже сет

RigoSex
17.02.2019
03:45:50
?

RigoSex
17.02.2019
03:46:46
мне вот не нравилось что там порядка нет, но ведь можно же сделать псевдо-порядок добавляя в конец списка?

Tishka17
17.02.2019
03:47:11
Можешь взять OrderedDict

RigoSex
17.02.2019
03:47:29
Ну это уже дикт, а у меня тысячи строк будут

Tishka17
17.02.2019
03:47:32
А вообще, можешь хранить список и сет дополнительно

Ну это уже дикт, а у меня тысячи строк будут
Дикт от сета почти ничем не отличается

RigoSex
17.02.2019
03:48:06
если можно будет избежать проверки на вхождение - сэкономим процессорное время

возьму сеты однако

Tishka17
17.02.2019
03:50:06
А задача какая?

Google
Admin
ERROR: S client not available

RigoSex
17.02.2019
03:50:07
Грасиас

Парсинг тысячи диалогов из ФБ, я начинаю с пиздинга самих чатов Получаем строку с именем, типом и айдишником

Ограничения апи дают только 20 и по временной шкале, которую я буду дрочить В итоге постоянно будет давать одних и тех же

Tishka17
17.02.2019
03:51:07
А список?

RigoSex
17.02.2019
03:51:21
А что список?

Tishka17
17.02.2019
03:51:30
В списке что хранишь?

RigoSex
17.02.2019
03:51:48
Ну вот строки эти храню

И прежде чем добавить - приходиться проверять, есть ли уже внутри

А проверять 20 раз один и тот же список звучит как трата процессорного времени

Yurii
17.02.2019
03:53:43
Может вначале длину сверять. Или еще какой поверхностный анализ.

RigoSex
17.02.2019
03:54:17
Да там примерно одна и та же длинна, уникальность в содержимом строки все таки

А насчет сэтов - никто не знает как он проверяет вхождение?

RigoSex
17.02.2019
03:55:51
?ну я так тоже могу

Tishka17
17.02.2019
03:55:57
Считай константное время

RigoSex
17.02.2019
03:56:12
Первый раз такое слышу

Воу

Yurii
17.02.2019
03:56:51
По хэшу
Получается типа скорость как у словаря чтоли.

RigoSex
17.02.2019
03:57:05
я вот именно так и подумал

Google
Tishka17
17.02.2019
03:57:09
Получается типа скорость как у словаря чтоли.
Так это по сути словарь без значений

Только ключи

RigoSex
17.02.2019
03:57:15
ибо делал ровно так же, с хэшем словарик

не думаю что строка в 40 символов сильно медленнее хэша будет

А ещё ведь коллизии...

Tishka17
17.02.2019
03:57:53
Ты кажется не понимаешь

Сначала проверяется хэш, если найдён - само значение

Хэш позволяет мгновенно проверку сделать без перебора

RigoSex
17.02.2019
03:58:57
?а как он проверит хэш всех элементов не перебирая их?

Страница 8119 из 9768