fofr

for

хранить миллионы файлов в одной директории вообще нехорошо

Гипотетически, по иннодам можно

Гипотетически, по иннодам можно

это на ФС, а в директории?

и иноды есть не на всех ФС

Ну, мы ж не извращенцы. Давайте уже какой-нибудь линупс с ext брать

да, ls -1 будет быстрее

кстати довольно распространенная херня тоже. опыт своей консоли распространяется на пайпы. ___для пайпа___ нет разницы между ls и ls -1 , грубо говоря в пайпе ls ___всегда___ с -1 )

но на всякий случай всегда пишу -1

find . -name \*.pdf -or -name \*.djvu -type f -maxdepth 1

а просто их посчитать?

этот предпросмотр фоток, ссылок тоже херня

в настройках отключается

Кстати, помните старую задачку с chmod? Типо вы сделали chmod -x на chmod. Сколько способов вы знаете восстановить права?

сходу два вспомнил

хранить миллионы файлов в одной директории вообще нехорошо

это вообще не хорошо, но мы обсуждаем ситуацию, когда это уже случилось.

sed 1d короч

о, не знал

Кстати, mc хорошо хавает директории с большим количеством файла

как ни странно

только это не нужно )

Да там и ext4 тормозить будет. Нельзя юзать ls(или если много времени)

почему?

хранить миллионы файлов в одной директории вообще нехорошо

нет, вполне нормально.

хз. Возможно, работа ls не рассчитана на большие объемы

ну задача конкретно такая - удалить самые старые файлы, чтобы осталось 3000

3000 файлов и фат это часть ТЗ

и иноды есть не на всех ФС

с точки зрения vfs иноды есть везде. даже там, где вы их не ожидаете.

3000 файлов и фат это часть ТЗ

там readdir() тормозит и на fat ничего не поможет. потому что такая фс.

например, пайп - это тоже объект cfs

vfs

и сокет - это тоже объект vfs

там readdir() тормозит и на fat ничего не поможет. потому что такая фс.

Вот идея в том, что сейчас для этого делается два прохода - сначала проход по всем файлам, потом для файла надо узнать его последнюю дату модификации (то есть из имени файла опять найти его запись в директории), а потом еще и удалить (третий проход)

хотя если бы был напрямую доступ к каталогу, то имена-то не нужны

пройти, собрать даты и оффсеты, затем удалить по оффсетам

но увы, апи такого не позволяет

как быстро поискать в tuple из листов в которых словари?

Я думаю что не надо усложнять, и просто поискать быстро :)

Что поискать?

как быстро поискать в tuple из листов в которых словари?

отсортировать и построить дерево

Если поискать надо один раз - то быстрее будет без сортировок

Но в общем то до сих пор так и не понятно - что надо искать

Может надо найти list внутри которого есть словари

вот загадка

for object in uploaded_files: print(object) for object_attr in object: print(object_attr.split(':'))

AttributeError: 'dict' object has no attribute 'split'

но

for object in uploaded_files: print(object) for object_attr in object: print(object_attr['name'])

TypeError: string indices must be integers

как понять?

type(object_attr) будет показывать dict

разные object_attr

object_attr[0]

object_attr[0]

+

print(object_attr[0]) KeyError: 0

в чем загадка

ну len object_attr

а вообще type(object_attr) и не еби голову

да просто print(object_attr)

print(type(object_attr)

)

len 5

print(type(object_attr)

dict

выше писал же

keys?

на кейс ругается что там str

dict.keys()

че пишет

Ну так проверки добавь

ERROR: S client not available

AttributeError: 'str' object has no attribute 'keys'

if type(object_attr) == dict: тут object_attr.keys

()

по факту внутри tuple из таких dict {'hash': '2164eeb09c1e102296642d1b7c92e43a', 'bytes': 1096020, 'content_type': 'image/jpeg', 'name': 'public/GbiIWADZiks копия.jpg', 'last_modified': '2016-06-08T14:06:13.592420'},

я ебу сколько раз ты вызывешь его

тоже мне загадка

запятую проебал?

какую запятую? я тебе просто постанул пример

что внутри

по факту внутри tuple из таких dict {'hash': '2164eeb09c1e102296642d1b7c92e43a', 'bytes': 1096020, 'content_type': 'image/jpeg', 'name': 'public/GbiIWADZiks копия.jpg', 'last_modified': '2016-06-08T14:06:13.592420'},

ИМХО проще такие данные гнать в базу. Если надо действительно быстро - писать свою собственную базу и индексировать ее

я расскажу задачу проще. Есть объектное хранилище с "файлами". Есть скрипт который заливает туда файлы. Файлов много несколько десятков тысяч

льется долго

и вот я хочу написать проврку на случай обрыва закачки

чтобы не переливать все заново

и вот я хочу написать проврку на случай обрыва закачки

но для этого не нужен поиск. Вы же льете очередью

хеши сравнивай и голову не еби

не имеет значение что сравнивать

если я не могу дернуть аттррибут

но для этого не нужен поиск. Вы же льете очередью

очередь как таковая не храниться

ты не понял

Есть А и Есть Б

Из А ты льёшь в Б

Б отсылает список файлов на А с хашами

А сравнивает и доливает

че тут сложного.

а если А не умеет?

ну я бы в редис складывал

ребят, как вы считаете, знание ооп выходит в необходимые навыки джуна?

Да

Входит и выходит

Как шарик

в горшочек