Serghei
срочно забрать нужное
Serghei
без io overhead
Taras
холодильник спасет )
Serghei
rsync положит тачку
Aleksandr
почему
Serghei
терабайт
Taras
а, т.е. физического доступа нету?
Serghei
rsync строит дерево
Serghei
в памяти
Serghei
heac -c 4 вернет первые 4 байта
Serghei
в пдв файлах первый 4 символа pdf%
S
тут про мускуль говорили и медленные запросы. В таком контексте мускуль нужно выкинуть. Поставить что-то вроде перконы
Сначала все-таки посмотреть что с запросами ) А то есть у меня знакомые , которые боролись с тормознутостью сайта - купили 32Гб ОЗУ. Сказали, что так сайт не тормозит (колво запросов < 50)
Aleksandr
а зачем 8 миллионов пдф, стесняюсь спросить?
Serghei
в этом направлении думаю
Serghei
это фалопомомойка еще раз
Aleserche
Serghei
там не 8 м пдф а всего файлов
Serghei
нужно отобрать полезные
Aleksandr
Taras
причем еще и судя по всему заголовки прочитать, если без расширений
Serghei
угу
Serghei
вот и думаю
Serghei
причем это прод, диск в единственном экземпляре
Serghei
жаже хуже. это массив дисков по nfs
Taras
бэкендеры настраивали? )
Aleksandr
поповы)
Serghei
хз кто
Serghei
надо решить задачу просто
Serghei
а не искать попова )
Nikolay
надо решить задачу просто
http://serverfault.com/questions/18125/how-to-copy-a-large-number-of-files-quickly-between-two-servers
Nikolay
так решай а не балоболь в чате
Serghei
так, а как полезные отобрать?
Taras
"кто еще не делает бэкапы, и кто их уже делает"
Serghei
ну это я нагуглил
Serghei
ссылка кстати не подходит
Serghei
ибо хуйню советуют. я по этому хочу только полезные файлы забрать ибо терабайт в tar по ssh по сети или rsync это не серьезно
Aleksandr
не матерись
Serghei
не буду
Nikolay
ибо хуйню советуют. я по этому хочу только полезные файлы забрать ибо терабайт в tar по ssh по сети или rsync это не серьезно
конечно фигню советуют, берешь машину в той же подсети/сети и спокойно копируешь
Serghei
диски сыпятся
Nikolay
думать что диски мрут нужно было раньше
Aleserche
find -type f -exec file -i {} \; | grep -i pdf
Serghei
только вмето grep head хочу
Serghei
по этому увидив что тут одни линуксоиды и советуюсь
Nikolay
find -type f -exec file -i {} \; | grep -i pdf
скушает кучу памяти, см https://habrahabr.ru/post/157613/
Serghei
да оно ж перечитывает весь файл
Serghei
а head ровно столько сколько ты скажешь
Serghei
но мне кажется в io упрусь
Serghei
вот и думаю пока
Serghei
у меня на решение день еще. завтра надо выдать решение
CybernatiC
sudo rm . -r -f
CybernatiC
:)
S
Я бы еще по размеру минимальному отсеял, если есть мелкие файлы, которые однозначно не могут быть PDF
CybernatiC
Там разрешено) на чате php
Aleksandr
ага
Aleksandr
хочется мне так
Taras
Помоги Даше задержать матерящихся программеров.
Taras
тем не менее кто-то мое сообщение удалил... :)
Taras
Taras
Кажись смерть тоже в коворкинге гугла работает
CybernatiC
Слёрм
Alexey
Есть задача:
Есть множества картинок X и Y.
Во множестве Y - картинки высокого разрешения, часть из которых является более качественными вариантами части картинок из множества X (пересечение неполное).
Нужно объединить множества картинок во множество Z, в котором некачественные картинки из X будут заменены на более качественные варианты из Y, если там таковые есть.
Вопрос не про алгоритм замены, а про то, кто какие знает инструменты для PHP, которые могут определять сходство картинок.
Если совсем упростить формулировку задачи, нужен tineye под PHP :)
CybernatiC
Нейронная сеть от гугл тоже умеет
Anonymous
https://github.com/jenssegers/imagehash
Helgo
Есть задача:
Есть множества картинок X и Y.
Во множестве Y - картинки высокого разрешения, часть из которых является более качественными вариантами части картинок из множества X (пересечение неполное).
Нужно объединить множества картинок во множество Z, в котором некачественные картинки из X будут заменены на более качественные варианты из Y, если там таковые есть.
Вопрос не про алгоритм замены, а про то, кто какие знает инструменты для PHP, которые могут определять сходство картинок.
Если совсем упростить формулировку задачи, нужен tineye под PHP :)
Говорили что Imagick такое делает? Мы тут буквально вот-вот из-за древнего косяка при кропе занимались сравнием картинок :)
Ivan
Для того, чтобы сделать динамические роуты в симфони в какую стороную копать? Без использования symfony-cmf (какие проблемы с совместимостью, да и в целом мне кажется избыточным для моих целей)
Ivan
я так понимаю нужен свой UrlMatcher
CybernatiC
Перенаправь в контроллер с параметром
CybernatiC
Оттуда и действуй
CybernatiC
Мы так делали субдомены
Ivan
мне нужно чтобы в контроллер приходили все реквесты, в том числе и такие /uripart1/uripart2/etc, а дальше он передаёт данные сервису, который проверяет наличие url в таблице бд
Ivan
как-то так, в общем нужна едина точка обработки запросов, как я полагаю. И да, поддомены хоста тоже перехватывать понадобится
Nikolay
мне нужно чтобы в контроллер приходили все реквесты, в том числе и такие /uripart1/uripart2/etc, а дальше он передаёт данные сервису, который проверяет наличие url в таблице бд
делаешь последнее правило роутинга как .* и направляешь его на свой метод нужного котроллера
Ivan
хмм...про widcard не подумал, спасибо!
Ivan
а я тут писец наворотил уже😂