Зачем в память, в пхп же генераторы есть для построчного чтения

а помнить все предыдущие?

Составляешь хеш таблицу строк и кол-во вхождений, те где больше 1 чистишь, классика же

разбить на мелкие куски, отсортировать каждый, смержить с сохранением сортировки, убрать дубликаты

ну да. очевидно хеш. но вот уместится ли он в памяти?

давай предположим что памяти 512 Мб :)

разбить на мелкие куски, отсортировать каждый, смержить с сохранением сортировки, убрать дубликаты

дооооолго

давай предположим что памяти 512 Мб :)

Добавим, но а вообще мап редьюс или любой стриминг http://bigdataprogrammers.com/find-duplicate-value-using-map-reduce/

Добавим, но а вообще мап редьюс или любой стриминг http://bigdataprogrammers.com/find-duplicate-value-using-map-reduce/

ну да. я сразу про мап редус подумал

под винду было бы ещё идеальнее

Понял? Поднимай мап редьюс

Благодарю, гляну.

Благодарю, гляну.

тут еще почитай https://en.wikipedia.org/wiki/External_sorting#External_merge_sort

Благодарю, гляну.

Вообще то это был сарказм

Никто не предложил хорошего алгоритма для одноразового применения :)

Никто не предложил хорошего алгоритма для одноразового применения :)

Ссылка на Вики )

Сортировка не нужна, думаю решается за линейное время в 2 прохода и хеш

Или даже просто crc32

Честно говоря не хотелось бы колхозить что то свое. Думал может быть готовые решения есть или какой код

Сортировка не нужна, думаю решается за линейное время в 2 прохода и хеш

если ты хочешь простой и единоразовый способ, то можно сделать пайплайн без мапредьюса cat file | sort | uniq

Он же все в память засунет?

или sort -u <file inplace

хз если честно не факт, но я не знаю )

Чем это лучше cat file | uniq ?

split -l 10000 source_file chunk_file && for i in chunk_file*; do sort < $i >sorted-$i; done && sort -u -m sorted-* >sorted_and_unique_source_file && rm chunk_file* sorted-* .... как-то так

Чем это лучше cat file | uniq ?

я тебе что профилировщик ? ))) Но если uniq не сортирует, то так будет дольше

хеш потенциально коллизии

хотя вообще это не нужно, да...

у sort самого по себе merge sort, ура

ух... не ожидал, что там такое няшко

ничего себе вы наспамили(за 30 минут 140 сообщений)

хз если честно не факт, но я не знаю )

фтп мне нужен чтобы не париться с самбой внутри своей сети дома

sftp bro

sftp bro

я его асоциирую уже с sftp

sftp bro

и ftp/s тудаже

ну ssh есть всегда, просто ты отдельно упомянул ftp зачем-то ;)

Как по мне проще локально что-то для версионирования поднять или обычный гитлаб + webdav

расскажите мне пожалуйста, передо мной стоит делемма - что-то дальше делать в simfony(уровень знаний поверхностный) или изучать ещё что-то(к примеру bitrix). Нужды: чтобы был профит, чтобы было интересно, сразу скажу, что битрикс мне как-то не импанирует. P.S. Есть вариант уйти в node.js

То есть ты хочешь чтобы мы за тебя решили что тебе интересно?

Какая нода, когда есть Го. Но вообще симфони конечно хорошо, но сколько тебе времени нужно например на реализацию вывода дерева папок по точной аналогии с утилитой tree?

а какая связь между симфони и выводом tree?

То есть ты хочешь чтобы мы за тебя решили что тебе интересно?

http://ozhegov.info/slovar/?ex=Y&q=%D0%A1%D0%9E%D0%92%D0%95%D0%A2

Скачать какой-нибудь TreePrinterBundle :)

http://ozhegov.info/slovar/?ex=Y&q=%D0%A1%D0%9E%D0%92%D0%95%D0%A2

Ну и да, ты хочешь наше мнение о том что тебе понравится?

Я вангую что тебе понравится получать большую зарплату как минимум

Я вангую что тебе понравится получать большую зарплату как минимум

В первом пункте об этом, мне кажется, упомяналось

На мой взгляд само выражение "уйти в X-X-X" некорректно

Ну касательно symfony и beetrix

Уйди во все сразу и там уже видно будет что тебе больше подходит

а какая связь между симфони и выводом tree?

Простая, фреймворк это фигня, а умение писать код приносит профит

ога, "да нету времени читать инструкцию к бензопиле, лес валить надо"

Уйди во все сразу и там уже видно будет что тебе больше подходит

ну во всё сразу будет не очень профитно для мозга ибо кипеть будет

А ну может и так

Хотя вообще там все одинаковое

вообще щас пшп разработка это очень и очень маленькая теоретическая база

Я кстати видел как очень хорошо умеющие писать код люди не удосужились изучить фреймворк и его подходы и писали очень уродливый мутный код )

То что на фреймворке делалось в 5 строчек они реализовывали сами своими могучими мозгами (сила есть же) в 50 строчек

Используя 3-4 хитроумных паттерна

Наворачивали вокруг active record свой слой data mapper (потому что мощно же) и потом мучались что все это не интегрировано со всеми остальными частями фреймворка, не работают реляции и формы.

Писали свои валидаторы и мучились с ними тоже

Свои обертки и адаптеры

Кстати для симфони это особенно актуально, там бывает что какая-нибудь фигня делается одной опцией в конфиге, либо тысячей строчек велосипедокода

"хитроумный" код пишут только говнокодеры, код должен быть поддерживаемый, а программист продуктивный -остальное не важно. Важно то, что человек умеющий писать код в течении недели разбертся в доках любого фреймворка, а "оператор" симфони никогда не решит задачу вне фреймворка.

Ты сейчас как-то завуалировано назвал хороших кодеров говнокодерами :) Непонятно

> Важно то, что человек умеющий писать код в течении недели разбертся в доках любого фреймворка, Ну и это не правда. В доках фреймворка разберется программист, умеющий разбираться в доках фреймворка, а не человек умеющий писать код.

оператор симфони, хыхы... мне кажется у него что симфони, что битрикс - где-то одно и тоже ;)

А человек умеющий писать код - просто оператор алгоритмов и паттернов?

Просто работал я с "гением" одним, он сука за выходные был в состоянии свой докер написать, вот только нет человека способного в этом коде разобраться, а он прям рад, какой крутой хак прикрутил... Умный, не значит хороший )

Вот, именно для этого ровно фреймворки и изобрели. Чтобы делать knowledge sharing на хорошо изученных терминах и подходах.

ERROR: S client not available

А человек умеющий писать код - просто оператор алгоритмов и паттернов?

Вопрос не только в алгоритмах, а для начала в понимании различий в реализациях компонентов и проблем которые они решают.

Только шарить кноледж нужно среди тех у кого есть база, а не тех, кто только методы дергать по примерам научился )

база в знании фреймворка?

о, symfony за неделю, c++ за 21 день.. отличный вечерок ?

Артем, а ты не утомляешься говорить лозунги и прописные истины? ;)

В моем примере утилита tree это классическая задача на рекурсию и довольно простая. База это основы CS

Артем, а ты не утомляешься говорить лозунги и прописные истины? ;)

?

В веб разработке довольно мало CS впринципе

Артем, а ты не утомляешься говорить лозунги и прописные истины? ;)

Я таким образом наверно эти мысли себе приписываю и восхищаюсь собой )))

Мысль что "главное знать основы CS" ?

Ну может для года 2005 и верно, но в 2к18 со всем многообразием платформ и инструментов просто знать основы cs будет тяжеловато

Да и непонятно что такое основы cs

Вот знание докера туда входит?

Знания докера, это инфраструктура. Оно дополняет необходимый минимум и это ещё далеко не все )

Вооот о чем мы и говорим

docker, ansible, symfony, redis, pgsql, rabbitmq, terraform, elasticsearch, phpstrom, xdebug, jenkins, codeception, guzzle, composer, satis и еще 146 терминов которые дополняют необходимый минимум

а о чем мы говорим?

И по объему этот минимум превышают примерно раз в 10

Потому что для основ CS достаточно походить в универ пару лет с 9 до 16, а чтобы не криво применять симфони и все эти тулзы на практике нужно еще 10000 часов работы.

В итоге. Я спрашивал у "прошареныйх опытом" разработчиков back-end, что по ИХ мнению в профите т.к. на начальной волне вполе естественно сомневаться в выборе того, какой инструемнт ты используешь. Ведь гвозди можно забивать и топором. Вникать во все фреймворки сразу - ИМХО бред, но вполне вероятно, что тот фреймворк который используете именно вы по каким-либо причинам. Будет приятен и мне. Или Вы используете что-то т.к. своего создать не можете?

Вникни в симфони хорошо, этого впринципе достаточно чтобы вникнуть во все остальные фреймворки на 40%

Вникни в симфони хорошо, этого впринципе достаточно чтобы вникнуть во все остальные фреймворки на 40%

чётко и ясно, благодарю=)

Я бы предпочел выучить пхп и базовые задачи решать научиться с нуля. А фреймворк учить будешь тот, который будут использовать в команде куда придёшь и уже за зп

Ну ты приходишь а там пишут на codeigniter. Тут сразу ясно что надо увольняться срочно =)

Меня никогда на собеседовании не спрашивали о фреймворках и всегда давали время, чтобы в них вникнуть. Но писать код на доске нужно было всегда и опять же знать базу

базовые задачи, это какие? ;)

Хз, квиксорта инварианты рассмотреть, aptget написать

нахрена?

А если по пхп то сайт сделать

Надо же уточнять еще на какую должность

сайт сделать...

Если ты говорил что работал SRE то эта беседа вообще неадекватна