Vlad
Мне нужно распарсить текстовый файл размером 200 мб ( 5 млн строк). Пишу: $string = file('file.txt'); При этом используется 1 ГБ памяти. Почему не 200 мб?
Sergey
потому что массив и строки имеют накладные расходы, и чем меньше длинна строки в файле, тем больше накладные расходы в процентном соотношении
Юрий
тебе еще повезло :)
Юрий
смысл в том что каждая переменная в твоем скрипте это сложная структура данных
Юрий
внутри движка
Евгений
а можешь пример привести? суть я понял, но слишком сложно звучит)
очень грубо говоря, на строку длиной в 1 символ накладных расходов будет примерно столько же, сколько на строку в 1000 символов
Евгений
накладные расходы - это метаданные о строке
Евгений
её длина например
Юрий
для обработки больших файлов нужно читать файл по частям. и можешь обрабатывать файлы хоть по терабайту. fopen / fread
Евгений
вот это неожиданная информация, я и не знал, что такое бывает
ещё важный момент - кодировка. некоторые кодировки жрут по 2 байта на символ, некоторые по 4
Евгений
то есть, твой файл легко мог сожрать например 4 гб
Евгений
в памяти
Евгений
или 2
Sergey
ещё важный момент - кодировка. некоторые кодировки жрут по 2 байта на символ, некоторые по 4
это уже мало влияет, ведь тогда они и на диске будут по 2 байта занимать
Юрий
да, если он не перекодирует их руками. (вряд ли)
Дмитрий
а видеть он будет 1 символ на 2/4 байта )
Тесть это как strpos и mb_strpos(как-так пишется, вроде)
Евгений
угу. стрпос видит длину в байтах, а мб_стрпос - в символах
Sergey
хм, интереную особенность узнал, php создает строки кратные 32 байтам, т.е. переменные $q = 'qq'; и $c = 'ccccccc'; будут занимать одинаковое количество памяти
Vladimir
поди чтоб лишний раз память не перевыделять
там же структура в которой строка, её длина и т.д., поди эта структура и занимает 32 байта минимум
Evgeniy
Всем привет. Ребят, помогите пожалуйста. https://pastebin.com/8yNP8p8r Как решить данную проблему?( Как понимаю конфликт версию php? Заранее спасибо!
Evgeniy
поставить php 7.1 или 7.2
другого выхода нет?)
Ilya
Ilya
Ilya
Помогите, а
Vladimir
другого выхода нет?)
ну видимо используются фичи из 7.1, которых нет в 7.0, я хз какие другие выходы могут быть :)
Anonymous
Помогите, а
чутка не туда
Ilya
чутка не туда
Мне в чатиках по линуксу не могут помочь
Ilya
или не хотят
Ilya
а типо в пхп помогут
Надежда умирает сам знаешь
Anonymous
или не хотят
скорее второе
Anonymous
а вообще
Anonymous
ставить кали
Anonymous
очень плохая затея
Anonymous
лучше манжаро
Ilya
лучше манжаро
Да у меня любоц дистрибут линукса не идет
Anonymous
кали как лайв система для пентеста хороша
Ilya
с этой же ошибкой
Anonymous
с этой же ошибкой
с хардом мб траблы
Ilya
кали как лайв система для пентеста хороша
а мне думаешь нах? Но не лайв, мне надо основную
Ilya
с хардом мб траблы
сегодня купил
Anonymous
отвечаю
Ilya
пробовал на старый ставить, та же ошибка
Ilya
отвечаю
с законом?
Anonymous
Anonymous
с пакетами
Anonymous
дебиановскими
Ilya
да все норм
Ilya
мне бы поставить
Anonymous
пробовал на старый ставить, та же ошибка
тогда даже хз, с таким не сталкивался
Ilya
тогда даже хз, с таким не сталкивался
да никто сука не сталкивался
Anonymous
смени скрины на линукс минт и я чат в лс хороший кину
Anonymous
там максимально попробуют помочь
Ilya
А че кали забракуют?
Anonymous
но опять же рекомендую скрины на линукс минт поменять и точно помогут
Anonymous
скажут мол мамкин хацкир, все дела
Anonymous
почему не ставишь норм дистр
Ilya
ниче, разберусь
Anonymous
кококо
Ilya
кидай
Anonymous
крч в таком духе
Evgeniy
ну это твое задание, тебе и делать
Vladimir
неужели не гуглится?
Евгений
вывод ошибок сделай
Евгений
раз белый экран, вывод ошибок закрыт
The Ant
ух забористо
The Ant
} else if ($file_headers[0] == 'HTTP/1.1 200 OK') { а если HTTP/1.0, HTTP/2.0?
Gosp
оу да.. норм вставило
The Ant
учу как по быстрому :D if (false === $robots = @file_get_contents($_POST['url'] . 'robots.txt')) { echo 'Нет файла, или вы ввели хуйню'; }