😂

Через iptable?

И да... Система не является шлюзом

По этому именно по ip, а не по домену

Привет. Есть кто парсил Linkedin? Не через API. Нужно получить список контактов юзера. Список я получил по такой ссылке https://www.linkedin.com/mynetwork/invite-connect/connections/ , но есть пагинация. Кто знает, как указать след. страницу или оффсет?

у меня он заблокировн

Шерстить элементы откровенно заколебусь, поэтому если кто знает, буду признателен за помощь.

Он на территории РФ заблокирован, да.

Смотрели что происходит при выборе страницы? запрос, заголовки

может есть указание количества, чтобы на одной странице все были

Да, спасибо, только что друг то же самое подсказал, connections?start=40&count=40

Я не догадался, хотя постоянно с консолью работаю.

Благодарю

Igor Rabodzei: Кто то смотрит стримы как кто то кодит ?

Да ступил...

Igor Rabodzei: Кто то смотрит стримы как кто то кодит ?

Редко

Просто есть друг который работает в гугл и он хочет попробовать стримить

Нужна интересная тема

highload

highload

+

обработка больших файлов средствами PHP, например.

Igor Rabodzei: Кто то смотрит стримы как кто то кодит ?

я как то сам стримил, но инструменты kali, а не код)

я бы с удовольствием посмотрел

а в плане кода- если что то интересное могут разобрать и поделиться- то почему бы нет)

в целом, ребята, у кого-нибудь нет ссылки на любую информацию об обработке больших файлов?

гугл не?

https://habrahabr.ru/sandbox/38469/

http://www.php.su/forum/topic.php?forum=83&topic=1950

парсинг XML файлов, например

парсинг XML файлов, например

http://dpyatkov.ru/2012/01/12/simplexmlreader/

http://dpyatkov.ru/2012/01/12/simplexmlreader/

я на XMLReader-е остановился

конечно, я искал, но находил только сомнительные варианты

гугл не?

https://habrahabr.ru/sandbox/38469/

http://www.php.su/forum/topic.php?forum=83&topic=1950

ну это самые известные расширения

и вероятней всего самые производительные

я правильно понимаю, что во второй ссылке только указание лимитов настроек сервера?

я правильно понимаю, что во второй ссылке только указание лимитов настроек сервера?

да, не то)

не похоже это на решение и, тем более, на самое производительное

я про эти)

http://www.php.su/forum/topic.php?forum=83&topic=1950

тьфу

короче там где XMLreader был

https://stackoverflow.com/questions/15363901/parsing-extremely-large-xml-files-in-php

тут вот 40Gb таблицу парсят и норм

с XML - хорошо, может быть это и есть лучшее решение, с обычными большими файлами что делать? SPL?

на самом деле на практике я использую старое военное правило

я на SPL остановился, но хотелось бы услышать мнения

Разделяй и властвуй

Но это если есть время на прописание алгоритмов и разбитие

если нет, то для каждой задачи можно в гугле посмотреть, какое решение оптимизирует нагрузку лучше всего)

зачем вертеть таблицу в 40гигов, если можно поочередно вертеть таблицы по 10 гигов

самые неактуальные данные в 4ю таблицу

последовательный перебор

ну это касательно SQL

Чат для Instagramщиков: ‼️ https://t.me/inst_admins ‼️

Чат для Instagramщиков: ‼️ https://t.me/inst_admins ‼️

/warn

тьфу не тот чат :3

я на SPL остановился, но хотелось бы услышать мнения

Конкретно какая задача сейчас стоит?

Конкретно какая задача сейчас стоит?

задача не стоит, просто интересно. Ну допустим обработка большого(гиг+) файла средствами php

например, проход по строкам

поиск чего-нибудь, неважно

важен сам процесс открытия файла и его чтение.

на самом деле сюда подглядывал часто: https://habrahabr.ru/post/330240/

но вот время выполнения, очень печально там

200мб = 4.10сек.

2000мб = ~52.1 сек

это относительно дома

просто по таблицам я вроде уже скинул хороший вариант этого года)

XMLReader?

угу

2000мб ~2.20 сек

хорошо, спасибо за обсуждение)

200мб же

кстати, я думал быстрее будет)

200 - 2сек

ой пардон

20сек да

Вы правы