В общем, у меня главная проблема - миграции на каждый тест. тяжеловато становится постепенно (хотя тоже все относительно)

мы перешли на способ с параллельным запуском и копированием файлов когда прогон всех тестов с накатом миграций и данных перевалил за несколько часов

мы перешли на способ с параллельным запуском и копированием файлов когда прогон всех тестов с накатом миграций и данных перевалил за несколько часов

Я бы до такого не ждал))

сейчас минут в 15 укладывается

а что за миграции перед тестами?

ну всмысле подготовки базы, фикстуры и тд

на постгресе я делал truncate всех таблиц (там он умный кстати, список передаешь он их в правильном порядке очищает), пересоздавать вообще долго, а так 50-80 мс на тест

а что за миграции перед тестами?

ну базу накатить же

ну вот и я про это, что надо очищать а не миграции гонять

Парни, а вопрос о тестировании (конкретнее, Phpunit в Laravel) - как/какую вы БД используете? sqlite в памяти? отдельную тестовую базу? текущую базу с транзакциями? (подразумеваем, что проект работает на MySQL)

Пустая отдельная тестовая БД. Накатываем миграции. Каждый тест чистит данные и прогоняет свои фикстуры. Миграции, пока было не много накатывали каждый тест. Потом оборачивали фикстуры в транзакции и делали роллбэк после теста. Теперь чистим )

мне проще делать через drop table + create table

Это же миграция практически

если схема меняется, то пилим рядом другой sql файл с новой схемой, полученной через экспорт

а как вы порядок удаления таблиц в mysql соблюдаете кстати?

так чем не устраивает вариант после каждого сценария автоматически чистить измененные таблицы?

я просто вызовы drop table в нужном порядке ставлю. у меня редко бывает такое, что в одном тесте используется более трех таблиц

поэтому в методе setup сначала идут вызовы drop table, потом create table. если тест упал, то у меня остаются данные, на которых тест не прошел

дропать и создавать - очень медленно

кстати, delete * еще быстрее

на SSD норм. разница в выполнении с тестом в котором есть drop и без такого теста -- ~0.5 скунды

разработчики тоже должны програть тесты...

это же очень долго

на SSD норм. разница в выполнении с тестом в котором есть drop и без такого теста -- ~0.5 скунды

А если 500 тестов будет?

а разработчику все не надо прогонять, можно отдельно запустить несколько связанных тестов

а разработчику все не надо прогонять, можно отдельно запустить несколько связанных тестов

+

ну, ваше решение

вообще, на мой взгляд, если очень много тестов зависят от БД, значит что-то пошло не так в архитектуре

ну или в проекте около сотни таблиц

Кажется, количество интеграционных тестов зависит от количества сценариев использования, а не от архитектуры. Или вы через БД тестируете компоненты?

через бд я тестирую только слой взаимодействия с бд -- репозитории в основном

для всего остального меняю репозитории работающие с бд на memory и забиваю оперативку

еще вариант можно поднять инстанс сервера бд у которого вместо записи на физ. диск будет запись в такую штуку https://www.cyberciti.biz/faq/howto-create-linux-ram-disk-filesystem/

ну к примеру, при опреденном обращении к одному роуту, по событию должна идти запись в одну из таблиц. вот и проверяю в бд прямо

Здрасти

приветики

Ребят Чем парсить html страницу, которая меняет селекторы раз в несколько часов?

symfony/dom-crawler

symfony/dom-crawler

Щя чекну сяп

а какая разница чем парсить страницу? меняет она селекторы или нет, что, в чем разница?

Какая разница чем парсить. У тебя проблема в том что селекторы меняются раз в несколько часов, а не в том "чем парсить"

через бд я тестирую только слой взаимодействия с бд -- репозитории в основном

Мы также, но вот сущностей у нас полторы сотни. Таблиц, соответсвенно еще больше. Вот мы и уперлись в скорость удаления/создания таблиц.

ну к примеру, при опреденном обращении к одному роуту, по событию должна идти запись в одну из таблиц. вот и проверяю в бд прямо

ну а если для тестов в DI зарегать вместо слоя работающего с бд, слой, работяющий с памятью в качестве хранилища? можно будет уже потом не в бд проверять, а в памяти

Парсить HTML на страницах это неуважение к брату :( У тех кого вы парсите точно АПИ нету?

Парсить HTML на страницах это неуважение к брату :( У тех кого вы парсите точно АПИ нету?

ну раз селекторы меняют, значит, поди, не хотят делиться контентом. а кто-то его очень хочет)

а какая разница чем парсить страницу? меняет она селекторы или нет, что, в чем разница?

Я просто знаю как парсить через выбор селектора А как без них не знаю

такое часто можно встретить у букмекиров. Есть такое понятие "Вилки", это когда на разнице коэф в разных конторах, пожно поставить так что при любом раскладе будет профит.

Букмекеры меняют html чтобы их не парсили

Мы также, но вот сущностей у нас полторы сотни. Таблиц, соответсвенно еще больше. Вот мы и уперлись в скорость удаления/создания таблиц.

ну т.е. полный набор должен пробегать примерно за 12 минут?

Или к примеру бесплатные списки прокси. Там тоже часто можно встретить защиту от парсинга в таком виде.

Я просто знаю как парсить через выбор селектора А как без них не знаю

если меняют код для защиты от пасинга, то серебрянной пули нет. ни селекторы, ни регулярки (скорее всего) не помогут

Хотя сильно зависит от ситуации. может меняют только селекторы, тогда регулярками можно поработать

одним из преимуществ микросервисной архитектуры, кстати, указывают то, что тесты для каждого сервиса обособлены и проходят горааааздо быстрее

если меняют код для защиты от пасинга, то серебрянной пули нет. ни селекторы, ни регулярки (скорее всего) не помогут

ну если списки прокси, то можно хотя бы по шаблону ip адреса спарсить

но там часто порт картинкой сделан)

Я просто знаю как парсить через выбор селектора А как без них не знаю

информация в селекторах статичная? или она тоже меняется постоянно?

информация в селекторах статичная? или она тоже меняется постоянно?

тоже меняется

не меняется только структура

если ты глазами надешь какие-то закономерности, как инфу получить со страницы, то скорее всего это можно запрограммировать

ну если списки прокси, то можно хотя бы по шаблону ip адреса спарсить

192.168<span>162</span><b>.324</b>.0.34<div>145</div>

Ребят Чем парсить html страницу, которая меняет селекторы раз в несколько часов?

все забывают про старый добрый xpath

192.168<span>162</span><b>.324</b>.0.34<div>145</div>

strip_tags

не меняется только структура

что значит структура? OCR ?

а

не учел, что там могут быть в hidden

и вылезут лишние символы тогда

strip_tags

и получится 192.168.162.324.034.145. Так тоже не получится. Там глубже надо смотреть.

все забывают про старый добрый xpath

у меня он и пользуется в одном проекта парсинггов новосей. прелестная штука

Подскажите, что означает Missing function doc comment?

не меняется только структура

Там цифры? или текст? Я как вариант делал через OCR. Делаешь картинку, и из куска картинки получается цифры.

а по мне так лучше вкорячить CSS Selector -> XPath, все таки с селекторами удобнее работать

Блин как объяснить Есть страница Там <div class="23dkfdjfkfjdfkjw3rfefvkj"> <div class="lwjp234jb53jb25b3j4kb"> </div></div> Внутри <div>ов информация которую нужно вытащить, структура самого сайта не меняется, то есть все блоки всегда на своих местах Вот каким средством можно сделать так что бы выбрать html->body->вот тут выбрать div третий сверху -> и тут div второй например?

regex

Через XPath /div[2]/diiv[1]/span[2]

Через XPath /div[2]/diiv[1]/span[2]

О, а так можно? :DDDD Ладно, сейчас гляну, сяп

Еще есть :nth-child()

А что значит "сяп"? Спасиб типа?

А что значит "сяп"? Спасиб типа?

Да

пойду блесну в нашем чатике старперов. сяп

?

и получится 192.168.162.324.034.145. Так тоже не получится. Там глубже надо смотреть.

да тут может быть еще динамический js и css, который будет на лету скрывать ненужное (или, например дешифровать или добавлять нужное). и если еще можно css с трудом распарсить и применить, то для js уже нужен вирт браузерный движок

Блин как объяснить Есть страница Там <div class="23dkfdjfkfjdfkjw3rfefvkj"> <div class="lwjp234jb53jb25b3j4kb"> </div></div> Внутри <div>ов информация которую нужно вытащить, структура самого сайта не меняется, то есть все блоки всегда на своих местах Вот каким средством можно сделать так что бы выбрать html->body->вот тут выбрать div третий сверху -> и тут div второй например?

а ранд количество невидимых (с дин ксс и классами) блоков не впихивают? я бы так делал) единственный вариант когда бы не, если бы с горем пополам политика бы запрещала инлайн код (тогда инклюд ксс который дин пых)

Блин как объяснить Есть страница Там <div class="23dkfdjfkfjdfkjw3rfefvkj"> <div class="lwjp234jb53jb25b3j4kb"> </div></div> Внутри <div>ов информация которую нужно вытащить, структура самого сайта не меняется, то есть все блоки всегда на своих местах Вот каким средством можно сделать так что бы выбрать html->body->вот тут выбрать div третий сверху -> и тут div второй например?

Symfony Crawler посмотри.

Блин как объяснить Есть страница Там <div class="23dkfdjfkfjdfkjw3rfefvkj"> <div class="lwjp234jb53jb25b3j4kb"> </div></div> Внутри <div>ов информация которую нужно вытащить, структура самого сайта не меняется, то есть все блоки всегда на своих местах Вот каким средством можно сделать так что бы выбрать html->body->вот тут выбрать div третий сверху -> и тут div второй например?

https://github.com/FriendsOfPHP/Goutte https://github.com/Imangazaliev/DiDOM

Первый как раз построен на основе Symfony Crawler

помогите пожалуйста // Use your knowledge of strlen(), substr(), and rand() to // print a random character from your name to the screen. $name = "Timur"; $part= strlen($name)-1; print $part; $if=substr($name,rand(0,$part),5); print $if; $og=rand(0,$part),5); print $og;

ну и с чем помочь то?

Я думал, человек не дописал просто

А он и молчит дальше

что-то неверно, не пропускает задание, с пометкой Oops, try again. The random output you printed from your name should be a letter.

rand возвращает число. Все ок

$og=rand(0,$part),5); это вооще работает?

нет parse eror какой-то

странно