По-матчерный запуск кросс-тестов

[Oleg Sychev]

Originally reported on Google Code with ID 91 ``` Практика показала, что идея цикла перебора матчеров в кросс-тестере неудобна тем, что один матчер с серьезными проблемами эффективно срывает тестирование всех матчеров.

Я думаю, необходим небольшой рефакторинг с созданием отдельных файлов test_cross_nfa.php, test_cross_dfa.php которые можно было бы запустить отдельно для тестирования конкретного матчера. Сами они могут просто вызывать кросс-тестер с определенным параметром, но должны вызвать срабатывание всех кросс-тестов для данного матчера (первое что приходит на ум - перебрать все файлы в каталоге simpletest, выделить по названию файлы с данными кросс-тестов и запустить их с указанием матчера - при этом файлы кросс-тестов переименовать так, чтобы самостоятельно они не запускались). ```

Reported by `oasychev` on 2012-01-06 13:27:48

[Valeriy Streltsov]

``` Я, например, делаю просто unset для неработающего матчера. Мне кажется, можно оставить закомментированными unset'ы для всех матчеров, и раскомментировать нужный матчер. Полностью автоматизировать процесс всё равно не выйдет, потому как кросс-тестер не знает заранее работает ли матчер. А менять передаваемый параметр или раскомментировать строчку мне кажется одинаково просто, но в последнем случае не нужно ничего переписывать. ```

Reported by `vostreltsov` on 2012-01-06 17:19:31

[Oleg Sychev]

``` Ну честно говоря менять параметр сайта или менять строку программы - все же разные вещи. Да и переписывать там не сказать чтоб уж особо много... ```

Reported by `oasychev` on 2012-01-09 16:48:17

[Oleg Sychev]

``` Проблема с комментированием unset'ов - то, что они могут просачиваться в коммиты, таким образом мы можем мешать друг другу. Это как путь к graphviz - один одно закомментил, другой - другое...

Я не настаиваю на скорейшем решении этой проблемы, но лучше иметь ее решенной. Тем более это не так уж и сложно... ```

Reported by `oasychev` on 2012-01-09 18:52:09

[Valeriy Streltsov]

Reported by `vostreltsov` on 2012-01-09 21:57:09 - Status changed: `Fixed`

[Oleg Sychev]

``` НИКОГДА больше не объединяйте исправление и переименование файлов в одном коммите.

Это не дает видеть, что, собственно, изменилось в файлах! ```

Reported by `oasychev` on 2012-01-10 07:23:44

[Oleg Sychev]

``` 1) в ассерты кросс-тестов нужно включить имя класса (файла) из которого были взяты данные теста. Иначе очень неудобно различать будущие тесты от текущих и т.д. Раньше имя файла с тестами было видно, теперь нет.

Может быть стоит вывести и функцию, но тут как хотите - решайте сами.

2) необходимо проапгрейдить значение $CFG->qtype_preg_defaultengine в связи с переименованием матчеров, не только таблицу qtype_preg - см таблицу config (c префиксом mdl_config) Допишите код апгрейда... ```

Reported by `oasychev` on 2012-01-14 04:54:17 - Status changed: `InProgress`

[Valeriy Streltsov]

Reported by `vostreltsov` on 2012-01-14 11:29:33 - Status changed: `Fixed`

[Oleg Sychev]

``` Спасибо :) ```

Reported by `oasychev` on 2012-01-20 12:30:01 - Status changed: `Done`