added PPCustomFrame classes to restore ability to use replaceVariables with a custom...
[lhc/web/wiklou.git] / maintenance / parserTests.inc
index 197ad32..1e1c483 100644 (file)
@@ -20,7 +20,8 @@
 /**
  * @todo Make this more independent of the configuration (and if possible the database)
  * @todo document
- * @addtogroup Maintenance
+ * @file
+ * @ingroup Maintenance
  */
 
 /** */
@@ -33,27 +34,24 @@ require_once( "$IP/maintenance/parserTestsStaticParserHook.php" );
 require_once( "$IP/maintenance/parserTestsParserTime.php" );
 
 /**
- * @addtogroup Maintenance
+ * @ingroup Maintenance
  */
 class ParserTest {
        /**
         * boolean $color whereas output should be colorized
-        * @private
         */
-       var $color;
+       private $color;
 
        /**
         * boolean $showOutput Show test output
         */
-       var $showOutput;
+       private $showOutput;
 
        /**
         * Sets terminal colorization and diff/quick modes depending on OS and
         * command-line options (--color and --quick).
-        *
-        * @public
         */
-       function ParserTest() {
+       public function ParserTest() {
                global $options;
 
                # Only colorize output if stdout is a terminal.
@@ -98,6 +96,7 @@ class ParserTest {
                } else {
                        $this->recorder = new TestRecorder( $this->term );
                }
+               $this->keepUploads = isset( $options['keep-uploads'] );
 
                $this->hooks = array();
                $this->functionHooks = array();
@@ -105,9 +104,8 @@ class ParserTest {
 
        /**
         * Remove last character if it is a newline
-        * @private
         */
-       function chomp($s) {
+       private function chomp($s) {
                if (substr($s, -1) === "\n") {
                        return substr($s, 0, -1);
                }
@@ -126,9 +124,8 @@ class ParserTest {
         *
         * @param array of strings $filenames
         * @return bool True if passed all tests, false if any tests failed.
-        * @public
         */
-       function runTestsFromFiles( $filenames ) {
+       public function runTestsFromFiles( $filenames ) {
                $this->recorder->start();
                $ok = true;
                foreach( $filenames as $filename ) {
@@ -146,10 +143,7 @@ class ParserTest {
                } else {
                        global $IP;
                        $relative = wfRelativePath( $filename, $IP );
-                       print $this->term->color( 1 ) .
-                               "Reading tests from \"$relative\"..." .
-                               $this->term->reset() .
-                               "\n";
+                       $this->showRunFile( $relative );
                }
 
                $data = array();
@@ -260,7 +254,8 @@ class ParserTest {
         * @param string $result Result to output
         * @return bool
         */
-       function runTest( $desc, $input, $result, $opts ) {
+       private function runTest( $desc, $input, $result, $opts ) {
+               global $wgParserConf;
                if( $this->showProgress ) {
                        $this->showTesting( $desc );
                }
@@ -285,12 +280,14 @@ class ParserTest {
 
                $noxml = (bool)preg_match( '~\\b noxml \\b~x', $opts );
 
-               $parser = new Parser();
+               $class = $wgParserConf['class'];
+               $parser = new $class( $wgParserConf );
                foreach( $this->hooks as $tag => $callback ) {
                        $parser->setHook( $tag, $callback );
                }
-               foreach( $this->functionHooks as $tag => $callback ) {
-                       $parser->setFunctionHook( $tag, $callback );
+               foreach( $this->functionHooks as $tag => $bits ) {
+                       list( $callback, $flags ) = $bits;
+                       $parser->setFunctionHook( $tag, $callback, $flags );
                }
                wfRunHooks( 'ParserTestParser', array( &$parser ) );
 
@@ -301,11 +298,11 @@ class ParserTest {
                        $out = $parser->preSaveTransform( $input, $title, $user, $options );
                } elseif (preg_match('/\\bmsg\\b/i', $opts)) {
                        $out = $parser->transformMsg( $input, $options );
-               } elseif( preg_match( '/\\bsection=(\d+)\b/i', $opts, $matches ) ) {
-                       $section = intval( $matches[1] );
+               } elseif( preg_match( '/\\bsection=([\w-]+)\b/i', $opts, $matches ) ) {
+                       $section = $matches[1];
                        $out = $parser->getSection( $input, $section );
-               } elseif( preg_match( '/\\breplace=(\d+),"(.*?)"/i', $opts, $matches ) ) {
-                       $section = intval( $matches[1] );
+               } elseif( preg_match( '/\\breplace=([\w-]+),"(.*?)"/i', $opts, $matches ) ) {
+                       $section = $matches[1];
                        $replace = $matches[2];
                        $out = $parser->replaceSection( $input, $section, $replace );
                } else {
@@ -317,7 +314,8 @@ class ParserTest {
                        } else if (preg_match('/\\bcat\\b/i', $opts)) {
                                global $wgOut;
                                $wgOut->addCategoryLinks($output->getCategories());
-                               $out = $this->tidy ( implode( ' ', $wgOut->getCategoryLinks() ) );
+                               $cats = $wgOut->getCategoryLinks();
+                               $out = $this->tidy( implode( ' ', $cats['normal'] ) );
                        }
 
                        $result = $this->tidy($result);
@@ -332,15 +330,29 @@ class ParserTest {
                }
        }
 
+
+       /**
+        * Use a regex to find out the value of an option
+        * @param $regex A regex, the first group will be the value returned
+        * @param $opts Options line to look in
+        * @param $defaults Default value returned if the regex does not match
+        */
+       private static function getOptionValue( $regex, $opts, $default ) {
+               $m = array();
+               if( preg_match( $regex, $opts, $m ) ) {
+                       return $m[1];
+               } else {
+                       return $default;
+               }
+       }
+
        /**
         * Set up the global variables for a consistent environment for each test.
         * Ideally this should replace the global configuration entirely.
-        *
-        * @private
         */
-       function setupGlobals($opts = '') {
+       private function setupGlobals($opts = '') {
                # Save the prefixed / quoted table names for later use when we make the temporaries.
-               $db = wfGetDB( DB_READ );
+               $db = wfGetDB( DB_SLAVE );
                $this->oldTableNames = array();
                foreach( $this->listTables() as $table ) {
                        $this->oldTableNames[$table] = $db->tableName( $table );
@@ -349,19 +361,13 @@ class ParserTest {
                        $this->uploadDir = $this->setupUploadDir();
                }
 
-               $m = array();
-               if( preg_match( '/language=([a-z]+(?:_[a-z]+)?)/', $opts, $m ) ) {
-                       $lang = $m[1];
-               } else {
-                       $lang = 'en';
-               }
-
-               if( preg_match( '/variant=([a-z]+(?:-[a-z]+)?)/', $opts, $m ) ) {
-                       $variant = $m[1];
-               } else {
-                       $variant = false;
-               }
-
+               # Find out values for some special options.
+               $lang =
+                       self::getOptionValue( '/language=([a-z]+(?:_[a-z]+)?)/', $opts, 'en' );
+               $variant =
+                       self::getOptionValue( '/variant=([a-z]+(?:-[a-z]+)?)/', $opts, false );
+               $maxtoclevel =
+                       self::getOptionValue( '/wgMaxTocLevel=(\d+)/', $opts, 999 );
 
                $settings = array(
                        'wgServer' => 'http://localhost',
@@ -369,8 +375,15 @@ class ParserTest {
                        'wgScriptPath' => '/',
                        'wgArticlePath' => '/wiki/$1',
                        'wgActionPaths' => array(),
-                       'wgUploadPath' => 'http://example.com/images',
-                       'wgUploadDirectory' => $this->uploadDir,
+                       'wgLocalFileRepo' => array(
+                               'class' => 'LocalRepo',
+                               'name' => 'local',
+                               'directory' => $this->uploadDir,
+                               'url' => 'http://example.com/images',
+                               'hashLevels' => 2,
+                               'transformVia404' => false,
+                       ),
+                       'wgEnableUploads' => true,
                        'wgStyleSheetPath' => '/skins',
                        'wgSitename' => 'MediaWiki',
                        'wgServerName' => 'Britney Spears',
@@ -381,7 +394,7 @@ class ParserTest {
                        'wgLang' => null,
                        'wgContLang' => null,
                        'wgNamespacesWithSubpages' => array( 0 => preg_match('/\\bsubpage\\b/i', $opts)),
-                       'wgMaxTocLevel' => 999,
+                       'wgMaxTocLevel' => $maxtoclevel,
                        'wgCapitalLinks' => true,
                        'wgNoFollowLinks' => true,
                        'wgThumbnailScriptPath' => false,
@@ -391,6 +404,15 @@ class ParserTest {
                        'wgUseTidy' => false,
                        'wgDefaultLanguageVariant' => $variant,
                        'wgVariantArticlePath' => false,
+                       'wgGroupPermissions' => array( '*' => array(
+                               'createaccount' => true,
+                               'read'          => true,
+                               'edit'          => true,
+                               'createpage'    => true,
+                               'createtalk'    => true,
+                       ) ),
+                       'wgDefaultExternalStore' => array(),
+                       'wgForeignFileRepos' => array(),
                        );
                $this->savedGlobals = array();
                foreach( $settings as $var => $val ) {
@@ -401,7 +423,6 @@ class ParserTest {
                $GLOBALS['wgLang'] = $langObj;
                $GLOBALS['wgContLang'] = $langObj;
 
-               $GLOBALS['wgLoadBalancer']->loadMasterPos();
                //$GLOBALS['wgMessageCache'] = new MessageCache( new BagOStuff(), false, 0, $GLOBALS['wgDBname'] );
                $this->setupDatabase();
 
@@ -409,28 +430,28 @@ class ParserTest {
                $wgUser = new User();
        }
 
-       # List of temporary tables to create, without prefix
-       # Some of these probably aren't necessary
-       function listTables() {
-               $tables = array('user', 'page', 'page_restrictions', 'revision', 'text',
-                       'pagelinks', 'imagelinks', 'categorylinks',
-                       'templatelinks', 'externallinks', 'langlinks',
-                       'site_stats', 'hitcounter',
-                       'ipblocks', 'image', 'oldimage',
-                       'recentchanges',
-                       'watchlist', 'math', 'searchindex',
-                       'interwiki', 'querycache',
-                       'objectcache', 'job', 'redirect',
-                       'querycachetwo'
+       /**
+        * List of temporary tables to create, without prefix.
+        * Some of these probably aren't necessary.
+        */
+       private function listTables() {
+               global $wgDBtype;
+               $tables = array('user', 'page', 'page_restrictions',
+                       'protected_titles', 'revision', 'text', 'pagelinks', 'imagelinks',
+                       'categorylinks', 'templatelinks', 'externallinks', 'langlinks',
+                       'site_stats', 'hitcounter',     'ipblocks', 'image', 'oldimage',
+                       'recentchanges', 'watchlist', 'math', 'interwiki',
+                       'querycache', 'objectcache', 'job', 'redirect', 'querycachetwo',
+                       'archive', 'user_groups', 'page_props', 'category'
                );
 
-               // FIXME manually adding additional table for the tasks extension
-               // we probably need a better software wide system to register new
-               // tables.
-               global $wgExtensionFunctions;
-               if( in_array('wfTasksExtension' , $wgExtensionFunctions ) ) {
-                       $tables[] = 'tasks';
-               }
+               if ($wgDBtype === 'mysql') 
+                       array_push( $tables, 'searchindex' );
+               
+               // Allow extensions to add to the list of tables to duplicate;
+               // may be necessary if they hook into page save or other code
+               // which will require them while running tests.
+               wfRunHooks( 'ParserTestTables', array( &$tables ) );
 
                return $tables;
        }
@@ -439,17 +460,15 @@ class ParserTest {
         * Set up a temporary set of wiki tables to work with for the tests.
         * Currently this will only be done once per run, and any changes to
         * the db will be visible to later tests in the run.
-        *
-        * @private
         */
-       function setupDatabase() {
+       private function setupDatabase() {
                static $setupDB = false;
                global $wgDBprefix;
 
                # Make sure we don't mess with the live DB
                if (!$setupDB && $wgDBprefix === 'parsertest_') {
                        # oh teh horror
-                       $GLOBALS['wgLoadBalancer'] = LoadBalancer::newFromParams( $GLOBALS['wgDBservers'] );
+                       LBFactory::destroy();
                        $db = wfGetDB( DB_MASTER );
 
                        $tables = $this->listTables();
@@ -538,34 +557,32 @@ class ParserTest {
         * Create a dummy uploads directory which will contain a couple
         * of files in order to pass existence tests.
         * @return string The directory
-        * @private
         */
-       function setupUploadDir() {
+       private function setupUploadDir() {
                global $IP;
+               if ( $this->keepUploads ) {
+                       $dir = wfTempDir() . '/mwParser-images';
+                       if ( is_dir( $dir ) ) {
+                               return $dir;
+                       }
+               } else {
+                       $dir = wfTempDir() . "/mwParser-" . mt_rand() . "-images";
+               }
 
-               $dir = wfTempDir() . "/mwParser-" . mt_rand() . "-images";
+               wfDebug( "Creating upload directory $dir\n" );
                mkdir( $dir );
                mkdir( $dir . '/3' );
                mkdir( $dir . '/3/3a' );
-
-               $img = "$IP/skins/monobook/headbg.jpg";
-               $h = fopen($img, 'r');
-               $c = fread($h, filesize($img));
-               fclose($h);
-
-               $f = fopen( $dir . '/3/3a/Foobar.jpg', 'wb' );
-               fwrite( $f, $c );
-               fclose( $f );
+               copy( "$IP/skins/monobook/headbg.jpg", "$dir/3/3a/Foobar.jpg" );
                return $dir;
        }
 
        /**
         * Restore default values and perform any necessary clean-up
         * after each test runs.
-        *
-        * @private
         */
-       function teardownGlobals() {
+       private function teardownGlobals() {
+               RepoGroup::destroySingleton();
                foreach( $this->savedGlobals as $var => $val ) {
                        $GLOBALS[$var] = $val;
                }
@@ -577,9 +594,12 @@ class ParserTest {
 
        /**
         * Remove the dummy uploads directory
-        * @private
         */
-       function teardownUploadDir( $dir ) {
+       private function teardownUploadDir( $dir ) {
+               if ( $this->keepUploads ) {
+                       return;
+               }
+
                // delete the files first, then the dirs.
                self::deleteFiles(
                        array (
@@ -607,7 +627,7 @@ class ParserTest {
        }
 
        /**
-        * @desc delete the specified files, if they exist.
+        * Delete the specified files, if they exist.
         * @param array $files full paths to files to delete.
         */
        private static function deleteFiles( $files ) {
@@ -619,7 +639,7 @@ class ParserTest {
        }
 
        /**
-        * @desc delete the specified directories, if they exist. Must be empty.
+        * Delete the specified directories, if they exist. Must be empty.
         * @param array $dirs full paths to directories to delete.
         */
        private static function deleteDirs( $dirs ) {
@@ -632,9 +652,8 @@ class ParserTest {
 
        /**
         * "Running test $desc..."
-        * @private
         */
-       function showTesting( $desc ) {
+       protected function showTesting( $desc ) {
                print "Running test $desc... ";
        }
 
@@ -643,9 +662,8 @@ class ParserTest {
         *
         * @param string $desc The test name
         * @return bool
-        * @private
         */
-       function showSuccess( $desc ) {
+       protected function showSuccess( $desc ) {
                if( $this->showProgress ) {
                        print $this->term->color( '1;32' ) . 'PASSED' . $this->term->reset() . "\n";
                }
@@ -660,9 +678,8 @@ class ParserTest {
         * @param string $result Expected HTML output
         * @param string $html Actual HTML output
         * @return bool
-        * @private
         */
-       function showFailure( $desc, $result, $html ) {
+       protected function showFailure( $desc, $result, $html ) {
                if( $this->showFailure ) {
                        if( !$this->showProgress ) {
                                # In quiet mode we didn't show the 'Testing' message before the
@@ -692,9 +709,8 @@ class ParserTest {
         * @param string $inFileTail Tailing for the input file name
         * @param string $outFileTail Tailing for the output file name
         * @return string
-        * @private
         */
-       function quickDiff( $input, $output, $inFileTail='expected', $outFileTail='actual' ) {
+       protected function quickDiff( $input, $output, $inFileTail='expected', $outFileTail='actual' ) {
                $prefix = wfTempDir() . "/mwParser-" . mt_rand();
 
                $infile = "$prefix-$inFileTail";
@@ -715,9 +731,8 @@ class ParserTest {
         *
         * @param string $data
         * @param string $filename
-        * @private
         */
-       function dumpToFile( $data, $filename ) {
+       private function dumpToFile( $data, $filename ) {
                $file = fopen( $filename, "wt" );
                fwrite( $file, $data . "\n" );
                fclose( $file );
@@ -729,9 +744,8 @@ class ParserTest {
         *
         * @param string $text
         * @return string
-        * @private
         */
-       function colorDiff( $text ) {
+       protected function colorDiff( $text ) {
                return preg_replace(
                        array( '/^(-.*)$/m', '/^(\+.*)$/m' ),
                        array( $this->term->color( 34 ) . '$1' . $this->term->reset(),
@@ -739,14 +753,25 @@ class ParserTest {
                        $text );
        }
 
+       /**
+        * Show "Reading tests from ..."
+        *
+        * @param String $path
+        */
+       protected function showRunFile( $path ){
+               print $this->term->color( 1 ) .
+                       "Reading tests from \"$path\"..." .
+                       $this->term->reset() .
+                       "\n";
+       }
+
        /**
         * Insert a temporary test article
         * @param string $name the title, including any prefix
         * @param string $text the article text
         * @param int $line the input line number, for reporting errors
-        * @private
         */
-       function addArticle($name, $text, $line) {
+       private function addArticle($name, $text, $line) {
                $this->setupGlobals();
                $title = Title::newFromText( $name );
                if ( is_null($title) ) {
@@ -800,9 +825,8 @@ class ParserTest {
         * @param string $text the text to tidy
         * @return string
         * @static
-        * @private
         */
-       function tidy( $text ) {
+       private function tidy( $text ) {
                global $wgUseTidy;
                if ($wgUseTidy) {
                        $text = Parser::tidy($text);
@@ -810,7 +834,7 @@ class ParserTest {
                return $text;
        }
 
-       function wellFormed( $text ) {
+       private function wellFormed( $text ) {
                $html =
                        Sanitizer::hackDocType() .
                        '<html>' .
@@ -834,7 +858,7 @@ class ParserTest {
                return true;
        }
 
-       function extractFragment( $text, $position ) {
+       private function extractFragment( $text, $position ) {
                $start = max( 0, $position - 10 );
                $before = $position - $start;
                $fragment = '...' .
@@ -868,9 +892,8 @@ class AnsiTermColorer {
         *
         * @param string $color Semicolon-separated list of attribute/color codes
         * @return string
-        * @private
         */
-       function color( $color ) {
+       public function color( $color ) {
                global $wgCommandLineDarkBg;
                $light = $wgCommandLineDarkBg ? "1;" : "0;";
                return "\x1b[{$light}{$color}m";
@@ -880,20 +903,19 @@ class AnsiTermColorer {
         * Return ANSI terminal escape code for restoring default text attributes
         *
         * @return string
-        * @private
         */
-       function reset() {
+       public function reset() {
                return $this->color( 0 );
        }
 }
 
 /* A colour-less terminal */
 class DummyTermColorer {
-       function color( $color ) {
+       public function color( $color ) {
                return '';
        }
 
-       function reset() {
+       public function reset() {
                return '';
        }
 }
@@ -954,13 +976,17 @@ class DbTestRecorder extends TestRecorder  {
         * and all that fun stuff
         */
        function start() {
+               global $wgDBtype;
                parent::start();
 
                $this->db->begin();
 
                if( ! $this->db->tableExists( 'testrun' ) or ! $this->db->tableExists( 'testitem') ) {
                        print "WARNING> `testrun` table not found in database. Trying to create table.\n";
-                       dbsource( 'testRunner.sql',  $this->db );
+            if ($wgDBtype === 'postgres')
+                               dbsource( dirname(__FILE__) . '/testRunner.postgres.sql',  $this->db );
+                       else
+                               dbsource( dirname(__FILE__) . '/testRunner.sql',  $this->db );
                        echo "OK, resuming.\n";
                }
 
@@ -976,7 +1002,10 @@ class DbTestRecorder extends TestRecorder  {
                                'tr_uname'       => php_uname()
                        ),
                        __METHOD__ );
-               $this->curRun = $this->db->insertId();
+                       if ($wgDBtype === 'postgres')
+                               $this->curRun = $this->db->currentSequenceValue('testrun_id_seq');
+                       else
+                               $this->curRun = $this->db->insertId();
        }
 
        /**
@@ -1156,5 +1185,3 @@ class DbTestPreviewer extends DbTestRecorder  {
                TestRecorder::end();
        }
 }
-
-?>
\ No newline at end of file