Merge "SkinTemplate: extract formatLanguageName() from outputPage()"
[lhc/web/wiklou.git] / maintenance / Maintenance.php
index aac62e0..c00d7a6 100644 (file)
  * @defgroup Maintenance Maintenance
  */
 
+// Make sure we're on PHP5.3.2 or better
+if ( !function_exists( 'version_compare' ) || version_compare( PHP_VERSION, '5.3.2' ) < 0 ) {
+       // We need to use dirname( __FILE__ ) here cause __DIR__ is PHP5.3+
+       require_once( dirname( __FILE__ ) . '/../includes/PHPVersionError.php' );
+       wfPHPVersionError( 'cli' );
+}
+
+/**
+ * @defgroup MaintenanceArchive Maintenance archives
+ * @ingroup Maintenance
+ */
+
 // Define this so scripts can easily find doMaintenance.php
-define( 'RUN_MAINTENANCE_IF_MAIN', dirname( __FILE__ ) . '/doMaintenance.php' );
+define( 'RUN_MAINTENANCE_IF_MAIN', __DIR__ . '/doMaintenance.php' );
 define( 'DO_MAINTENANCE', RUN_MAINTENANCE_IF_MAIN ); // original name, harmless
 
 $maintClass = false;
 
-// Make sure we're on PHP5 or better
-if ( version_compare( PHP_VERSION, '5.2.3' ) < 0 ) {
-       die ( "Sorry! This version of MediaWiki requires PHP 5.2.3; you are running " .
-               PHP_VERSION . ".\n\n" .
-               "If you are sure you already have PHP 5.2.3 or higher installed, it may be\n" .
-               "installed in a different path from PHP " . PHP_VERSION . ". Check with your system\n" .
-               "administrator.\n" );
-}
-
-// Wrapper for posix_isatty()
-if ( !function_exists( 'posix_isatty' ) ) {
-       # We default as considering stdin a tty (for nice readline methods)
-       # but treating stout as not a tty to avoid color codes
-       function posix_isatty( $fd ) {
-               return !$fd;
-       }
-}
-
 /**
  * Abstract maintenance class for quickly writing and churning out
  * maintenance scripts with minimal effort. All that _must_ be defined
@@ -108,7 +102,10 @@ abstract class Maintenance {
        // Generic options which might or not be supported by the script
        private $mDependantParameters = array();
 
-       // Used by getDD() / setDB()
+       /**
+        * Used by getDD() / setDB()
+        * @var DatabaseBase
+        */
        private $mDb = null;
 
        /**
@@ -127,7 +124,7 @@ abstract class Maintenance {
                global $IP;
                $IP = strval( getenv( 'MW_INSTALL_PATH' ) ) !== ''
                        ? getenv( 'MW_INSTALL_PATH' )
-                       : realpath( dirname( __FILE__ ) . '/..' );
+                       : realpath( __DIR__ . '/..' );
 
                $this->addDefaultParams();
                register_shutdown_function( array( $this, 'outputChanneled' ), false );
@@ -136,18 +133,26 @@ abstract class Maintenance {
        /**
         * Should we execute the maintenance script, or just allow it to be included
         * as a standalone class? It checks that the call stack only includes this
-        * function and a require (meaning was called from the file scope)
+        * function and "requires" (meaning was called from the file scope)
         *
         * @return Boolean
         */
        public static function shouldExecute() {
                $bt = debug_backtrace();
-               if( count( $bt ) !== 2 ) {
-                       return false;
+               $count = count( $bt );
+               if ( $count < 2 ) {
+                       return false; // sanity
                }
-               return in_array( $bt[1]['function'], array( 'require_once', 'require', 'include' ) ) &&
-                       $bt[0]['class'] == 'Maintenance' &&
-                       $bt[0]['function'] == 'shouldExecute';
+               if ( $bt[0]['class'] !== 'Maintenance' || $bt[0]['function'] !== 'shouldExecute' ) {
+                       return false; // last call should be to this function
+               }
+               $includeFuncs = array( 'require_once', 'require', 'include', 'include_once' );
+               for( $i=1; $i < $count; $i++ ) {
+                       if ( !in_array( $bt[$i]['function'], $includeFuncs ) ) {
+                               return false; // previous calls should all be "requires"
+                       }
+               }
+               return true;
        }
 
        /**
@@ -252,6 +257,20 @@ abstract class Maintenance {
         */
        protected function setBatchSize( $s = 0 ) {
                $this->mBatchSize = $s;
+
+               // If we support $mBatchSize, show the option.
+               // Used to be in addDefaultParams, but in order for that to
+               // work, subclasses would have to call this function in the constructor
+               // before they called parent::__construct which is just weird
+               // (and really wasn't done).
+               if ( $this->mBatchSize ) {
+                       $this->addOption( 'batch-size', 'Run this many operations ' .
+                               'per batch, default: ' . $this->mBatchSize, false, true );
+                       if ( isset( $this->mParams['batch-size'] ) ) {
+                               // This seems a little ugly...
+                               $this->mDependantParameters['batch-size'] = $this->mParams['batch-size'];
+                       }
+               }
        }
 
        /**
@@ -282,6 +301,9 @@ abstract class Maintenance {
                return rtrim( $input );
        }
 
+       /**
+        * @return bool
+        */
        public function isQuiet() {
                return $this->mQuiet;
        }
@@ -299,12 +321,8 @@ abstract class Maintenance {
                }
                if ( $channel === null ) {
                        $this->cleanupChanneled();
-
-                       $f = fopen( 'php://stdout', 'w' );
-                       fwrite( $f, $out );
-                       fclose( $f );
-               }
-               else {
+                       print( $out );
+               } else {
                        $out = preg_replace( '/\n\z/', '', $out );
                        $this->outputChanneled( $out, $channel );
                }
@@ -314,19 +332,18 @@ abstract class Maintenance {
         * Throw an error to the user. Doesn't respect --quiet, so don't use
         * this for non-error output
         * @param $err String: the error to display
-        * @param $die Boolean: If true, go ahead and die out.
+        * @param $die Int: if > 0, go ahead and die out using this int as the code
         */
-       protected function error( $err, $die = false ) {
+       protected function error( $err, $die = 0 ) {
                $this->outputChanneled( false );
                if ( php_sapi_name() == 'cli' ) {
                        fwrite( STDERR, $err . "\n" );
                } else {
-                       $f = fopen( 'php://stderr', 'w' );
-                       fwrite( $f, $err . "\n" );
-                       fclose( $f );
+                       print $err;
                }
-               if ( $die ) {
-                       die();
+               $die = intval( $die );
+               if ( $die > 0 ) {
+                       die( $die );
                }
        }
 
@@ -338,9 +355,7 @@ abstract class Maintenance {
         */
        public function cleanupChanneled() {
                if ( !$this->atLineStart ) {
-                       $handle = fopen( 'php://stdout', 'w' );
-                       fwrite( $handle, "\n" );
-                       fclose( $handle );
+                       print "\n";
                        $this->atLineStart = true;
                }
        }
@@ -350,7 +365,7 @@ abstract class Maintenance {
         * same channel are concatenated, but any intervening messages in another
         * channel start a new line.
         * @param $msg String: the message without trailing newline
-        * @param $channel Channel identifier or null for no
+        * @param $channel string Channel identifier or null for no
         *     channel. Channel comparison uses ===.
         */
        public function outputChanneled( $msg, $channel = null ) {
@@ -359,25 +374,20 @@ abstract class Maintenance {
                        return;
                }
 
-               $handle = fopen( 'php://stdout', 'w' );
-
                // End the current line if necessary
                if ( !$this->atLineStart && $channel !== $this->lastChannel ) {
-                       fwrite( $handle, "\n" );
+                       print "\n";
                }
 
-               fwrite( $handle, $msg );
+               print $msg;
 
                $this->atLineStart = false;
                if ( $channel === null ) {
                        // For unchanneled messages, output trailing newline immediately
-                       fwrite( $handle, "\n" );
+                       print "\n";
                        $this->atLineStart = true;
                }
                $this->lastChannel = $channel;
-
-               // Cleanup handle
-               fclose( $handle );
        }
 
        /**
@@ -421,11 +431,7 @@ abstract class Maintenance {
                        $this->addOption( 'dbuser', 'The DB user to use for this script', false, true );
                        $this->addOption( 'dbpass', 'The password to use for this script', false, true );
                }
-               // If we support $mBatchSize, show the option
-               if ( $this->mBatchSize ) {
-                       $this->addOption( 'batch-size', 'Run this many operations ' .
-                               'per batch, default: ' . $this->mBatchSize, false, true );
-               }
+
                # Save additional script dependant options to display
                # them separately in help
                $this->mDependantParameters = array_diff_key( $this->mParams, $this->mGenericParameters );
@@ -449,6 +455,9 @@ abstract class Maintenance {
                        }
                }
 
+               /**
+                * @var $child Maintenance
+                */
                $child = new $maintClass();
                $child->loadParamsAndArgs( $this->mSelf, $this->mOptions, $this->mArgs );
                if ( !is_null( $this->mDb ) ) {
@@ -473,19 +482,11 @@ abstract class Maintenance {
                        $this->error( 'Cannot get command line arguments, register_argc_argv is set to false', true );
                }
 
-               if ( version_compare( phpversion(), '5.2.4' ) >= 0 ) {
-                       // Send PHP warnings and errors to stderr instead of stdout.
-                       // This aids in diagnosing problems, while keeping messages
-                       // out of redirected output.
-                       if ( ini_get( 'display_errors' ) ) {
-                               ini_set( 'display_errors', 'stderr' );
-                       }
-
-                       // Don't touch the setting on earlier versions of PHP,
-                       // as setting it would disable output if you'd wanted it.
-
-                       // Note that exceptions are also sent to stderr when
-                       // command-line mode is on, regardless of PHP version.
+               // Send PHP warnings and errors to stderr instead of stdout.
+               // This aids in diagnosing problems, while keeping messages
+               // out of redirected output.
+               if ( ini_get( 'display_errors' ) ) {
+                       ini_set( 'display_errors', 'stderr' );
                }
 
                $this->loadParamsAndArgs();
@@ -519,6 +520,7 @@ abstract class Maintenance {
         * to allow sysadmins to explicitly set one if they'd prefer to override
         * defaults (or for people using Suhosin which yells at you for trying
         * to disable the limits)
+        * @return string
         */
        public function memoryLimit() {
                $limit = $this->getOption( 'memory-limit', 'max' );
@@ -599,10 +601,14 @@ abstract class Maintenance {
                        } elseif ( substr( $arg, 0, 2 ) == '--' ) {
                                # Long options
                                $option = substr( $arg, 2 );
+                               if ( array_key_exists( $option, $options ) ) {
+                                       $this->error( "\nERROR: $option parameter given twice\n" );
+                                       $this->maybeHelp( true );
+                               }
                                if ( isset( $this->mParams[$option] ) && $this->mParams[$option]['withArg'] ) {
                                        $param = next( $argv );
                                        if ( $param === false ) {
-                                               $this->error( "\nERROR: $option needs a value after it\n" );
+                                               $this->error( "\nERROR: $option parameter needs a value after it\n" );
                                                $this->maybeHelp( true );
                                        }
                                        $options[$option] = $param;
@@ -623,10 +629,14 @@ abstract class Maintenance {
                                        if ( !isset( $this->mParams[$option] ) && isset( $this->mShortParamsMap[$option] ) ) {
                                                $option = $this->mShortParamsMap[$option];
                                        }
+                                       if ( array_key_exists( $option, $options ) ) {
+                                               $this->error( "\nERROR: $option parameter given twice\n" );
+                                               $this->maybeHelp( true );
+                                       }
                                        if ( isset( $this->mParams[$option]['withArg'] ) && $this->mParams[$option]['withArg'] ) {
                                                $param = next( $argv );
                                                if ( $param === false ) {
-                                                       $this->error( "\nERROR: $option needs a value after it\n" );
+                                                       $this->error( "\nERROR: $option parameter needs a value after it\n" );
                                                        $this->maybeHelp( true );
                                                }
                                                $options[$option] = $param;
@@ -684,7 +694,7 @@ abstract class Maintenance {
                        $this->mQuiet = true;
                }
                if ( $this->hasOption( 'batch-size' ) ) {
-                       $this->mBatchSize = $this->getOption( 'batch-size' );
+                       $this->mBatchSize = intval( $this->getOption( 'batch-size' ) );
                }
        }
 
@@ -837,6 +847,9 @@ abstract class Maintenance {
                        $wgDBpassword = $wgDBadminpassword;
 
                        if ( $wgDBservers ) {
+                               /**
+                                * @var $wgDBservers array
+                                */
                                foreach ( $wgDBservers as $i => $server ) {
                                        $wgDBservers[$i]['user'] = $wgDBuser;
                                        $wgDBservers[$i]['password'] = $wgDBpassword;
@@ -875,55 +888,6 @@ abstract class Maintenance {
                }
        }
 
-       /**
-        * Do setup specific to WMF
-        */
-       public function loadWikimediaSettings() {
-               global $IP, $wgNoDBParam, $wgUseNormalUser, $wgConf, $site, $lang;
-
-               if ( empty( $wgNoDBParam ) ) {
-                       # Check if we were passed a db name
-                       if ( isset( $this->mOptions['wiki'] ) ) {
-                               $db = $this->mOptions['wiki'];
-                       } else {
-                               $db = array_shift( $this->mArgs );
-                       }
-                       list( $site, $lang ) = $wgConf->siteFromDB( $db );
-
-                       # If not, work out the language and site the old way
-                       if ( is_null( $site ) || is_null( $lang ) ) {
-                               if ( !$db ) {
-                                       $lang = 'aa';
-                               } else {
-                                       $lang = $db;
-                               }
-                               if ( isset( $this->mArgs[0] ) ) {
-                                       $site = array_shift( $this->mArgs );
-                               } else {
-                                       $site = 'wikipedia';
-                               }
-                       }
-               } else {
-                       $lang = 'aa';
-                       $site = 'wikipedia';
-               }
-
-               # This is for the IRC scripts, which now run as the apache user
-               # The apache user doesn't have access to the wikiadmin_pass command
-               if ( $_ENV['USER'] == 'apache' ) {
-               # if ( posix_geteuid() == 48 ) {
-                       $wgUseNormalUser = true;
-               }
-
-               putenv( 'wikilang=' . $lang );
-
-               ini_set( 'include_path', ".:$IP:$IP/includes:$IP/languages:$IP/maintenance" );
-
-               if ( $lang == 'test' && $site == 'wikipedia' ) {
-                       define( 'TESTWIKI', 1 );
-               }
-       }
-
        /**
         * Generic setup for most installs. Returns the location of LocalSettings
         * @return String
@@ -964,7 +928,7 @@ abstract class Maintenance {
        public function purgeRedundantText( $delete = true ) {
                # Data should come off the master, wrapped in a transaction
                $dbw = $this->getDB( DB_MASTER );
-               $dbw->begin();
+               $dbw->begin( __METHOD__ );
 
                $tbl_arc = $dbw->tableName( 'archive' );
                $tbl_rev = $dbw->tableName( 'revision' );
@@ -1009,14 +973,15 @@ abstract class Maintenance {
                }
 
                # Done
-               $dbw->commit();
+               $dbw->commit( __METHOD__ );
        }
 
        /**
         * Get the maintenance directory.
+        * @return string
         */
        protected function getDir() {
-               return dirname( __FILE__ );
+               return __DIR__;
        }
 
        /**
@@ -1037,10 +1002,9 @@ abstract class Maintenance {
        protected static function getCoreScripts() {
                if ( !self::$mCoreScripts ) {
                        $paths = array(
-                               dirname( __FILE__ ),
-                               dirname( __FILE__ ) . '/gearman',
-                               dirname( __FILE__ ) . '/language',
-                               dirname( __FILE__ ) . '/storage',
+                               __DIR__,
+                               __DIR__ . '/language',
+                               __DIR__ . '/storage',
                        );
                        self::$mCoreScripts = array();
                        foreach ( $paths as $p ) {
@@ -1092,17 +1056,17 @@ abstract class Maintenance {
 
        /**
         * Lock the search index
-        * @param &$db Database object
+        * @param &$db DatabaseBase object
         */
        private function lockSearchindex( &$db ) {
                $write = array( 'searchindex' );
-               $read = array( 'page', 'revision', 'text', 'interwiki', 'l10n_cache' );
+               $read = array( 'page', 'revision', 'text', 'interwiki', 'l10n_cache', 'user' );
                $db->lockTables( $read, $write, __CLASS__ . '::' . __METHOD__ );
        }
 
        /**
         * Unlock the tables
-        * @param &$db Database object
+        * @param &$db DatabaseBase object
         */
        private function unlockSearchindex( &$db ) {
                $db->unlockTables(  __CLASS__ . '::' . __METHOD__ );
@@ -1111,7 +1075,7 @@ abstract class Maintenance {
        /**
         * Unlock and lock again
         * Since the lock is low-priority, queued reads will be able to complete
-        * @param &$db Database object
+        * @param &$db DatabaseBase object
         */
        private function relockSearchindex( &$db ) {
                $this->unlockSearchindex( $db );
@@ -1159,8 +1123,9 @@ abstract class Maintenance {
 
        /**
         * Update the searchindex table for a given pageid
-        * @param $dbw Database: a database write handle
+        * @param $dbw DatabaseBase a database write handle
         * @param $pageId Integer: the page ID to update.
+        * @return null|string
         */
        public function updateSearchIndexForPage( $dbw, $pageId ) {
                // Get current revision
@@ -1178,6 +1143,22 @@ abstract class Maintenance {
                return $title;
        }
 
+       /**
+        * Wrapper for posix_isatty()
+        * We default as considering stdin a tty (for nice readline methods)
+        * but treating stout as not a tty to avoid color codes
+        *
+        * @param $fd int File descriptor
+        * @return bool
+        */
+       public static function posix_isatty( $fd ) {
+               if ( !MWInit::functionExists( 'posix_isatty' ) ) {
+                       return !$fd;
+               } else {
+                       return posix_isatty( $fd );
+               }
+       }
+
        /**
         * Prompt the console for input
         * @param $prompt String what to begin the line with, like '> '
@@ -1186,7 +1167,7 @@ abstract class Maintenance {
        public static function readconsole( $prompt = '> ' ) {
                static $isatty = null;
                if ( is_null( $isatty ) ) {
-                       $isatty = posix_isatty( 0 /*STDIN*/ );
+                       $isatty = self::posix_isatty( 0 /*STDIN*/ );
                }
 
                if ( $isatty && function_exists( 'readline' ) ) {
@@ -1242,6 +1223,9 @@ abstract class Maintenance {
        }
 }
 
+/**
+ * Fake maintenance wrapper, mostly used for the web installer/updater
+ */
 class FakeMaintenance extends Maintenance {
        protected $mSelf = "FakeMaintenanceScript";
        public function execute() {
@@ -1249,3 +1233,70 @@ class FakeMaintenance extends Maintenance {
        }
 }
 
+/**
+ * Class for scripts that perform database maintenance and want to log the
+ * update in `updatelog` so we can later skip it
+ */
+abstract class LoggedUpdateMaintenance extends Maintenance {
+       public function __construct() {
+               parent::__construct();
+               $this->addOption( 'force', 'Run the update even if it was completed already' );
+               $this->setBatchSize( 200 );
+       }
+
+       public function execute() {
+               $db = $this->getDB( DB_MASTER );
+               $key = $this->getUpdateKey();
+
+               if ( !$this->hasOption( 'force' ) &&
+                       $db->selectRow( 'updatelog', '1', array( 'ul_key' => $key ), __METHOD__ ) )
+               {
+                       $this->output( "..." . $this->updateSkippedMessage() . "\n" );
+                       return true;
+               }
+
+               if ( !$this->doDBUpdates() ) {
+                       return false;
+               }
+
+               if (
+                       $db->insert( 'updatelog', array( 'ul_key' => $key ), __METHOD__, 'IGNORE' ) )
+               {
+                       return true;
+               } else {
+                       $this->output( $this->updatelogFailedMessage() . "\n" );
+                       return false;
+               }
+       }
+
+       /**
+        * Message to show that the update was done already and was just skipped
+        * @return String
+        */
+       protected function updateSkippedMessage() {
+               $key = $this->getUpdateKey();
+               return "Update '{$key}' already logged as completed.";
+       }
+
+       /**
+        * Message to show the the update log was unable to log the completion of this update
+        * @return String
+        */
+       protected function updatelogFailedMessage() {
+               $key = $this->getUpdateKey();
+               return "Unable to log update '{$key}' as completed.";
+       }
+
+       /**
+        * Do the actual work. All child classes will need to implement this.
+        * Return true to log the update as done or false (usually on failure).
+        * @return Bool
+        */
+       abstract protected function doDBUpdates();
+
+       /**
+        * Get the update key name to go in the update log table
+        * @return String
+        */
+       abstract protected function getUpdateKey();
+}