Merge "[FileBackend] Tweaked TempFSFile::bind() to handle __get()."
[lhc/web/wiklou.git] / maintenance / Maintenance.php
index 7be3b3d..ea649a6 100644 (file)
  * @defgroup Maintenance Maintenance
  */
 
-// Define this so scripts can easily find doMaintenance.php
-define( 'RUN_MAINTENANCE_IF_MAIN', dirname( __FILE__ ) . '/doMaintenance.php' );
-define( 'DO_MAINTENANCE', RUN_MAINTENANCE_IF_MAIN ); // original name, harmless
-
-$maintClass = false;
-
-// Make sure we're on PHP5 or better
-if ( !function_exists( 'version_compare' ) || version_compare( PHP_VERSION, '5.2.3' ) < 0 ) {
+// Make sure we're on PHP5.3.2 or better
+if ( !function_exists( 'version_compare' ) || version_compare( PHP_VERSION, '5.3.2' ) < 0 ) {
+       // We need to use dirname( __FILE__ ) here cause __DIR__ is PHP5.3+
        require_once( dirname( __FILE__ ) . '/../includes/PHPVersionError.php' );
        wfPHPVersionError( 'cli' );
 }
 
-// Wrapper for posix_isatty()
-if ( !function_exists( 'posix_isatty' ) ) {
-       # We default as considering stdin a tty (for nice readline methods)
-       # but treating stout as not a tty to avoid color codes
-       function posix_isatty( $fd ) {
-               return !$fd;
-       }
-}
+/**
+ * @defgroup MaintenanceArchive Maintenance archives
+ * @ingroup Maintenance
+ */
+
+// Define this so scripts can easily find doMaintenance.php
+define( 'RUN_MAINTENANCE_IF_MAIN', __DIR__ . '/doMaintenance.php' );
+define( 'DO_MAINTENANCE', RUN_MAINTENANCE_IF_MAIN ); // original name, harmless
+
+$maintClass = false;
 
 /**
  * Abstract maintenance class for quickly writing and churning out
@@ -105,7 +102,10 @@ abstract class Maintenance {
        // Generic options which might or not be supported by the script
        private $mDependantParameters = array();
 
-       // Used by getDD() / setDB()
+       /**
+        * Used by getDD() / setDB()
+        * @var DatabaseBase
+        */
        private $mDb = null;
 
        /**
@@ -124,7 +124,7 @@ abstract class Maintenance {
                global $IP;
                $IP = strval( getenv( 'MW_INSTALL_PATH' ) ) !== ''
                        ? getenv( 'MW_INSTALL_PATH' )
-                       : realpath( dirname( __FILE__ ) . '/..' );
+                       : realpath( __DIR__ . '/..' );
 
                $this->addDefaultParams();
                register_shutdown_function( array( $this, 'outputChanneled' ), false );
@@ -146,7 +146,7 @@ abstract class Maintenance {
                if ( $bt[0]['class'] !== 'Maintenance' || $bt[0]['function'] !== 'shouldExecute' ) {
                        return false; // last call should be to this function
                }
-               $includeFuncs = array( 'require_once', 'require', 'include' );
+               $includeFuncs = array( 'require_once', 'require', 'include', 'include_once' );
                for( $i=1; $i < $count; $i++ ) {
                        if ( !in_array( $bt[$i]['function'], $includeFuncs ) ) {
                                return false; // previous calls should all be "requires"
@@ -257,6 +257,20 @@ abstract class Maintenance {
         */
        protected function setBatchSize( $s = 0 ) {
                $this->mBatchSize = $s;
+
+               // If we support $mBatchSize, show the option.
+               // Used to be in addDefaultParams, but in order for that to
+               // work, subclasses would have to call this function in the constructor
+               // before they called parent::__construct which is just weird
+               // (and really wasn't done).
+               if ( $this->mBatchSize ) {
+                       $this->addOption( 'batch-size', 'Run this many operations ' .
+                               'per batch, default: ' . $this->mBatchSize, false, true );
+                       if ( isset( $this->mParams['batch-size'] ) ) {
+                               // This seems a little ugly...
+                               $this->mDependantParameters['batch-size'] = $this->mParams['batch-size'];
+                       }
+               }
        }
 
        /**
@@ -287,6 +301,9 @@ abstract class Maintenance {
                return rtrim( $input );
        }
 
+       /**
+        * @return bool
+        */
        public function isQuiet() {
                return $this->mQuiet;
        }
@@ -304,12 +321,8 @@ abstract class Maintenance {
                }
                if ( $channel === null ) {
                        $this->cleanupChanneled();
-
-                       $f = fopen( 'php://stdout', 'w' );
-                       fwrite( $f, $out );
-                       fclose( $f );
-               }
-               else {
+                       print( $out );
+               } else {
                        $out = preg_replace( '/\n\z/', '', $out );
                        $this->outputChanneled( $out, $channel );
                }
@@ -326,9 +339,7 @@ abstract class Maintenance {
                if ( php_sapi_name() == 'cli' ) {
                        fwrite( STDERR, $err . "\n" );
                } else {
-                       $f = fopen( 'php://stderr', 'w' );
-                       fwrite( $f, $err . "\n" );
-                       fclose( $f );
+                       print $err;
                }
                $die = intval( $die );
                if ( $die > 0 ) {
@@ -344,9 +355,7 @@ abstract class Maintenance {
         */
        public function cleanupChanneled() {
                if ( !$this->atLineStart ) {
-                       $handle = fopen( 'php://stdout', 'w' );
-                       fwrite( $handle, "\n" );
-                       fclose( $handle );
+                       print "\n";
                        $this->atLineStart = true;
                }
        }
@@ -356,7 +365,7 @@ abstract class Maintenance {
         * same channel are concatenated, but any intervening messages in another
         * channel start a new line.
         * @param $msg String: the message without trailing newline
-        * @param $channel Channel identifier or null for no
+        * @param $channel string Channel identifier or null for no
         *     channel. Channel comparison uses ===.
         */
        public function outputChanneled( $msg, $channel = null ) {
@@ -365,25 +374,20 @@ abstract class Maintenance {
                        return;
                }
 
-               $handle = fopen( 'php://stdout', 'w' );
-
                // End the current line if necessary
                if ( !$this->atLineStart && $channel !== $this->lastChannel ) {
-                       fwrite( $handle, "\n" );
+                       print "\n";
                }
 
-               fwrite( $handle, $msg );
+               print $msg;
 
                $this->atLineStart = false;
                if ( $channel === null ) {
                        // For unchanneled messages, output trailing newline immediately
-                       fwrite( $handle, "\n" );
+                       print "\n";
                        $this->atLineStart = true;
                }
                $this->lastChannel = $channel;
-
-               // Cleanup handle
-               fclose( $handle );
        }
 
        /**
@@ -427,11 +431,7 @@ abstract class Maintenance {
                        $this->addOption( 'dbuser', 'The DB user to use for this script', false, true );
                        $this->addOption( 'dbpass', 'The password to use for this script', false, true );
                }
-               // If we support $mBatchSize, show the option
-               if ( $this->mBatchSize ) {
-                       $this->addOption( 'batch-size', 'Run this many operations ' .
-                               'per batch, default: ' . $this->mBatchSize, false, true );
-               }
+
                # Save additional script dependant options to display
                # them separately in help
                $this->mDependantParameters = array_diff_key( $this->mParams, $this->mGenericParameters );
@@ -455,6 +455,9 @@ abstract class Maintenance {
                        }
                }
 
+               /**
+                * @var $child Maintenance
+                */
                $child = new $maintClass();
                $child->loadParamsAndArgs( $this->mSelf, $this->mOptions, $this->mArgs );
                if ( !is_null( $this->mDb ) ) {
@@ -479,19 +482,11 @@ abstract class Maintenance {
                        $this->error( 'Cannot get command line arguments, register_argc_argv is set to false', true );
                }
 
-               if ( version_compare( phpversion(), '5.2.4' ) >= 0 ) {
-                       // Send PHP warnings and errors to stderr instead of stdout.
-                       // This aids in diagnosing problems, while keeping messages
-                       // out of redirected output.
-                       if ( ini_get( 'display_errors' ) ) {
-                               ini_set( 'display_errors', 'stderr' );
-                       }
-
-                       // Don't touch the setting on earlier versions of PHP,
-                       // as setting it would disable output if you'd wanted it.
-
-                       // Note that exceptions are also sent to stderr when
-                       // command-line mode is on, regardless of PHP version.
+               // Send PHP warnings and errors to stderr instead of stdout.
+               // This aids in diagnosing problems, while keeping messages
+               // out of redirected output.
+               if ( ini_get( 'display_errors' ) ) {
+                       ini_set( 'display_errors', 'stderr' );
                }
 
                $this->loadParamsAndArgs();
@@ -525,6 +520,7 @@ abstract class Maintenance {
         * to allow sysadmins to explicitly set one if they'd prefer to override
         * defaults (or for people using Suhosin which yells at you for trying
         * to disable the limits)
+        * @return string
         */
        public function memoryLimit() {
                $limit = $this->getOption( 'memory-limit', 'max' );
@@ -698,7 +694,7 @@ abstract class Maintenance {
                        $this->mQuiet = true;
                }
                if ( $this->hasOption( 'batch-size' ) ) {
-                       $this->mBatchSize = $this->getOption( 'batch-size' );
+                       $this->mBatchSize = intval( $this->getOption( 'batch-size' ) );
                }
        }
 
@@ -851,6 +847,9 @@ abstract class Maintenance {
                        $wgDBpassword = $wgDBadminpassword;
 
                        if ( $wgDBservers ) {
+                               /**
+                                * @var $wgDBservers array
+                                */
                                foreach ( $wgDBservers as $i => $server ) {
                                        $wgDBservers[$i]['user'] = $wgDBuser;
                                        $wgDBservers[$i]['password'] = $wgDBpassword;
@@ -889,57 +888,6 @@ abstract class Maintenance {
                }
        }
 
-       /**
-        * Do setup specific to WMF
-        */
-       public function loadWikimediaSettings() {
-               global $IP, $wgNoDBParam, $wgUseNormalUser, $wgConf, $site, $lang;
-
-               if ( empty( $wgNoDBParam ) ) {
-                       # Check if we were passed a db name
-                       if ( isset( $this->mOptions['wiki'] ) ) {
-                               $db = $this->mOptions['wiki'];
-                       } else {
-                               $db = array_shift( $this->mArgs );
-                       }
-                       list( $site, $lang ) = $wgConf->siteFromDB( $db );
-
-                       # If not, work out the language and site the old way
-                       if ( is_null( $site ) || is_null( $lang ) ) {
-                               if ( !$db ) {
-                                       $lang = 'aa';
-                               } else {
-                                       $lang = $db;
-                               }
-                               if ( isset( $this->mArgs[0] ) ) {
-                                       $site = array_shift( $this->mArgs );
-                               } else {
-                                       $site = 'wikipedia';
-                               }
-                       }
-               } else {
-                       $lang = 'aa';
-                       $site = 'wikipedia';
-               }
-
-               # This is for the IRC scripts, which now run as the apache user
-               # The apache user doesn't have access to the wikiadmin_pass command
-               if ( $_ENV['USER'] == 'apache' ) {
-               # if ( posix_geteuid() == 48 ) {
-                       $wgUseNormalUser = true;
-               }
-
-               putenv( 'wikilang=' . $lang );
-
-               ini_set( 'include_path', ".:$IP:$IP/includes:$IP/languages:$IP/maintenance" );
-
-               if ( $lang == 'test' && $site == 'wikipedia' ) {
-                       if ( !defined( 'TESTWIKI' ) ) {
-                               define( 'TESTWIKI', 1 );
-                       }
-               }
-       }
-
        /**
         * Generic setup for most installs. Returns the location of LocalSettings
         * @return String
@@ -980,7 +928,7 @@ abstract class Maintenance {
        public function purgeRedundantText( $delete = true ) {
                # Data should come off the master, wrapped in a transaction
                $dbw = $this->getDB( DB_MASTER );
-               $dbw->begin();
+               $dbw->begin( __METHOD__ );
 
                $tbl_arc = $dbw->tableName( 'archive' );
                $tbl_rev = $dbw->tableName( 'revision' );
@@ -1025,14 +973,15 @@ abstract class Maintenance {
                }
 
                # Done
-               $dbw->commit();
+               $dbw->commit( __METHOD__ );
        }
 
        /**
         * Get the maintenance directory.
+        * @return string
         */
        protected function getDir() {
-               return dirname( __FILE__ );
+               return __DIR__;
        }
 
        /**
@@ -1053,10 +1002,9 @@ abstract class Maintenance {
        protected static function getCoreScripts() {
                if ( !self::$mCoreScripts ) {
                        $paths = array(
-                               dirname( __FILE__ ),
-                               dirname( __FILE__ ) . '/gearman',
-                               dirname( __FILE__ ) . '/language',
-                               dirname( __FILE__ ) . '/storage',
+                               __DIR__,
+                               __DIR__ . '/language',
+                               __DIR__ . '/storage',
                        );
                        self::$mCoreScripts = array();
                        foreach ( $paths as $p ) {
@@ -1108,17 +1056,17 @@ abstract class Maintenance {
 
        /**
         * Lock the search index
-        * @param &$db Database object
+        * @param &$db DatabaseBase object
         */
        private function lockSearchindex( &$db ) {
                $write = array( 'searchindex' );
-               $read = array( 'page', 'revision', 'text', 'interwiki', 'l10n_cache' );
+               $read = array( 'page', 'revision', 'text', 'interwiki', 'l10n_cache', 'user' );
                $db->lockTables( $read, $write, __CLASS__ . '::' . __METHOD__ );
        }
 
        /**
         * Unlock the tables
-        * @param &$db Database object
+        * @param &$db DatabaseBase object
         */
        private function unlockSearchindex( &$db ) {
                $db->unlockTables(  __CLASS__ . '::' . __METHOD__ );
@@ -1127,7 +1075,7 @@ abstract class Maintenance {
        /**
         * Unlock and lock again
         * Since the lock is low-priority, queued reads will be able to complete
-        * @param &$db Database object
+        * @param &$db DatabaseBase object
         */
        private function relockSearchindex( &$db ) {
                $this->unlockSearchindex( $db );
@@ -1175,8 +1123,9 @@ abstract class Maintenance {
 
        /**
         * Update the searchindex table for a given pageid
-        * @param $dbw Database: a database write handle
+        * @param $dbw DatabaseBase a database write handle
         * @param $pageId Integer: the page ID to update.
+        * @return null|string
         */
        public function updateSearchIndexForPage( $dbw, $pageId ) {
                // Get current revision
@@ -1187,13 +1136,30 @@ abstract class Maintenance {
                        $title = $titleObj->getPrefixedDBkey();
                        $this->output( "$title..." );
                        # Update searchindex
-                       $u = new SearchUpdate( $pageId, $titleObj->getText(), $rev->getText() );
+                       # TODO: pass the Content object to SearchUpdate, let the search engine decide how to deal with it.
+                       $u = new SearchUpdate( $pageId, $titleObj->getText(), $rev->getContent()->getTextForSearchIndex() );
                        $u->doUpdate();
                        $this->output( "\n" );
                }
                return $title;
        }
 
+       /**
+        * Wrapper for posix_isatty()
+        * We default as considering stdin a tty (for nice readline methods)
+        * but treating stout as not a tty to avoid color codes
+        *
+        * @param $fd int File descriptor
+        * @return bool
+        */
+       public static function posix_isatty( $fd ) {
+               if ( !MWInit::functionExists( 'posix_isatty' ) ) {
+                       return !$fd;
+               } else {
+                       return posix_isatty( $fd );
+               }
+       }
+
        /**
         * Prompt the console for input
         * @param $prompt String what to begin the line with, like '> '
@@ -1202,7 +1168,7 @@ abstract class Maintenance {
        public static function readconsole( $prompt = '> ' ) {
                static $isatty = null;
                if ( is_null( $isatty ) ) {
-                       $isatty = posix_isatty( 0 /*STDIN*/ );
+                       $isatty = self::posix_isatty( 0 /*STDIN*/ );
                }
 
                if ( $isatty && function_exists( 'readline' ) ) {
@@ -1258,9 +1224,80 @@ abstract class Maintenance {
        }
 }
 
+/**
+ * Fake maintenance wrapper, mostly used for the web installer/updater
+ */
 class FakeMaintenance extends Maintenance {
        protected $mSelf = "FakeMaintenanceScript";
        public function execute() {
                return;
        }
 }
+
+/**
+ * Class for scripts that perform database maintenance and want to log the
+ * update in `updatelog` so we can later skip it
+ */
+abstract class LoggedUpdateMaintenance extends Maintenance {
+       public function __construct() {
+               parent::__construct();
+               $this->addOption( 'force', 'Run the update even if it was completed already' );
+               $this->setBatchSize( 200 );
+       }
+
+       public function execute() {
+               $db = $this->getDB( DB_MASTER );
+               $key = $this->getUpdateKey();
+
+               if ( !$this->hasOption( 'force' ) &&
+                       $db->selectRow( 'updatelog', '1', array( 'ul_key' => $key ), __METHOD__ ) )
+               {
+                       $this->output( "..." . $this->updateSkippedMessage() . "\n" );
+                       return true;
+               }
+
+               if ( !$this->doDBUpdates() ) {
+                       return false;
+               }
+
+               if (
+                       $db->insert( 'updatelog', array( 'ul_key' => $key ), __METHOD__, 'IGNORE' ) )
+               {
+                       return true;
+               } else {
+                       $this->output( $this->updatelogFailedMessage() . "\n" );
+                       return false;
+               }
+       }
+
+       /**
+        * Message to show that the update was done already and was just skipped
+        * @return String
+        */
+       protected function updateSkippedMessage() {
+               $key = $this->getUpdateKey();
+               return "Update '{$key}' already logged as completed.";
+       }
+
+       /**
+        * Message to show the the update log was unable to log the completion of this update
+        * @return String
+        */
+       protected function updatelogFailedMessage() {
+               $key = $this->getUpdateKey();
+               return "Unable to log update '{$key}' as completed.";
+       }
+
+       /**
+        * Do the actual work. All child classes will need to implement this.
+        * Return true to log the update as done or false (usually on failure).
+        * @return Bool
+        */
+       abstract protected function doDBUpdates();
+
+       /**
+        * Get the update key name to go in the update log table
+        * @return String
+        */
+       abstract protected function getUpdateKey();
+}