Switch some callers to WaitConditionLoop

Also fixed up backwards documentation

Change-Id: I00c36aa751a79ca86a754e049a6da78cbb417b81

Merge "Preload ResourceLoaderWikiModule::getTitleInfo in OutputPage"

Merge "Avoid user autocreation race condition caused by repeatable read"

InfoAction: Add a link to Special:ChangeContentModel if allowed

If the user is allowed to change the content model of the page,
then add a link to it on ?action=info, next to the localized content
model name.

Change-Id: I084e8f390f90d29ed2e2d0f8ab43bcdfe8538ad1

Avoid user autocreation race condition caused by repeatable read

AuthManager tries to check whether the user already exists if
User::addToDatabase fails in autocreation, but since the same DB row
was already checked a few lines earlier and this method is typically
wrapped in an implicit transaction, it will just re-read the same
snapshot and not do anything useful. addToDatabase already has
a check for that so let's rely on that instead.

Bug: T145131
Change-Id: I94a5e8b851dcf994f5f9e773edf4e9153a4a3535

Preload ResourceLoaderWikiModule::getTitleInfo in OutputPage

This avoids a separate query for each module.

Bug: T46362
Change-Id: Ie109a8776cbdcd5928cbb59351f2cf94088c0c95

Localisation updates from https://translatewiki.net.

Change-Id: I11dbcc26b7ee18146c907c309bbc67ba4ccc9339

Merge "objectcache: expose "minTime" in WAN cache and call it "minAsOf" instead"

objectcache: expose "minTime" in WAN cache and call it "minAsOf" instead

Change-Id: Iabb639dddb9458d961dbbaee6a0dfb2323c2739a

Merge "Fix IDEA warnings in CategoryMembershipChangeJob"

JsonContentHandler: Make sure makeEmptyContent() is valid JSON

The default TextContentHandler::makeEmptyContent() implementation
is an empty string, which is not valid JSON.

Change-Id: I8bc6ec647c5e8cd01c5cd63031525619c4ef44d0

objectcache: pass in the $oldValue as-of time in getWithSetCallback()

This lets callers use adaptive TTLs on the near-expiration
preemptive refreshes if the new and current values match,
using the as-of time as $mtime.

Change-Id: Ie541c35f890c9f789d1accf9f2a43506daaf31f0

Hide signup/login/logout links when they would not work

Immutable session providers do not support login and logout;
these pages would just show an error when such a session provider
is handling the authentication of the request. Depending on what
authentication providers are configured, the wiki might not
support account creation. Showing the links is unhelpful if
they would just show an obscure error message.

(OTOH don't try to hide the link when the reason it is not
usable depends on the user; specifically, don't check
AuthManager::checkAccountCreatePermissions. An error message
is more informative in that case than a missing link.)

Also improve how the affected special pages behave if the user
manages to get there anyway.

Change-Id: Ic0ad237259797a8d471bdabc57a4bd0ffe8fa33b

Merge "LinkFilter: Fix return types in phpdoc"

Fix doc typo in InterwikiLookup

Change-Id: I2a547a005955cb9f596ff6927feb7df3d5d91872

Fix IDEA warnings in CategoryMembershipChangeJob

Change-Id: I0ee952c59cccf00167d468adb49d4bf811a80dc9

Merge "database: rename clearSnapshot() => flushSnapshot()"

database: rename clearSnapshot() => flushSnapshot()

* This is more consistent with the name flushReplicaSnapshots().
* Also add it to IDatabase, which defines the modern OLTP methods
  of DatabaseBase. This methods is useful for callers that get
  locks or wait for a replica DB to catch up before querying it.

Change-Id: Ia31e480bb9ccf461bf05ede4278920918eec4f16

Merge "ContentHandler: Remove entirely-unused mModelName property"

Make sure the lock in JobRunner::commitMasterChanges() releases

Used a ScopedCallback in case of exception to avoid queue backup

Change-Id: I58a5f152a54ed9a0d5544014788792bd62afbf4a

Merge "Run tests from MediaWiki-Vagrant virtual machine headlessly"

Merge "Rollback: Change @since 1.27 to @since 1.28"

ContentHandler: Remove entirely-unused mModelName property

This property isn't documented anywhere nor used anywhere.

Change-Id: I37b20260c6abbec49364b31183dd2337be44846b

Merge "Don't throw exceptions in ContentHandler::getUndoContent()"

Merge "Run database-using tests in MySQL STRICT mode"

Rollback: Change @since 1.27 to @since 1.28

9af38c04 is not included in REL1.27.

Follows-up to 9af38c04

Change-Id: I377028aec91d15b63257baf522b5aa2dbd12d43b

Merge "resourceloader: Preload WikiModule::getTitleInfo() in batches"

Don't throw exceptions in ContentHandler::getUndoContent()

The method is not documented to throw any exceptions, and already
returns false on failure, and it can be seen as a failure case when the
content models are not the same.

Bug: T145044
Change-Id: I0394d19cd65f9dd3ee350d2cde95afb11ab9e7f4

Only apply DB_MASTER fallback in Revision::fetchText() if READ_LATEST

Add support to DBAccessObjectUtils for fallback logic to make
this simple for other callers too.

Change-Id: I58ab7bd7d31a481f9dc9a773392ea90feb1ebeac

Merge "resourceloader: Simplify WikiModule::getTitleInfo() DB query"

resourceloader: Preload WikiModule::getTitleInfo() in batches

Test plan:
* Request load.php?modules=startup&only=scripts
* Debug log receives 1 entry in the 'queries' channel from
  ResourceLoaderWikiModule, and it comes from preloadTitleInfo.

Bug: T46362
Change-Id: I82e215745af6b8446cd69282b2c943afbbd45065

resourceloader: Simplify WikiModule::getTitleInfo() DB query

While rev_sha1 was preferred to rev_id (page_latest) to allow
client-cache to be re-used in case of a bad change and revert,
this is no longer possible since we recently added support for
explicit purging by considering page_touched.

As such, use of rev_sha1 is no longer useful.

Change-Id: Iddb65305ca4655098fdea9fcf736fd4046035dd7

Add rate limits for changing a page's content model

The defaults are set to the same value as page moves.

Change-Id: I72d6c35ecda475101c1c909715e4ba693dd214f6

objectcache: Avoid doxygen misformatting for pcGroup comments

Change-Id: I970bc9ccb04b046c563a357d87f814da652e23d2

Merge "objectcache: add "pcGroup" option to WANObjectCache::getWithSetCallback()"

objectcache: add "pcGroup" option to WANObjectCache::getWithSetCallback()

This lets callers have their own process cache but keep it
managed in a central location, making it easier to reset
when DB transaction snapshot are flushed or when unit tests
want to clear caches between runs.

Use this to replace the Revision text process cache.

Change-Id: Ic61ee9140d4ce9836cc4650adb5bb75a291fea18

Allow --profile to be used in phpunit.php

This requires running PHPUnit from within execute() -- we're calling a
function so it doesn't benefit from being in global scope.

Change-Id: I4b6a3613bc89047a9f32505afabaff98b3655e1a

Split up testHelpers.inc, break off fuzz testing

* Split up testHelpers.inc into one class per file, with the file named
  after the class per the usual convention. Put them in tests/parser
  since they are all parser-related, even though a couple are reused by
  other unit tests.
* Also rename parserTest.inc and parserTestsParserHook.php to follow the
  usual convention, and split off ParserTestResultNormalizer
* Move fuzz testing out to its own maintenance script. It's really not
  helpful to have fuzz testing, which is designed to run forever,
  exposed as a PHPUnit test.
* Increased fuzz test memory limit, and increased the memory headroom for
  getMemoryBreakdown(), since HHVM's ReflectionClass has an internal
  cache which uses quite a lot of memory.
* Temporarily switched a couple of ParserTest methods from private to
  public to support fuzz testing from a separate class -- I plan on
  replacing this interface in a subsequent commit.

Change-Id: Ib1a07e109ec1005bff2751b78eb4de35f2dfc472

Merge "SpecialDeletedContributions: Don't force a known link in subtitle"

resourceloader: Use makeVersionQuery for 'version' query parameter

makeVersionQuery and getCombinedVersion return the same string in
most cases, but there are exceptions, and it could diverge further
in the future. Use the semantically correct method.

Before 6fa1e56 it didn't matter how 'version' was computed as long
as it's deterministic and sufficiently unique. Now that we validate
the hashes it's important all methods use the same logic.

Rename method to makeVersionQuery since it's no longer used just
for comparison against the expected value.

Change-Id: I19f5818e27c8a0920d3d1374b40aeb0b6ba0b614

Merge "RollbackAction: Allow 'from' to be an empty string"

RollbackAction: Allow 'from' to be an empty string

Fix regression from 9af38c046c86, which made 'from' a required
non-empty parameter where previously an empty value was allowed.

The rollback links always include a 'from' parameter, but it is
set to an empty string by Revision::getUserText if the current
revision has its username hidden.

Test plan:
* Go to action=history, tick latest revision and "Change visibility".
* Tick "Editor's username" and apply the change.
* Hit "rollback" on the history page.
* Before: "missing parameter" error.
  After: Success.

Bug: T141985
Change-Id: I20d23e2aeec858f82231910c030c14ffa3af656f

Revision: Simplify loadText() with nested getWithSetCallback

Check the MapCacheLRU::get() return value properly for misses
this time.

This reverts commit 1f022240c73f0909d8d3eb457ede12119190621a.

Change-Id: Ic95b79ad8d7d7c788f406d45c0e9bedeeb8d220b

Allow putting the app ID in the password for bot passwords

Bot passwords allow backwards-compatible login (with grants, for API
usage only) with "<real username>@<botname>" for username plus a
random-generated password.
This doesn't work well with some bot frameworks (including Pywikibot,
the most popular one) which assume that the text that goes into the
username field of the login API is the username that they will be
logged in with afterwards (and so the @-postfix causes all kinds of
errors).

Since the goal of bot passwords is compatibility with old unmaintained
API clients, this patch adds an alternative format which does not
cause problems with old bots: use the username normally, and use
"<botname>@<random-generated password>" as password. Since this is
technically a valid normal password, there is some ambiguity, but
bot passwords have a distintive format so it's easy to check and it is
extremely unlikely that someone would use the exact same format for
their normal password; and if the bot password login fails we can
simply retry it as a normal password, just in case.

Bug: T142304
Change-Id: Ib59a6fbe0e65d80d5e7d19ff37cec5e011c00539

Merge "Revert "Revision: Simplify loadText() with nested getWithSetCallback""

Merge "Documentation: Replace misuse of 'later' when we meant 'latter'"

Revert "Revision: Simplify loadText() with nested getWithSetCallback"

This reverts commit aa0f6ead348d0aa3f59d51df0806e95eb76babf8.

Change-Id: I285ada2e86f014b93c7e7946f10d2dc84375fcff

Merge "Fix ApiStashEdit IDEA warnings"

Documentation: Replace misuse of 'later' when we meant 'latter'

Change-Id: I01bfdb8e0bfaa132533732873f7c840cea7935eb

Localisation updates from https://translatewiki.net.

Change-Id: Ib4a52f1616cdf4ed928731f1341e094a7f35092b

Trivial: Typo fix in comment

Change-Id: I7ad1ee3ca1e3007e70b5566209e3bbbc9b19201a

Fix ApiStashEdit IDEA warnings

Change-Id: Icc1d0225908e432df10c36d69c6ed282f8761198

Merge "Revision: Simplify loadText() with nested getWithSetCallback"

Merge "Style and IDEA warning cleanups"

Revision: Simplify loadText() with nested getWithSetCallback

The logic was a bit hard to follow as there were two layers of
caching and a conditional (expiry being set).

* Move fetch logic for revision text to a private method.
* Call directly when cache is disabled.
* Simplify cache has/get/set by using getWithSetCallback.

Change-Id: Icd74cd8e944266c20dc7c5cb25f56300636dce1e

Merge "Grant 'editcontentmodel' permission to 'user' group"

Merge "Remove ancient DB_READ/DB_WRITE constants"

Merge "Avoid redundant COMMIT calls on page views"

Grant 'editcontentmodel' permission to 'user' group

Bug: T85847
Change-Id: Iad834e757ac6f37ad64ac9e93afe93160aabc842

Avoid redundant COMMIT calls on page views

These just clear empty transactions and do not do anything
otherwise. No need in doing a few extra RTTs for that.

This also avoids "could not COMMIT" errors when transaction
callbacks do silly things like add more callbacks to outside
DBs. In that case, they either ran their callbacks already or
calling clearSnapshot() will error out.

Change-Id: I4d52c4ef69b02a33adffd8892b98ad1bd5c7d6dc

Run tests from MediaWiki-Vagrant virtual machine headlessly

Bug: T108108
Change-Id: Ic51f3f794484ebb93c525d5f347d1e4930289d5b

SpecialDeletedContributions: Don't force a known link in subtitle

The link to the user page isn't known by default, as it should be
marked as "red"/non-existing page, if the user page isn't created,
yet.

Bug: T144012
Change-Id: Ie8b70d05915ef6189dfb9acd4ebf1d1391f58b3c

Merge "API: Fix query+authmanagerinfo example message names"

Remove ancient DB_READ/DB_WRITE constants

Change-Id: I23f4c52312317e41710bc12eefe6e821f9b9e9f3

Merge "SpecialUpload: Give a context title to getExistsWarning() messages"

Make adaptiveTTL() less strict about $mtime type

Callers using wfTimestamp( TS_UNIX, ... ) where getting $minTTL
due to the output being a string number.

Change-Id: I6b67a941940f40ef9a543f11d0dbccacafaaa53b

Style and IDEA warning cleanups

* Avoid deprecated method use in MediaWiki.php.
* Move LBFactory::beginMasterChanges down a bit, next
  to LBFactory::commitMasterChanges.
* Rename $factory => $lbFactory.
* Remove redundant $conn->trxLevel() check.

Change-Id: I309ff3b8e3f586f0ac40b2f3be26b161993b58d2

Merge "Clarify that $terms get preg_quoted by caller in SearchHighlighter"

Run database-using tests in MySQL STRICT mode

Change-Id: Ib2873913102d7a7fcd84d1860725fb501cb41b64

Cache NS_TEMPLATE/NS_FILE titles in LinkCache persistently

Queries from parsing are the top use of selectRow() according
to reverse flame graphs on xenon. This does not bother with
pages in namespaces less likely to be included.

Change-Id: Ica5d6e52c830cd71effff21933b8c64691082c11

Merge "resourceloader: Use createLoaderURL() in getStartupModulesUrl()"

Merge "objectcache: add "hotTTR" and "ageNew" options to getWithSetCallback()"

Merge "Clarify and update DeferredUpdates docs"

Merge "Convert JobRunner to using beginMasterChanges()"

Clarify and update DeferredUpdates docs

Follows-up dc0cdc8a4d

Change-Id: Ib70585d9d10f6f6493a625697243e0a67796c272

Merge "Fixup some rc_* fields if empty for STRICT mode in RecentChange"

Merge "Replace unused LoadBalancer::waitTimeout() method with a config setting"

objectcache: add "hotTTR" and "ageNew" options to getWithSetCallback()

These control worthRefreshPopular(), which will try to make sure that
heavily used keys are kept more consistent than others.

Change-Id: I2d351b50462a96d0fa8ca8fa6d28d51d3a5c94ff

Replace unused LoadBalancer::waitTimeout() method with a config setting

Change-Id: Ide390738be0ff537580002501c380a0507dab1e5

Remove return-by-reference PHP4-ism from getExternalLB()

Change-Id: Id6184a4a543196c4253dc9d930ac8ac0a9a5b0b0

Convert JobRunner to using beginMasterChanges()

This lets the runJobs.php $wgCommandLineMode hack be removed.

Some fixes based on unit tests:
* Only call applyTransactionRoundFlags() for master connections
  for transaction rounds from beginMasterChanges().
* Also cleaned up the commitAndWaitForReplication() reset logic.
* Removed deprecated DataUpdate::doUpdate() calls from jobs
  since they cannot nest in a transaction round.

Change-Id: Ia9b91f539dc11a5c05bdac4bcd99d6615c4dc48d

resourceloader: Use createLoaderURL() in getStartupModulesUrl()

Avoid manually crafting a url. The packing logic and key sorting logic
is already in this method and keeps it central that way.

Test plan:
* Check output of /w/load.php?modules=startup&only=scripts.
  This is used to construct the url to 'jquery%2Cmediawiki'.
  No change in output.

Change-Id: I51ba51b6e74d78761108341c0ee318699ca7952f

filecache: Remove unused ObjectFileCache class

This was originally intended for use by ResourceLoader but it was
incomplete and not actually used by ResourceLoader at first.

Then 93d358cd added support for FileCache to ResourceLoader with
a separate ResourceFileCache class.

Also fixed typo in HTMLFileCache from 6559b8bf.

ObjectFileCache is not mentioned anywhere else in Wikimedia Git.

Change-Id: I69cca27ee7cd922da12f1793660432709c273be6

Fixup some rc_* fields if empty for STRICT mode in RecentChange

Change-Id: Ie3849f5df8bc4f98d668ed024a052523357d3514

Fix IDEA errors in JobRunner

Change-Id: I15939326afa80139a4d1000e43057b61cd374f18

Merge "Disallow mismatched beginMasterChanges/commitMasterChanges"

LinkFilter: Fix return types in phpdoc

Change-Id: I870d348a1515ce9ad5b15fe65354919c46c96e54

Merge "Rm unused 'remembermypassword' message, doc another"

Merge "Turn off "reportDupes" in CachedBagOStuff"

Defer publish of recent change for log entries

This defers the publish function of ManualLogEntry, which includes
saving the recent change to the db, notification of feeds, auto-patrol
and addition of change tags. This way, end users no longer have to wait
for those actions to conclude for the request to complete.

Bug: T127852
Change-Id: Ida86b7a7383d12695be28338c69b93e8e86d82c9

SpecialUpload: Give a context title to getExistsWarning() messages

Parsed messages should always have a context title to parse in

Change-Id: I69ceaf7d0fe7e8f5f868b9119aea1fd3a0e73400

Turn off "reportDupes" in CachedBagOStuff

Change-Id: I79148be842a940c92e555e10b24c32cdf7609539

API: Fix query+authmanagerinfo example message names

When code was copy-pasted to create the module, apparently the messages
didn't get renamed correctly.

Change-Id: I1bab2ed5a2b014602b6c3dc1e53a4ce53f78fa6f

Localisation updates from https://translatewiki.net.

Change-Id: I53d6598a7fdfc5af3b1afd61c182dc0e6491808d

Clarify that $terms get preg_quoted by caller in SearchHighlighter

Also fix misleading comment about which highlighter implementation
is default.

Change-Id: Ifb4d7fa79ec6325bdb0667fc10b6a1547b32ef69

Merge "Add API warnings when upload is same as older versions"

Merge "Fix default handling in LoadBalancer::getRandomNonLagged()"

Add API warnings when upload is same as older versions

Bug: T141822
Change-Id: I115d84d865c59200dbb60bd962c093185c9afafe

Merge "Fix spelling"

Merge "Turn off duplicate key gets for ReplicatedBagOStuff"