www/ecrire/genie/optimiser.php

   1 <?php
   2
   3 /***************************************************************************\
   4  *  SPIP, Systeme de publication pour l'internet                           *
   5  *                                                                         *
   6  *  Copyright (c) 2001-2014                                                *
   7  *  Arnaud Martin, Antoine Pitrou, Philippe Riviere, Emmanuel Saint-James  *
   8  *                                                                         *
   9  *  Ce programme est un logiciel libre distribue sous licence GNU/GPL.     *
  10  *  Pour plus de details voir le fichier COPYING.txt ou l'aide en ligne.   *
  11 \***************************************************************************/
  12
  13 if (!defined('_ECRIRE_INC_VERSION')) return;
  14
  15 include_spip('base/abstract_sql');
  16
  17 // http://doc.spip.org/@genie_optimiser_dist
  18 function genie_optimiser_dist($t) {
  19
  20         optimiser_base_une_table();
  21         optimiser_base();
  22
  23         // la date souhaitee pour le tour suivant = apres-demain a 4h du mat ;
  24         // sachant qu'on a un delai de 48h, on renvoie aujourd'hui a 4h du mat
  25         // avec une periode de flou entre 2h et 6h pour ne pas saturer un hebergeur
  26         // qui aurait beaucoup de sites SPIP
  27         return -(mktime(2,0,0) + rand(0, 3600*4));
  28 }
  29
  30 // heure de reference pour le garbage collector = 24h auparavant
  31 // http://doc.spip.org/@optimiser_base
  32 function optimiser_base($attente = 86400) {
  33         optimiser_base_disparus($attente);
  34 }
  35
  36
  37 // http://doc.spip.org/@optimiser_base_une_table
  38 function optimiser_base_une_table() {
  39
  40         $tables = array();
  41         $result = sql_showbase();
  42
  43         // on n'optimise qu'une seule table a chaque fois,
  44         // pour ne pas vautrer le systeme
  45         // lire http://dev.mysql.com/doc/refman/5.0/fr/optimize-table.html
  46         while ($row = sql_fetch($result))
  47                 $tables[] = array_shift($row);
  48
  49         if ($tables) {
  50                 $table_op = intval($GLOBALS['meta']['optimiser_table']+1) % sizeof($tables);
  51                 ecrire_meta('optimiser_table', $table_op);
  52                 $q = $tables[$table_op];
  53                 spip_log("debut d'optimisation de la table $q");
  54                 if (sql_optimize($q))
  55                         spip_log("fin d'optimisation de la table $q");
  56                 else spip_log("Pas d'optimiseur necessaire");
  57         }
  58 }
  59
  60 // mysql < 4.0 refuse les requetes DELETE multi table
  61 // et elles ont une syntaxe differente entre 4.0 et 4.1
  62 // On passe donc par un SELECT puis DELETE avec IN
  63
  64 // Utilitaire exploitant le SELECT et appliquant DELETE
  65 // L'index du SELECT doit s'appeler "id"
  66
  67 // http://doc.spip.org/@optimiser_sansref
  68 function optimiser_sansref($table, $id, $sel)
  69 {
  70         $in = array();
  71         while ($row = sql_fetch($sel)) $in[$row['id']]=true;
  72
  73         if ($in) {
  74                 $in = join(',', array_keys($in));
  75                 sql_delete($table,  sql_in($id,$in));
  76                 spip_log("Numeros des entrees $id supprimees dans la table $table: $in");
  77         }
  78         return count($in);
  79 }
  80
  81 // Nomenclature des liens morts entre les tables,
  82 // suite a la suppresion d'articles, d'auteurs etc
  83 // Maintenant que MySQL 5 a des Cascades on pourrait faire autrement
  84 // mais on garde la compatibilite avec les versions precedentes.
  85
  86 // http://doc.spip.org/@optimiser_base_disparus
  87 function optimiser_base_disparus($attente = 86400) {
  88
  89         # format = 20060610110141, si on veut forcer une optimisation tout de suite
  90         $mydate = date("YmdHis", time() - $attente);
  91
  92         $n = 0;
  93
  94         //
  95         // Rubriques
  96         //
  97
  98         # les articles qui sont dans une id_rubrique inexistante
  99         # attention on controle id_rubrique>0 pour ne pas tuer les articles
 100         # specialement affectes a une rubrique non-existante (plugin,
 101         # cf. http://trac.rezo.net/trac/spip/ticket/1549 )
 102         $res = sql_select("articles.id_article AS id",
 103                         "spip_articles AS articles
 104                         LEFT JOIN spip_rubriques AS rubriques
 105                           ON articles.id_rubrique=rubriques.id_rubrique",
 106                          "articles.id_rubrique > 0
 107                          AND rubriques.id_rubrique IS NULL
 108                          AND articles.maj < $mydate");
 109
 110         $n+= optimiser_sansref('spip_articles', 'id_article', $res);
 111
 112         # les breves qui sont dans une id_rubrique inexistante
 113         $res = sql_select("breves.id_breve AS id",
 114                         "spip_breves AS breves
 115                         LEFT JOIN spip_rubriques AS rubriques
 116                           ON breves.id_rubrique=rubriques.id_rubrique",
 117                         "rubriques.id_rubrique IS NULL
 118                          AND breves.maj < $mydate");
 119
 120         $n+= optimiser_sansref('spip_breves', 'id_breve', $res);
 121
 122         # les forums lies a une id_rubrique inexistante
 123         $res = sql_select("forum.id_forum AS id",
 124                         "spip_forum AS forum
 125                         LEFT JOIN spip_rubriques AS rubriques
 126                           ON forum.id_rubrique=rubriques.id_rubrique",
 127                         "rubriques.id_rubrique IS NULL
 128                          AND forum.id_rubrique>0");
 129
 130         $n+= optimiser_sansref('spip_forum', 'id_forum', $res);
 131
 132         # les droits d'auteurs sur une id_rubrique inexistante
 133         # (plusieurs entrees seront eventuellement detruites pour chaque rub)
 134         $res = sql_select("auteurs_rubriques.id_rubrique AS id",
 135                         "spip_auteurs_rubriques AS auteurs_rubriques
 136                         LEFT JOIN spip_rubriques AS rubriques
 137                           ON auteurs_rubriques.id_rubrique=rubriques.id_rubrique",
 138                         "rubriques.id_rubrique IS NULL");
 139
 140         $n+= optimiser_sansref('spip_auteurs_rubriques', 'id_rubrique', $res);
 141
 142         # les liens des mots affectes a une id_rubrique inexistante
 143         $res = sql_select("mots_rubriques.id_rubrique AS id",
 144                       "spip_mots_rubriques AS mots_rubriques
 145                         LEFT JOIN spip_rubriques AS rubriques
 146                           ON mots_rubriques.id_rubrique=rubriques.id_rubrique",
 147                         "rubriques.id_rubrique IS NULL");
 148
 149         $n+= optimiser_sansref('spip_mots_rubriques', 'id_rubrique', $res);
 150
 151         //
 152         // Articles
 153         //
 154
 155         sql_delete("spip_articles", "statut='poubelle' AND maj < $mydate");
 156
 157         # les liens d'auteurs d'articles effaces
 158         $res = sql_select("auteurs_articles.id_article AS id",
 159                       "spip_auteurs_articles AS auteurs_articles
 160                         LEFT JOIN spip_articles AS articles
 161                           ON auteurs_articles.id_article=articles.id_article",
 162                         "articles.id_article IS NULL");
 163
 164         $n+= optimiser_sansref('spip_auteurs_articles', 'id_article', $res);
 165
 166         # les liens de mots affectes a des articles effaces
 167         $res = sql_select("mots_articles.id_article AS id",
 168                         "spip_mots_articles AS mots_articles
 169                         LEFT JOIN spip_articles AS articles
 170                           ON mots_articles.id_article=articles.id_article",
 171                         "articles.id_article IS NULL");
 172
 173         $n+= optimiser_sansref('spip_mots_articles', 'id_article', $res);
 174
 175         # les forums lies a des articles effaces
 176         $res = sql_select("forum.id_forum AS id",
 177                         "spip_forum AS forum
 178                         LEFT JOIN spip_articles AS articles
 179                           ON forum.id_article=articles.id_article",
 180                         "articles.id_article IS NULL
 181                          AND forum.id_article>0");
 182
 183         $n+= optimiser_sansref('spip_forum', 'id_forum', $res);
 184
 185         //
 186         // Breves
 187         //
 188
 189         sql_delete("spip_breves", "statut='refuse' AND maj < $mydate");
 190
 191
 192         # les liens de mots affectes a des breves effacees
 193         $res = sql_select("mots_breves.id_breve AS id",
 194                         "spip_mots_breves AS mots_breves
 195                         LEFT JOIN spip_breves AS breves
 196                           ON mots_breves.id_breve=breves.id_breve",
 197                         "breves.id_breve IS NULL");
 198
 199         $n+= optimiser_sansref('spip_mots_breves', 'id_breve', $res);
 200
 201         # les forums lies a des breves effacees
 202         $res = sql_select("forum.id_forum AS id",
 203                         "spip_forum AS forum
 204                         LEFT JOIN spip_breves AS breves
 205                           ON forum.id_breve=breves.id_breve",
 206                         "breves.id_breve IS NULL
 207                          AND forum.id_breve>0");
 208
 209         $n+= optimiser_sansref('spip_forum', 'id_forum', $res);
 210
 211
 212         //
 213         // Sites
 214         //
 215
 216         sql_delete("spip_syndic", "maj < $mydate AND statut = 'refuse'");
 217
 218
 219         # les articles syndiques appartenant a des sites effaces
 220         $res = sql_select("syndic_articles.id_syndic AS id",
 221                       "spip_syndic_articles AS syndic_articles
 222                         LEFT JOIN spip_syndic AS syndic
 223                           ON syndic_articles.id_syndic=syndic.id_syndic",
 224                         "syndic.id_syndic IS NULL");
 225
 226         $n+= optimiser_sansref('spip_syndic_articles', 'id_syndic', $res);
 227
 228         # les liens de mots affectes a des sites effaces
 229         $res = sql_select("mots_syndic.id_syndic AS id",
 230                         "spip_mots_syndic AS mots_syndic
 231                         LEFT JOIN spip_syndic AS syndic
 232                           ON mots_syndic.id_syndic=syndic.id_syndic",
 233                         "syndic.id_syndic IS NULL");
 234
 235         $n+= optimiser_sansref('spip_mots_syndic', 'id_syndic', $res);
 236
 237         # les forums lies a des sites effaces
 238         $res = sql_select("forum.id_forum AS id",
 239                         "spip_forum AS forum
 240                         LEFT JOIN spip_syndic AS syndic
 241                           ON forum.id_syndic=syndic.id_syndic",
 242                         "syndic.id_syndic IS NULL
 243                          AND forum.id_syndic>0");
 244
 245         $n+= optimiser_sansref('spip_forum', 'id_forum', $res);
 246
 247         //
 248         // Auteurs
 249         //
 250
 251         # les liens d'articles sur des auteurs effaces
 252         $res = sql_select("auteurs_articles.id_auteur AS id",
 253                       "spip_auteurs_articles AS auteurs_articles
 254                         LEFT JOIN spip_auteurs AS auteurs
 255                           ON auteurs_articles.id_auteur=auteurs.id_auteur",
 256                         "auteurs.id_auteur IS NULL");
 257
 258         $n+= optimiser_sansref('spip_auteurs_articles', 'id_auteur', $res);
 259
 260         # les liens de messages sur des auteurs effaces
 261         $res = sql_select("auteurs_messages.id_auteur AS id",
 262                       "spip_auteurs_messages AS auteurs_messages
 263                         LEFT JOIN spip_auteurs AS auteurs
 264                           ON auteurs_messages.id_auteur=auteurs.id_auteur",
 265                         "auteurs.id_auteur IS NULL");
 266
 267         $n+= optimiser_sansref('spip_auteurs_messages', 'id_auteur', $res);
 268
 269         # les liens de rubriques sur des auteurs effaces
 270         $res = sql_select("auteurs_rubriques.id_rubrique AS id",
 271                       "spip_auteurs_rubriques AS auteurs_rubriques
 272                         LEFT JOIN spip_rubriques AS rubriques
 273                           ON auteurs_rubriques.id_rubrique=rubriques.id_rubrique",
 274                         "rubriques.id_rubrique IS NULL");
 275
 276         $n+= optimiser_sansref('spip_auteurs_rubriques', 'id_rubrique', $res);
 277
 278         # effacer les auteurs poubelle qui ne sont lies a aucun article
 279         $res = sql_select("auteurs.id_auteur AS id",
 280                         "spip_auteurs AS auteurs
 281                         LEFT JOIN spip_auteurs_articles AS auteurs_articles
 282                           ON auteurs_articles.id_auteur=auteurs.id_auteur",
 283                         "auteurs_articles.id_auteur IS NULL
 284                         AND auteurs.statut='5poubelle' AND auteurs.maj < $mydate");
 285
 286         $n+= optimiser_sansref('spip_auteurs', 'id_auteur', $res);
 287
 288         # supprimer les auteurs 'nouveau' qui n'ont jamais donne suite
 289         # au mail de confirmation (45 jours pour repondre, ca devrait suffire)
 290         sql_delete("spip_auteurs", "statut='nouveau' AND maj < ". sql_quote(date('Y-m-d', time()-45*24*3600)));
 291
 292
 293         //
 294         // Documents
 295         //
 296
 297         # les liens des documents qui sont lies a un objet inexistant
 298         $r = sql_select("DISTINCT objet","spip_documents_liens");
 299         while ($t = sql_fetch($r)){
 300                 $type = $t['objet'];
 301                 $spip_table_objet = table_objet_sql($type);
 302                 $id_table_objet = id_table_objet($type);
 303                 $res = sql_select("L.id_document AS id,id_objet",
 304                               "spip_documents_liens AS L
 305                                 LEFT JOIN $spip_table_objet AS O
 306                                   ON O.$id_table_objet=L.id_objet AND L.objet=".sql_quote($type),
 307                                 "O.$id_table_objet IS NULL");
 308                 // sur une cle primaire composee, pas d'autres solutions que de virer un a un
 309                 while ($row = sql_fetch($sel)){
 310                         sql_delete("spip_documents_liens", array("id_document=".$row['id'],"id_objet=".$row['id_objet'],"objet=".sql_quote($type)));
 311                         spip_log("Entree ".$row['id']."/".$row['id_objet']."/$type supprimee dans la table spip_documents_liens");
 312                 }
 313         }
 314
 315         // on ne nettoie volontairement pas automatiquement les documents orphelins
 316
 317         //
 318         // Messages prives
 319         //
 320
 321         # supprimer les messages lies a un auteur disparu
 322         $res = sql_select("messages.id_message AS id",
 323                       "spip_messages AS messages
 324                         LEFT JOIN spip_auteurs AS auteurs
 325                           ON auteurs.id_auteur=messages.id_auteur",
 326                         "auteurs.id_auteur IS NULL");
 327
 328         $n+= optimiser_sansref('spip_messages', 'id_message', $res);
 329
 330         //
 331         // Mots-cles
 332         //
 333
 334         $result = sql_delete("spip_mots", "titre='' AND maj < $mydate");
 335
 336
 337         # les liens mots-articles sur des mots effaces
 338         $res = sql_select("mots_articles.id_mot AS id",
 339                         "spip_mots_articles AS mots_articles
 340                         LEFT JOIN spip_mots AS mots
 341                           ON mots_articles.id_mot=mots.id_mot",
 342                         "mots.id_mot IS NULL");
 343
 344         $n+= optimiser_sansref('spip_mots_articles', 'id_mot', $res);
 345
 346         # les liens mots-breves sur des mots effaces
 347         $res = sql_select("mots_breves.id_mot AS id",
 348                         "spip_mots_breves AS mots_breves
 349                         LEFT JOIN spip_mots AS mots
 350                           ON mots_breves.id_mot=mots.id_mot",
 351                         "mots.id_mot IS NULL");
 352
 353         $n+= optimiser_sansref('spip_mots_breves', 'id_mot', $res);
 354
 355         # les liens mots-forum sur des mots effaces
 356         $res = sql_select("mots_forum.id_mot AS id",
 357                         "spip_mots_forum AS mots_forum
 358                         LEFT JOIN spip_mots AS mots
 359                           ON mots_forum.id_mot=mots.id_mot",
 360                         "mots.id_mot IS NULL");
 361
 362         $n+= optimiser_sansref('spip_mots_forum', 'id_mot', $res);
 363
 364         # les liens mots-rubriques sur des mots effaces
 365         $res = sql_select("mots_rubriques.id_mot AS id",
 366                       "spip_mots_rubriques AS mots_rubriques
 367                         LEFT JOIN spip_mots AS mots
 368                           ON mots_rubriques.id_mot=mots.id_mot",
 369                         "mots.id_mot IS NULL");
 370
 371         $n+= optimiser_sansref('spip_mots_rubriques', 'id_mot', $res);
 372
 373         # les liens mots-syndic sur des mots effaces
 374         $res = sql_select("mots_syndic.id_mot AS id",
 375                         "spip_mots_syndic AS mots_syndic
 376                         LEFT JOIN spip_mots AS mots
 377                           ON mots_syndic.id_mot=mots.id_mot",
 378                         "mots.id_mot IS NULL");
 379
 380         $n+= optimiser_sansref('spip_mots_syndic', 'id_mot', $res);
 381
 382
 383         //
 384         // Forums
 385         //
 386
 387         sql_delete("spip_forum", "statut='redac' AND maj < $mydate");
 388
 389
 390         # les liens mots-forum sur des forums effaces
 391         $res = sql_select("mots_forum.id_forum AS id",
 392                         "spip_mots_forum AS mots_forum
 393                         LEFT JOIN spip_forum AS forum
 394                           ON mots_forum.id_forum=forum.id_forum",
 395                         "forum.id_forum IS NULL");
 396
 397         $n+= optimiser_sansref('spip_mots_forum', 'id_forum', $res);
 398
 399         $n = pipeline('optimiser_base_disparus', array(
 400                         'args'=>array(
 401                                 'attente' => $attente,
 402                                 'date' => $mydate),
 403                         'data'=>$n
 404         ));
 405
 406
 407         //
 408         // CNIL -- Informatique et libertes
 409         //
 410         // masquer le numero IP des vieux forums
 411         //
 412         ## date de reference = 4 mois
 413         ## definir a 0 pour desactiver
 414         define('_CNIL_PERIODE', 3600*24*31*4);
 415
 416         if (_CNIL_PERIODE) {
 417                 $critere_cnil = 'date_heure<"'.date('Y-m-d', time()-_CNIL_PERIODE).'"'
 418                         . ' AND statut != "spam"'
 419                         . ' AND (ip LIKE "%.%" OR ip LIKE "%:%")'; # ipv4 ou ipv6
 420
 421                 $c = sql_countsel('spip_forum', $critere_cnil);
 422
 423                 if ($c>0) {
 424                         spip_log("CNIL: masquer IP de $c forums anciens");
 425                         sql_update('spip_forum', array('ip' => 'MD5(ip)'), $critere_cnil);
 426                 }
 427         }
 428
 429
 430         if (!$n) spip_log("Optimisation des tables: aucun lien mort");
 431 }
 432
 433 ?>