www/ecrire/genie/syndic.php

   1 <?php
   2
   3 /***************************************************************************\
   4  *  SPIP, Systeme de publication pour l'internet                           *
   5  *                                                                         *
   6  *  Copyright (c) 2001-2011                                                *
   7  *  Arnaud Martin, Antoine Pitrou, Philippe Riviere, Emmanuel Saint-James  *
   8  *                                                                         *
   9  *  Ce programme est un logiciel libre distribue sous licence GNU/GPL.     *
  10  *  Pour plus de details voir le fichier COPYING.txt ou l'aide en ligne.   *
  11 \***************************************************************************/
  12
  13 if (!defined('_ECRIRE_INC_VERSION')) return;
  14 include_spip('inc/syndic');
  15
  16 // http://doc.spip.org/@genie_syndic_dist
  17 function genie_syndic_dist($t) {
  18         define('_GENIE_SYNDIC', 1); // pour message de compatibilite ci-dessous
  19         return executer_une_syndication();
  20 }
  21
  22 //
  23 // Effectuer la syndication d'un unique site,
  24 // retourne 0 si aucun a faire ou echec lors de la tentative
  25 //
  26
  27 // http://doc.spip.org/@executer_une_syndication
  28 function executer_une_syndication() {
  29
  30         ## valeurs modifiables dans mes_options
  31         ## attention il est tres mal vu de prendre une periode < 20 minutes
  32         define('_PERIODE_SYNDICATION', 2*60);
  33         define('_PERIODE_SYNDICATION_SUSPENDUE', 24*60);
  34
  35         // On va tenter un site 'sus' ou 'off' de plus de 24h, et le passer en 'off'
  36         // s'il echoue
  37         $where = sql_in("syndication", array('sus','off')) . "
  38         AND date_syndic < DATE_SUB(".sql_quote(date('Y-m-d H:i:s')).", INTERVAL
  39         "._PERIODE_SYNDICATION_SUSPENDUE." MINUTE)";
  40         $id_syndic = sql_getfetsel("id_syndic", "spip_syndic", $where, '', "date_syndic", "1");
  41         if ($id_syndic) {
  42                 $res1 = syndic_a_jour($id_syndic, 'off');
  43         } else $res1 = true;
  44
  45         // Et un site 'oui' de plus de 2 heures, qui passe en 'sus' s'il echoue
  46         $where = "syndication='oui'
  47         AND date_syndic < DATE_SUB(".sql_quote(date('Y-m-d H:i:s')).", INTERVAL "._PERIODE_SYNDICATION." MINUTE)";
  48         $id_syndic = sql_getfetsel("id_syndic", "spip_syndic", $where, '', "date_syndic", "1");
  49
  50         if ($id_syndic) {
  51                 $res2 = syndic_a_jour($id_syndic, 'sus');
  52         } else $res2 = true;
  53
  54         return ($res1 OR $res2) ? 0 : $id_syndic;
  55 }
  56
  57
  58 //
  59 // Mettre a jour le site
  60 //
  61 // Attention, cette fonction ne doit pas etre appellee simultanement
  62 // sur un meme site: un verrouillage a du etre pose en amont.
  63 //
  64
  65 // http://doc.spip.org/@syndic_a_jour
  66 function syndic_a_jour($now_id_syndic, $statut = 'off') {
  67         include_spip('inc/texte');
  68         if (!defined('_GENIE_SYNDIC'))
  69                 spip_log("syndic_a_jour doit etre appelee par Cron. Cf. " .
  70                          "http://trac.rezo.net/trac/spip/changeset/10294",
  71                          'vieilles_defs');
  72         $row = sql_fetsel("*", "spip_syndic", "id_syndic=$now_id_syndic");
  73
  74         if (!$row) return;
  75
  76         $url_syndic = $row['url_syndic'];
  77         $url_site = $row['url_site'];
  78
  79         if ($row['moderation'] == 'oui')
  80                 $moderation = 'dispo';  // a valider
  81         else
  82                 $moderation = 'publie'; // en ligne sans validation
  83
  84         sql_updateq('spip_syndic', array('syndication'=>$statut, 'date_syndic'=>date('Y-m-d H:i:s')), "id_syndic=$now_id_syndic");
  85
  86         // Aller chercher les donnees du RSS et les analyser
  87         include_spip('inc/distant');
  88         $rss = recuperer_page($url_syndic, true);
  89         if (!$rss)
  90                 $articles = _T('avis_echec_syndication_02');
  91         else
  92                 $articles = analyser_backend($rss, $url_syndic);
  93
  94         // Renvoyer l'erreur le cas echeant
  95         if (!is_array($articles)) return $articles;
  96
  97         // Les enregistrer dans la base
  98
  99         $faits = array();
 100         foreach ($articles as $data) {
 101                 inserer_article_syndique ($data, $now_id_syndic, $moderation, $url_site, $url_syndic, $row['resume'], $row['documents'], $faits);
 102         }
 103
 104         // moderation automatique des liens qui sont sortis du feed
 105         if (count($faits) > 0) {
 106                 $faits = sql_in("id_syndic_article", $faits, 'NOT');
 107                 if ($row['miroir'] == 'oui') {
 108                         sql_update('spip_syndic_articles', array('statut'=>"'off'", 'maj'=>'maj'), "id_syndic=$now_id_syndic AND $faits");
 109                 }
 110         // suppression apres 2 mois des liens qui sont sortis du feed
 111                 if ($row['oubli'] == 'oui') {
 112
 113                         sql_delete('spip_syndic_articles', "id_syndic=$now_id_syndic AND maj < DATE_SUB(NOW(), INTERVAL 2 MONTH) AND date < DATE_SUB(NOW(), INTERVAL 2 MONTH) AND $faits");
 114                 }
 115         }
 116
 117         // Noter que la syndication est OK
 118         sql_updateq("spip_syndic", array("syndication" => 'oui'), "id_syndic=$now_id_syndic");
 119
 120         return false; # c'est bon
 121 }
 122
 123
 124 //
 125 // Insere un article syndique (renvoie true si l'article est nouveau)
 126 // en  verifiant qu'on ne vient pas de l'ecrire avec
 127 // un autre item du meme feed qui aurait le meme link
 128 //
 129 // http://doc.spip.org/@inserer_article_syndique
 130 function inserer_article_syndique ($data, $now_id_syndic, $statut, $url_site, $url_syndic, $resume, $documents, &$faits) {
 131         // Creer le lien s'il est nouveau - cle=(id_syndic,url)
 132         // On coupe a 255 caracteres pour eviter tout doublon
 133         // sur une URL de plus de 255 qui exloserait la base de donnees
 134         $le_lien = substr($data['url'], 0,255);
 135
 136         // si true, un lien deja syndique arrivant par une autre source est ignore
 137         // par defaut [false], chaque source a sa liste de liens, eventuellement
 138         // les memes
 139         define('_SYNDICATION_URL_UNIQUE', false);
 140
 141         // Si false, on ne met pas a jour un lien deja syndique avec ses nouvelles
 142         // donnees ; par defaut [true] : on met a jour si le contenu a change
 143         // Attention si on modifie a la main un article syndique, les modifs sont
 144         // ecrasees lors de la syndication suivante
 145         define('_SYNDICATION_CORRECTION', true);
 146
 147         // Chercher les liens de meme cle
 148         // S'il y a plusieurs liens qui repondent, il faut choisir le plus proche
 149         // (ie meme titre et pas deja fait), le mettre a jour et ignorer les autres
 150         $n = 0;
 151         $s = sql_select("id_syndic_article,titre,id_syndic,statut", "spip_syndic_articles",
 152                 "url=" . sql_quote($le_lien)
 153                 . (_SYNDICATION_URL_UNIQUE
 154                         ? ''
 155                         : " AND id_syndic=$now_id_syndic")
 156                 ." AND " . sql_in('id_syndic_article', $faits, 'NOT'), "", "maj DESC");
 157         while ($a = sql_fetch($s)) {
 158                 $id =  $a['id_syndic_article'];
 159                 $id_syndic = $a['id_syndic'];
 160                 if ($a['titre'] == $data['titre']) {
 161                         $id_syndic_article = $id;
 162                         break;
 163                 }
 164                 $n++;
 165         }
 166         // S'il y en avait qu'un, le prendre quel que soit le titre
 167         if ($n == 1)
 168                 $id_syndic_article = $id;
 169         // Si l'article n'existe pas, on le cree
 170         elseif (!isset($id_syndic_article)) {
 171                 $ajout = $id_syndic_article = sql_insertq('spip_syndic_articles',
 172                                 array('id_syndic' => $now_id_syndic,
 173                                 'url' => $le_lien,
 174                                 'date' => date("Y-m-d H:i:s", $data['date'] ? $data['date'] : $data['lastbuilddate']),
 175                                 'statut'  => $statut));
 176                 if (!$ajout) return;
 177         }
 178         $faits[] = $id_syndic_article;
 179
 180
 181         // Si le lien n'est pas nouveau, plusieurs options :
 182         if (!$ajout) {
 183                 // 1. Lien existant : on corrige ou pas ?
 184                 if (!_SYNDICATION_CORRECTION) {
 185                         return;
 186                 }
 187                 // 2. Le lien existait deja, lie a un autre spip_syndic
 188                 if (_SYNDICATION_URL_UNIQUE AND $id_syndic != $now_id_syndic)
 189                         return;
 190         }
 191
 192         // Descriptif, en mode resume ou mode 'full text'
 193         // on prend en priorite data['descriptif'] si on est en mode resume,
 194         // et data['content'] si on est en mode "full syndication"
 195         if ($resume != 'non') {
 196                 // mode "resume"
 197                 $desc = strlen($data['descriptif']) ?
 198                         $data['descriptif'] : $data['content'];
 199                 $desc = couper(trim_more(textebrut($desc)), 300);
 200         } else {
 201                 // mode "full syndication"
 202                 // choisir le contenu pertinent
 203                 // & refaire les liens relatifs
 204                 $desc = strlen($data['content']) ?
 205                         $data['content'] : $data['descriptif'];
 206                 $desc = liens_absolus($desc, $url_syndic);
 207         }
 208
 209         // tags & enclosures (preparer spip_syndic_articles.tags)
 210         $tags = $data['enclosures'];
 211         # eviter les doublons (cle = url+titre) et passer d'un tableau a une chaine
 212         if ($data['tags']) {
 213                 $vus = array();
 214                 foreach ($data['tags'] as $tag) {
 215                         $cle = supprimer_tags($tag).extraire_attribut($tag,'href');
 216                         $vus[$cle] = $tag;
 217                 }
 218                 $tags .= ($tags ? ', ' : '') . join(', ', $vus);
 219         }
 220
 221         // Mise a jour du contenu (titre,auteurs,description,date?,source...)
 222         $vals = array(
 223                         'titre' => $data['titre'],
 224                         'lesauteurs' => $data['lesauteurs'],
 225                         'descriptif' => $desc,
 226                         'lang'=> substr($data['lang'],0,10),
 227                         'source' => substr($data['source'],0,255),
 228                         'url_source' => substr($data['url_source'],0,255),
 229                         'tags' => $tags);
 230
 231         // Mettre a jour la date si lastbuilddate
 232         if ($data['lastbuilddate'])
 233                 $vals['date']= date("Y-m-d H:i:s", $data['lastbuilddate']);
 234
 235         sql_updateq('spip_syndic_articles', $vals, "id_syndic_article=$id_syndic_article");
 236
 237         // Point d'entree post_syndication
 238         pipeline('post_syndication',
 239                 array(
 240                         $le_lien,
 241                         $now_id_syndic,
 242                         $data,
 243                         $ajout
 244                 )
 245         );
 246
 247         return $ajout;
 248 }
 249
 250 /**
 251  * Nettoyer les contenus de flux qui utilisent des espaces insecables en debut
 252  * pour faire un retrait.
 253  * Peut etre sous la forme de l'entite &nbsp; ou en utf8 \xc2\xa0
 254  */
 255 function trim_more($texte){
 256         $texte = trim($texte);
 257         // chr(194)chr(160)
 258         $texte = preg_replace(",^(\s|(&nbsp;)|(\xc2\xa0))+,ums","",$texte);
 259         return  $texte;
 260 }
 261 ?>