www/plugins-dist/sites/genie/syndic.php

   1 <?php
   2
   3 /***************************************************************************\
   4  *  SPIP, Systeme de publication pour l'internet                           *
   5  *                                                                         *
   6  *  Copyright (c) 2001-2016                                                *
   7  *  Arnaud Martin, Antoine Pitrou, Philippe Riviere, Emmanuel Saint-James  *
   8  *                                                                         *
   9  *  Ce programme est un logiciel libre distribue sous licence GNU/GPL.     *
  10  *  Pour plus de details voir le fichier COPYING.txt ou l'aide en ligne.   *
  11 \***************************************************************************/
  12
  13 if (!defined("_ECRIRE_INC_VERSION")) return;
  14 include_spip('inc/syndic');
  15
  16 ## valeurs modifiables dans mes_options
  17 ## attention il est tres mal vu de prendre une periode < 20 minutes
  18 if (!defined('_PERIODE_SYNDICATION'))
  19         define('_PERIODE_SYNDICATION', 2*60);
  20 if (!defined('_PERIODE_SYNDICATION_SUSPENDUE'))
  21         define('_PERIODE_SYNDICATION_SUSPENDUE', 24*60);
  22
  23
  24 // http://code.spip.net/@genie_syndic_dist
  25 function genie_syndic_dist($t) {
  26         return executer_une_syndication();
  27 }
  28
  29 //
  30 // Effectuer la syndication d'un unique site,
  31 // retourne 0 si aucun a faire ou echec lors de la tentative
  32 //
  33
  34 // http://code.spip.net/@executer_une_syndication
  35 function executer_une_syndication() {
  36
  37         // On va tenter un site 'sus' ou 'off' de plus de 24h, et le passer en 'off'
  38         // s'il echoue
  39         $where = sql_in("syndication", array('sus','off')) . "
  40         AND statut<>'refuse'
  41         AND NOT(" . sql_date_proche('date_syndic', (0 - _PERIODE_SYNDICATION_SUSPENDUE) , "MINUTE") . ')';
  42         $id_syndic = sql_getfetsel("id_syndic", "spip_syndic", $where, '', "date_syndic", "1");
  43         if ($id_syndic) {
  44                 // inserer la tache dans la file, avec controle d'unicite
  45                 job_queue_add('syndic_a_jour','syndic_a_jour',array($id_syndic),'genie/syndic',true);
  46         }
  47
  48         // Et un site 'oui' de plus de 2 heures, qui passe en 'sus' s'il echoue
  49         $where = "syndication='oui'
  50         AND statut<>'refuse'
  51         AND NOT(" . sql_date_proche('date_syndic', (0 - _PERIODE_SYNDICATION) , "MINUTE") . ')';
  52         $id_syndic = sql_getfetsel("id_syndic", "spip_syndic", $where, '', "date_syndic", "1");
  53
  54         if ($id_syndic) {
  55                 // inserer la tache dans la file, avec controle d'unicite
  56                 job_queue_add('syndic_a_jour','syndic_a_jour',array($id_syndic),'genie/syndic',true);
  57         }
  58
  59         return 0;
  60 }
  61
  62
  63 /**
  64  * Mettre a jour le site
  65  * Attention, cette fonction ne doit pas etre appellee simultanement
  66  * sur un meme site: un verrouillage a du etre pose en amont.
  67  * => elle doit toujours etre appelee par job_queue_add
  68  *
  69  * http://code.spip.net/@syndic_a_jour
  70  *
  71  * @param int $now_id_syndic
  72  * @return bool|string
  73  */
  74 function syndic_a_jour($now_id_syndic) {
  75         include_spip('inc/texte');
  76         $call = debug_backtrace();
  77         if ($call[1]['function']!=='queue_start_job')
  78                 spip_log("syndic_a_jour doit etre appelee par JobQueue Cf. http://trac.rezo.net/trac/spip/changeset/10294",_LOG_ERREUR);
  79
  80         $row = sql_fetsel("*", "spip_syndic", "id_syndic=".intval($now_id_syndic));
  81
  82         if (!$row) return;
  83
  84         $url_syndic = $row['url_syndic'];
  85         $url_site = $row['url_site'];
  86
  87         if ($row['moderation'] == 'oui')
  88                 $moderation = 'dispo';  // a valider
  89         else
  90                 $moderation = 'publie'; // en ligne sans validation
  91
  92         // determiner le statut a poser en cas d'echec : sus par defaut
  93         // off si le site est deja off, ou sus depuis trop longtemps
  94         $statut = 'sus';
  95         if (
  96                 $row['statut']=='off'
  97           OR ($row['statut']=='sus' AND time()-strtotime($row['date_syndic'])>_PERIODE_SYNDICATION_SUSPENDUE*60)
  98           )
  99                 $statut = 'off';
 100
 101         sql_updateq('spip_syndic', array('syndication'=>$statut, 'date_syndic'=>date('Y-m-d H:i:s')), "id_syndic=".intval($now_id_syndic));
 102
 103         // Aller chercher les donnees du RSS et les analyser
 104         include_spip('inc/distant');
 105         $rss = recuperer_page($url_syndic, true);
 106         if (!$rss)
 107                 $articles = _T('sites:avis_echec_syndication_02');
 108         else
 109                 $articles = analyser_backend($rss, $url_syndic);
 110
 111         // Renvoyer l'erreur le cas echeant
 112         if (!is_array($articles)) return $articles;
 113
 114         // Les enregistrer dans la base
 115
 116         $faits = array();
 117         foreach ($articles as $data) {
 118                 inserer_article_syndique ($data, $now_id_syndic, $moderation, $url_site, $url_syndic, $row['resume'], $row['documents'], $faits);
 119         }
 120
 121         // moderation automatique des liens qui sont sortis du feed
 122         if (count($faits) > 0) {
 123                 $faits = sql_in("id_syndic_article", $faits, 'NOT');
 124                 if ($row['miroir'] == 'oui') {
 125                         sql_update('spip_syndic_articles', array('statut'=>"'off'", 'maj'=>'maj'), "id_syndic=$now_id_syndic AND $faits");
 126                 }
 127         // suppression apres 2 mois des liens qui sont sortis du feed
 128                 if ($row['oubli'] == 'oui') {
 129
 130                   sql_delete('spip_syndic_articles', "id_syndic=$now_id_syndic AND NOT(" . sql_date_proche('maj', -2, 'MONTH') . ') AND NOT(' . sql_date_proche('date', -2, 'MONTH') . ") AND $faits");
 131                 }
 132         }
 133
 134         // Noter que la syndication est OK
 135         sql_updateq("spip_syndic", array("syndication" => 'oui'), "id_syndic=".intval($now_id_syndic));
 136
 137         return false; # c'est bon
 138 }
 139
 140
 141 //
 142 // Insere un article syndique (renvoie true si l'article est nouveau)
 143 // en  verifiant qu'on ne vient pas de l'ecrire avec
 144 // un autre item du meme feed qui aurait le meme link
 145 //
 146 // http://code.spip.net/@inserer_article_syndique
 147 function inserer_article_syndique ($data, $now_id_syndic, $statut, $url_site, $url_syndic, $resume, $documents, &$faits) {
 148         // Creer le lien s'il est nouveau - cle=(id_syndic,url)
 149         // On coupe a 255 caracteres pour eviter tout doublon
 150         // sur une URL de plus de 255 qui exloserait la base de donnees
 151         $le_lien = substr($data['url'], 0,255);
 152
 153         // si true, un lien deja syndique arrivant par une autre source est ignore
 154         // par defaut [false], chaque source a sa liste de liens, eventuellement
 155         // les memes
 156         define('_SYNDICATION_URL_UNIQUE', false);
 157
 158         // Si false, on ne met pas a jour un lien deja syndique avec ses nouvelles
 159         // donnees ; par defaut [true] : on met a jour si le contenu a change
 160         // Attention si on modifie a la main un article syndique, les modifs sont
 161         // ecrasees lors de la syndication suivante
 162         define('_SYNDICATION_CORRECTION', true);
 163
 164         // Chercher les liens de meme cle
 165         // S'il y a plusieurs liens qui repondent, il faut choisir le plus proche
 166         // (ie meme titre et pas deja fait), le mettre a jour et ignorer les autres
 167         $n = 0;
 168         $s = sql_select("id_syndic_article,titre,id_syndic,statut", "spip_syndic_articles",
 169                 "url=" . sql_quote($le_lien)
 170                 . (_SYNDICATION_URL_UNIQUE
 171                         ? ''
 172                         : " AND id_syndic=$now_id_syndic")
 173                 ." AND " . sql_in('id_syndic_article', $faits, 'NOT'), "", "maj DESC");
 174         while ($a = sql_fetch($s)) {
 175                 $id =  $a['id_syndic_article'];
 176                 $id_syndic = $a['id_syndic'];
 177                 if ($a['titre'] == $data['titre']) {
 178                         $id_syndic_article = $id;
 179                         break;
 180                 }
 181                 $n++;
 182         }
 183         // S'il y en avait qu'un, le prendre quel que soit le titre
 184         if ($n == 1)
 185                 $id_syndic_article = $id;
 186         // Si l'article n'existe pas, on le cree
 187         elseif (!isset($id_syndic_article)) {
 188                 $champs = array(
 189                         'id_syndic' => $now_id_syndic,
 190                         'url' => $le_lien,
 191                         'date' => date("Y-m-d H:i:s", $data['date'] ? $data['date'] : $data['lastbuilddate']),
 192                         'statut'  => $statut
 193                 );
 194                 // Envoyer aux plugins
 195                 $champs = pipeline('pre_insertion',
 196                         array(
 197                                 'args' => array(
 198                                         'table' => 'spip_syndic_articles',
 199                                 ),
 200                                 'data' => $champs
 201                         )
 202                 );
 203                 $ajout = $id_syndic_article = sql_insertq('spip_syndic_articles', $champs);
 204                 if (!$ajout) return;
 205                 pipeline('post_insertion',
 206                         array(
 207                                 'args' => array(
 208                                         'table' => 'spip_syndic_articles',
 209                                         'id_objet' => $id_syndic_article
 210                                 ),
 211                                 'data' => $champs
 212                         )
 213                 );
 214         }
 215         $faits[] = $id_syndic_article;
 216
 217
 218         // Si le lien n'est pas nouveau, plusieurs options :
 219         if (!$ajout) {
 220                 // 1. Lien existant : on corrige ou pas ?
 221                 if (!_SYNDICATION_CORRECTION) {
 222                         return;
 223                 }
 224                 // 2. Le lien existait deja, lie a un autre spip_syndic
 225                 if (_SYNDICATION_URL_UNIQUE AND $id_syndic != $now_id_syndic)
 226                         return;
 227         }
 228
 229         // Descriptif, en mode resume ou mode 'full text'
 230         // on prend en priorite data['descriptif'] si on est en mode resume,
 231         // et data['content'] si on est en mode "full syndication"
 232         if ($resume != 'non') {
 233                 // mode "resume"
 234                 $desc = strlen($data['descriptif']) ?
 235                         $data['descriptif'] : $data['content'];
 236                 $desc = couper(trim_more(textebrut($desc)), 300);
 237         } else {
 238                 // mode "full syndication"
 239                 // choisir le contenu pertinent
 240                 // & refaire les liens relatifs
 241                 $desc = strlen($data['content']) ?
 242                         $data['content'] : $data['descriptif'];
 243                 $desc = liens_absolus($desc, $url_syndic);
 244         }
 245
 246         // tags & enclosures (preparer spip_syndic_articles.tags)
 247         $tags = ($data['enclosures']?$data['enclosures']:'');
 248         # eviter les doublons (cle = url+titre) et passer d'un tableau a une chaine
 249         if ($data['tags']) {
 250                 $vus = array();
 251                 foreach ($data['tags'] as $tag) {
 252                         $cle = supprimer_tags($tag).extraire_attribut($tag,'href');
 253                         $vus[$cle] = $tag;
 254                 }
 255                 $tags .= ($tags ? ', ' : '') . join(', ', $vus);
 256         }
 257
 258         // Mise a jour du contenu (titre,auteurs,description,date?,source...)
 259         $vals = array(
 260                         'titre' => $data['titre'],
 261                         'lesauteurs' => $data['lesauteurs'],
 262                         'descriptif' => $desc,
 263                         'lang'=> substr($data['lang'],0,10),
 264                         'source' => substr($data['source'],0,255),
 265                         'url_source' => substr($data['url_source'],0,255),
 266                         'tags' => $tags);
 267
 268         // Mettre a jour la date si lastbuilddate
 269         if ($data['lastbuilddate'])
 270                 $vals['date']= date("Y-m-d H:i:s", $data['lastbuilddate']);
 271
 272         include_spip('inc/modifier');
 273         objet_modifier_champs('syndic_article',$id_syndic_article,array('data'=>$vals,'action'=>'syndiquer'),$vals);
 274
 275         // Point d'entree post_syndication
 276         pipeline('post_syndication',
 277                 array(
 278                         'args' => array(
 279                                 'table' => 'spip_syndic_articles',
 280                                 'id_objet' => $id_syndic_article,
 281                                 'url' => $le_lien,
 282                                 'id_syndic' => $now_id_syndic,
 283                                 'ajout' => $ajout,
 284                         ),
 285                         'data' => $data
 286                 )
 287         );
 288
 289         return $ajout;
 290 }
 291
 292 /**
 293  * Nettoyer les contenus de flux qui utilisent des espaces insecables en debut
 294  * pour faire un retrait.
 295  * Peut etre sous la forme de l'entite &nbsp; ou en utf8 \xc2\xa0
 296  *
 297  * @param  string $texte
 298  * @return string
 299  */
 300 function trim_more($texte){
 301         $texte = trim($texte);
 302         // chr(194)chr(160)
 303         $texte = preg_replace(",^(\s|(&nbsp;)|(\xc2\xa0))+,ums","",$texte);
 304         return  $texte;
 305 }
 306 ?>