www/plugins-dist/sites/inc/syndic.php

   1 <?php
   2
   3 /***************************************************************************\
   4  *  SPIP, Systeme de publication pour l'internet                           *
   5  *                                                                         *
   6  *  Copyright (c) 2001-2016                                                *
   7  *  Arnaud Martin, Antoine Pitrou, Philippe Riviere, Emmanuel Saint-James  *
   8  *                                                                         *
   9  *  Ce programme est un logiciel libre distribue sous licence GNU/GPL.     *
  10  *  Pour plus de details voir le fichier COPYING.txt ou l'aide en ligne.   *
  11 \***************************************************************************/
  12
  13 if (!defined("_ECRIRE_INC_VERSION")) return;
  14
  15 // ATTENTION
  16 // Cette inclusion charge executer_une_syndication pour compatibilite,
  17 // mais cette fonction ne doit plus etre invoquee directement:
  18 // il faut passer par cron() pour avoir un verrou portable
  19 // Voir un exemple dans action/editer/site
  20 include_spip('genie/syndic');
  21
  22 // prend un fichier backend et retourne un tableau des items lus,
  23 // et une chaine en cas d'erreur
  24 // http://code.spip.net/@analyser_backend
  25 function analyser_backend($rss, $url_syndic='') {
  26         include_spip('inc/texte'); # pour couper()
  27
  28         $rss = pipeline('pre_syndication', $rss);
  29
  30         // si true, les URLs de type feedburner sont dereferencees
  31         define('_SYNDICATION_DEREFERENCER_URL', false);
  32
  33         // Echapper les CDATA
  34         cdata_echappe($rss, $echappe_cdata);
  35
  36         // supprimer les commentaires
  37         $rss = preg_replace(',<!--.*-->,Ums', '', $rss);
  38
  39         // simplifier le backend, en supprimant les espaces de nommage type "dc:"
  40         $rss = preg_replace(',<(/?)(dc):,i', '<\1', $rss);
  41
  42         // chercher auteur/lang dans le fil au cas ou les items n'en auraient pas
  43         list($header) = preg_split(',<(item|entry)\b,', $rss, 2);
  44         if (preg_match_all(
  45         ',<(author|creator)\b(.*)</\1>,Uims',
  46         $header, $regs, PREG_SET_ORDER)) {
  47                 $les_auteurs_du_site = array();
  48                 foreach ($regs as $reg) {
  49                         $nom = $reg[2];
  50                         if (preg_match(',<name>(.*)</name>,Uims', $nom, $reg))
  51                                 $nom = $reg[1];
  52                         $les_auteurs_du_site[] = trim(textebrut(filtrer_entites($nom)));
  53                 }
  54                 $les_auteurs_du_site = join(', ', array_unique($les_auteurs_du_site));
  55         } else
  56                 $les_auteurs_du_site = '';
  57         if ((preg_match(',<([^>]*xml:)?lang(uage)?'.'>([^<>]+)<,i',
  58         $header, $match) AND $l = $match[3])
  59         OR ($l = extraire_attribut(extraire_balise($header, 'feed'), 'xml:lang'))
  60         )
  61                 $langue_du_site = $l;
  62         // atom
  63         elseif (preg_match(',<feed\s[^>]*xml:lang=[\'"]([^<>\'"]+)[\'"],i', $header, $match))
  64                 $langue_du_site = $match[1];
  65
  66         // Recuperer les blocs item et entry
  67         $items = array_merge(extraire_balises($rss, 'item'), extraire_balises($rss, 'entry'));
  68
  69
  70         //
  71         // Analyser chaque <item>...</item> du backend et le transformer en tableau
  72         //
  73
  74         if (!count($items)) return _T('sites:avis_echec_syndication_01');
  75
  76         if (!defined('_SYNDICATION_MAX_ITEMS')) define('_SYNDICATION_MAX_ITEMS',1000);
  77         $nb_items = 0;
  78         foreach ($items as $item) {
  79                 $data = array();
  80                 if ($nb_items++>_SYNDICATION_MAX_ITEMS){
  81                         break;
  82                 }
  83
  84                 // URL (semi-obligatoire, sert de cle)
  85
  86                 // guid n'est un URL que si marque de <guid ispermalink="true"> ;
  87                 // attention la valeur par defaut est 'true' ce qui oblige a quelque
  88                 // gymnastique
  89                 if (preg_match(',<guid.*>[[:space:]]*(https?:[^<]*)</guid>,Uims',
  90                 $item, $regs) AND preg_match(',^(true|1)?$,i',
  91                 extraire_attribut($regs[0], 'ispermalink')))
  92                         $data['url'] = $regs[1];
  93                 // contourner les redirections feedburner
  94                 else if (_SYNDICATION_DEREFERENCER_URL
  95                 AND preg_match(',<feedburner:origLink>(.*)<,Uims',
  96                 $item, $regs))
  97                         $data['url'] = $regs[1];
  98                 // <link>, plus classique
  99                 else if (preg_match(
 100                 ',<link[^>]*[[:space:]]rel=["\']?alternate[^>]*>(.*)</link>,Uims',
 101                 $item, $regs))
 102                         $data['url'] = $regs[1];
 103                 else if (preg_match(',<link[^>]*[[:space:]]rel=.alternate[^>]*>,Uims',
 104                 $item, $regs))
 105                         $data['url'] = extraire_attribut($regs[0], 'href');
 106                 else if (preg_match(',<link[^>]*>\s*([^\s]+)\s*</link>,Uims', $item, $regs))
 107                         $data['url'] = $regs[1];
 108                 else if (preg_match(',<link[^>]*>,Uims', $item, $regs))
 109                         $data['url'] = extraire_attribut($regs[0], 'href');
 110
 111                 // Aucun link ni guid, mais une enclosure
 112                 else if (preg_match(',<enclosure[^>]*>,ims', $item, $regs)
 113                 AND $url = extraire_attribut($regs[0], 'url'))
 114                         $data['url'] = $url;
 115
 116                 // pas d'url, c'est genre un compteur...
 117                 else
 118                         $data['url'] = '';
 119
 120                 // Titre (semi-obligatoire)
 121                 if (preg_match(",<title[^>]*>(.*?)</title>,ims",$item,$match))
 122                         $data['titre'] = $match[1];
 123                 else if (preg_match(',<link[[:space:]][^>]*>,Uims',$item,$mat)
 124                 AND $title = extraire_attribut($mat[0], 'title'))
 125                         $data['titre'] = $title;
 126                 if (!strlen($data['titre'] = trim($data['titre'])))
 127                         $data['titre'] = _T('ecrire:info_sans_titre');
 128
 129                 // Date
 130                 $la_date = '';
 131                 if (preg_match(',<(published|modified|issued)>([^<]*)<,Uims',
 132                 $item,$match)) {
 133                         cdata_echappe_retour($match[2], $echappe_cdata);
 134                         $la_date = my_strtotime($match[2], $langue_du_site);
 135                 }
 136                 if (!$la_date AND
 137                 preg_match(',<(pubdate)>([^<]*)<,Uims',$item, $match)) {
 138                         cdata_echappe_retour($match[2], $echappe_cdata);
 139                         $la_date = my_strtotime($match[2], $langue_du_site);
 140                 }
 141                 if (!$la_date AND
 142                 preg_match(',<([a-z]+:date)>([^<]*)<,Uims',$item,$match)) {
 143                         cdata_echappe_retour($match[2], $echappe_cdata);
 144                         $la_date = my_strtotime($match[2], $langue_du_site);
 145                 }
 146                 if (!$la_date AND
 147                 preg_match(',<date>([^<]*)<,Uims',$item,$match)) {
 148                         cdata_echappe_retour($match[1], $echappe_cdata);
 149                         $la_date = my_strtotime($match[1], $langue_du_site);
 150                 }
 151
 152                 // controle de validite de la date
 153                 // pour eviter qu'un backend errone passe toujours devant
 154                 // (note: ca pourrait etre defini site par site, mais ca risque d'etre
 155                 // plus lourd que vraiment utile)
 156                 if ($GLOBALS['controler_dates_rss']) {
 157                         if (!$la_date
 158                                 OR $la_date > time() + 48 * 3600)
 159                                 $la_date = time();
 160                 }
 161
 162                 if ($la_date)
 163                         $data['date'] = $la_date;
 164
 165                 // Honorer le <lastbuilddate> en forcant la date
 166                 if (preg_match(',<(lastbuilddate|updated|modified)>([^<>]+)</\1>,i',
 167                 $item, $regs)
 168                 AND $lastbuilddate = my_strtotime(trim($regs[2]), $langue_du_site)
 169                 // pas dans le futur
 170                 AND $lastbuilddate < time())
 171                         $data['lastbuilddate'] = $lastbuilddate;
 172
 173                 // Auteur(s)
 174                 if (preg_match_all(
 175                 ',<(author|creator)\b[^>]*>(.*)</\1>,Uims',
 176                 $item, $regs, PREG_SET_ORDER)) {
 177                         $auteurs = array();
 178                         foreach ($regs as $reg) {
 179                                 $nom = $reg[2];
 180                                 if (preg_match(',<name\b[^>]*>(.*)</name>,Uims', $nom, $reg))
 181                                         $nom = $reg[1];
 182                                 // Cas particulier d'un auteur Flickr
 183                                 if (preg_match(',nobody@flickr.com \((.*)\),Uims', $nom, $reg))
 184                                         $nom = $reg[1];
 185                                 $auteurs[] = trim(textebrut(filtrer_entites($nom)));
 186                         }
 187                         $data['lesauteurs'] = join(', ', array_unique($auteurs));
 188                 }
 189                 else
 190                         $data['lesauteurs'] = $les_auteurs_du_site;
 191
 192                 // Description
 193                 if (preg_match(',<(description|summary)\b.*'
 194                 .'>(.*)</\1\b,Uims',$item,$match)) {
 195                         $data['descriptif'] = trim($match[2]);
 196                 }
 197                 if (preg_match(',<(content)\b.*'
 198                 .'>(.*)</\1\b,Uims',$item,$match)) {
 199                         $data['content'] = trim($match[2]);
 200                 }
 201
 202                 // lang
 203                 if (preg_match(',<([^>]*xml:)?lang(uage)?'.'>([^<>]+)<,i',
 204                         $item, $match))
 205                         $data['lang'] = trim($match[3]);
 206                 else if ($lang = trim(extraire_attribut($item, 'xml:lang')))
 207                         $data['lang'] = $lang;
 208                 else
 209                         $data['lang'] = trim($langue_du_site);
 210
 211                 // source et url_source  (pas trouve d'exemple en ligne !!)
 212                 # <source url="http://www.truc.net/music/uatsap.mp3" length="19917" />
 213                 # <source url="http://www.truc.net/rss">Site source</source>
 214                 if (preg_match(',(<source[^>]*>)(([^<>]+)</source>)?,i',
 215                 $item, $match)) {
 216                         $data['source'] = trim($match[3]);
 217                         $data['url_source'] = str_replace('&amp;', '&',
 218                                 trim(extraire_attribut($match[1], 'url')));
 219                 }
 220
 221                 // tags
 222                 # a partir de "<dc:subject>", (del.icio.us)
 223                 # ou <media:category> (flickr)
 224                 # ou <itunes:category> (apple)
 225                 # on cree nos tags microformat <a rel="directory" href="url">titre</a>
 226                 # http://microformats.org/wiki/rel-directory-fr
 227                 $tags = array();
 228                 if (preg_match_all(
 229                 ',<(([a-z]+:)?(subject|category|directory|keywords?|tags?|type))[^>]*>'
 230                 .'(.*?)</\1>,ims',
 231                 $item, $matches, PREG_SET_ORDER))
 232                         $tags = ajouter_tags($matches, $item); # array()
 233                 elseif (preg_match_all(
 234                 ',<(([a-z]+:)?(subject|category|directory|keywords?|tags?|type))[^>]*/>'
 235                 .',ims',
 236                 $item, $matches, PREG_SET_ORDER))
 237                         $tags = ajouter_tags($matches, $item); # array()
 238                 // Pieces jointes :
 239                 // chercher <enclosure> au format RSS et les passer en microformat
 240                 // ou des microformats relEnclosure,
 241                 // ou encore les media:content
 242                 if (!afficher_enclosures(join(', ', $tags))) {
 243                         // on prend toutes les pièces jointes possibles, et on essaie de les rendre uniques.
 244                         $enclosures = array();
 245                         # rss 2
 246                         if (preg_match_all(',<enclosure[[:space:]][^<>]+>,i',
 247                                 $item, $matches, PREG_PATTERN_ORDER)) {
 248                                         $enclosures += array_map('enclosure2microformat', $matches[0]);
 249                         }
 250                         # atom
 251                         if (preg_match_all(',<link\b[^<>]+rel=["\']?enclosure["\']?[^<>]+>,i',
 252                                 $item, $matches, PREG_PATTERN_ORDER)) {
 253                                         $enclosures += array_map('enclosure2microformat', $matches[0]);
 254                         }
 255                         # media rss
 256                         if (preg_match_all(',<media:content\b[^<>]+>,i',
 257                                 $item, $matches, PREG_PATTERN_ORDER)) {
 258                                         $enclosures += array_map('enclosure2microformat', $matches[0]);
 259                         }
 260                         $data['enclosures'] = join(', ', array_unique($enclosures));
 261                         unset($enclosures);
 262                 }
 263                 $data['item'] = $item;
 264
 265                 // Nettoyer les donnees et remettre les CDATA en place
 266                 cdata_echappe_retour($data, $echappe_cdata);
 267                 cdata_echappe_retour($tags, $echappe_cdata);
 268
 269                 // passer l'url en absolue
 270                 $data['url'] = url_absolue(filtrer_entites($data['url']), $url_syndic);
 271
 272                 // si on demande un dereferencement de l'URL, il faut verifier que ce n'est pas une redirection
 273                 if (_SYNDICATION_DEREFERENCER_URL){
 274                         $target = $data['url'];
 275                         include_spip("inc/distant");
 276                         for ($i = 0; $i<10; $i++){
 277                                 // on fait un GET et pas un HEAD car les vieux SPIP ne repondent pas la redirection avec un HEAD (honte) sur un article virtuel
 278                                 $res = recuperer_lapage($target, false, "GET", 4096);
 279                                 if (!$res) break; // c'est pas bon signe car on a pas trouve l'URL...
 280                                 if (is_array($res))     break; // on a trouve la page, donc on a l'URL finale
 281                                 $target = $res; // c'est une redirection, on la suit pour voir ou elle mene
 282                         }
 283                         // ici $target est l'URL finale de la page
 284                         $data['url'] = $target;
 285                 }
 286
 287                 // Trouver les microformats (ecrase les <category> et <dc:subject>)
 288                 if (preg_match_all(
 289                 ',<a[[:space:]]([^>]+[[:space:]])?rel=[^>]+>.*</a>,Uims',
 290                 $data['item'], $regs, PREG_PATTERN_ORDER)) {
 291                         $tags = $regs[0];
 292                 }
 293                 // Cas particulier : tags Connotea sous la forme <a class="postedtag">
 294                 if (preg_match_all(
 295                 ',<a[[:space:]][^>]+ class="postedtag"[^>]*>.*</a>,Uims',
 296                 $data['item'], $regs, PREG_PATTERN_ORDER))
 297                         $tags = preg_replace(', class="postedtag",i',
 298                         ' rel="tag"', $regs[0]);
 299
 300                 $data['tags'] = $tags;
 301                 // enlever le html des titre pour etre homogene avec les autres objets spip
 302                 $data['titre'] = textebrut($data['titre']);
 303
 304                 $articles[] = $data;
 305         }
 306
 307         return $articles;
 308 }
 309
 310
 311 // helas strtotime ne reconnait pas le format W3C
 312 // http://www.w3.org/TR/NOTE-datetime
 313 // http://code.spip.net/@my_strtotime
 314 function my_strtotime($la_date, $lang=null) {
 315         // format complet
 316         if (preg_match(
 317         ',^(\d+-\d+-\d+[T ]\d+:\d+(:\d+)?)(\.\d+)?'
 318         .'(Z|([-+]\d{2}):\d+)?$,',
 319         $la_date, $match)) {
 320                 $la_date = str_replace("T", " ", $match[1])." GMT";
 321                 return strtotime($la_date) - intval($match[5]) * 3600;
 322         }
 323
 324         // YYYY
 325         if (preg_match(',^\d{4}$,', $la_date, $match))
 326                 return strtotime($match[0]."-01-01");
 327
 328         // YYYY-MM
 329         if (preg_match(',^\d{4}-\d{2}$,', $la_date, $match))
 330                 return strtotime($match[0]."-01");
 331
 332         // YYYY-MM-DD hh:mm:ss
 333         if (preg_match(',^\d{4}-\d{2}-\d{2}\s+\d{2}:\d{2}:\d{2}\b,', $la_date, $match))
 334                 return strtotime($match[0]);
 335
 336         // utiliser strtotime en dernier ressort
 337         // en nettoyant le jour qui prefixe parfois la date, suivi d'une virgule
 338         // et les UT qui sont en fait des UTC
 339         $la_date_c = preg_replace("/^\w+,\s*/ms","",$la_date);
 340         $la_date_c = preg_replace("/UT\s*$/ms","UTC",$la_date_c);
 341         if ($s=strtotime($la_date)
 342           OR $s=strtotime($la_date_c))
 343                 return $s;
 344
 345         // essayons de voir si le nom du mois est dans la langue du flux et remplacons le
 346         // par la version anglaise avant de faire strtotime
 347         if ($lang){
 348                 // "fr-fr"
 349                 list($lang) = explode("-", $lang);
 350                 static $months = null;
 351                 if (!isset($months[$lang])){
 352                         $prev_lang = $GLOBALS['spip_lang'];
 353                         changer_langue($lang);
 354                         foreach(range(1,12) as $m){
 355                                 $s = _T("date_mois_$m");
 356                                 $months[$lang][$s] = date("M",strtotime("2013-$m-01"));
 357                                 $s = _T("date_mois_".$m."_abbr");
 358                                 $months[$lang][$s] = date("M",strtotime("2013-$m-01"));
 359                                 $months[$lang][trim($s,".")] = date("M",strtotime("2013-$m-01"));
 360                         }
 361                         changer_langue($prev_lang);
 362                 }
 363                 spip_log($la_date_c,"dbgs");
 364                 foreach($months[$lang] as $loc=>$en){
 365                         if (stripos($la_date_c,$loc)!==false){
 366                                 $s=str_ireplace($loc,$en,$la_date_c);
 367                                 if ($s=strtotime($s))
 368                                         return $s;
 369                         }
 370                 }
 371         }
 372
 373         // erreur
 374         spip_log("Impossible de lire le format de date '$la_date'");
 375         return false;
 376 }
 377 // A partir d'un <dc:subject> ou autre essayer de recuperer
 378 // le mot et son url ; on cree <a href="url" rel="tag">mot</a>
 379 // http://code.spip.net/@creer_tag
 380 function creer_tag($mot,$type,$url) {
 381         if (!strlen($mot = trim($mot))) return '';
 382         $mot = "<a rel=\"tag\">$mot</a>";
 383         if ($url)
 384                 $mot = inserer_attribut($mot, 'href', $url);
 385         if ($type)
 386                 $mot = inserer_attribut($mot, 'rel', $type);
 387         return $mot;
 388 }
 389
 390
 391 // http://code.spip.net/@ajouter_tags
 392 function ajouter_tags($matches, $item) {
 393         include_spip('inc/filtres');
 394         $tags = array();
 395         foreach ($matches as $match) {
 396                 $type = ($match[3] == 'category' OR $match[3] == 'directory')
 397                         ? 'directory':'tag';
 398                 $mot = supprimer_tags($match[0]);
 399                 if (!strlen($mot)
 400                 AND !strlen($mot = extraire_attribut($match[0], 'label')))
 401                         break;
 402                 // rechercher un url
 403                 if ($url = extraire_attribut($match[0], 'domain')) {
 404                         // category@domain est la racine d'une url qui se prolonge
 405                         // avec le contenu text du tag <category> ; mais dans SPIP < 2.0
 406                         // on donnait category@domain = #URL_RUBRIQUE, et
 407                         // text = #TITRE_RUBRIQUE ; d'ou l'heuristique suivante sur le slash
 408                         if (substr($url, -1) == '/')
 409                                 $url .= rawurlencode($mot);
 410                 }
 411                 else if ($url = extraire_attribut($match[0], 'resource')
 412                 OR $url = extraire_attribut($match[0], 'url')
 413                 )
 414                         {}
 415
 416                 ## cas particuliers
 417                 else if (extraire_attribut($match[0], 'scheme') == 'urn:flickr:tags') {
 418                         foreach(explode(' ', $mot) as $petit)
 419                                 if ($t = creer_tag($petit, $type,
 420                                 'http://www.flickr.com/photos/tags/'.rawurlencode($petit).'/'))
 421                                         $tags[] = $t;
 422                         $mot = '';
 423                 }
 424                 else if (
 425                         // cas atom1, a faire apres flickr
 426                         $term = extraire_attribut($match[0], 'term')
 427                 ) {
 428                         if ($scheme = extraire_attribut($match[0], 'scheme'))
 429                                 $url = suivre_lien($scheme,$term);
 430                         else
 431                                 $url = $term;
 432                 }
 433                 else {
 434                         # type delicious.com
 435                         foreach(explode(' ', $mot) as $petit)
 436                                 if (preg_match(',<rdf\b[^>]*\bresource=["\']([^>]*/'
 437                                 .preg_quote(rawurlencode($petit),',').')["\'],i',
 438                                 $item, $m)) {
 439                                         $mot = '';
 440                                         if ($t = creer_tag($petit, $type, $m[1]))
 441                                                 $tags[] = $t;
 442                                 }
 443                 }
 444
 445                 if ($t = creer_tag($mot, $type, $url))
 446                         $tags[] = $t;
 447         }
 448         return $tags;
 449 }
 450
 451
 452 // Lit contenu des blocs [[CDATA]] dans un flux
 453 // http://code.spip.net/@cdata_echappe_retour
 454 function cdata_echappe(&$rss, &$echappe_cdata) {
 455         $echappe_cdata = array();
 456         if (preg_match_all(',<!\[CDATA\[(.*)]]>,Uims', $rss,
 457         $regs, PREG_SET_ORDER)) {
 458                 foreach ($regs as $n => $reg) {
 459                         if (strpos($reg[1],'<')!==false
 460                           or strpos($reg[1],'>')!==false) {
 461                                 // verifier que la chaine est encore dans le flux, car on peut avoir X fois la meme
 462                                 // inutile de (sur)peupler le tableau avec des substitutions identiques
 463                                 if (strpos($rss,$reg[0])!==false){
 464                                         $echappe_cdata["@@@SPIP_CDATA$n@@@"] = $reg[1];
 465                                         $rss = str_replace($reg[0], "@@@SPIP_CDATA$n@@@", $rss);
 466                                 }
 467                         } else
 468                                 $rss = str_replace($reg[0], $reg[1], $rss);
 469                 }
 470         }
 471 }
 472
 473 // Retablit le contenu des blocs [[CDATA]] dans une chaine ou un tableau
 474 // http://code.spip.net/@cdata_echappe_retour
 475 function cdata_echappe_retour(&$x, &$echappe_cdata) {
 476         if (is_string($x)) {
 477                 if (strpos($x, '&lt;') !== false){
 478                         $x = filtrer_entites($x);
 479                 }
 480                 if (strpos($x, '@@@SPIP_CDATA') !== false){
 481                         $x = str_replace( array_keys($echappe_cdata), array_values($echappe_cdata), $x);
 482                 }
 483         }
 484
 485         else if (is_array($x)) {
 486                 foreach($x as $k => &$v)
 487                         cdata_echappe_retour($v, $echappe_cdata);
 488         }
 489 }
 490 ?>