3 /***************************************************************************\
4 * SPIP, Systeme de publication pour l'internet *
6 * Copyright (c) 2001-2016 *
7 * Arnaud Martin, Antoine Pitrou, Philippe Riviere, Emmanuel Saint-James *
9 * Ce programme est un logiciel libre distribue sous licence GNU/GPL. *
10 * Pour plus de details voir le fichier COPYING.txt ou l'aide en ligne. *
11 \***************************************************************************/
13 if (!defined("_ECRIRE_INC_VERSION")) return;
16 // Cette inclusion charge executer_une_syndication pour compatibilite,
17 // mais cette fonction ne doit plus etre invoquee directement:
18 // il faut passer par cron() pour avoir un verrou portable
19 // Voir un exemple dans action/editer/site
20 include_spip('genie/syndic');
22 // prend un fichier backend et retourne un tableau des items lus,
23 // et une chaine en cas d'erreur
24 // http://code.spip.net/@analyser_backend
25 function analyser_backend($rss, $url_syndic='') {
26 include_spip('inc/texte'); # pour couper()
28 $rss = pipeline('pre_syndication', $rss);
30 // si true, les URLs de type feedburner sont dereferencees
31 define('_SYNDICATION_DEREFERENCER_URL', false);
34 cdata_echappe($rss, $echappe_cdata);
36 // supprimer les commentaires
37 $rss = preg_replace(',<!--.*-->,Ums', '', $rss);
39 // simplifier le backend, en supprimant les espaces de nommage type "dc:"
40 $rss = preg_replace(',<(/?)(dc):,i', '<\1', $rss);
42 // chercher auteur/lang dans le fil au cas ou les items n'en auraient pas
43 list($header) = preg_split(',<(item|entry)\b,', $rss, 2);
45 ',<(author|creator)\b(.*)</\1>,Uims',
46 $header, $regs, PREG_SET_ORDER
)) {
47 $les_auteurs_du_site = array();
48 foreach ($regs as $reg) {
50 if (preg_match(',<name>(.*)</name>,Uims', $nom, $reg))
52 $les_auteurs_du_site[] = trim(textebrut(filtrer_entites($nom)));
54 $les_auteurs_du_site = join(', ', array_unique($les_auteurs_du_site));
56 $les_auteurs_du_site = '';
57 if ((preg_match(',<([^>]*xml:)?lang(uage)?'.'>([^<>]+)<,i',
58 $header, $match) AND $l = $match[3])
59 OR ($l = extraire_attribut(extraire_balise($header, 'feed'), 'xml:lang'))
63 elseif (preg_match(',<feed\s[^>]*xml:lang=[\'"]([^<>\'"]+)[\'"],i', $header, $match))
64 $langue_du_site = $match[1];
66 // Recuperer les blocs item et entry
67 $items = array_merge(extraire_balises($rss, 'item'), extraire_balises($rss, 'entry'));
71 // Analyser chaque <item>...</item> du backend et le transformer en tableau
74 if (!count($items)) return _T('sites:avis_echec_syndication_01');
76 foreach ($items as $item) {
79 // URL (semi-obligatoire, sert de cle)
81 // guid n'est un URL que si marque de <guid ispermalink="true"> ;
82 // attention la valeur par defaut est 'true' ce qui oblige a quelque
84 if (preg_match(',<guid.*>[[:space:]]*(https?:[^<]*)</guid>,Uims',
85 $item, $regs) AND preg_match(',^(true|1)?$,i',
86 extraire_attribut($regs[0], 'ispermalink')))
87 $data['url'] = $regs[1];
88 // contourner les redirections feedburner
89 else if (_SYNDICATION_DEREFERENCER_URL
90 AND preg_match(',<feedburner:origLink>(.*)<,Uims',
92 $data['url'] = $regs[1];
93 // <link>, plus classique
95 ',<link[^>]*[[:space:]]rel=["\']?alternate[^>]*>(.*)</link>,Uims',
97 $data['url'] = $regs[1];
98 else if (preg_match(',<link[^>]*[[:space:]]rel=.alternate[^>]*>,Uims',
100 $data['url'] = extraire_attribut($regs[0], 'href');
101 else if (preg_match(',<link[^>]*>\s*([^\s]+)\s*</link>,Uims', $item, $regs))
102 $data['url'] = $regs[1];
103 else if (preg_match(',<link[^>]*>,Uims', $item, $regs))
104 $data['url'] = extraire_attribut($regs[0], 'href');
106 // Aucun link ni guid, mais une enclosure
107 else if (preg_match(',<enclosure[^>]*>,ims', $item, $regs)
108 AND $url = extraire_attribut($regs[0], 'url'))
111 // pas d'url, c'est genre un compteur...
115 // Titre (semi-obligatoire)
116 if (preg_match(",<title[^>]*>(.*?)</title>,ims",$item,$match))
117 $data['titre'] = $match[1];
118 else if (preg_match(',<link[[:space:]][^>]*>,Uims',$item,$mat)
119 AND $title = extraire_attribut($mat[0], 'title'))
120 $data['titre'] = $title;
121 if (!strlen($data['titre'] = trim($data['titre'])))
122 $data['titre'] = _T('ecrire:info_sans_titre');
126 if (preg_match(',<(published|modified|issued)>([^<]*)<,Uims',
128 cdata_echappe_retour($match[2], $echappe_cdata);
129 $la_date = my_strtotime($match[2], $langue_du_site);
132 preg_match(',<(pubdate)>([^<]*)<,Uims',$item, $match)) {
133 cdata_echappe_retour($match[2], $echappe_cdata);
134 $la_date = my_strtotime($match[2], $langue_du_site);
137 preg_match(',<([a-z]+:date)>([^<]*)<,Uims',$item,$match)) {
138 cdata_echappe_retour($match[2], $echappe_cdata);
139 $la_date = my_strtotime($match[2], $langue_du_site);
142 preg_match(',<date>([^<]*)<,Uims',$item,$match)) {
143 cdata_echappe_retour($match[1], $echappe_cdata);
144 $la_date = my_strtotime($match[1], $langue_du_site);
147 // controle de validite de la date
148 // pour eviter qu'un backend errone passe toujours devant
149 // (note: ca pourrait etre defini site par site, mais ca risque d'etre
150 // plus lourd que vraiment utile)
151 if ($GLOBALS['controler_dates_rss']) {
153 OR $la_date > time() +
48 * 3600)
158 $data['date'] = $la_date;
160 // Honorer le <lastbuilddate> en forcant la date
161 if (preg_match(',<(lastbuilddate|updated|modified)>([^<>]+)</\1>,i',
163 AND $lastbuilddate = my_strtotime(trim($regs[2]), $langue_du_site)
165 AND $lastbuilddate < time())
166 $data['lastbuilddate'] = $lastbuilddate;
170 ',<(author|creator)\b[^>]*>(.*)</\1>,Uims',
171 $item, $regs, PREG_SET_ORDER
)) {
173 foreach ($regs as $reg) {
175 if (preg_match(',<name\b[^>]*>(.*)</name>,Uims', $nom, $reg))
177 // Cas particulier d'un auteur Flickr
178 if (preg_match(',nobody@flickr.com \((.*)\),Uims', $nom, $reg))
180 $auteurs[] = trim(textebrut(filtrer_entites($nom)));
182 $data['lesauteurs'] = join(', ', array_unique($auteurs));
185 $data['lesauteurs'] = $les_auteurs_du_site;
188 if (preg_match(',<(description|summary)\b.*'
189 .'>(.*)</\1\b,Uims',$item,$match)) {
190 $data['descriptif'] = trim($match[2]);
192 if (preg_match(',<(content)\b.*'
193 .'>(.*)</\1\b,Uims',$item,$match)) {
194 $data['content'] = trim($match[2]);
198 if (preg_match(',<([^>]*xml:)?lang(uage)?'.'>([^<>]+)<,i',
200 $data['lang'] = trim($match[3]);
201 else if ($lang = trim(extraire_attribut($item, 'xml:lang')))
202 $data['lang'] = $lang;
204 $data['lang'] = trim($langue_du_site);
206 // source et url_source (pas trouve d'exemple en ligne !!)
207 # <source url="http://www.truc.net/music/uatsap.mp3" length="19917" />
208 # <source url="http://www.truc.net/rss">Site source</source>
209 if (preg_match(',(<source[^>]*>)(([^<>]+)</source>)?,i',
211 $data['source'] = trim($match[3]);
212 $data['url_source'] = str_replace('&', '&',
213 trim(extraire_attribut($match[1], 'url')));
217 # a partir de "<dc:subject>", (del.icio.us)
218 # ou <media:category> (flickr)
219 # ou <itunes:category> (apple)
220 # on cree nos tags microformat <a rel="directory" href="url">titre</a>
221 # http://microformats.org/wiki/rel-directory-fr
224 ',<(([a-z]+:)?(subject|category|directory|keywords?|tags?|type))[^>]*>'
226 $item, $matches, PREG_SET_ORDER
))
227 $tags = ajouter_tags($matches, $item); # array()
228 elseif (preg_match_all(
229 ',<(([a-z]+:)?(subject|category|directory|keywords?|tags?|type))[^>]*/>'
231 $item, $matches, PREG_SET_ORDER
))
232 $tags = ajouter_tags($matches, $item); # array()
234 // chercher <enclosure> au format RSS et les passer en microformat
235 // ou des microformats relEnclosure,
236 // ou encore les media:content
237 if (!afficher_enclosures(join(', ', $tags))) {
238 // on prend toutes les pièces jointes possibles, et on essaie de les rendre uniques.
239 $enclosures = array();
241 if (preg_match_all(',<enclosure[[:space:]][^<>]+>,i',
242 $item, $matches, PREG_PATTERN_ORDER
)) {
243 $enclosures +
= array_map('enclosure2microformat', $matches[0]);
246 if (preg_match_all(',<link\b[^<>]+rel=["\']?enclosure["\']?[^<>]+>,i',
247 $item, $matches, PREG_PATTERN_ORDER
)) {
248 $enclosures +
= array_map('enclosure2microformat', $matches[0]);
251 if (preg_match_all(',<media:content\b[^<>]+>,i',
252 $item, $matches, PREG_PATTERN_ORDER
)) {
253 $enclosures +
= array_map('enclosure2microformat', $matches[0]);
255 $data['enclosures'] = join(', ', array_unique($enclosures));
258 $data['item'] = $item;
260 // Nettoyer les donnees et remettre les CDATA en place
261 cdata_echappe_retour($data, $echappe_cdata);
262 cdata_echappe_retour($tags, $echappe_cdata);
264 // passer l'url en absolue
265 $data['url'] = url_absolue(filtrer_entites($data['url']), $url_syndic);
267 // si on demande un dereferencement de l'URL, il faut verifier que ce n'est pas une redirection
268 if (_SYNDICATION_DEREFERENCER_URL
){
269 $target = $data['url'];
270 include_spip("inc/distant");
271 for ($i = 0; $i<10; $i++
){
272 // on fait un GET et pas un HEAD car les vieux SPIP ne repondent pas la redirection avec un HEAD (honte) sur un article virtuel
273 $res = recuperer_lapage($target, false, "GET", 4096);
274 if (!$res) break; // c'est pas bon signe car on a pas trouve l'URL...
275 if (is_array($res)) break; // on a trouve la page, donc on a l'URL finale
276 $target = $res; // c'est une redirection, on la suit pour voir ou elle mene
278 // ici $target est l'URL finale de la page
279 $data['url'] = $target;
282 // Trouver les microformats (ecrase les <category> et <dc:subject>)
284 ',<a[[:space:]]([^>]+[[:space:]])?rel=[^>]+>.*</a>,Uims',
285 $data['item'], $regs, PREG_PATTERN_ORDER
)) {
288 // Cas particulier : tags Connotea sous la forme <a class="postedtag">
290 ',<a[[:space:]][^>]+ class="postedtag"[^>]*>.*</a>,Uims',
291 $data['item'], $regs, PREG_PATTERN_ORDER
))
292 $tags = preg_replace(', class="postedtag",i',
293 ' rel="tag"', $regs[0]);
295 $data['tags'] = $tags;
296 // enlever le html des titre pour etre homogene avec les autres objets spip
297 $data['titre'] = textebrut($data['titre']);
306 // helas strtotime ne reconnait pas le format W3C
307 // http://www.w3.org/TR/NOTE-datetime
308 // http://code.spip.net/@my_strtotime
309 function my_strtotime($la_date, $lang=null) {
312 ',^(\d+-\d+-\d+[T ]\d+:\d+(:\d+)?)(\.\d+)?'
313 .'(Z|([-+]\d{2}):\d+)?$,',
315 $la_date = str_replace("T", " ", $match[1])." GMT";
316 return strtotime($la_date) - intval($match[5]) * 3600;
320 if (preg_match(',^\d{4}$,', $la_date, $match))
321 return strtotime($match[0]."-01-01");
324 if (preg_match(',^\d{4}-\d{2}$,', $la_date, $match))
325 return strtotime($match[0]."-01");
327 // YYYY-MM-DD hh:mm:ss
328 if (preg_match(',^\d{4}-\d{2}-\d{2}\s+\d{2}:\d{2}:\d{2}\b,', $la_date, $match))
329 return strtotime($match[0]);
331 // utiliser strtotime en dernier ressort
332 // en nettoyant le jour qui prefixe parfois la date, suivi d'une virgule
333 // et les UT qui sont en fait des UTC
334 $la_date_c = preg_replace("/^\w+,\s*/ms","",$la_date);
335 $la_date_c = preg_replace("/UT\s*$/ms","UTC",$la_date_c);
336 if ($s=strtotime($la_date)
337 OR $s=strtotime($la_date_c))
340 // essayons de voir si le nom du mois est dans la langue du flux et remplacons le
341 // par la version anglaise avant de faire strtotime
344 list($lang) = explode("-", $lang);
345 static $months = null;
346 if (!isset($months[$lang])){
347 $prev_lang = $GLOBALS['spip_lang'];
348 changer_langue($lang);
349 foreach(range(1,12) as $m){
350 $s = _T("date_mois_$m");
351 $months[$lang][$s] = date("M",strtotime("2013-$m-01"));
352 $s = _T("date_mois_".$m."_abbr");
353 $months[$lang][$s] = date("M",strtotime("2013-$m-01"));
354 $months[$lang][trim($s,".")] = date("M",strtotime("2013-$m-01"));
356 changer_langue($prev_lang);
358 spip_log($la_date_c,"dbgs");
359 foreach($months[$lang] as $loc=>$en){
360 if (stripos($la_date_c,$loc)!==false){
361 $s=str_ireplace($loc,$en,$la_date_c);
362 if ($s=strtotime($s))
369 spip_log("Impossible de lire le format de date '$la_date'");
372 // A partir d'un <dc:subject> ou autre essayer de recuperer
373 // le mot et son url ; on cree <a href="url" rel="tag">mot</a>
374 // http://code.spip.net/@creer_tag
375 function creer_tag($mot,$type,$url) {
376 if (!strlen($mot = trim($mot))) return '';
377 $mot = "<a rel=\"tag\">$mot</a>";
379 $mot = inserer_attribut($mot, 'href', $url);
381 $mot = inserer_attribut($mot, 'rel', $type);
386 // http://code.spip.net/@ajouter_tags
387 function ajouter_tags($matches, $item) {
388 include_spip('inc/filtres');
390 foreach ($matches as $match) {
391 $type = ($match[3] == 'category' OR $match[3] == 'directory')
393 $mot = supprimer_tags($match[0]);
395 AND !strlen($mot = extraire_attribut($match[0], 'label')))
398 if ($url = extraire_attribut($match[0], 'domain')) {
399 // category@domain est la racine d'une url qui se prolonge
400 // avec le contenu text du tag <category> ; mais dans SPIP < 2.0
401 // on donnait category@domain = #URL_RUBRIQUE, et
402 // text = #TITRE_RUBRIQUE ; d'ou l'heuristique suivante sur le slash
403 if (substr($url, -1) == '/')
404 $url .= rawurlencode($mot);
406 else if ($url = extraire_attribut($match[0], 'resource')
407 OR $url = extraire_attribut($match[0], 'url')
412 else if (extraire_attribut($match[0], 'scheme') == 'urn:flickr:tags') {
413 foreach(explode(' ', $mot) as $petit)
414 if ($t = creer_tag($petit, $type,
415 'http://www.flickr.com/photos/tags/'.rawurlencode($petit).'/'))
420 // cas atom1, a faire apres flickr
421 $term = extraire_attribut($match[0], 'term')
423 if ($scheme = extraire_attribut($match[0], 'scheme'))
424 $url = suivre_lien($scheme,$term);
430 foreach(explode(' ', $mot) as $petit)
431 if (preg_match(',<rdf\b[^>]*\bresource=["\']([^>]*/'
432 .preg_quote(rawurlencode($petit),',').')["\'],i',
435 if ($t = creer_tag($petit, $type, $m[1]))
440 if ($t = creer_tag($mot, $type, $url))
447 // Lit contenu des blocs [[CDATA]] dans un flux
448 // http://code.spip.net/@cdata_echappe_retour
449 function cdata_echappe(&$rss, &$echappe_cdata) {
450 $echappe_cdata = array();
451 if (preg_match_all(',<!\[CDATA\[(.*)]]>,Uims', $rss,
452 $regs, PREG_SET_ORDER
)) {
453 foreach ($regs as $n => $reg) {
454 if (preg_match(',[<>],', $reg[1])) {
455 $echappe_cdata[$n] = $reg[1];
456 $rss = str_replace($reg[0], "@@@SPIP_CDATA$n@@@", $rss);
458 $rss = str_replace($reg[0], $reg[1], $rss);
463 // Retablit le contenu des blocs [[CDATA]] dans une chaine ou un tableau
464 // http://code.spip.net/@cdata_echappe_retour
465 function cdata_echappe_retour(&$x, &$echappe_cdata) {
467 if (strpos($x, '@@@SPIP_CDATA') !== false
468 OR strpos($x, '<') !== false) {
469 $x = filtrer_entites($x);
470 foreach ($echappe_cdata as $n => $e)
471 $x = str_replace("@@@SPIP_CDATA$n@@@", $e, $x);
475 else if (is_array($x)) {
476 foreach($x as $k => &$v)
477 cdata_echappe_retour($v, $echappe_cdata);