3 /***************************************************************************\
4 * SPIP, Systeme de publication pour l'internet *
6 * Copyright (c) 2001-2016 *
7 * Arnaud Martin, Antoine Pitrou, Philippe Riviere, Emmanuel Saint-James *
9 * Ce programme est un logiciel libre distribue sous licence GNU/GPL. *
10 * Pour plus de details voir le fichier COPYING.txt ou l'aide en ligne. *
11 \***************************************************************************/
13 if (!defined("_ECRIRE_INC_VERSION")) return;
14 include_spip('inc/syndic');
16 ## valeurs modifiables dans mes_options
17 ## attention il est tres mal vu de prendre une periode < 20 minutes
18 if (!defined('_PERIODE_SYNDICATION'))
19 define('_PERIODE_SYNDICATION', 2*60);
20 if (!defined('_PERIODE_SYNDICATION_SUSPENDUE'))
21 define('_PERIODE_SYNDICATION_SUSPENDUE', 24*60);
24 // http://code.spip.net/@genie_syndic_dist
25 function genie_syndic_dist($t) {
26 return executer_une_syndication();
30 // Effectuer la syndication d'un unique site,
31 // retourne 0 si aucun a faire ou echec lors de la tentative
34 // http://code.spip.net/@executer_une_syndication
35 function executer_une_syndication() {
37 // On va tenter un site 'sus' ou 'off' de plus de 24h, et le passer en 'off'
39 $where = sql_in("syndication", array('sus','off')) . "
41 AND NOT(" . sql_date_proche('date_syndic', (0 - _PERIODE_SYNDICATION_SUSPENDUE
) , "MINUTE") . ')';
42 $id_syndic = sql_getfetsel("id_syndic", "spip_syndic", $where, '', "date_syndic", "1");
44 // inserer la tache dans la file, avec controle d'unicite
45 job_queue_add('syndic_a_jour','syndic_a_jour',array($id_syndic),'genie/syndic',true);
48 // Et un site 'oui' de plus de 2 heures, qui passe en 'sus' s'il echoue
49 $where = "syndication='oui'
51 AND NOT(" . sql_date_proche('date_syndic', (0 - _PERIODE_SYNDICATION
) , "MINUTE") . ')';
52 $id_syndic = sql_getfetsel("id_syndic", "spip_syndic", $where, '', "date_syndic", "1");
55 // inserer la tache dans la file, avec controle d'unicite
56 job_queue_add('syndic_a_jour','syndic_a_jour',array($id_syndic),'genie/syndic',true);
64 * Mettre a jour le site
65 * Attention, cette fonction ne doit pas etre appellee simultanement
66 * sur un meme site: un verrouillage a du etre pose en amont.
67 * => elle doit toujours etre appelee par job_queue_add
69 * http://code.spip.net/@syndic_a_jour
71 * @param int $now_id_syndic
74 function syndic_a_jour($now_id_syndic) {
75 include_spip('inc/texte');
76 $call = debug_backtrace();
77 if ($call[1]['function']!=='queue_start_job')
78 spip_log("syndic_a_jour doit etre appelee par JobQueue Cf. http://trac.rezo.net/trac/spip/changeset/10294",_LOG_ERREUR
);
80 $row = sql_fetsel("*", "spip_syndic", "id_syndic=".intval($now_id_syndic));
84 $url_syndic = $row['url_syndic'];
85 $url_site = $row['url_site'];
87 if ($row['moderation'] == 'oui')
88 $moderation = 'dispo'; // a valider
90 $moderation = 'publie'; // en ligne sans validation
92 // determiner le statut a poser en cas d'echec : sus par defaut
93 // off si le site est deja off, ou sus depuis trop longtemps
97 OR ($row['statut']=='sus' AND time()-strtotime($row['date_syndic'])>_PERIODE_SYNDICATION_SUSPENDUE
*60)
101 sql_updateq('spip_syndic', array('syndication'=>$statut, 'date_syndic'=>date('Y-m-d H:i:s')), "id_syndic=".intval($now_id_syndic));
103 // Aller chercher les donnees du RSS et les analyser
104 include_spip('inc/distant');
105 $rss = recuperer_page($url_syndic, true);
107 $articles = _T('sites:avis_echec_syndication_02');
109 $articles = analyser_backend($rss, $url_syndic);
111 // Renvoyer l'erreur le cas echeant
112 if (!is_array($articles)) return $articles;
114 // Les enregistrer dans la base
117 foreach ($articles as $data) {
118 inserer_article_syndique ($data, $now_id_syndic, $moderation, $url_site, $url_syndic, $row['resume'], $row['documents'], $faits);
121 // moderation automatique des liens qui sont sortis du feed
122 if (count($faits) > 0) {
123 $faits = sql_in("id_syndic_article", $faits, 'NOT');
124 if ($row['miroir'] == 'oui') {
125 sql_update('spip_syndic_articles', array('statut'=>"'off'", 'maj'=>'maj'), "id_syndic=$now_id_syndic AND $faits");
127 // suppression apres 2 mois des liens qui sont sortis du feed
128 if ($row['oubli'] == 'oui') {
130 sql_delete('spip_syndic_articles', "id_syndic=$now_id_syndic AND NOT(" . sql_date_proche('maj', -2, 'MONTH') . ') AND NOT(' . sql_date_proche('date', -2, 'MONTH') . ") AND $faits");
134 // Noter que la syndication est OK
135 sql_updateq("spip_syndic", array("syndication" => 'oui'), "id_syndic=".intval($now_id_syndic));
137 return false; # c'est bon
142 // Insere un article syndique (renvoie true si l'article est nouveau)
143 // en verifiant qu'on ne vient pas de l'ecrire avec
144 // un autre item du meme feed qui aurait le meme link
146 // http://code.spip.net/@inserer_article_syndique
147 function inserer_article_syndique ($data, $now_id_syndic, $statut, $url_site, $url_syndic, $resume, $documents, &$faits) {
148 // Creer le lien s'il est nouveau - cle=(id_syndic,url)
149 // On coupe a 255 caracteres pour eviter tout doublon
150 // sur une URL de plus de 255 qui exloserait la base de donnees
151 $le_lien = substr($data['url'], 0,255);
153 // si true, un lien deja syndique arrivant par une autre source est ignore
154 // par defaut [false], chaque source a sa liste de liens, eventuellement
156 define('_SYNDICATION_URL_UNIQUE', false);
158 // Si false, on ne met pas a jour un lien deja syndique avec ses nouvelles
159 // donnees ; par defaut [true] : on met a jour si le contenu a change
160 // Attention si on modifie a la main un article syndique, les modifs sont
161 // ecrasees lors de la syndication suivante
162 define('_SYNDICATION_CORRECTION', true);
164 // Chercher les liens de meme cle
165 // S'il y a plusieurs liens qui repondent, il faut choisir le plus proche
166 // (ie meme titre et pas deja fait), le mettre a jour et ignorer les autres
168 $s = sql_select("id_syndic_article,titre,id_syndic,statut", "spip_syndic_articles",
169 "url=" . sql_quote($le_lien)
170 . (_SYNDICATION_URL_UNIQUE
172 : " AND id_syndic=$now_id_syndic")
173 ." AND " . sql_in('id_syndic_article', $faits, 'NOT'), "", "maj DESC");
174 while ($a = sql_fetch($s)) {
175 $id = $a['id_syndic_article'];
176 $id_syndic = $a['id_syndic'];
177 if ($a['titre'] == $data['titre']) {
178 $id_syndic_article = $id;
183 // S'il y en avait qu'un, le prendre quel que soit le titre
185 $id_syndic_article = $id;
186 // Si l'article n'existe pas, on le cree
187 elseif (!isset($id_syndic_article)) {
189 'id_syndic' => $now_id_syndic,
191 'date' => date("Y-m-d H:i:s", $data['date'] ?
$data['date'] : $data['lastbuilddate']),
194 // Envoyer aux plugins
195 $champs = pipeline('pre_insertion',
198 'table' => 'spip_syndic_articles',
203 $ajout = $id_syndic_article = sql_insertq('spip_syndic_articles', $champs);
205 pipeline('post_insertion',
208 'table' => 'spip_syndic_articles',
209 'id_objet' => $id_syndic_article
215 $faits[] = $id_syndic_article;
218 // Si le lien n'est pas nouveau, plusieurs options :
220 // 1. Lien existant : on corrige ou pas ?
221 if (!_SYNDICATION_CORRECTION
) {
224 // 2. Le lien existait deja, lie a un autre spip_syndic
225 if (_SYNDICATION_URL_UNIQUE
AND $id_syndic != $now_id_syndic)
229 // Descriptif, en mode resume ou mode 'full text'
230 // on prend en priorite data['descriptif'] si on est en mode resume,
231 // et data['content'] si on est en mode "full syndication"
232 if ($resume != 'non') {
234 $desc = strlen($data['descriptif']) ?
235 $data['descriptif'] : $data['content'];
236 $desc = couper(trim_more(textebrut($desc)), 300);
238 // mode "full syndication"
239 // choisir le contenu pertinent
240 // & refaire les liens relatifs
241 $desc = strlen($data['content']) ?
242 $data['content'] : $data['descriptif'];
243 $desc = liens_absolus($desc, $url_syndic);
246 // tags & enclosures (preparer spip_syndic_articles.tags)
247 $tags = ($data['enclosures']?
$data['enclosures']:'');
248 # eviter les doublons (cle = url+titre) et passer d'un tableau a une chaine
251 foreach ($data['tags'] as $tag) {
252 $cle = supprimer_tags($tag).extraire_attribut($tag,'href');
255 $tags .= ($tags ?
', ' : '') . join(', ', $vus);
258 // Mise a jour du contenu (titre,auteurs,description,date?,source...)
260 'titre' => $data['titre'],
261 'lesauteurs' => $data['lesauteurs'],
262 'descriptif' => $desc,
263 'lang'=> substr($data['lang'],0,10),
264 'source' => substr($data['source'],0,255),
265 'url_source' => substr($data['url_source'],0,255),
268 // Mettre a jour la date si lastbuilddate
269 if ($data['lastbuilddate'])
270 $vals['date']= date("Y-m-d H:i:s", $data['lastbuilddate']);
272 include_spip('inc/modifier');
273 objet_modifier_champs('syndic_article',$id_syndic_article,array('data'=>$vals,'action'=>'syndiquer'),$vals);
275 // Point d'entree post_syndication
276 pipeline('post_syndication',
279 'table' => 'spip_syndic_articles',
280 'id_objet' => $id_syndic_article,
282 'id_syndic' => $now_id_syndic,
293 * Nettoyer les contenus de flux qui utilisent des espaces insecables en debut
294 * pour faire un retrait.
295 * Peut etre sous la forme de l'entite ou en utf8 \xc2\xa0
297 * @param string $texte
300 function trim_more($texte){
301 $texte = trim($texte);
303 $texte = preg_replace(",^(\s|( )|(\xc2\xa0))+,ums","",$texte);