4 * (c) 2008-2011 Cedric Morin Yterium.net
9 if (!defined("_ECRIRE_INC_VERSION")) return;
10 if (!defined('_SPAM_URL_MAX_OCCURENCES')) define('_SPAM_URL_MAX_OCCURENCES', 3);
11 if (!defined('_SPAM_ENCRYPT_NAME')) define('_SPAM_ENCRYPT_NAME', false);
14 * Lister les formulaires a prendre en charge contre le SPAM
15 * pour verifier le nobot et le jeton sur un formulaire, l'ajouter a cette liste
16 * par le pipeline nospam_lister_formulaires
19 function nospam_lister_formulaires() {
20 if (!isset($GLOBALS['formulaires_no_spam']))
21 $GLOBALS['formulaires_no_spam'] = array();
22 $formulaires = array_merge($GLOBALS['formulaires_no_spam'], array('inscription', 'forum', 'ecrire_auteur', 'signature', 'recommander', 'newsletter_subscribe', 'newsletter_unsubscribe'));
23 return pipeline('nospam_lister_formulaires', $formulaires);
27 * Ajouter le champ de formulaire 'nobot' au besoin
32 function nospam_recuperer_fond($flux) {
33 // determiner le nom du formulaire
34 $fond = strval($flux['args']['fond']);
35 if (false !== $pos = strpos($fond, 'formulaires/')) {
36 $form = substr($fond, $pos +
12);
37 if (in_array($form, nospam_lister_formulaires())) {
38 // on ajoute le champ 'nobot' si pas present dans le formulaire
39 nospam_inserer_nobot($flux['data']['texte']);
46 * Ajouter le champ de formulaire 'nobot' au besoin
51 function nospam_formulaire_fond($flux) {
52 // determiner le nom du formulaire
53 $form = $flux['args']['form'];
54 if (in_array($form, nospam_lister_formulaires())) {
55 // on ajoute le champ 'nobot' si pas present dans le formulaire
56 nospam_inserer_nobot($flux['data']);
62 * Inserer un champ nobot au hasard dans le form
63 * et crypter tous les name
64 * @param string $texte
66 function nospam_inserer_nobot(&$texte) {
67 if ((false === strpos($texte, 'name="email_nobot"'))
68 AND (false !== $pos = strpos($texte, '</form>'))
70 // essayer de s'inserer au hasard entre 2 div/li du form
71 if (preg_match_all(",<(div|li)\b[^>]*class=['\"]editer[^>]*,ims", $texte, $m)
72 AND $i = rand(0, count($m[0]) - 1)
73 AND $p = strpos($texte, $m[0][$i])) {
74 $nobot = recuperer_fond("inclure/nobot", array('email_nobot' => '', 'div' => $m[1][$i]));
75 $texte = substr_replace($texte, $nobot, $p, 0);
76 } // et sinon a la fin juste avant la(les) balise(s) </form>
78 $nobot = recuperer_fond("inclure/nobot", array('email_nobot' => ''));
79 $texte = str_replace('</form>', $nobot . '</form>', $texte);
82 if (_SPAM_ENCRYPT_NAME
) {
83 // recuperer toutes les balises input, textarea, select
84 $balises = array_merge(extraire_balises($texte, 'input'));
85 foreach ($balises as $k => $b) {
86 if (in_array(extraire_attribut($b, "type"), array("hidden", "file")))
89 $balises = array_merge($balises,
90 extraire_balises($texte, 'textarea'),
91 extraire_balises($texte, 'select'));
94 if (preg_match(",<input type='hidden' name='_jeton' value='([^>]*)' />,Uims", $texte, $m))
97 foreach ($balises as $k => $b) {
98 if ($name = extraire_attribut($b, "name")
99 AND strncmp($name, "session_", 8) !== 0) {
100 // cas des truc[chose] : on ne brouille que truc
101 $crypted_name = explode("[", $name);
102 $crypted_name[0] = nospam_name_encode($crypted_name[0], $key);
103 $crypted_name = implode("[", $crypted_name);
104 $b_e = inserer_attribut($b, "name", $crypted_name);
105 $texte = str_replace($b, $b_e, $texte);
111 function nospam_name_encode($name, $key = "") {
112 static $private_key = array();
113 static $encoded = array();
114 if (isset($encoded[$key][$name]))
115 return $encoded[$key][$name];
116 if (!$name) return $name;
117 if (!isset($private_key[$key])) {
118 $private_key[$key] = nospam_private_key($key);
119 if (!function_exists('_xor'))
120 include_spip("inc/filtres");
122 $cname = _xor("xx_$name", $key);
123 $cname = base64_encode($cname);
124 $cname = "x_" . rtrim(strtr(base64_encode($cname), '+/', '-_'), '=');
125 return $encoded[$key][$name] = $cname;
128 function nospam_name_decode($name, $key = "") {
129 static $private_key = array();
130 static $decoded = array();
131 if (isset($decoded[$key][$name]))
132 return $decoded[$key][$name];
133 if (!$name) return $name;
134 if (strncmp($name, "x_", 2) !== 0) return $name;
135 if (!isset($private_key[$key])) {
136 $private_key[$key] = nospam_private_key($key);
137 if (!function_exists('_xor'))
138 include_spip("inc/filtres");
140 $cname = substr($name, 2);
141 $cname = base64_decode(str_pad(strtr($cname, '-_', '+/'), strlen($cname) %
4, '=', STR_PAD_RIGHT
));
142 $cname = base64_decode($cname);
143 $cname = _xor($cname, $key);
144 if (strncmp($cname, "xx_", 3) !== 0) return $name;
145 return $decoded[$key][$name] = substr($cname, 3);
148 function nospam_private_key($key) {
149 $private_key = $key . __FILE__
;
150 if (function_exists('sha1'))
151 $private_key = sha1($private_key);
153 $private_key = md5($private_key);
154 $private_key = pack("H*", $private_key);
160 * Ajouter un jeton temporaire lie a l'heure et a l'IP pour limiter la reutilisation possible du formulaire
165 function nospam_formulaire_charger($flux) {
166 $form = $flux['args']['form'];
167 if (in_array($form, nospam_lister_formulaires())
169 AND is_array($flux['data'])
171 include_spip("inc/nospam");
172 $jeton = creer_jeton($form);
173 if (!isset($flux['data']['_hidden'])) {
174 $flux['data']['_hidden'] = "";
176 $flux['data']['_hidden'] .= "<input type='hidden' name='_jeton' value='$jeton' />";
178 if (_SPAM_ENCRYPT_NAME
) {
179 $flux['data']['_hidden'] .= "<input type='hidden' name='_encrypt' value='1' />";
180 // recuperer les autosave encryptes si possible
181 if (is_array($flux['data'])
182 AND isset($flux['data']['_autosave_id'])
183 AND $cle_autosave = $flux['data']['_autosave_id']
184 AND include_spip("inc/cvt_autosave")
185 AND function_exists("autosave_clean_value")) {
187 $je_suis_poste = $flux['args']['je_suis_poste'];
189 $cle_autosave = serialize($cle_autosave);
190 $cle_autosave = $form . "_" . md5($cle_autosave);
192 // si on a un backup en session et qu'on est au premier chargement, non poste
193 // on restitue les donnees
194 if (isset($GLOBALS['visiteur_session']['session_autosave_' . $cle_autosave])
195 AND !$je_suis_poste) {
196 parse_str($GLOBALS['visiteur_session']['session_autosave_' . $cle_autosave], $vars);
197 if (isset($vars['_jeton'])
198 AND $key = $vars['_jeton']) {
199 foreach ($vars as $name => $val) {
200 if (($dname = nospam_name_decode($name, $key)) !== $name
201 AND isset($flux['data'][$dname]))
202 $flux['data'][$dname] = (is_string($val) ?
autosave_clean_value($val) : array_map('autosave_clean_value', $val));
213 * Verifier le jeton temporaire lie a l'heure et a l'IP pour limiter la reutilisation possible du formulaire
218 function nospam_formulaire_verifier($flux) {
219 static $deja = false;
220 $form = $flux['args']['form'];
221 if (in_array($form, nospam_lister_formulaires())) {
222 include_spip("inc/nospam");
223 $jeton = _request('_jeton');
224 // y a-t-il des names encryptes a decrypter ?
225 // si oui on les decrypte puis on relance la verif complete
226 // attention, du coup verifier() est appele 2 fois dans ce cas (peut poser probleme ?)
227 // donc on repasse ici une deuxieme fois, et il ne faut pas relancer le decryptage
228 if (_request('_encrypt') AND !$deja) {
230 $re_verifier = false;
231 foreach ($_POST as $k => $v) {
232 $kd = nospam_name_decode($k, $jeton);
234 set_request($kd, $v);
238 // si on a decode des champs, il faut relancer toute la chaine de verification et sortir
240 $verifier = charger_fonction("verifier", "formulaires/$form/", true);
241 $flux['data'] = pipeline(
242 'formulaire_verifier',
244 'args' => array('form' => $form, 'args' => $flux['args']['args']),
245 'data' => $verifier ?
call_user_func_array($verifier, $flux['args']['args']) : array())
251 // si l'encrypt a ete active depuis l'affichage initial de ce form, on rebalance l'erreur technique
252 // pour reforcer un POST
253 if (_SPAM_ENCRYPT_NAME
AND !_request('_encrypt')) {
254 spip_log('SPAM_ENCRYPT_NAME active mais _encrypt manquant', 'nospam');
255 $flux['data']['message_erreur'] = _T('nospam:erreur_jeton');
256 } // le jeton prend en compte l'heure et l'ip de l'internaute
257 elseif (_request('nobot') // trop facile !
258 OR _request('email_nobot')
259 OR (!verifier_jeton($jeton, $form))
261 if (_request('email_nobot'))
262 spip_log('email_nobot rempli : ' . _request('email_nobot'), 'nospam');
263 if (_request('nobot'))
264 spip_log('nobot rempli : ' . _request('email_nobot'), 'nospam');
265 #spip_log('pas de jeton pour '.var_export($flux,true),'nospam');
266 $flux['data']['message_erreur'] .= _T('nospam:erreur_jeton');
267 if ($form == 'forum')
268 unset($flux['data']['previsu']);
271 // pas la peine de filtrer les contenus postés par un admin
272 if (!isset($GLOBALS['visiteur_session']['statut']) OR $GLOBALS['visiteur_session']['statut'] != '0minirezo') {
273 if ($verifier_formulaire = charger_fonction("verifier_formulaire_$form", "nospam", true)) {
274 $flux = $verifier_formulaire($flux);
275 // recuperation de la liste des IPs blacklist/greylist
276 // async si on renvoie la previsu ou si erreur
278 if (count($flux['data']))
280 nospam_update_ip_list($async);
288 * Au moment de decider du statut d'un forum,
289 * quelques verifications et une moderation si necessaire !
294 function nospam_pre_edition($flux) {
295 if ($flux['args']['table'] == 'spip_forum'
296 AND $flux['args']['action'] == 'instituer'
299 // ne pas publier automatiquement certains messages suspects ...
300 // sauf si le posteur a de toute facon le pouvoir de moderer et de se publier
301 include_spip('inc/autoriser');
303 !empty($flux['data']['statut'])
304 and in_array($flux['data']['statut'], array('prop', 'publie'))
305 and (!isset($GLOBALS['visiteur_session']['statut']) OR !autoriser('modererforum'))
307 // verifier le status de cette IP
308 nospam_check_ip_status($GLOBALS['ip']);
310 $email = strlen($flux['data']['email_auteur']) ?
" OR email_auteur=" . sql_quote($flux['data']['email_auteur']) : "";
311 $spammeur_connu = (!isset($GLOBALS['visiteur_session']['statut'])
313 isset($GLOBALS['ip_greylist'][$GLOBALS['ip']])
314 OR isset($GLOBALS['ip_blacklist'][$GLOBALS['ip']])
315 OR sql_countsel('spip_forum', '(ip=' . sql_quote($GLOBALS['ip']) . "$email) AND statut='spam'") > 0
319 // activer aussi le flag spammeur connu en cas de flood, meme si aucune detection spam jusqu'ici
320 // on sera plus severe sur les liens dans ce cas
321 // cas du spammeur qui envoie que des messages a 3 liens a haute frequence (passe a travers tous les filtres)
322 // au bout du 5e message en <10min ou 10e en <30min on va moderer tout message avec un lien
323 if (!$spammeur_connu) {
324 if (($nb = sql_countsel('spip_forum', '(ip=' . sql_quote($GLOBALS['ip']) . $email . ') AND ' . nospam_sql_date_proche('date_heure', '-30', 'minute'))) >= 7) {
325 spip_log("[Flood] $nb message pour (ip=" . $GLOBALS['ip'] . "$email) dans les 30 dernieres minutes", 'nospam');
326 $spammeur_connu = true;
329 if (!$spammeur_connu) {
330 if (($nb = sql_countsel('spip_forum', '(ip=' . sql_quote($GLOBALS['ip']) . $email . ') AND ' . nospam_sql_date_proche('date_heure', '-10', 'minute'))) >= 3) {
331 spip_log("[Flood] $nb message pour (ip=" . $GLOBALS['ip'] . "$email) dans les 10 dernieres minutes", 'nospam');
332 $spammeur_connu = true;
336 $lang_suspecte = false;
337 // si c'est un spammeur connu,
338 // verifier que cette ip n'en est pas a son N-ieme spam en peu de temps
339 // a partir d'un moment on refuse carrement le spam massif, le posteur devra attendre pour reposter
340 if ($spammeur_connu) {
341 // plus de 30 spams dans les dernieres 2h, faut se calmer ...
342 // ou plus de 10 spams dans la dernieres 1h, faut se calmer ...
343 // ou IP blacklistee et plus de 5 messages prop/spam dans les dernieres 48h, faut se calmer ...
345 (isset($GLOBALS['ip_blacklist'][$GLOBALS['ip']])
346 AND ($nb = sql_countsel('spip_forum', sql_in('statut', array('spam')) . ' AND (ip=' . sql_quote($GLOBALS['ip']) . ') AND ' . nospam_sql_date_proche('date_heure', '-48', 'hour'))) >= 5
350 (($nb = sql_countsel('spip_forum', 'statut=\'spam\' AND (ip=' . sql_quote($GLOBALS['ip']) . $email . ') AND ' . nospam_sql_date_proche('date_heure', '-120', 'minute'))) >= 30
353 (($nb = sql_countsel('spip_forum', 'statut=\'spam\' AND (ip=' . sql_quote($GLOBALS['ip']) . $email . ') AND ' . nospam_sql_date_proche('date_heure', '-60', 'minute'))) >= 10
356 $flux['data']['statut'] = ''; // on n'en veut pas !
357 spip_log("[Refuse] $nb spam pour (ip=" . $GLOBALS['ip'] . "$email) dans les $h dernieres heures", 'nospam');
360 spip_log("POST *suspect* spammeur_connu", "nospam");
362 // sinon regarder si l'objet a une langue, et si le post est dans la meme langue ou non
363 // en cas de langue differente, on se mefie
365 $lang_objet = ($GLOBALS['spip_lang'] ?
$GLOBALS['spip_lang'] : $GLOBALS['meta']['langue_site']);
366 if ($flux['data']['objet']) {
367 $table = table_objet_sql($flux['data']['objet']);
368 $trouver_table = charger_fonction("trouver_table", "base");
369 if ($desc = $trouver_table($table)
370 AND isset($desc['field']['lang'])) {
371 $primary = id_table_objet($flux['data']['objet']);
372 $lang_objet = sql_getfetsel("lang", $table, "$primary=" . intval($flux['data']['id_objet']));
375 include_spip("inc/detecter_langue");
376 $lang_post = _detecter_langue($flux['data']['texte']);
377 if ($lang_post !== $lang_objet)
378 $lang_suspecte = true;
379 spip_log("POST " . ($lang_suspecte ?
"*suspect* " : "") . "en langue [$lang_post] sur $primary=" . $flux['data']['id_objet'] . " en langue [$lang_objet]", "nospam");
382 // si c'est un message bourre de liens, on le modere
383 // le seuil varie selon le champ et le fait que le spammeur est deja connu ou non
387 0 => array(1 => 'prop', 3 => 'spam'), // seuils par defaut
388 'url_site' => array(2 => 'spam'), // 2 liens dans le champ url, c'est vraiment louche
389 'texte' => array(4 => 'prop', 20 => 'spam') // pour le champ texte
391 // seuils severises pour les suspects : modere en prop des qu'il y a un lien, spam si plus de 5
393 0 => array(1 => 'spam'),
394 'url_site' => array(2 => 'spam'), // 2 liens dans le champ url, c'est vraiment louche
395 'texte' => array(1 => 'prop', 5 => 'spam')
397 // seuils pour les blacklist : si pas de lien on passe en prop par precaution, sinon en spam
398 'blacklist' => array(
399 0 => array(1 => 'spam'),
400 'url_site' => array(2 => 'spam'), // 2 liens dans le champ url, c'est vraiment louche
401 'texte' => array(0 => 'prop', 1 => 'spam')
405 $seuils = isset($GLOBALS['ip_blacklist'][$GLOBALS['ip']]) ?
$seuils['blacklist'] : (($spammeur_connu OR $lang_suspecte) ?
$seuils['suspect'] : $seuils[0]);
406 include_spip("inc/nospam"); // pour analyser_spams()
407 foreach ($flux['data'] as $champ => $valeur) {
408 $infos = analyser_spams($valeur);
409 if ($infos['contenu_cache']) {
410 // s'il y a du contenu caché avec des styles => spam direct
411 $flux['data']['statut'] = 'spam';
412 spip_log("\t" . $flux['data']['auteur'] . "\t" . $GLOBALS['ip'] . "\t" . "requalifié en spam car contenu cache", 'nospam');
413 } elseif ($infos['nombre_liens'] > 0) {
414 // si un lien a un titre de moins de 3 caracteres, c'est louche...
415 if ($infos['caracteres_texte_lien_min'] < 3) {
416 $flux['data']['statut'] = 'prop'; // en dur en attendant une idee plus generique
417 spip_log("\t" . $flux['data']['auteur'] . "\t" . $GLOBALS['ip'] . "\t" . "requalifié en prop car moins de 3car hors liens", 'nospam');
420 if (isset($seuils[$champ]))
421 $seuil = $seuils[$champ];
425 foreach ($seuil as $s => $stat)
426 if ($infos['nombre_liens'] >= $s) {
427 $flux['data']['statut'] = $stat;
428 spip_log("\t" . $flux['data']['auteur'] . "\t" . $GLOBALS['ip'] . "\t" . "requalifié en " . $stat . " car nombre_liens >= " . $s, 'nospam');
431 if ($flux['data']['statut'] != 'spam') {
432 $champs = array_unique(array('texte', $champ));
433 if ($h = rechercher_presence_liens_spammes($infos['liens'], _SPAM_URL_MAX_OCCURENCES
, 'spip_forum', $champs)) {
434 $flux['data']['statut'] = 'spam';
435 spip_log("\t" . $flux['data']['auteur'] . "\t" . $GLOBALS['ip'] . "\t" . "requalifié en spam car lien $h deja dans un spam", 'nospam');
442 // verifier qu'un message identique n'a pas ete publie il y a peu
443 if ($flux['data']['statut'] != 'spam') {
444 if (sql_countsel('spip_forum', 'texte=' . sql_quote($flux['data']['texte']) . " AND statut IN ('publie','off','spam')") > 0) {
445 $flux['data']['statut'] = 'spam';
446 spip_log("\t" . $flux['data']['auteur'] . "\t" . $GLOBALS['ip'] . "\t" . "requalifié en spam car message identique deja existant", 'nospam');
449 // verifier que cette ip n'en est pas a son N-ieme post en peu de temps
450 // plus de 5 messages en 5 minutes c'est suspect ...
451 if ($flux['data']['statut'] != 'spam') {
452 if (($nb = sql_countsel('spip_forum', 'ip=' . sql_quote($GLOBALS['ip']) . ' AND ' . nospam_sql_date_proche('date_heure', '-5', 'minute'))) >= 5) {
453 $flux['data']['statut'] = 'spam';
454 spip_log("[Flood2] $nb message pour (ip=" . $GLOBALS['ip'] . "$email) dans les 5 dernieres minutes : requalif en spam", 'nospam');
468 function nospam_sql_date_proche($champ, $interval, $unite) {
469 if (function_exists("sql_date_proche"))
470 return sql_date_proche($champ, $interval, $unite);
474 . (($interval <= 0) ?
'>' : '<')
475 . (($interval <= 0) ?
'DATE_SUB' : 'DATE_ADD')
477 . sql_quote(date('Y-m-d H:i:s'))
479 . (($interval > 0) ?
$interval : (0 - $interval))
487 * Fermer la connexion pour que le visiteur n'attende pas apres le curl sur nospam.spip.net
491 function nospam_flush_close($content) {
492 header("Content-Length: " . ($l = ob_get_length()));
493 header("Connection: close");
498 * Flusher et lancer l'update de la liste des ip
500 function nospam_flush_and_update() {
501 chdir(_ROOT_CWD
); // securite en cas de register_shutdown_function
502 // forcer le flush des tampons pas envoyes (declenche le content-length/conection:close envoye dans cache_cool_flush)
503 $flush_level = ob_get_level();
504 while ($flush_level--) ob_end_flush();
506 if (function_exists('fastcgi_finish_request'))
507 fastcgi_finish_request();
508 nospam_update_ip_list();
511 if (!defined('_NOSPAM_IP_LIST_CACHE')) define('_NOSPAM_IP_LIST_CACHE', 3600);
513 * Recuperer la liste des IP black ou grey sur nospam.spip.net
514 * si on a pas une liste a jour
515 * et la stocker dans un fichier
518 function nospam_update_ip_list($async = false) {
519 $file = _DIR_TMP
. "nospam_ip_list.txt";
520 if (file_exists($file) AND filemtime($file) > time() - _NOSPAM_IP_LIST_CACHE
)
522 spip_log("nospam_update_ip_list:$async", "nospam");
525 // indiquer de fermer la connexion dans la foulee
526 // pour faire le hit de recuperation async hors temps d'attente
527 ob_start("nospam_flush_close");
528 register_shutdown_function("nospam_flush_and_update");
532 // on fait d'abord un touch car si le recuperer_page echoue (hebergeurs qui interdisent)
533 // on ne veut pas recommencer plein de fois de suite
535 $url_api = "http://nospam.spip.net/spamsignal.api/list";
536 include_spip("inc/distant");
537 include_spip("inc/json");
538 $res = recuperer_page($url_api);
539 if (!$res AND file_exists($f = _DIR_TMP
. "spamsignal-api-list.txt"))
540 lire_fichier($f, $res);
542 AND function_exists("json_decode")
543 AND $liste = json_decode($res, true)) {
544 ecrire_fichier($file, serialize($liste));
549 * Verifier le status d'une IP et la noter dans la globale ip_blacklist ou ip_greylist si c'est une IP louche
554 function nospam_check_ip_status($ip) {
555 $file = _DIR_TMP
. "nospam_ip_list.txt";
556 if (!file_exists($file) OR filemtime($file) < time() - 2 * _NOSPAM_IP_LIST_CACHE
)
559 lire_fichier($file, $liste);
560 spip_log("nospam_check_ip_status:$ip", "nospam");
561 if ($liste = unserialize($liste)) {
562 #spip_log($liste,"nospam");
563 $now = date('Y-m-d H:i:s');
564 $ip_family = preg_replace(",([.:])[^.:]+$,", "$1*", $ip);
565 spip_log("ip $ip famille $ip_family", "nospam");
566 foreach (array("blacklist", "greylist") AS $l) {
567 if (isset($liste[$l][$ip])
568 AND $liste[$l][$ip] > $now) {
569 $GLOBALS['ip_' . $l][$ip] = true;
570 spip_log("$ip ajoute a ip_$l", "nospam");
571 return ($l == "blacklist" ?
"black" : "grey");
573 if (isset($liste[$l][$ip_family])
574 AND $liste[$l][$ip_family] > $now) {
575 $GLOBALS['ip_' . $l][$ip] = true;
576 spip_log("$ip ajoute a ip_$l (famille $ip_family)", "nospam");
577 return ($l == "blacklist" ?
"black" : "grey");