SPIP-Contrib

SPIP-Contrib

عربي | Deutsch | English | Español | français | italiano

273 Plugins, 191 contribs sur SPIP-Zone, 57 visiteurs en ce moment

Accueil du site > Administration et BDD > Gestion des documents > Voir les documents qui doublonnent

Voir les documents qui doublonnent

24 février 2006 – par Fil – <blink style='color:red;'>public|spip|ecrire:commentaires</blink>

Parfois on a chargé plusieurs fois le même document, ou référencé plusieurs fois le même document distant. Voici des boucles qui établissent la liste de ces doublons.

D’abord, les documents distants, car c’est (paradoxalement) le plus facile à faire :

<BOUCLE_f(DOCUMENTS){distant=oui}>
[(#FICHIER|unique|?{'',#ID_DOCUMENT - #FICHIER})<br>]
</BOUCLE_f>

Explication : |unique ne ressort la valeur (#FICHIER, en l’occurrence) que la première fois qu’elle apparaît. La deuxième fois, ou les fois suivantes, |unique rend un résultat vide, et le test |?{'', xxx} affiche xxx, c’est-à-dire ici #ID_DOCUMENT et #FICHIER.

Et voilà, nos doublons sont listés.

* * *

Ensuite, voyons les documents locaux, chargés normalement dans l’interface de SPIP. Là on va faire plus fort, car on va tester le contenu des fichiers.

<BOUCLE_g(DOCUMENTS){distant=non}{taille<4000000}>
[(#FICHIER|file_get_contents|md5|unique|?{'',#ID_DOCUMENT - #FICHIER})<br>]
</BOUCLE_g>

Avec le filtre file_get_contents (une fonction php standard), on récupère tout le contenu du fichier, qu’on filtre ensuite par md5 (une autre fonction php) pour le transformer en une « clé » de petite taille, qu’on donnera ensuite à manger au filtre |unique. (Ce dernier, en effet, conserve en mémoire les données qu’on lui passe, pour pouvoir faire des comparaisons d’une fois sur l’autre : mieux vaut ne pas lui donner des fichiers complets à mémoriser !)

Attention, si cette méthode permet de gérer beaucoup de fichiers, il suffit que l’un des fichiers soit très très gros, pour que cela fasse exploser la mémoire de php au moment du file_get_contents, et provoque une erreur ; c’est pourquoi on limite cette méthode à des fichiers de taille < 4Mo.

Pour ces derniers, on se limitera à une comparaison du type et de la taille du document :

<BOUCLE_h(DOCUMENTS){distant=non}>
[(#TAILLE|parametre_url{s,#EXTENSION}|md5|unique|?{'',#ID_DOCUMENT - #FICHIER})<br>]
</BOUCLE_h>

A noter, l’utilisation du filtre parametre_url, pour concatener (mettre « bout-à-bout ») les valeurs de #TAILLE et de #EXTENSION.

Retour en haut de la page

Vos commentaires

  • Le 12 mars 2006 à 22:17, par DD En réponse à : Voir les documents qui doublonnent

    J’ai testé cette contrib en vue de faire un peu de ménage sur un site.

    1/ cela me retourne au début du fichier des lignes d’erreur :
    Warning : file_get_contents(IMG/gif/fichierx.gif) : failed to open stream : No such file or directory in /home/site/www/inc-calcul.php3(109) : eval()’d code on line 83

    bon je suppose que ce sont des tags insérés dans les articles mais dont le document n’existe plus sur le serveur.

    2/ Ce que je trouve plus étrange c’est que la boucle est supposée retourner des doublons mais aucun des documents listé n’est en double.

    Est-ce que c’est parce que mes documents sont tous des jpg ou des mpg et que la comparaison se fait uniquement sur la taille et le type ?

    J’ai ajouté une boucle pour afficher le n° et le titre de l’article mais cela ne fonctionne qu’une ligne sur 20.

    Bon j’ai peut être pas tout compris. En tout cas cela ne semble pas être la solution idéale pour moi.

    j’ai essayé sur un site en 1.8 mais cala ne semble pas fonctionner du tout.

    catherine

    • Le 12 mars 2006 à 22:23, par Fil En réponse à : Voir les documents qui doublonnent

      Pour le 1/ en effet ce sont probablement des fichiers manquants

      Pour le reste, si un document s’affiche, c’est qu’il existe, plus haut dans la boucle, un autre document dont le contenu produit le même code md5. A priori cela signifie que c’est le même document... Mais si un document est absent, il est équivalent à « la chaine vide », et donc si plusieurs documents sont absents, ils sont marqués comme « doubles ».

    Répondre à ce message

Répondre à cet article

Qui êtes-vous ?

Pour afficher votre trombine avec votre message, enregistrez-la d'abord sur gravatar.com (gratuit et indolore) et n'oubliez pas d'indiquer votre adresse e-mail ici.

Ajoutez votre commentaire ici Les choses à faire avant de poser une question (Prolégomènes aux rapports de bugs. )
Ajouter un document

Retour en haut de la page

Ça discute par ici

  • Zpip-dist en HTML5

    15 juin 2010 – 10 <blink style='color:red;'>public|spip|ecrire:commentaires</blink>

    Une surcharge des squelettes Zpip-dist qui tire parti des nouvelles balises offertes par la spécification HTML5. Attention, ce plugin n’est plus compatible avec les nouvelles versions de Zpip, qui a connu plusieurs incompatibilités de nomenclature (...)

  • Une licence pour un article

    18 avril 2007 – 25 <blink style='color:red;'>public|spip|ecrire:commentaires</blink>

    Sur une idée originale de erational, voici un plugin permettant de lier une licence à un article.

  • Plugin Parrainage

    6 novembre 2011 – <blink style='color:red;'>public|spip|ecrire:commentaire</blink>

    Permettre aux utilisateurs d’inviter leurs contacts à s’inscrire sur le site. Description Vous connaissez le web moderne et son cortège d’applis toujours en version « beta » et de buzz sur le dernier réseau à la mode ? Vous voulez vous aussi vous y (...)

  • Formulaire de contact libre

    27 avril 2011 – 36 <blink style='color:red;'>public|spip|ecrire:commentaires</blink>

    Dans SPIP il n’y a pas un formulaire de contact, mais autant de formulaires de contact que d’auteurs. Cette phrase de Romy, dans son article Une page de contact dans mon SPIP, pointe un petit manque de SPIP. La possibilité d’insérer rapidement un (...)

  • Plugin Mot de Passe Compliqué

    2 novembre 2007 – 16 <blink style='color:red;'>public|spip|ecrire:commentaires</blink>

    Ce plugin ajoute un testeur de complexité de mot de passes dans les formulaires de choix de mot de passe de SPIP.