SPIP - Contrib

SPIP - Contrib

[ar] [en] [es] [fr] [it]

85 visiteurs en ce moment

fontsizeup fontsizedown
Accueil du site > Contribs > Auteurs et Authentification > Gestion des auteurs en nombre > Csv2spip : importation des auteurs > Plugin csv2spip : gestion des auteurs à partir de fichiers CSV
[56 commentaires]

Plugin csv2spip : gestion des auteurs à partir de fichiers CSV

mardi 19 décembre 2006, par cy_altern

0 vote

Si vous devez gérer un SPIP avec de très nombreux utilisateurs (visiteurs, rédacteurs, administrateurs de rubriques), que de surcroît ces utilisateurs ont un "turn-over" rapide, alors csv2spip est fait pour vous !

IMPORTANT ! Un bogue "conséquent" dans l’archivage des articles des auteurs à supprimer vient d’être corrigé : il est donc conseillé de mettre à jour votre version (la version OK est la 3.0.1).

Introduction

Ce plugin reprend la contrib csv2spip : gestion des utilisateurs de SPIP à partir de fichiers CSV (version 2.2 réservée aux versions 1.8 de spip) dont il constitue la version 3.0. Ce plugin est testé avec les versions 1.9.1 et 1.9.2 de spip.

Remerciements à O. Jeulin qui à réalisé les logos de ce plugin (les sources GIMP sont dans le dossier /img_pack/sources).

Avertissement ! en utilisant ce plugin vous assumez le fait que vous DEVEZ avoir fait une sauvegarde de la base de votre spip AVANT de commencer !

Ce plugin réalise des modifications d’un grand nombre d’éléments de votre spip simultanément : en cas d’erreur vous ne pourrez certainement PAS revenir en arrière sinon par restauration d’une sauvegarde ANTERIEURE ou par trifouillages multiples avec votre phpMyAdmin...

0. But :

Le plugin csv2spip permet de gérer les utilisateurs de spip à partir de fichiers CSV : c’est donc un outil spécifiquement destiné aux spip ayant un grand nombre d’utilisateurs (quelques dizaines à plusieurs milliers).

Pour les utilisateurs de la contrib pour spip 1.8 (v2.0 à v2.2), les nouveautés de cette version 3.0 (plugin) sont signalées par un : [v3.0]

1. Ce plugin permet d’importer des fichiers CSV pour :

  • créer/gérer des utilisateurs spip (visiteurs/auteurs/admins restreints) avec login, adresse mail, mot de passe, pseudo spip
  • créer/gérer les rubriques administrées par les admins restreints générés
  • [v3.0] créer/gérer les groupes d’accès du plugin acces_groupes pour les utilisateurs importés

[v3.0] Pour toutes ces tâches il est possible de configurer différemment les options en fonction du statut (visiteurs/auteurs/admins restreints) des utilisateurs "injectés" par le fichier CSV.

Conditions d’utilisation : cet outil à été testé sur SPIP 1.9.1 avec des fichiers CSV contenant près de 2 000 utilisateurs (885 visiteurs, 885 rédacteurs , 149 admins restreints), sur des serveurs apache sous Linux et sous Windows => à priori vous ne devriez pas rencontrer de problèmes si votre fichier CSV est correctement formé...

Pour tous les problèmes de "time out" pour cause de trop gros fichier CSV et/ou config du serveur peu généreuse : voir le paragraphe "6. Ce qu’il reste à faire" en fin de cet article.

2. Un exemple de situation à gérer :

Cette "moulinette" à été conçue pour permettre de gérer les utilisateurs d’un SPIP de collège ou lycée avec les contraintes suivantes :

  • tous les élèves doivent êtres rédacteurs.
    - le SPIP doit contenir une rubrique pour chaque discipline de l’établissement (Français, Anglais, Maths...) et tous les profs d’une discipline doivent êtres administrateurs de la rubrique de leur discipline. La création et la gestion des administrateurs de rubrique doit donc être automatisée elle aussi.
  • [v3.0] tous les parents des élèves doivent disposer d’un compte visiteur (possibilité de s’identifier pour accès à des contenus réservés).
  • les élèves restent 3 ou 4 ans dans l’établissement : à chaque rentrée scolaire il faut supprimer les comptes de ceux qui sont partis et créer ceux de nouveaux arrivants. De plus, selon les établissements, les mots de passe des élèves doivent pouvoir êtres modifiés à chaque rentrée scolaire.
  • le login et le mot de passe des élèves et des profs doit être identique à celui qu’ils utilisent pour se logger sur le réseau de leur établissement : ces infos doivent donc êtres récupérées à partir d’une base de donnée indépendante de SPIP [1] . Pour une compatibilité large, elles seront stockées dans un fichier de type CSV , manipulable avec n’importe quel tableur.
  • contrainte supplémentaire : tous les articles des élèves qui quittent l’établissement (qui seront donc supprimés) doivent êtres archivés afin de sortir de l’arborescence principale du SPIP.
  • [v3.0] enfin, ce plugin doit également assurer la création/gestion automatique de groupes utilisables dans le plugin acces_groupe spip 1.9. L’idée étant de pouvoir gérer automatiquement :
    • pour chaque discipline un groupe comprenant tous les profs de cette discipline
    • pour chaque classe un groupe comprenant tous les élèves de la classe
    • pour chaque classe un groupe comprenant tous les comptes des parents des élèves de la classe.

Etant donné le nombre d’utilisateurs à gérer et la fréquence des "grosses" mises à jour de ceux-ci, il est obligatoire de "squizzer" le gestionnaire des utilisateurs de SPIP (qui se tape le boulot de saisir tous les comptes un par un ???) et d’utiliser une extraction de la base de donnée des utilisateurs sous forme d’un fichier CSV pour ensuite la réinjecter dans les tables MySQL de SPIP en utilisant un script php qui permet de gérer les fonctions supplémentaires (cryptage du mot de passe, création des rubriques, des administrateurs de rubrique, effacement des anciens utilisateurs, gestion des groupes d’accès...).

3. Installation du plugin csv2spip :

[v3.0]Comme tous les plugins : récupérez le dernier zip à jour de cette contrib sur http://zone.spip.org/files/spip-zone/ ou sur le miroir http://miroirspip.ventre.name/build..., décompactez le et placez le dossier "csv2spip" obtenu dans votre répertoire /plugins (à créer à la racine de votre spip si nécessaire), rendez vous sur l’interface de gestion des plugins (menu Configuration > Gestion des plugins), cochez le plugin "csv2spip" et validez.

Vous devriez voir apparaître une icone supplémentaire dans le menu "auteur" pour les administrateurs généraux (au passage : appel à contribution pour une icône plus classe que mon pauvre bidouillage ! contact via le forum de cet article.)

Du point de vue de la base de données, ce plugin n’installe pas de tables supplémentaires : pour le désinstaller il suffit d’effacer le répertoire /csv2spip.

4. Fonctionnement de ce plugin :

Détail des options proposées :

JPEG - 16 ko
Paramètres du fichier CSV
  • cadre "Paramètres du fichier CSV" : détermine ce qui sera utilisé dans le champ "groupe" du fichier CSV pour différencier les différents statuts (visiteurs/auteurs/admins restreints)


JPEG - 22 ko
Mise à jour des utilisteurs existants
  • le cadre "Mise à jour des utilisateurs existant déja dans SPIP" (option "Mettre à jour les utilisateurs existants" active) ne concerne que les utilisateurs déja existants dans le spip et présents dans le fichier CSV :
    • si "Mise à jour des infos personnelles" est sur "oui", alors le script remplace les données des utilisateurs appartenant déja au spip par celles trouvées dans le fichier CSV. Cette option est spécialement sensible en ce sens qu’elle provoque une réinitialisation du mots de passe : les utilisateurs qui auraient personnalisé celui-ci risquent de ne plus pouvoir se connecter ! [2]
    • l’option "Réinitialisation des groupes d’accès" permet de supprimer les utilisateurs déja existants de tous les groupes du plugin acces_groupes pour permettre la réinitialisation de leurs groupes d’accès
    • l’option "Réinitialisation des rubriques administrées" réalise le même type de réinitialisation pour les rubriques gérées par les admins restreints existants déja dans le spip et présents dans le fichier CSV.


JPEG - 13.6 ko
Suppression des absents
  • le cadre "Suppression des absents" permet de déclencher la suppression (ou mise à la poubelle) de tous les visiteurs/redacteurs/admins restreints existants dans le spip mais absents du fichier CSV. Cette option n’est donc pas à utiliser à la légère ! Par sécurité dans tous les cas les admins généraux ne seront pas concernés !


Création des rubriques pour les admins

  • le cadre "Création de rubriques pour les sous-groupes administrateurs" permet de configurer la rubrique attribuée aux utilisateurs admins retreints créés :
    • si l’option "Créer une rubrique par sous-groupe d’admins" est active, alors pour tous les noms trouvés dans le champ ss_groupe des utilisateurs admins restreints il sera créé une rubrique (rubrique parent choisie dans l’option "Rubrique parent des rubriques à créer") et les admins correspondants en seront administrateurs.
    • l’option "Créer un article dans chaque rubrique admin" permet de "meubler" chacune de ces rubriques avec un article publié afin qu’elles soient visibles dans les menus de rubriques.
    • pour tous les admins n’ayant pas de ss_groupe (champ vide) ou si la génération des rubriques admins n’est pas activée, il est nécessaire de préciser le nom de la rubrique à attribuer aux admins créés. En effet, si on ne leur attribue pas de rubrique à administrer, ils sont admin généraux... La rubrique à utiliser est déterminée par les options "Rubrique par défaut des admins restreints" et "Rubrique parent de la rubrique par défaut".
      NB : la rubrique par défaut ne sera créée que si cela est nécessaire.


JPEG - 21.7 ko
Connexion avec le plugin acces_groupes
  • le cadre "Connexion avec le plugin acces_groupes" permet de faire créer un groupe d’accès pour chaque nom trouvé dans le champ ss_groupe du fichier CSV et d’inclure tous les utilisateurs correspondants à celui-ci.
    • l’option "Réinitialiser les sous-groupes" permet de s’assurer que si l’un des groupes à créer existe déja, il sera vidé de ses utilisateurs (= réinitialisation des utilisateurs du groupe).


Si tout se passe bien vous devriez obtenir quelque chose qui ressemble à la capture d’écran suivante :
Exemple de retour OK

5. Caractéristiques du fichier CSV des utilisateurs à importer :

Rappel : un fichier CSV (Comma Separated Values) correspond à un fichier tableur enregistré au format texte. Chaque ligne de ce fichier correspond à une ligne du tableur, les données des cellules de cette ligne étant séparées par un séparateur (ici c’est le " ;"). On peut donc fabriquer un tel fichier avec n’importe quel tableur (OOo Calc par ex) en sélectionnant le format .csv ou .txt comme format d’enregistrement. [*Remarque*] : si vous utilisez OpenOffice pour générer votre fichier CSV, n’oubliez pas de cocher la case "Editer les paramètres de filtre" lorsque vous enregistrez votre fichier pour préciser ces paramétrages ! (Sous Excel, débrouillez vous comme vous pouvez !).

Vu qu’il s’agit d’un format texte, il est également possible de le créer/modifier avec un simple éditeur de texte (bloc-note par ex).

Pour éviter les multiples retours d’utilisateurs ayant des problèmes avec la gestion de l’ordre des colonnes du fichier CSV, à partir de la [version 2.2] il FAUT ajouter une ligne en tête du fichier qui permet de repérer les données de chaque colonne. Les noms de champs à utiliser dans cette première ligne sont les suivants :

"login" ;"prenom" ;"groupe" ;"ss_groupe" ;"pass" ;"email" ;"pseudo_spip"

L’utilisation de cette première ligne permet de pouvoir mettre les colonnes dans n’importe quel ordre dans le fichier CSV, la moulinette fonctionnera quand même.

Ce qui donne :

login prenom groupe ss_groupe pass email pseudo_spip
Bidule Marcel ELEVES 3D sdzzdbczke mbidule@monprovid.truc Big Marcel
Doe John PROFS Education Civique kfbskfb djohn@ac-Ilederé.fr M. Doe
Duchemin ELEVES olnlnhh
Dugenou Zazie ELEVES danslmetro zaz@oups.chose
etc...

Un modèle de fichier CSV est livré avec le plugin : csv2spip_modele.csv

Détails :

  • "login" = obligatoire (le login dans spip). Attention : le login est sensible à la casse (Majuscules/minuscules).
  • "prenom" : facultatif
  • "groupe" = le groupe principal de chaque utilisateur ("PROFS" ou "ELEVES" pour IACA). Ce champ permet de séparer les utilisateurs qui seront rédacteurs (groupe REDACTEUR par défaut) de ceux qui seront administrateurs de rubriques (groupe ADMINS par défaut) ou visiteurs (groupe VISITEURS par défaut). Si ce champs est vide, les utilisateurs seront rédacteurs.
  • "ss_groupe" : le sous-groupe
    • pour les auteurs et les visiteurs : facultatif si l’on n’utilise pas la génération des groupes d’accès acces_groupes.
    • pour les administrateurs c’est le nom de la rubrique qu’ils administreront.
  • "pass" : le mot de passe (si il est vide, le login sera utilisé comme mot de passe)
  • "email" : facultatif, nécessaire si on souhaite que les utilisateurs aient leur mail déclaré dans SPIP
  • "pseudo_spip" : facultatif, permet de spécifier un nom d’auteur SPIP différent de celui composé automatiquement par "prenom LOGIN"
  • séparateur de champ :  ; (point-virgule)
  • valeurs encadrées par des " (guillemets doubles) (vous n’êtes pas obligé d’encadrer les valeurs par des " mais si vous voulez éviter les problèmes, c’est plus sûr...)
  • séparateur de ligne : \r\n (sauts de lignes utilisé par OOo Calc par défaut) sous Windows, \n sous Linux (dans les 2 cas c’est le séparateur standard du système, à priori vous n’avez pas à vous en soucier)

Remarques :

  • Le champ ss_groupe est obligatoire si on veut la création automatique des rubriques par sous-groupe et que les membres du sous-groupe en soient administrateurs.
    Il est également requis si l’on veut que les utilisateurs créés soient automatiquement intégrés dans un groupe acces_groupes. Cette option permet en effet de créer les groupes pour le plugin acces_groupes et d’intégrer les utilisateurs dedans en fonction du contenu du champ ss_groupe.
  • On suppose que la gestion des doublons de noms est assurée en amont : si vous créez le fichier csv à la main, vous devrez vous assurer que chaque utilisateur à un nom unique !
  • spécifique IACA : si les profs ne sont pas regroupés par discipline dans IACA (en tant que sous-groupes) il faudra éditer le fichier avec un tableur (OOo Calc par ex) pour ajouter celles-ci dans la colonne sous-groupe. En revanche, si les groupes de disciplines sont générés par IACA, il faudra éditer le fichier et faire un "Rechercher / Remplacer" pour supprimer les préfixes "D_" qui précèdent chaque nom de groupe de profs afin d’éviter que les rubriques de disciplines dans le SPIP n’aient ce préfixe.


6. Ce qu’il reste à faire :

  • Zip - 21.7 ko
    ensemble de fichiers CSV de tests

un gros paquet de tests de compatibilité pour différents serveurs/hébergeurs/configurations... Si vous souhaitez participer à cette phase de tests, utilisez les fichiers CSV fournis dans ce zip.
Tant que ce plugin sera dans l’état "test", ces fichiers sont fournis par défaut dans le sous-répertoire /csv2spip/tests_csv2spip.

  • la gestion du time out pour les gros fichiers CSV et/ou les serveurs lents... : des essais d’intégration d’une option de "reprise" sont en cours (v3.1 ?)
  • la transformation de l’ensemble du code pour utiliser des fonctions : en effet ce plugin n’est jamais qu’une "petite moulinette" (300 lignes de code pour la version 0.1) organisée de façon procédurale "primitive" qui a gonflé à force de fonctionnalités supplémentaires jusqu’aux 1500 lignes actuelles... Pour aller plus loin (sauvegarde/bridage des options de config, remplissage de champs et/ou tables "extras"...) il sera donc nécessaire de réorganiser l’ensemble du code...

En cas de problème

Demande d’assistance via le forum de cet article : pour éviter les retours d’erreurs trop flous ou incomplets, merci d’accompagner tout les rapports de bogues d’éléments précis :

  • liste des options sélectionnées lors de l’envoi du fichier CSV
  • un extrait des premières lignes du fichier CSV utilisé (anonymez les mots de passe si nécessaire...)
  • une url où trouver la capture d’écran de la page de retour avec les erreurs...

De la même manière, vérifiez la conformité de votre fichier CSV aux paramètres indiqués dans le paragraphe "5. Caractéristiques du fichier CSV des utilisateurs à importer :" AVANT tout envoi de demande d’aide !

Remarque pour les spip hébergés chez free  [3]

Notes

[1] csv2spip à été développé dans le cas d’une base utilisateur présente sur un ActiveDirectory Windows 2000/2003 géré par le système IACA (tel que préconisé par la cellule TICE du rectorat de l’académie d’Aix-Marseille). Dans cette situation, le serveur ActiveDirectory (réseau local de l’établissement avec un firewall paranoïaque) ne pouvant communiquer avec le serveur SPIP qui est hébergé sur le serveur académique (réseau internet), il n’est pas possible d’utiliser le mode d’authentification par LDAP de SPIP.

[2] sans compter qu’ils risquent de difficilement supporter une telle ingérence de l’administrateur dans la gestion de leur mot de passe...

[3] Si votre site est hébergé sur un compte perso de free, les fonctions de gestion des fichiers .htpasswd et .htpasswd-admin de spip appelées lors de la génération des comptes font planter le script avec une erreur du type "*Fatal error* : unlink(data/.htpasswd) [function.unlink] : No such file or directory in *.../ecrire/inc/acces.php* on line *150".
Pour éviter ce plantage, vous devez modifier le fichier /plugins/csv2spip/exec/csv2spip.php pour désactiver l’appel de ces fonctions : il suffit de mettre en commentaire la ligne 488, ce qui donne :

Retour en haut de la page

56 Messages de forum

Voir toute la discussion

Pages 1 | 2 | 3 | 4 | 5 | 6

  • Répondre à ce message

    28 mai 02:16 , par cy_altern

    OK, tu n’as pas complètement tort (mais il y a tellement de messages de forums lié a des tentatives d’installation de plugins sur des versions de SPIP non compatibles qu’a la fin ça "agace")... alors on va dire comme ça :
    - la version actuelle n’est pas compatible SPIP 2.0.x mais la prochaine version le sera...
    - ...aucune date de sortie n’est prévue pour cette future version (qu’on se le dise !)
    - si vous êtes pressé, le code est sur la zone => votre contribution sera la bienvenue !

  • Répondre à ce message

    27 mai 22:30

    Oui, merci, j’avais lu, mais il n’est indiqué nulle part que c’est INcompatible avec les version 2.xx. Et je ne viens pas "réclamer" quoi que ce soit ! Ce serait bien de se calmer dans les réponses à des gens qui expriment des difficultés, de quelque nature que ce soit ! Qui plus est, une réponse plus sympathique du genre "c’est prévu pour la version 3.1" ou bien "le projet ne sera plus mis à jour, bonne chance" m’aurait suffit !

  • Répondre à ce message

    27 mai 14:46 , par cy_altern

    il faut lire au moins les 2 premières lignes de cet article de documentation avant de poster !!!

    S tu l’avais fait tu aurais pu voir que :
    Ce plugin est testé avec les versions 1.9.1 et 1.9.2 de spip.
    ce qui signifie, bien sûr, qu’il ne faut pas venir réclamer quoi que ce soit dans le forum si tu as un problème en l’installant sur un SPIP 2.0.8 : ça ne fonctionnera PAS !

  • Répondre à ce message

    26 mai 08:41 , par Seb

    Bonjour, merci pour le boulot effectué sur ce plugin. Mais j’ai un pb quant à la version : évidemment j’ai mis en route une plate-forme avec la version 2.0.8 de Spip et j’ai un magnifique "Fatal error : Call to undefined function debut_page() in /spip/plugins/csv2spip/exec/csv2spip.php on line 68" lorsque je clique sur l’icone de csv2spip dans le menu "Auteurs". Que faire ?

    Bon courage et merci.

  • Répondre à ce message

    20 mars 12:11 , par cy_altern

    pas de sitôt puisque je n’ai pas à m’en servir avant la rentrée scolaire de septembre...

  • Répondre à ce message

    19 mars 23:24 , par kassad

    J’ai un migré sous spip 2.0.5, ça tourne bien mais j’aimerais pouvoir utiliser ce plugin extrêmement pratique... Auriez-vous une idée de la date de sa sortie, même approximativement ? Merci aux développeurs...

  • Répondre à ce message

    30 décembre 2008 22:50 , par Sylvain

    Bonjour, Je suis enseignant à Noirmoutier dans un collège et je suis entrain de mettre en place le site web de ce collège grâce au fabuleux spip et à vos très nombreuses contributions. Le plugin csv2spip est vraiment super et va drôlement me faciliter la vie (300 auteurs à créer et à gérer ça commence à faire du monde...) mais je rencontre un problème, il m’affiche dans connexion avec le plugin acces_groupes le pluggin "acces_groupes n’est pas activé sur ce spip : option non disponible" J’ai donc essayer de voiur du côté du plugin acces_groupes et lorsque je vais sur http://zone.spip.org/files/spip-zone/ j’ai trois fichiers possible : [ ] acces_groupes.zip 17-Dec-2008 01:31 170K [ ] acces_restreint_1_9.zip 21-Oct-2008 11:31 57K [ ] acces_restreint_3_0.zip 17-Dec-2008 01:31 69K Lequel dois je choisir ??? Merci d’avance pour votre aide Sylvain

  • Répondre à ce message

    20 août 2008 18:44 , par aimti

    même problème réglé en remplaçant dans le fichier csv2spip les <? par des <?php

  • Répondre à ce message

    20 août 2008 18:43 , par aimti

    même problème réglé en remplaçant dans le fichier csv2spip.php les <? par des <?php.

  • Répondre à ce message

    13 juin 2008 15:24

    Pour les apostrophes dans le pseudo, cela fonctionne avec \\\, exemple Mr. toto, professeur d\\\’anglais. Merci pour cette astuce. J’ai aussi eu un problème avec des accents dans le login (exemple toto.andré) : deux comptes sont créés au lieu d’un. Cela n’est pas un problème car je n’utilise plus d’accents.

Pages 1 | 2 | 3 | 4 | 5 | 6

Répondre à cet article

Retour en haut de la page

Ça discute par ici