Cela fait déjà plusieurs semaines que le dernier point concernant MyPads a été écrit. Pour ceux qui ne le sauraient pas encore, MyPads est le plugin Etherpad, et donc Framapad, qui va apporter la gestion des groupes et pads privés pour chaque utilisateur enregistré.

L’avancement

Ces dernières semaines ont été moins actives que les précédentes. Malgré cela, c’est toujours l’interface client qui a été travaillée avec la réalisation de :

• la page de connexion et l’authentification associée ;
• la page de souscription de compte ;
• la gestion du profil utilisateur.

À court terme

Le développement reprendra une activité soutenue dès cette semaine. Les premiers éléments des modules de gestion de groupes et pads seront posés et avant la fin du mois une première version de tests sera proposée pour les personnes intéressées. L’objectif poursuivi est l’obtention d’une version stable dans la première quinzaine du mois de mai. À partir de maintenant, un point hebdomadaire sera réalisé.

MyPads : third feedback

Three weeks ago we’ve made a second point about MyPads development. For those who don’t know yet, MyPads is an Etherpad plugin, and so Framapad, which will bring private groups and pads management for registered users.

Progress

Last weeks have been less active than previous ones. Nevertheless, the Web client interface has seen some work with :

• login page and authentication;
• account subscription;
• user profile management.

Short term

The development will go back to regular activity this week. Groups and pads first pieces will be set up and, before the end of April, a first preliminary test version will be available for interested people. We plan to get a stable version within the first two weeks of May. As of now, weekly news will be sent.

Depuis le lancement de Framapad en 2011, son succès ne s’est pas démenti. Pour preuve, nos serveurs s’écroulent ! C’est pourquoi, depuis maintenant près de 2 ans, nous multiplions les instances d’Etherpad afin de garder un service réactif.

Les soucis à répétition sur notre infrastructure qui ont eu lieu pendant les deux premiers mois de 2015 ont monopolisé notre attention. Du coup, la dernière instance de Framapad, lite5, s’est retrouvée à héberger près de 90 000 pads ! Depuis son lancement à la mi-octobre, cela fait quand même 18 000 pads par mois, soit 600 nouveaux pads par jour, ou 25 pads par heure !

La nouvelle instance, lite6.framapad.org, mise en place il y a peu n’est pas hébergée sur le même serveur que les autres, ce qui devrait permettre de proposer des framapads plus réactifs et moins soumis aux plantages.

Évolution du nombre de pads sur lite6, en semaines :

Les problèmes… et leur réponse !

Les pads vides

Un souci que nous rencontrons est la création de pads vides, jamais utilisés. Il s’agit le plus souvent d’une erreur de frappe dans l’adresse du pad lorsque l’on souhaite s’y rendre. Si ces pads ne prennent pas vraiment de place dans la base données, ils la polluent cependant : l’index de celle-ci grossit… pour rien !

C’est pourquoi Luc, notre gentil adminSys/codeur/râleur a codé un plugin Etherpad qui supprime automatiquement les pads vides.

Les pads qui ne servent plus

La base de données enfle toujours plus, alors que de nombreux pads ne sont plus utilisés. Nous recevons aussi de temps en temps des demandes de suppression de pads pour diverses raisons. Notre réponse ? Des pads temporaires !

Le plugin Etherpad Delete after delay, toujours codé par Luc nous permet maintenant de proposer des pads qui s’autodétruiront 24 heures, 7 jours, 31 jours ou 365 jours après la date de la dernière édition (pas la date de création, attention !).

Pour accéder aux framapads temporaires, vous pouvez vous rendre sur :

• https://quotidien.framapad.org
• https://hebdo.framapad.org
• https://mensuel.framapad.org
• https://annuel.framapad.org

Ces différentes instances sont également proposées sur https://framapad.org.

Quand à l’instance https://beta.framapad.org elle porte bien son nom, puisqu’elle nous permet de tester certains plugins (commentaires, tableaux…) qui seront ajoutés sur les instances suivant leur intérêt et leur stabilité.

Les vieilles instances

Lite, lite2, lite3, lite4 et lite5 fonctionnent toujours, mais nous ne permettons plus la création de nouveaux pads dessus, étant donné l’instabilité régulière de ces instances (la chanson de JcFrog a bien failli achever le serveur, en lui amenant plein de nouveaux utilisateurs).

Afin de soulager notre infrastructure, nous passerons prochainement ces instances en mode lecture seule : vous pourrez toujours accéder (et télécharger) au contenu des pads, mais ceux-ci ne seront plus éditables. Ce passage en « read-only » sera effectué grâce au logiciel Padro créé par le bouillant Luc (encore lui !) pour répondre à nos besoins. Il faut dire que comme c’est lui qui s’occupe principalement des serveurs, il fait tout pour avoir le moins de problèmes possible !

Vous pourrez également, lorsque la prochaine version d’Etherpad sera sortie, accéder aux révisions sauvegardées de vos pads via Padro.

EDIT : la nouvelle version d’Etherpad est sortie (la 1.5.2) entre la rédaction et la publication de ce billet. Ce n’est donc plus qu’une question de disponibilité de Luc.

Et MyPads ?

Comme indiqué dans l’article publié récemment le développement du plugin de pads « privés » MyPads se poursuit.

Vous devriez pouvoir d’ici quelques jours tester une version alpha du plugin, et nous visons toujours une sortie officielle et un déploiement sur Framapad d’ici quelques semaines.

Mais alors, Framasoft fait du code ?

Non, toujours pas. L’inoxydable Luc a codé les plugins et Padro pour répondre à nos besoins et résoudre les problèmes que nous rencontrons, comme tout adminSys en telle situation 🙂

Et MyPads fait suite à notre campagne de financement participatif : Framasoft a pu passer un contrat pour faire développer MyPads grâce à ce financement, mais ce n’est pas Framasoft qui produit le code.

Deux semaines se sont écoulées depuis le premier point sur MyPads, qui est pour rappel le plugin Etherpad, et donc Framapad, qui apportera la gestion des groupes et pads privés par utilisateur.

L’avancement

Comme prévu, les dernières tâches ont été consacrées au début du développement de l’interface Web de MyPads, et plus précisément :

• la mise en place de l’environnement de développement : browserify, watchify… ;
• l’emploi d’un serveur HTTP de test autonome afin de fluidifier le travail de test et de relance ;
• la mise en page générale et sa feuille de style associée, avec prise en compte de différentes tailles d’écrans (responsive) ;
• la création de modules transversaux : système de notifications, infobulles, validation des saisies….

Pour ceux que cela intéresse, le code client repose entre autres sur Mithril.JS, Lodash, JSS.

La suite

D’ici quelques jours seront avancés les modules pour :

• l’authentification et la souscription de compte en propre ;
• la page de profil utilisateur ;
• les tests fonctionnels pour ces modules.

Une fois cela réalisé, une version alpha sera proposée, qui emploiera la toute dernière version du code et sera remise à plat chaque jour. Elle sera disponible en anglais et en français.

Suivront bien entendu le module d’administration et ceux qui seront les plus utiles pour MyPads, à savoir la gestion des groupes et des pads. Notez que vous pouvez toujours suivre les avancées sur notre instance Gitlab, ou sur son miroir Github.

MyPads : second feedback

Two weeks have passed since our first point about MyPads development, the Etherpad plugin, and so Framapad plugin, which will bring groups and private pads managements per user.

Progress

As intended, recent tasks have been dedicated to the MyPads Web user interface development, and more precisely:

• setup of the front-end development environment : browserify, watchify…
• usage of a mockup HTTP server in order to make the workflow better
• global layout and its stylesheet, responsive design included
• development of common modules : notification system, tooltips, data validation….

For those who are interested about technical details, front-end code is based, among others, on Mithril.JS, Lodash, JSS.

Next steps

In the coming days you will see progress on modules:

• authentication and subscription
• user profile
• setup of functional unit testing for these modules.

Once done, an alpha version will be setup online. It will use the latest commit and will be daily updated. It will be available both in English and French.

Of course, the administration and the most important modules of MyPads will come soon after that: groups and pads management. Note that you can follow MyPads progress on our Gitlab instance, or our Github mirror.

Cela fait quelques semaines que le développement a redémarré pour MyPads, le plugin Etherpad, et donc Framapad, qui apportera la gestion des groupes et pads privés par utilisateur. Il est donc temps de faire un premier point sur ce qui a été fait et ce qui reste à réaliser.

L’avancement

Le développeur a choisi de commencer par le code côté serveur, lequel n’est pas directement visible aux utilisateurs. À ce jour, ont été réalisés :

• La formalisation de MyPads en tant que plugin Etherpad, installable manuellement.
• Une partie de la gestion de la configuration du plugin, des utilisateurs, groupes et pads.
• Une API HTTP-REST publique associée à chacun des modules.
• L’authentification en propre.

Il reste côté serveur à améliorer l’API, gérer les permissions selon les utilisateurs, permettre l’envoi de mails par exemple pour la récupération de son mot de passe.

Ce qui a pris du temps

Outre la mise en place générale, l’un des points de difficultés pour le développement d’un plugin Etherpad de ce genre est la gestion de la base de données. En effet, Etherpad emploie ueberDB, une bibliothèque NodeJS en partie conçue pour lui, qui transforme plusieurs moteurs de bases de données en simples bases clés-valeurs. Il est important d’utiliser ueberDB afin de maintenir la compatibilité du plugin avec l’ensemble des bases de données supportées par Etherpad.

Or, ueberDB ne fournit de manière commune que très peu de fonctions : fixer une clé et sa valeur, supprimer cette clé, récupérer la valeur en fonction de la clé ou enfin obtenir une liste de clés selon un préfixe donné. De fait il revient à l’application de gérer les différents types d’objets à stocker, les liens entre ceux-ci et les index… En somme de prendre soin de l’intégrité des données et de la performance générale.

MyPads, dans cette version préliminaire, c’est en cumulé un peu plus de 10 000 lignes écrites, tests et commentaires inclus.

La suite

Le développement du client Web débutera la semaine prochaine. Dès les premiers modules réalisés, une version de test, remise à plat chaque jour, sera proposée. Elle utilisera  la toute dernière version du code et permettra à ceux qui le souhaitent de voir plus concrètement où en est le développement. Un nouveau billet sera rédigé à ce moment-là.

Cette phase permettra l’amélioration de la partie serveur, dont l’API, et l’implémentation des fonctionnalités encore manquantes.

PS : pour ceux qui sont intéressés par le code, vous le trouverez sur notre miroir Github, en attendant que notre Gitlab soit à nouveau opérationnel.

MyPads : first feedback

A few weeks ago MyPads development has been resumed. This Etherpad plugin, and so Framapad plugin, will bring groups and private pads managements per user. It’s time to give you some information about what has been done and what remains.

Progress

The programmer has chosen to begin with server-side code, which is not obvious for users. Up to now, here is what has been done:

• MyPads bootstrap as an Etherpad plugin, with manual installation.
• Partial management of the plugin configuration, users, groups and pads.
• HTTP-REST public API for common functions of each module.
• Local authentification.

Server-side some tasks are still to be done: improving API, permission handling for users , email sending – for example for password recovery.

Time-consuming work

Besides global bootstrapping, one of the major problems for an Etherpad plugin like MyPads is to work with the database. Currently Etherpad depends on ueberDB, a NodeJS library made for transforming database engines into simple key-value store. It’s important to use ueberDB in order to keep the plugin compatible with all Etherpad supported databases.

ueberDB currently offers only a few functions: set a key and its value, remove a key, get the value of the key and retrieve a list of keys according to a given prefix. Consequently,  the application has to handle the different types of objects to store, links between them, indexes… In short taking care of the data integrity and global performance.

MyPads, the current preliminary version, represents a little more than 10,000 lines accumulated, tests and comments included.

Next steps

Web client development will begin next week. As soon as the first modules are done, a test demo, rebooted daily, will be available online. It will use the last source code and allow to watch more concretely what we are talking about. A new blog post will be published at that time.

This step will help improving server-side code, including API, and implementation of missing functionality.

NB: those who are interested by the source code can find it on our Github mirror, until our Gitlab is back online.

Le développement du plugin a démarré mi-décembre, dont cette annonce aura été le témoin.

La feuille de route prévue était basée sur le fait que que le développeur consacrerait environ la moitié de son temps à MyPads et ce, jusqu’à la fin du mois de février.

Le calendrier est en réalité quelque peu décalé et compressé. Outre les fêtes de fin d’années, le prestataire a préféré en terminer avec ses autres engagements professionnels. Il n’a donc que très peu avancé sur MyPads.

Il a désormais assuré qu’il se dédierait exclusivement jusqu’à la fin du mois de février au plugin. Des progrès rapides devraient être visibles sur notre espace Gitlab (en maintenance pour le moment), à travers le code source, les tickets et le wiki.

Si les tests en conditions réelles ne se feront que dans quelques semaines, la date de sortie annoncée n’est pas pour autant remise en cause : le plugin reste prévu pour la fin du mois de février.

MyPads: development is back

The development of MyPads has begun from the second half of December. Here is the annoucement.

The initial roadmap was based upon the fact the programmer would dedicate half of his time to MyPads development, from December to the end of February.

The schedule will actually be postponed and compressed. In addition to year’s end celebrations, the contractor has chosen to finish his other professional commitments. Consequently he hasn’t done much work for MyPads.

He has confirmed that he will be dedicated full time working on the plugin til the end of February. You’d be able to see significant progress in our Gitlab instance (at the moment down for maintenance), through the source, tickets and the wiki.

If real world tests can only be possible within a few weeks, the announced publishing date isn’t challenged: MyPads remains scheduled before March.

(english version below)

Notre éditeur de texte libre et collaboratif Framapad est une implémentation du logiciel libre Etherpad. Ce  service est mis à la disposition de tous et cela démontre en même temps que ce service peut être proposé de manière décentralisée (même si nous sommes peu nombreux à proposer une instance publique d’Etherpad, des milliers d’instances privées existent).

Au mois de juin dernier, Framasoft a lancé une campagne de financement participatif visant à contribuer activement à l’amélioration d’Etherpad pour y ajouter la gestion des comptes utilisateurs, des groupes et des pads privés. Il n’aura fallu que trois semaines pour que l’objectif soit atteint. Nous vous en remercions une fois encore.

Le but de ce projet  est de permettre aux utilisateurs d’Etherpad, et donc de Framapad, de créer un compte en leur nom, d’y associer des groupes et, pour chaque groupe, des pads. Ces pads pourront être publics, privés sur invitation ou encore d’accès restreints par l’usage d’un mot de passe. Le tout doit prendre la forme d’un plugin pour Etherpad, publié sous licence libre et s’installant de la même manière que tous les autres plugins du logiciel.

Il était prévu que la réalisation débute à la rentrée et que le plugin soit livré en fin d’année. La feuille de route a quelque peu glissé du fait de la surcharge temporaire du prestataire sélectionné. Le coup d’envoi est néanmoins lancé cette semaine et l’ensemble du développement se déroulera sur notre Gitlab via le projet ep_mypads https://git.framasoft.org/framasoft/ep_mypads .

Le plugin est attendu pour la fin du mois de février 2015. Il devrait comporter de petits bonus par rapport au cahier des charges initial.
Les premières semaines seront consacrées à l’écriture du code serveur, à sa documentation et à ses tests. Il faudra attendre début 2015 avec la création de l’interface graphique afin que MyPads puisse commencer à être testé.

Pour rappel, le cahier des charges originel est disponible sur ce pad : http://lite4.framapad.org/p/LEpEOUoQb3/timeslider#24.

Un point sur l’avancement du développement sera réalisé environ toutes les deux semaines.

——-

MyPads : development launched

A stage news will be made around every two weeks.