Nouvelle semaine, nouveau point hebdomadaire. Avec quelques jours de retard puisque celui-ci aurait du paraitre jeudi dernier.

Les tâches réalisées

La semaine dernière, nous avons abondamment parlé d’une anomalie gênante autour d’Etherpad, de yajsml et de MyPads. Une solution de contournement a été trouvée mais devra être confirmée : pour réinstaller le plugin, il semblerait qu’après l’avoir désinstallé, la suppression forcée du cache NPM (se situant en général dans un répertoire caché, /home/user/.npm) permette de ne plus éprouver le problème. Nous verrons une fois MyPads publié sur NPM, et non installé en local, si ce contournement deviendra inutile et mettrons en œuvre ce qu’il faudra pour améliorer la situation si ce n’est pas le cas.

En dehors de cela, cette semaine a été consacrée essentiellement au module de gestion des groupes avec l’affichage de la liste des groupes, leur création. À propos de la notion, centrale, de groupe dans MyPads :

• chaque utilisateur, authentifié, peut créer un nombre illimité de groupes;
• ceux-ci contiennent chacun un nombre illimité de pads;
• chaque groupe dispose d’un identifiant unique en base de données et d’un label;
• au niveau du groupe, il est demandé de définir une visibilité pour les pads qui seront contenus
  • restreinte : uniquement pour les personnes explicitement invitées, lesquelles devront posséder ou créer un compte sur l’instance MyPads;
  • privée : accès restreint à l’utilisation d’un mot de passe et dans ce cas, un compte n’est pas nécessaire;
  • publique : les pads contenus sont accessibles par leur adresse Web, comme c’est le cas aujourd’hui sans MyPads.
• cette visibilité est appliquée par défaut mais pourra être écrasée individuellement pour chaque pad contenu;
• un groupe pourra être mis en lecture seule, pour consultation uniquement;
• chaque groupe pourra voir son administration partagée avec d’autres utilisateurs, qui pourront alors en modifier les propriétés et y créer des pads;
• en plus de ce qui était prévu initialement
  • chaque utilisateur pourra mettre en favori un ou plusieurs groupes auxquels il participe;
  • il sera possible d’associer des étiquettes (tags) pour chaque groupe.

Semaine 19

Le travail sur les groupes va être poursuivi. En théorie, nous devrions obtenir en fin de semaine :

• la suppression des groupes;
• les étiquettes, favoris;
• les filtres et la recherche dans la liste de groupes;
• les tests fonctionnels qui vont avec le module groupes.

Lorsque la gestion des groupes sera terminée, celle des pads arrivera rapidement, puisque cette dernière sera similaire à celle des groupes, et même simplifiée par rapport à elle.
Rendez-vous en fin de semaine pour le prochain point.

MyPads, week 18

New week, new point with a delay of couple of days : this news should have been published last Thursday

Tasks done

Last time, we’ve copiously talked about an annoying bug around Etherpad, yajsml and MyPads. A workaround has been found but must be confirmed : to install the plugin again, it seems that, after uninstalling it, a forced removal of NPM cache (which resides into a hidden directory, like  /home/user/.npm) helps to not suffer from the problem. We’ll check after MyPads publication under NPM public repository if this workaround becomes useless. We’ll work to improve the situation otherwise.

Apart from this bug, the week has been mostly dedicated to group management module : list display, creation. About the groups main concept in MyPads :

• every user, authenticated, can create an unlimited number of groups;
• those one can contain one or more pads;
• each group has a database unique identifier and a name;
• for each group, you’ll have to define a visibility level for linked pads
  • restricted : only invited users can view and edit pads, people who need a MyPads account;
  • private : the access is protected by a password, in this case, the account isn’t mandatory;
  • public : pads are accessible through their Web address, like in classical Etherpad.
• this visibility property is applied by default to all attached pads but can be overwritten for each pad;
• a group can be set up on read-only mode;
• each group can be shared with other users, then they will be able to edit its properties and create new pads into it;
• bonus elements
  • each user can bookmark one or more groups;
  • tags can be assigned to each group.

Week 19

Work in groups management will continue. In theory, we should get, at the end of the week :

• group removal;
• tags and bookmarks implementation;
• research and filters from the group list;
• functional testing of the groups module.

When the groups management will be finished, pads management will be out quickly, because it will be similar, and even simplified.
See you at the end of this week for the next point.

Comme annoncé la semaine dernière, c’est désormais un point hebdomadaire qui émaillera le travail autour de MyPads. Cette semaine n’aura pas été de tout repos et les avancées visibles sont malheureusement peu nombreuses. Explications.

Les travaux

La mise en place des tests fonctionnels client, simulant une navigation réelle, a occupé les premiers jours de développement. Ensuite MyPads a subi quelques modifications pour fonctionner avec la version 4 d’Express, le cadre de développement sur lequel repose Etherpad et donc MyPads. Cette migration a été initiée par le tout premier contributeur externe au plugin, et a été rendue nécessaire par la migration d’Etherpad une semaine plus tôt.

Cette migration a été l’occasion de tester à nouveau la compatibilité de MyPads avec Eherpad. Cela peut sembler étonnant, mais MyPads est développé de manière autonome vis à vis d’Etherpad et est régulièrement testé en tant que plugin Etherpad, pour les raisons suivantes :

• accélérer le développement et éviter de devoir relancer Etherpad voire réinstaller le plugin à chaque modification;
• permettre les tests unitaires et fonctionnels serveur, très difficile sinon à partir d’un plugin Etherpad, isoler une base de tests du reste de l’instance;
• conserver une forme d’indépendance vis à vis du cœur d’Etherpad : afin de ne pas nécessiter des modifications d’Etherpad lui-même et de limiter les régressions en cas de changements internes de ce dernier.

Malheureusement le fonctionnement de MyPads s’est révélé erratique : parfois correct, parfois non. Pour les techniciens, seules les méthodes GET et HEAD sont autorisées et toute autre méthode HTTP est refusée. Le problème, nouveau, est intimement lié au logiciel intermédiaire (middleware) yajsml, lequel est employé par Etherpad afin d’optimiser les requêtes des fichiers dits statiques (scripts, images, styles etc). En théorie, les requêtes prises en charge par MyPads ne devraient pas être impactées par ce logiciel intermédiaire, mais pour une raison mal comprise, elles le sont parfois.

Le problème, c’est que MyPads fonctionne autour d’une interface de programmation standard, une API HTTP REST, sur laquelle se connecte le client Web, et qui permettra à d’autres clients ou à des outils tiers de voir le jour. La résolution du soucis n’est pas aisée : l’anomalie intervient de manière aléatoire. Peu de plugins sont touchés car la plupart ne définissent pas leurs propres routes HTTP. Même si yajsml est modifié pour résoudre le soucis, il faudra que la fondation Etherpad accepte le patch et l’intègre avant de pouvoir retrouver une fonctionnement correct de MyPads. Or, il semble que yajsml sera bientôt remplacé par une technologie plus standard.

D’autres résolutions ont été envisagées, du fait de la situation de yajsml, et entre autres :

1. Substituer, comme certains plugins le font,  l’API HTTP REST par une API basée sur socket.io, la technologie employée par Etherpad pour la collaboration en temps réel et qui repose en premier lieu sur le standard WebSocket. Cette voie a été expérimentée cette semaine mais représente une charge considérable de travail et la réécriture de nombreux modules. De plus, il ne s’agit pas d’un remplacement propre : MyPads y perd une méthode de communication plus standard ainsi que son système d’authentification, lequel avait été choisi pour permettre à terme une connexion depuis des comptes externes ou encore un annuaire LDAP, OpenID etc
2. Faire de MyPads une application indépendante, de fait non plus un plugin, qui gèrerait les accès des utilisateurs aux pads en fonction des groupes définis. Le problème de cette solution est de complexifier l’installation de MyPads et de risquer des incompatibilités avec certains autres plugins. Aussi, nous sortirions de fait du cadre du cahier des charges initial.

Il a été décidé que la dernière piste ne serait à employer qu’en cas de dernier recours et c’est la migration vers socket.io qui a été d’abord privilégiée. Néanmoins, à la vue du travail nécessaire et surtout des pertes fonctionnelles que cela risque d’amener, cette solution ne sera pas poursuivie.

La semaine prochaine

Le travail va reprendre sur la version HTTP REST standard qui a été développée jusqu’ici. Il est prévu :

• qu’étant donné que la suppression du yajsml n’arrivera qu’à un terme inconnu, il faudra dépister l’anomalie et la résoudre, ou au moins proposer un contournement simple;
• de poursuivre le développement, moins actif que prévu cette semaine, avec notamment
  • le passage d’une authentification en propre classique vers JSON Web Token, dont le travail a commencé cette semaine avec le test de socket.io, de manière à renforcer la sécurité des échanges de données chiffrées entre serveur et client;
  • les groupes et pads, évidemment.

Rendez-vous jeudi prochain pour le point de la semaine 18.

MyPads week 17

As announced last week, we now give some news about MyPads development weekly. Last couple of days haven’t been picnic and few enhancements are visible. Explanations below.

Work

Frontend functional testing setup, aiming to simulate real navigation, has filled the first days. Then MyPads has been updated to work with Express version 4. Express is the framework which powers Etherpad and so MyPads. This migration has been introduced by the very first MyPads external contributor, and was necessary because of the Etherpad migration a week earlier.

These modifications were a good moment to test MyPads’compatibility towards Eherpad. That can be surprising but MyPads has been programmed independently from Etherpad and is regularly tested as an Etherpad plugin, here’s why :

• speeding up the development and avoiding Etherpad reboot or plugin re-installation at each update;
• allowing unit and functional server testing, quite hard from an Etherpad plugin, and isolate a test database from the whole node;
• retaining a distance regarding Etherpad core in order to avoid need of Etherpad updates and limit regressions in case of internal modifications of it.

Sadly MyPads behavior becomes erratic : sometimes correct, sometimes buggy. For technicians : only GET and HEAD HTTP verbs were allowed and all other method has been forbidden. This problem seems to be linked to the yajsml middleware, used by Etherpad in order to optimize static files requests (scripts, images, styles etc). In theory, MyPads handled routes should not be impacted by this middleware, but for an misunderstood reason, they sometimes are.

Problem is that MyPads is based on a standard home-defined HTTP REST API, which the Web client connects to. This interface may allow other clients and third party tools to be created more easily. Debugging the problem is not an easy task, due to the randomness of the behavior. Few plugins should be concerned because most of them don’t define their own routes. Even if yajsml is updated to fix the issue, the Etherpad developers will have to accept the patch and merge it before we have MyPads working correctly. Now it seems that yajsml will be soon replaced by a more standard technology.

Others resolutions have been considered, regarding to yajsml situation :

1. Replace, as others plugins do, the HTTP REST API by a socket.io one. socket.io is the technology used by Etherpad for realtime collaboration, that use as a first class citizen the WebSocket protocol. This approach has been tried this week but requires a considerable amount of work and many modules rewriting. Moreover, it’s not a proper replacement : MyPads loses its more standard communication method but in addition its authentication system, which have been chosen to allow, later, connection through external accounts,  LDAP directory, OpenID etc
2. Move MyPads from a plugin to a standalone application, which handle user access according to created groups and pads. Problem with this solution : harden the MyPads installation, risks of incompatibilities with some other plugins. Also, making a standalone app won’t conform to the initial specifications.

We have decided to follow the last proposition only as a last resort. The migration to socket.io has been preferred but, with the light of required work and moreover functional looses, it won’t continue.

Next week

Work will be resumed on the HTTP REST version, the one developed until now. We expect :

• because yajsml removal won’t happen before an unknown time, it will be important to find and fix the bug, or at least to provide a simple workaround;
• move forward, with
  • migration from a classical authentication to JSON Web Token, which has been partially done this week as part of socket.io test, in order to harden encrypted data exchanges between client and server;
  • groups and pads, obviously.

See you next Thursday for week 18 point.

Cela fait déjà plusieurs semaines que le dernier point concernant MyPads a été écrit. Pour ceux qui ne le sauraient pas encore, MyPads est le plugin Etherpad, et donc Framapad, qui va apporter la gestion des groupes et pads privés pour chaque utilisateur enregistré.

L’avancement

Ces dernières semaines ont été moins actives que les précédentes. Malgré cela, c’est toujours l’interface client qui a été travaillée avec la réalisation de :

• la page de connexion et l’authentification associée ;
• la page de souscription de compte ;
• la gestion du profil utilisateur.

À court terme

Le développement reprendra une activité soutenue dès cette semaine. Les premiers éléments des modules de gestion de groupes et pads seront posés et avant la fin du mois une première version de tests sera proposée pour les personnes intéressées. L’objectif poursuivi est l’obtention d’une version stable dans la première quinzaine du mois de mai. À partir de maintenant, un point hebdomadaire sera réalisé.

MyPads : third feedback

Three weeks ago we’ve made a second point about MyPads development. For those who don’t know yet, MyPads is an Etherpad plugin, and so Framapad, which will bring private groups and pads management for registered users.

Progress

Last weeks have been less active than previous ones. Nevertheless, the Web client interface has seen some work with :

• login page and authentication;
• account subscription;
• user profile management.

Short term

The development will go back to regular activity this week. Groups and pads first pieces will be set up and, before the end of April, a first preliminary test version will be available for interested people. We plan to get a stable version within the first two weeks of May. As of now, weekly news will be sent.

Deux semaines se sont écoulées depuis le premier point sur MyPads, qui est pour rappel le plugin Etherpad, et donc Framapad, qui apportera la gestion des groupes et pads privés par utilisateur.

L’avancement

Comme prévu, les dernières tâches ont été consacrées au début du développement de l’interface Web de MyPads, et plus précisément :

• la mise en place de l’environnement de développement : browserify, watchify… ;
• l’emploi d’un serveur HTTP de test autonome afin de fluidifier le travail de test et de relance ;
• la mise en page générale et sa feuille de style associée, avec prise en compte de différentes tailles d’écrans (responsive) ;
• la création de modules transversaux : système de notifications, infobulles, validation des saisies….

Pour ceux que cela intéresse, le code client repose entre autres sur Mithril.JS, Lodash, JSS.

La suite

D’ici quelques jours seront avancés les modules pour :

• l’authentification et la souscription de compte en propre ;
• la page de profil utilisateur ;
• les tests fonctionnels pour ces modules.

Une fois cela réalisé, une version alpha sera proposée, qui emploiera la toute dernière version du code et sera remise à plat chaque jour. Elle sera disponible en anglais et en français.

Suivront bien entendu le module d’administration et ceux qui seront les plus utiles pour MyPads, à savoir la gestion des groupes et des pads. Notez que vous pouvez toujours suivre les avancées sur notre instance Gitlab, ou sur son miroir Github.

MyPads : second feedback

Two weeks have passed since our first point about MyPads development, the Etherpad plugin, and so Framapad plugin, which will bring groups and private pads managements per user.

Progress

As intended, recent tasks have been dedicated to the MyPads Web user interface development, and more precisely:

• setup of the front-end development environment : browserify, watchify…
• usage of a mockup HTTP server in order to make the workflow better
• global layout and its stylesheet, responsive design included
• development of common modules : notification system, tooltips, data validation….

For those who are interested about technical details, front-end code is based, among others, on Mithril.JS, Lodash, JSS.

Next steps

In the coming days you will see progress on modules:

• authentication and subscription
• user profile
• setup of functional unit testing for these modules.

Once done, an alpha version will be setup online. It will use the latest commit and will be daily updated. It will be available both in English and French.

Of course, the administration and the most important modules of MyPads will come soon after that: groups and pads management. Note that you can follow MyPads progress on our Gitlab instance, or our Github mirror.

Cela fait quelques semaines que le développement a redémarré pour MyPads, le plugin Etherpad, et donc Framapad, qui apportera la gestion des groupes et pads privés par utilisateur. Il est donc temps de faire un premier point sur ce qui a été fait et ce qui reste à réaliser.

L’avancement

Le développeur a choisi de commencer par le code côté serveur, lequel n’est pas directement visible aux utilisateurs. À ce jour, ont été réalisés :

• La formalisation de MyPads en tant que plugin Etherpad, installable manuellement.
• Une partie de la gestion de la configuration du plugin, des utilisateurs, groupes et pads.
• Une API HTTP-REST publique associée à chacun des modules.
• L’authentification en propre.

Il reste côté serveur à améliorer l’API, gérer les permissions selon les utilisateurs, permettre l’envoi de mails par exemple pour la récupération de son mot de passe.

Ce qui a pris du temps

Outre la mise en place générale, l’un des points de difficultés pour le développement d’un plugin Etherpad de ce genre est la gestion de la base de données. En effet, Etherpad emploie ueberDB, une bibliothèque NodeJS en partie conçue pour lui, qui transforme plusieurs moteurs de bases de données en simples bases clés-valeurs. Il est important d’utiliser ueberDB afin de maintenir la compatibilité du plugin avec l’ensemble des bases de données supportées par Etherpad.

Or, ueberDB ne fournit de manière commune que très peu de fonctions : fixer une clé et sa valeur, supprimer cette clé, récupérer la valeur en fonction de la clé ou enfin obtenir une liste de clés selon un préfixe donné. De fait il revient à l’application de gérer les différents types d’objets à stocker, les liens entre ceux-ci et les index… En somme de prendre soin de l’intégrité des données et de la performance générale.

MyPads, dans cette version préliminaire, c’est en cumulé un peu plus de 10 000 lignes écrites, tests et commentaires inclus.

La suite

Le développement du client Web débutera la semaine prochaine. Dès les premiers modules réalisés, une version de test, remise à plat chaque jour, sera proposée. Elle utilisera  la toute dernière version du code et permettra à ceux qui le souhaitent de voir plus concrètement où en est le développement. Un nouveau billet sera rédigé à ce moment-là.

Cette phase permettra l’amélioration de la partie serveur, dont l’API, et l’implémentation des fonctionnalités encore manquantes.

PS : pour ceux qui sont intéressés par le code, vous le trouverez sur notre miroir Github, en attendant que notre Gitlab soit à nouveau opérationnel.

MyPads : first feedback

A few weeks ago MyPads development has been resumed. This Etherpad plugin, and so Framapad plugin, will bring groups and private pads managements per user. It’s time to give you some information about what has been done and what remains.

Progress

The programmer has chosen to begin with server-side code, which is not obvious for users. Up to now, here is what has been done:

• MyPads bootstrap as an Etherpad plugin, with manual installation.
• Partial management of the plugin configuration, users, groups and pads.
• HTTP-REST public API for common functions of each module.
• Local authentification.

Server-side some tasks are still to be done: improving API, permission handling for users , email sending – for example for password recovery.

Time-consuming work

Besides global bootstrapping, one of the major problems for an Etherpad plugin like MyPads is to work with the database. Currently Etherpad depends on ueberDB, a NodeJS library made for transforming database engines into simple key-value store. It’s important to use ueberDB in order to keep the plugin compatible with all Etherpad supported databases.

ueberDB currently offers only a few functions: set a key and its value, remove a key, get the value of the key and retrieve a list of keys according to a given prefix. Consequently,  the application has to handle the different types of objects to store, links between them, indexes… In short taking care of the data integrity and global performance.

MyPads, the current preliminary version, represents a little more than 10,000 lines accumulated, tests and comments included.

Next steps

Web client development will begin next week. As soon as the first modules are done, a test demo, rebooted daily, will be available online. It will use the last source code and allow to watch more concretely what we are talking about. A new blog post will be published at that time.

This step will help improving server-side code, including API, and implementation of missing functionality.

NB: those who are interested by the source code can find it on our Github mirror, until our Gitlab is back online.

Le développement du plugin a démarré mi-décembre, dont cette annonce aura été le témoin.

La feuille de route prévue était basée sur le fait que que le développeur consacrerait environ la moitié de son temps à MyPads et ce, jusqu’à la fin du mois de février.

Le calendrier est en réalité quelque peu décalé et compressé. Outre les fêtes de fin d’années, le prestataire a préféré en terminer avec ses autres engagements professionnels. Il n’a donc que très peu avancé sur MyPads.

Il a désormais assuré qu’il se dédierait exclusivement jusqu’à la fin du mois de février au plugin. Des progrès rapides devraient être visibles sur notre espace Gitlab (en maintenance pour le moment), à travers le code source, les tickets et le wiki.

Si les tests en conditions réelles ne se feront que dans quelques semaines, la date de sortie annoncée n’est pas pour autant remise en cause : le plugin reste prévu pour la fin du mois de février.

MyPads: development is back

The development of MyPads has begun from the second half of December. Here is the annoucement.

The initial roadmap was based upon the fact the programmer would dedicate half of his time to MyPads development, from December to the end of February.

The schedule will actually be postponed and compressed. In addition to year’s end celebrations, the contractor has chosen to finish his other professional commitments. Consequently he hasn’t done much work for MyPads.

He has confirmed that he will be dedicated full time working on the plugin til the end of February. You’d be able to see significant progress in our Gitlab instance (at the moment down for maintenance), through the source, tickets and the wiki.

If real world tests can only be possible within a few weeks, the announced publishing date isn’t challenged: MyPads remains scheduled before March.

(english version below)

Notre éditeur de texte libre et collaboratif Framapad est une implémentation du logiciel libre Etherpad. Ce  service est mis à la disposition de tous et cela démontre en même temps que ce service peut être proposé de manière décentralisée (même si nous sommes peu nombreux à proposer une instance publique d’Etherpad, des milliers d’instances privées existent).

Au mois de juin dernier, Framasoft a lancé une campagne de financement participatif visant à contribuer activement à l’amélioration d’Etherpad pour y ajouter la gestion des comptes utilisateurs, des groupes et des pads privés. Il n’aura fallu que trois semaines pour que l’objectif soit atteint. Nous vous en remercions une fois encore.

Le but de ce projet  est de permettre aux utilisateurs d’Etherpad, et donc de Framapad, de créer un compte en leur nom, d’y associer des groupes et, pour chaque groupe, des pads. Ces pads pourront être publics, privés sur invitation ou encore d’accès restreints par l’usage d’un mot de passe. Le tout doit prendre la forme d’un plugin pour Etherpad, publié sous licence libre et s’installant de la même manière que tous les autres plugins du logiciel.

Il était prévu que la réalisation débute à la rentrée et que le plugin soit livré en fin d’année. La feuille de route a quelque peu glissé du fait de la surcharge temporaire du prestataire sélectionné. Le coup d’envoi est néanmoins lancé cette semaine et l’ensemble du développement se déroulera sur notre Gitlab via le projet ep_mypads https://git.framasoft.org/framasoft/ep_mypads .

Le plugin est attendu pour la fin du mois de février 2015. Il devrait comporter de petits bonus par rapport au cahier des charges initial.
Les premières semaines seront consacrées à l’écriture du code serveur, à sa documentation et à ses tests. Il faudra attendre début 2015 avec la création de l’interface graphique afin que MyPads puisse commencer à être testé.

Pour rappel, le cahier des charges originel est disponible sur ce pad : http://lite4.framapad.org/p/LEpEOUoQb3/timeslider#24.

Un point sur l’avancement du développement sera réalisé environ toutes les deux semaines.

——-

MyPads : development launched

A stage news will be made around every two weeks.

Lancée le 11 juin dernier, notre campagne Framapad/Etherpad n’est plus très loin d’atteindre l’objectif fixé.

Nous en sommes ainsi à l’instant t à 85 % pour quelques 315 contributeurs (que l’on remercie à nouveau vivement pour leur adhésion et leur soutien au projet).

Cela a cependant tendance à ralentir ces derniers jours. Alors nous renouvelons notre appel à participation et relais de notre campagne. D’avance merci (si ça n’est déjà fait).

Comme il est dit dans la FAQ, si nous dépassons notre objectif de 10000€, nous créerons un fonds de soutien à Etherpad qui permettra de financer de futurs développements. La moitié de la somme supplémentaire reviendra à ce fonds, l’autre à Framasoft, qui rendra compte de son utilisation.

En plus du lien direct vers notre page de campagne sur Ulule, vous pouvez partager les deux vidéos suivantes :

Présentation télé de la campagne par Alexis Kauffmann (aKa) lors de l’émission 56Kast #30 de Nolife (avec Erwan Cario et Camille Gévaudan des Ecrans de Libération et Véronique Boukali de Romaine Lubrique).

• URL d’origine de la vidéo (YouTube)

Notre parodie de La Chute (oui, nous aussi) telle que promise par Luc Didry sur Twitter lorsque la jauge a atteint 50%.

Existe aussi avec des sous-titres en anglais.