Et si Framasoft se penchait un peu sur la solution collaborative libre Nextcloud ?

 

Dans notre Lettre d’informations #28 (Automne 2021), nous vous parlions de Romain, stagiaire à Framasoft, dont nous savions que le sujet de stage allait tourner autour du logiciel libre Nextcloud.

Quelques semaines plus tard, nous invitions les structures « engagées » et utilisatrices de Nextcloud à répondre à un questionnaire (aujourd’hui fermé), conçu avec la designer Marie-Cécile Godwin, et La Fabrique à Liens.

Puis, une fois les résultats analysés (nous vous en proposons une version brute anonymisée et une analyse synthétique en fin d’article), nous avons pu identifier un besoin utilisateur non satisfait, sur lequel pourrait travailler Romain.

En effet, Nextcloud comporte de (très) nombreuses fonctionnalités, mais celle qui demeure centrale est probablement le stockage et partage de fichiers. Or, la navigation parmi les fichiers dans l’interface web est assez fastidieuse : un clic à chaque fois que l’on change de dossier, et donc un rechargement plus ou moins rapide de la page et de l’arborescence des dossiers et fichiers. Et parfois de nombreux clics pour passer d’un rameau de l’arborescence à l’autre.

Il y avait sans doute moyen de faire plus accessible et plus naturel.

Romain, qui ne connaissait ni le langage informatique PHP ni la solution Nextcloud au début de son stage, s’est donc lancé dans le développement d’un prototype d’application tierce, qui permettrait non seulement de pouvoir « développer l’arborescence de fichiers » au sein d’une même interface, mais aussi de pouvoir faire des recherches avancées.

Deux mois plus tard naissait le plugin « Sorts », dont nous vous racontons l’histoire ci-dessous.

---

Bonjour Romain, peux-tu te présenter ?

Je m’appelle Romain et j’ai 24 ans. J’ai grandi en Guadeloupe avant de venir étudier à Villeurbanne, à l’Institut National des Sciences Appliquées de Lyon, dont je serai diplômé en 2022 en tant qu’Ingénieur Télécom.

Quand je ne suis pas occupé par mes études, je passe pas mal de temps à bricoler et réparer des vieilles machines, et à m’investir dans des projets collectifs ! Je suis notamment très engagé au Karnaval Humanitaire, une asso étudiante qui organise un festival de musique dont j’ai été le régisseur site en 2021 et 2022.

Concernant ton stage, tu as choisi Framasoft. Pourquoi ?

Je voulais un stage en accord avec mes valeurs de libre partage des connaissances, et en rupture avec le capital et les grandes entreprises !

Je connaissais déjà un peu les actions de Framasoft et notamment les services en ligne et le développement logiciel, et je savais que j’y trouverais des projets intéressants dans un cadre super… et je n’ai pas été déçu !

Venons-en au sujet de ton stage. Quel était l’objectif général ?

Mon stage s’est déroulé au début d’un projet plus large, dont le nom de code est « Framacloud » [Note de Framasoft : on vous reparlera de ce projet ambitieux à la rentrée], dont l’objectif est de permettre aux structures luttant pour le progrès social et la justice sociale de s’approprier, maîtriser et contrôler les processus de collaboration numérique.

Ce projet de Framasoft est centré sur un logiciel de collaboration en ligne et de partage de fichiers : Nextcloud.

Cependant, bien que ce soit une des solutions libres les plus abouties et complètes dans ce domaine, il est avant tout conçu pour répondre aux besoins des clients de « Nextcloud GmbH« , la société allemande éditrice du logiciel. Ces clients, ce sont de grosses structures, publiques, universitaires ou privées. Du coup, il y a un risque de différences entre les attentes des petites structures associatives et les priorités de développement de Nextcloud GmbH.

Le but de mon stage était donc de trouver comment améliorer ce logiciel afin de le rendre plus utile et plus accessible pour les structures alternatives.

OK, c’est un vaste sujet ! Comment t’y es-tu pris ?

Eh bien d’abord, il fallait à la fois que je me forme sur le développement de Nextcloud, et qu’on en apprenne davantage sur ce logiciel : son fonctionnement, ses défauts et surtout ce qui manquait aux utilisateurs qu’on visait.

Après plusieurs tests du logiciel et plusieurs hypothèses sur comment l’améliorer, on a décidé de se rapprocher de nos utilisateurs cibles. On a donc mis en place une enquête visant des personnes faisant parties de structures engagées pour le progrès social et la justice sociale qui utilisaient déjà Nextcloud. Cette enquête questionnait leurs usages de l’informatique collaborative au sein du collectif, leurs usages de Nextcloud, leurs frustrations et leurs attentes.

C’est grâce aux presque 200 réponses de cette enquête qu’on a décidé des développements logiciels que j’ai réalisés au cours de ce stage et qui ont abouti à la création d’un plugin Nextcloud appelé « Sorts » !

#gallery-1 { margin: auto; } #gallery-1 .gallery-item { float: left; margin-top: 10px; text-align: center; width: 33%; } #gallery-1 img { border: 2px solid #cfcfcf; } #gallery-1 .gallery-caption { margin-left: 0; } /* see gallery_shortcode() in wp-includes/media.php */

 

Arrêtons nous déjà sur ce travail d’enquête. Quels en ont été les résultats ?

Les préoccupations principales qui ressortaient de cette enquête étaient, au final, des préoccupations d’ordre plutôt général sur l’outil Nextcloud. Mais ça nous a permis de voir ce qui est important pour le public qu’on souhaite impacter.

Parmi la vingtaine de sujets que j’ai pu identifier dans les réponses, les deux premiers étaient des sujets sur lesquels on ne pouvait pas faire grand-chose : l’édition collaborative de documents et la « lenteur » générale de l’outil.
Par contre, parmi les sujets qui suivaient on avait plus de perspective pour aider à changer les choses en quelques mois de stage : prise en main et ergonomie du logiciel, problèmes de synchronisation ou encore aide aux utilisateurs pour s’y retrouver parmi les fichiers du collectif.

C’est cette dernière préoccupation de s’y retrouver dans l’arborescence des fichiers qui m’intéressait le plus, et qui m’a mené au développement de « Sorts« .

Pour ceux qui souhaitent jeter un œil aux détails de l’enquête, nous avons publié les résultats anonymisés, ainsi qu’une synthèse des différents sujets abordés que j’ai réalisée pour affiner le sujet du stage (c’est sans doute plus digeste que le tableur de résultats bruts).

[Note de Framasoft : Retrouvez les résultats de l’enquête en fin d’article]

Donc, tu es parti sur la création de l’application Nextcloud « Sorts » . Mais… il fait quoi, ce plugin, en fait ?

L’idée derrière Sorts, c’est d’aider les gens à retrouver les fichiers qu’ils cherchent et à comprendre comment les dossiers et les fichiers ont été organisés par le collectif dont ils font partie.

Pour régler le premier problème on a profité de toutes les informations relatives à chaque fichier que Nextcloud stockait déjà (date de modification, poids, « étiquetage » du fichier par l’utilisateur, …) et on a codé une interface qui permet de faire une recherche qui mélange ces différents attributs. Par exemple « Trouve-moi tous les fichiers dans le dossier « Subvention » et ses sous-dossiers qui sont marqués comme étant importants, et qui sont des .pdf ».

 

Pour régler le deuxième problème on a décidé de présenter les dossiers, sous-dossiers et fichiers d’une manière qui n’était pas encore présente dans Nextcloud : en liste arborescente. C’est-à-dire que lorsqu’on clique sur un dossier, au lieu de « rentrer » dans ce dossier et de ne voir que son contenu direct, le dossier est « déroulé » et on voit son contenu ainsi que les dossiers et fichiers qui sont « à coté » de lui. Cette liste arborescente prend plus de place qu’une liste simple mais elle permet de bien comprendre où on se situe dans les dossiers, ce qui aide à comprendre la façon dont ils sont rangés.

 

Techniquement, tu as rencontré des soucis ?

Oui, comme dans tout processus de développement. Je pense qu’une des grosses difficultés a été de trouver quelle partie des API de Nextcloud utiliser, quelles étaient ses limites et comment faire avec. La recherche Nextcloud est pensée autour d’une recherche « groupée » (« unified search ») où l’utilisateur cherche une chaîne de caractères, et Nextcloud renvoie comme résultats tout ce qui correspond à cette chaîne de caractères parmi les ressources diverses et variées de Nextcloud (fichiers, todo, évènements, mails, conversations, …). Autant dire que ça ne correspond pas du tout à ce qu’on souhaite faire : chercher parmi les fichiers uniquement selon plusieurs conditions, dont certaines ne sont pas des chaînes de caractères (dates, nombres, …). Mais, heureusement pour nous, il y avait une autre API de recherche propre aux fichiers. Cette autre API paraissait très prometteuse parce qu’elle était déjà pensée pour permettre de combiner des conditions de recherches sur des attributs propres aux fichiers. Cependant, cette API était assez vieille et peu utilisée, ce qui m’a parfois donné un peu de fil à retordre.

De plus, je me suis rendu compte assez tard que l’API ne prenait pas en compte deux des différents attributs des fichiers : les « étiquettes » (tags) et les informations sur les partages de fichiers. Ces informations sont gérées dans des API totalement séparées. Je me suis donc retrouvé face à un dilemme : soit je réécris une API qui fait elle-même les requêtes en base de données avec tous les attributs, soit je complète l’API présente, soit je bricole quelque-chose où je fais 3 requêtes en base de données par recherche et je combine les résultats. La première solution m’aurait pris trop de temps et la deuxième solution aurait été refusée par Nextcloud GmbH (on ne modifie pas les APIs de Nextcloud à la légère), donc j’ai bricolé quelque-chose, et tant pis pour les performances de l’application.

As-tu eu des contacts avec la communauté Nextcloud ou son entreprise éditrice (Nextcloud Gmbh), et si oui, comment ça s’est passé ?

Oui bien sûr, lorsqu’on a commencé à avoir une bonne idée de ce qu’on souhaitait faire de Sorts j’ai écrit une note d’intention avec un lien vers un prototype sur le forum dédié au développement de plugin Nextcloud. Ça a mené à quelques échanges avec des développeurs salariés de Nextcloud qui étaient intéressés par le projet et qui m’ont fait quelques retours constructifs. On a même fait une réunion en visio avec eux pour discuter du plugin mais aussi du projet plus large, mais avec les plannings des uns et des autres cette réunion a eu lieu assez tard dans le développement de Sorts et elle n’a pas beaucoup impacté le plugin.

Et donc, la question qui pique : Sorts, ça marche ou pas ?

Eh bien OUI ! Sorts propose une vue de l’arborescence des fichiers « dépliante » et permet déjà de faire des recherches combinées sur une bonne variété des caractéristiques que peuvent avoir des fichiers !

Cependant, il s’agit d’une version Bêta qui présente quelques limites… J’ai dû faire quelques arrangements avec les problèmes techniques évoqués dans la question précédente, et si la version actuelle fonctionne sur des petites instances Nextcloud, elle aura sans doute du mal à « passer à l’échelle » pour fonctionner avec des instances réelles avec des centaines d’utilisateurs et des milliers de fichiers.

 

Vidéo de démonstration des fonctionnalités de Nextcloud Sorts 0.1.0-beta (source)

 

Et la suite ? C’est quoi à ton avis, et pour quand ?

Sorts est disponible sur https://packages.framasoft.org et sur l’app store Nextcloud en version beta !

Nous souhaitons continuer à maintenir cette application et à traiter et accepter toutes les contributions éventuelles, mais ni moi ni Framasoft n’avons prévu de développer à plein temps dessus pour le moment. Sorts rentre maintenant dans le monde du développement bénévole, ce qui veut dire que les développements portés par Framasoft et moi-même se feront au fil des envies et des disponibilités, sans agenda particulier (ce qui veut aussi dire que nous n’annoncerons pas de « date de sortie » quelconque).

On arrive à la fin de cette interview. Souhaites-tu nous partager un sentiment sur le travail effectué pendant ce stage ?

Résumer un stage en une émotion ? C’est difficile ! Développer un programme, c’est passer de la frustration quand ça ne marche pas, à l’excitation d’enquêter sur pourquoi ça ne marche pas, à la satisfaction de voir la fonctionnalité fonctionner quand on a trouvé.

Non, plus sérieusement, il y a eu quelques frustrations comme ne pas avoir beaucoup de temps pour développer ou ne pas retrouver autant de temps et de motivation que ce que j’aurais souhaité pour boucler le projet après le stage, mais je suis satisfait. Satisfait d’avoir fait quelque-chose qui marche mais surtout d’avoir pu concevoir ce plugin du presque début à la presque fin, en prenant le temps d’identifier ce qu’on pouvait faire d’utile, de réfléchir à quoi ça devait ressembler, et d’ensuite réfléchir à comment le réaliser techniquement.

Dernière question, récurrente dans nos interviews : quelle est la question que tu aurais aimé qu’on te pose, et quelle serait ta réponse ?

Mais pourquoi ne pas avoir publié Sorts plus tôt ?

C’est mon grand regret ! Et je pense que les personnes qui s’étaient intéressées à l’application lors de la note d’intention se sont aussi posées la question. Mais ma vie associative et personnelle était assez chargée après le stage et ne m’a pas laissé beaucoup de temps pour m’occuper de Sorts, c’est aussi ça le développement bénévole.

Merci Romain ! Ainsi qu’à toutes les personnes qui auront rendu ce travail possible, notamment en répondant au questionnaire !

Rappel des différents liens évoqués dans l’article :

• Résultats de l’enquête anonymisée (format brut .csv ou format LibreOffice Calc .ods)
• Analyse rapide de l’enquête, par Romain (format .pdf)
• Rapport de stage de Romain (existe aussi en version anglaise)
• Code source de l’application, sur Framagit
• Application Sorts sur l’App store Nextcloud à télécharger (Attention : version beta, à utiliser à vos risques et périls. Cependant, les risques sont limités car l’application Sorts ne fait pas de modification sur vos fichiers)

What if Framasoft took a look at the free/libre collaborative software Nextcloud?

 

In our newsletter #28 (Autumn 2021), we talked about Romain, an intern at Framasoft, whose internship topic was related to Nextcloud.

A few weeks later, we invited  » socially committed  » structures using Nextcloud to answer a survey (now closed), created with the designer Marie-Cécile Godwin, and La Fabrique à Liens.

Then, once the results were analyzed (you will find an anonymized raw version and a synthetic analysis at the end of the article), we were able to identify a set of unmet user needs, on which Romain could work.

Nextcloud provides loads of features, but the one that remains the most central is probably the storage and sharing of files. However, browsing files in the web interface is quite tedious: a click each time you change folder, and thus a more or less fast reloading of the tree structure. And sometimes many clicks to go from one branch of the tree to another.

There was probably a way to make it more accessible and more intuitive.

Romain, who knew neither the PHP computer language nor the Nextcloud software solution when beginning his internship, indulged himself with the development of a prototype of a third-party application, which would not only allow to « open the file tree » within the same interface, but also to be able to make advanced searches.

Two months later, the « Sorts » plugin was born, and we would like to share its story below.

---

Hello Romain, can you introduce yourself?

My name is Romain and I am 24 years old. I grew up in Guadeloupe (French West Indies) before coming to study in Villeurbanne, at the Institut National des Sciences Appliquées in Lyon, where I will graduate in 2022 as a Telecom Engineer.

When I’m not busy with my studies, I spend a lot of time tinkering and repairing old machines, and getting involved in community projects! I am particularly involved in Karnaval Humanitaire, a student association that organizes a music festival for which I was the site manager in 2021 and 2022.

Picture of Romain, INSA Lyon intern at Framasoft from September 2021 to February 2022

 

Why did you choose Framasoft for your internship?

I wanted my internship to be in line with my values of free sharing of knowledge, and away from capitalism and big companies!

I already knew a bit about Framasoft’s projects, especially the online services and software development, and I knew I would find interesting projects in a great environment… and I was not disappointed!

Let’s come to the subject of your internship. What was the main goal?

My internship took place at the beginning of a larger project, codenamed « Framacloud » [Framasoft’s note: we’ll be telling you more about this ambitious project in the upcoming months], whose goal is to allow structures fighting for social progress and social justice to gain ownership, master and control over digital collaboration processes.

This Framasoft project is focused on an online collaboration and file sharing software solution: Nextcloud.

However, although it is one of the most successful and complete open source solutions in this field, it is primarily designed to meet the needs of customers of « Nextcloud GmbH« , the German company that publishes the software. These customers are large structures, public, university or private. As a result, there is a risk of differences between the expectations of small associations and the development priorities of Nextcloud GmbH.

The goal of my internship was therefore to find out how to improve this software in order to make it more useful and more accessible for alternative organisations.

OK, that’s a big topic! How did you manage about it?

Well, first of all, I had to learn about the development of Nextcloud, and we had to learn more about this software: how it works, its flaws and especially what was missing for the users we were targeting.

After several tests of the software and several hypotheses on how to improve it, we decided to get closer to our target users. So we set up a survey targeting people who were part of organisations committed to social progress and social justice and who were already using Nextcloud. This survey questioned their uses of collaborative computing within the collective, their uses of Nextcloud, their frustrations and expectations.

Thanks to the almost 200 answers of this survey we decided on the software developments to be achieved during this internship and that led to the creation of a Nextcloud plugin called « Sorts »!

#gallery-2 { margin: auto; } #gallery-2 .gallery-item { float: left; margin-top: 10px; text-align: center; width: 33%; } #gallery-2 img { border: 2px solid #cfcfcf; } #gallery-2 .gallery-caption { margin-left: 0; } /* see gallery_shortcode() in wp-includes/media.php */

 

Let’s focus a moment on this survey work. What were the results?

The main concerns that came out of this survey were rather general concerns about the Nextcloud tool. But it allowed us to see what is important for the public we wanted to address.

Of the 20 or so topics I was able to identify in the responses, the first two were topics we couldn’t do much about: collaborative document editing and the general « slowness » of the tool.
On the other hand, among the following subjects we had more perspective to help change things in a few months of training: handling and ergonomics of the software, synchronization problems or help to users to find their way among the files of the collective.

It is this last concern: « finding one’s way in the tree of files more easily » that interested me the most, and that led me to the development of « Sorts ».

For those who want to have a look at the details of the survey, we have published the anonymized results, as well as a synthesis of the different subjects I have discussed in order to refine the subject of the workshop (it is probably easier to digest than the spreadsheet of raw results).

[Framasoft’s note: You can find the results of the survey at the end of the article]

So, you decided to create the Nextcloud application « Sorts ». But… what does this plugin actually do?

The idea behind Sorts is to help people find the files they are looking for and to understand how the folders and files have been organized by the collective they are part of.

To solve the first problem we took advantage of all the information about each file that Nextcloud was already storing (modification date, weight, « tagging » of the file by the user, …) and I coded an interface that allows users to perform a search mixing these different attributes. For example « Find me all the files in the folder « Grant » and its subfolders that are marked as important, and that are in PDF format ».

 

 

To solve the second problem we decided to present the folders, subfolders and files in a way that was not yet present in Nextcloud: in a tree list. That is to say that when you click on a folder, instead of « entering » this folder and seeing only its direct content, the folder is « expanded » and you see its content as well as the folders and files which are « next to » it. This tree-like list takes up more space than a simple list but it allows you to understand where you are in the folders, which helps you to understand how they are arranged.

 

 

Technically, did you encounter any issues?

Yes, like in any development process. I think one of the big challenges was to find out which part of the Nextcloud APIs to use, what were its limitations and how to deal with it. The Nextcloud current search feature is designed around a « grouped » search (« unified search ») where the user searches for a string of characters, and Nextcloud returns everything that matches this string among the various resources (files, todos, events, emails, conversations, …). This is not at all what we wanted to do: search among files only according to several conditions, some of which are not strings (dates, numbers, …). But, fortunately for us, there was another search API specific to files. This other API looked very promising because it was already thought to allow combining search conditions on file-specific attributes. However, this API was quite old and not widely used, which sometimes gave me a bit of trouble.

Moreover, I realized quite lately that the API did not take into account two of the different file attributes: « tags » and file sharing information. This information is managed in totally separate APIs. So I faced this dilemma: either I rewrite an API that does the database queries itself with all the attributes, or I complete the existing API, or I cobble together something where I do 3 database queries per search and combine the results. The first solution would have taken too much time and the second solution would have been rejected by Nextcloud GmbH (you don’t change Nextcloud APIs so easily), so I cobbled something together, and so much for the performance of the application.

Did you have contacts with the Nextcloud community or its editor (Nextcloud Gmbh), and if so, how did it go ?

Yes of course, when we started to have a clear idea of what we wanted to do with Sorts I wrote a note of intent with a link to a prototype on the Nextcloud plugin development forum. This led to some exchanges with Nextcloud’s employed developers who were interested in the project and sent me some constructive feedback. We even had a video meeting with them to discuss the plugin but also the wider project, but with everyone’s schedules this meeting took place quite late in the development of Sorts and it didn’t impact the plugin much.

And now, the nagging question: is Sorts really working?

Well YES ! 🎉 Sorts offers an « unfolding » file tree view and already allows combined searches on a good variety of characteristics that files can have!

However, this is a Beta version and it has some limitations… I had to make some accommodations with the technical issues mentioned in the previous question, and while the current version works on small Nextcloud instances, it will likely have trouble to scale when working with real instances counting hundreds of users and thousands of files.

Nextcloud Sorts 0.1.0-beta feature demo video (source)

Features of Nextcloud Sorts 0.1.0-beta (source)

 

What’s next? What do you think is next, and when?

Sorts is available on https://packages.framasoft.org and on the Nextcloud app store in beta version !

We want to continue to maintain this application and to process and accept all possible contributions, but neither I nor Framasoft have plans to develop it full time at the moment. Sorts is now entering the world of community/voluntary development, which means that the developments carried by Framasoft and myself will be done according to our desires and availabilities, without any particular agenda (which also means that we won’t announce any « release date »).

We are coming to the end of this interview. Would you like to share with us a feeling about the work done during this workshop?

Summarize an internship in one emotion? That’s a tough one! Developing a program goes from frustration when it doesn’t work, to the excitement of investigating why it doesn’t work, to the satisfaction of seeing the feature work when you’ve found it.

No, more seriously, there were some frustrations like not having much time to develop or not finding as much time and motivation as I would have liked to complete the project after the internship, but I am satisfied. Satisfied to have made something that works but especially to have been able to design this plugin from almost the beginning to almost the end, taking the time to identify what could be useful, to think about what it should look like, and then to think about how to realize it technically.

Last question, recurrent in our interviews: what is the question you would have liked to be asked, and what would be your answer?

Why didn’t you publish Sorts earlier?

That’s my big regret! And I think that the people who were interested in the application during the note of intent also asked themselves that question. But my associative and personal life was quite busy after the internship and didn’t leave me much time to take care of Sorts, that’s also what volunteer development is about.

Thank you Romain! And to all the people who made this work possible, especially by answering the questionnaire!

Reminder of the different links mentioned in the article :

• Results of the anonymized survey (raw format .csv or LibreOffice Calc format .ods)
• Quick analysis of the survey, in french, by Romain (.pdf format)
• Romain’s internship report (in english. Also available in french)
• Source code on Framagit
• Download and install Sorts application on the Nextcloud App store (Warning: beta version, use at your own risk. However, the risks are limited because the Sorts application does not make any modification on your files)