Boucles, listes et filtres dans un flux

Une synchronisation entre deux logiciels traite presque toujours des listes : les clients modifiés dans Odoo depuis hier, les lignes d'une commande, les articles d'un dossier Sage. L'éditeur de flux propose trois outils pour cela, sans écrire de code : l'étape Pour chaque élément, l'étape Mettre en forme une liste et les filtres, qui ajustent une valeur avant de l'envoyer.

Pour chaque élément

Cette étape reçoit une liste renvoyée par une étape précédente, par exemple {{step_2}} pour les clients lus dans Odoo, ou {{step_2.records}} pour les fiches trouvées dans Sage. Elle a deux sorties :

• Chaque élément : les étapes reliées à cette sortie s'exécutent une fois par élément de la liste, dans l'ordre. Le bouton { } y propose l'élément en cours ({{step_3.item.name}}, {{step_3.item.email}}…) et sa position.
• Ensuite : les étapes reliées à cette sortie s'exécutent une fois, quand toute la liste a été traitée. Elles peuvent utiliser le bilan de la boucle : nombre d'éléments, réussis et en échec.

Une boucle traite 100 éléments par exécution, jusqu'à 1000 si vous le réglez. Pour une liste plus longue, lisez les données par paquets (limite de la recherche) et laissez le point de reprise avancer d'une exécution à l'autre. Un flux qui contient une boucle peut s'exécuter pendant 15 minutes. Dans l'historique des exécutions, les étapes des trois premiers éléments et de chaque élément en échec sont détaillées, numérotées par élément ; pendant l'exécution, le nombre d'éléments déjà traités s'affiche (« Pour chaque article : 12 sur 50 »), puis l'étape de la boucle donne le bilan (réussis, en échec).

À la fin de chaque exécution, Écrit dans Sage et Odoo compte ce que le flux a créé, modifié ou supprimé, pour tous les éléments et pas seulement les trois détaillés : par exemple « Articles Sage : 4 créations · 2 modifications ». Détail donne les fiches concernées, référence et nom (les 500 premières de chaque sorte). La liste des exécutions reprend ce bilan en une ligne. Une liste recopiée en une fois, comme les listes de prix, n'en donne que le nombre.

Reprendre là où le flux s'était arrêté

Un flux planifié qui synchronise vos clients toutes les heures ne doit relire que ce qui a changé. Pour suivre Sage presque en temps réel, planifiez-le toutes les quelques minutes (1, 2, 5, 10, 15 ou 30) : une exécution plus longue que l'intervalle n'est jamais doublée, la suivante part à sa fin. Le point de reprise d'une boucle sert à cela : après chaque élément traité, le flux garde les valeurs que vous choisissez, puis l'exécution suivante les relit avec {{trigger.cursor}}.

Exemple avec Odoo : dans les réglages de la boucle, ajoutez au point de reprise at = {{step_3.item.write_date}}. Dans la recherche Odoo qui précède, filtrez sur la date de modification :

[["write_date", ">", "{{trigger.cursor.at | default:1970-01-01}}"]]

triez par write_date croissant et limitez la recherche à 100 clients. La première exécution reprend tout depuis le début, les suivantes seulement les clients modifiés depuis.

Quand une exécution planifiée traite un lot complet (autant d'éléments que la limite de la boucle), le flux repart aussitôt pour le lot suivant au lieu d'attendre l'heure prévue, jusqu'à un lot incomplet : une première synchronisation de 5 000 fiches ne prend pas 100 heures. Pour cela, gardez la même limite pour la recherche et pour la boucle. Le flux n'enchaîne pas après un arrêt sur un élément en échec ni quand aucun élément n'a réussi. Un test depuis l'éditeur ne déplace jamais le point de reprise : il repart toujours du même endroit et ne lance pas le lot suivant. Pour une vraie exécution sans attendre l'heure prévue, cliquez sur Lancer maintenant : le flux enregistré s'exécute, le point de reprise avance et, si le flux est actif, les lots s'enchaînent jusqu'au dernier. En pause, un seul lot est traité à chaque clic.

Avec Sage 100, la colonne de date de modification de chaque fiche (cbModification) joue le même rôle dans les filtres de l'outil de recherche.

Le point de reprise n'avance pas pendant un test depuis l'éditeur. Il s'affiche dans les réglages du déclencheur et de la boucle, avec le bouton Repartir du début pour tout reprendre.

Relances automatiques

Une commande qui ne passe pas parce qu'Odoo, Sage ou la passerelle ne répond pas n'est pas perdue. Dans un flux planifié dont la boucle continue après une erreur et garde un point de reprise (c'est le cas de tous les modèles de la galerie), chaque élément en échec est gardé, chiffré, puis :

• erreur passagère (service injoignable, délai dépassé, passerelle hors ligne, fiche verrouillée, client pas encore synchronisé) : l'élément est relancé tout seul, sans relire tout le reste, après 5 minutes, 15 minutes, 1 heure, puis toutes les 4 heures, pendant 24 heures ;
• erreur définitive (Odoo ou Sage refuse les données : champ invalide, article inconnu, compte en sommeil), ou toujours en échec au bout de 24 heures : l'élément est mis de côté dans l'onglet À traiter du flux.

Dans À traiter, chaque élément montre sa référence (numéro de pièce, référence article…) et son erreur. Corrigez la cause, dans Odoo, dans Sage ou dans le flux, puis cliquez sur Relancer ; Ignorer l'écarte. Un élément modifié entre-temps dans le logiciel d'origine repasse aussi tout seul. La liste des flux affiche le nombre d'éléments à traiter et en relance.

Si le flux échoue avant même de lire ses éléments pour une raison passagère, par exemple la passerelle hors ligne, il est relancé aux mêmes délais, sans attendre sa prochaine exécution planifiée. Il reprend là où il s'était arrêté.

Les administrateurs du client et de l'intégrateur reçoivent un e-mail quand des éléments passent dans À traiter (au plus un par flux et par heure), quand un flux échoue depuis 24 heures pour une raison passagère puis quand il fonctionne de nouveau, et quand un flux s'arrête sur une erreur qui demande une intervention. Une relance qui réussit ne donne lieu à aucun e-mail.

Mettre en forme une liste

Certaines étapes attendent une liste dans un format précis : un document de vente Sage attend des lignes avec un article, une quantité et un prix. L'étape Mettre en forme une liste construit cette liste à partir d'une autre.

Exemple : transformer les lignes d'une commande Odoo en lignes Sage.

Activez Ne garder que certains éléments pour écarter les titres de section et les notes : {{step_5.item.display_type | not}} est égal à true. Vous pouvez aussi mettre plusieurs listes bout à bout (par exemple les lignes de la commande puis une ligne de frais de port), ou choisir Une seule valeur pour obtenir une liste simple, comme les identifiants. Une liste mise en forme compte jusqu'à 50 000 éléments.

Les filtres

Un filtre ajuste une valeur avant de l'envoyer. Il s'écrit après la donnée, séparé par une barre verticale, et plusieurs filtres s'enchaînent :

{{step_3.item.name | text | truncate:35 | upper}}

Un texte qui contient : ou | s'écrit entre guillemets doubles : default:"Sans adresse : à vérifier".

Un filtre inconnu ou mal écrit est signalé à l'enregistrement du flux. Pour lancer un flux depuis un autre logiciel, voir aussi Lancer un flux par API.