Prefect est un outil d'orchestration de workflows : exécuter des tâches dans un ordre défini, les relancer en cas d'échec, les planifier dans le temps et montrer ce qui s'est passé. La version de fin juillet 2026 porte le numéro 3.8, la licence est Apache 2.0, et les versions de Python requises vont de 3.10 à 3.14.
Deux choses le distinguent des outils de cette catégorie, assez pour commencer par elles : la façon dont un flow est décrit et la façon dont le contrôle est séparé de l'exécution.
Un flow est une fonction, pas un graphe
Dans l'approche classique, tu décris un graphe de tâches dans un fichier séparé, généralement dans un format imposé par l'outil, et c'est seulement ensuite que ce graphe appelle ton code. Ici, il n'y a ni fichier séparé ni format séparé.
from prefect import flow, task
@task(retries=3, retry_delay_seconds=30)
def fetch_data(source: str) -> list[dict]:
return client.fetch(source)
@task
def transform(rows: list[dict]) -> list[dict]:
return [normalise(r) for r in rows]
@flow(name="daily-import")
def run_import(sources: list[str]):
for source in sources:
data = fetch_data(source)
transform(data)Un décorateur transforme une fonction ordinaire en tâche et une autre en flow. La structure découle de la façon dont les fonctions s'appellent entre elles, donc une boucle est une boucle, une condition une condition et une exception une exception.
La conséquence pratique va plus loin qu'il n'y paraît. Un flow peut être appelé dans un test comme une fonction ordinaire, sans ordonnanceur en cours d'exécution et sans environnement. Une tâche peut être testée séparément. Le code se lit pour quelqu'un qui ne connaît pas cet outil.
Le prix est que la structure d'un flow n'est connue que pendant l'exécution. Avec un graphe décrit d'avance, tu sais avant de démarrer ce qui va se passer ; ici tu le sais après. Avec un branchement piloté par les données, c'est un avantage ; là où tu dois montrer un plan avant l'exécution, plutôt un inconvénient.
Le modèle hybride
C'est la deuxième chose qu'il vaut la peine de comprendre et le principal argument dans une conversation avec un service de sécurité.
La couche de contrôle, c'est-à-dire la planification, le suivi d'état et l'interface, peut s'exécuter dans le cloud du fournisseur. L'exécution a lieu sur ton infrastructure : ton cluster, ta machine, ton compte cloud.
Cela signifie que les données ne passent pas par le fournisseur. Ce qui atteint la couche de contrôle, ce sont des métadonnées : nom de la tâche, durée, état, message d'erreur. Le contenu des enregistrements traités reste là où il était.
Cette différence règle des situations où un orchestrateur externe ne passerait normalement pas la revue. Une équipe qui traite des données personnelles ou financières peut utiliser une couche de contrôle managée, puisque cette couche ne voit jamais les données.
Sache cependant où passe réellement la frontière en pratique. Un message d'erreur issu d'une exception qui contient un fragment de données atteint la couche de contrôle avec la stack trace. Une ligne de log écrite par ton code aussi. C'est là qu'il faut faire attention, car le comportement par défaut peut transporter plus que tu ne le supposes.
Work pools et exécution
Un work pool décrit où les flows doivent s'exécuter : un cluster de conteneurs, un service cloud qui exécute des conteneurs, un environnement serverless ou un simple processus sur une machine.
Séparer la définition d'un flow de son lieu d'exécution est pratique ici. Le même code s'exécute en local pendant le développement et sur un cluster en production, sans rien changer dans le flow lui-même. Ce qui change, c'est le pool, pas le code.
Comprendre comment cela fonctionne en dessous compte pour le diagnostic. Un processus worker interroge la couche de contrôle pour obtenir les tâches à exécuter, les récupère et les exécute. Un flow qui ne démarre pas a généralement l'une de trois causes : aucun processus worker n'est en cours, celui qui tourne sert un autre pool, ou il ne peut pas atteindre le code du flow.
Cette dernière surprend le plus souvent. La couche de contrôle sait qu'un flow doit s'exécuter et ne détient pas son code. Le code doit être accessible au worker : dans une image de conteneur, dans un dépôt récupéré au démarrage, ou dans un stockage de fichiers. Configurer cela est une étape séparée, facile à oublier lors d'un premier déploiement.
Retries, état et ce que fournit un orchestrateur
Il vaut la peine de nommer ce que tu paies réellement ici, car une boucle sur des tâches s'écrit soi-même en une demi-journée.
Les retries avec délai sont une déclaration sur une tâche plutôt que du code à l'intérieur. Une tâche qui atteint une interface externe parfois indisponible obtient trois tentatives espacées, et c'est une ligne.
La mise en cache des résultats te permet de sauter une tâche dont le résultat est déjà connu. Pour un flow interrompu en cours de route, relancer ne répète pas les étapes qui ont réussi, à condition que leur entrée n'ait pas changé.
La concurrence est limitée de façon déclarative. Une tâche qui atteint une base de données qui ne supporte pas cent connexions parallèles reçoit une limite, et l'orchestrateur l'applique quel que soit le nombre de flows qui s'exécutent en même temps.
La visibilité de l'état est ce qui manque le plus à une solution maison. La question de savoir si l'import nocturne a réussi a ici une réponse à l'écran, alors qu'avec un script dans un ordonnanceur système, cela signifie fouiller dans les logs.
Le dernier élément est la notification. Une règle qui dit qu'un flow en échec doit envoyer un message sur un canal donné est de la configuration plutôt que du code dans un gestionnaire d'exceptions.
Déploiements et planifications
Un flow écrit dans un éditeur n'est pas encore quelque chose qui s'exécute tout seul. Il doit être déployé, c'est-à-dire que tu dis à la couche de contrôle où vit le code, quand il doit démarrer et dans quel pool.
Un déploiement se décrit dans un fichier de configuration conservé dans le dépôt à côté du code. C'est la bonne approche, car la définition passe en revue comme tout autre changement, et reproduire l'environnement sur un nouveau compte se réduit à une commande.
Une planification peut être une expression temporelle, un intervalle ou une règle qui tient compte des fuseaux horaires et des jours non ouvrés. Cette dernière est sous-estimée jusqu'à ce qu'un import nocturne démarre une heure plus tôt après un changement d'heure et tombe dans la fenêtre de maintenance de la base de données.
Au-delà d'une planification, un flow peut démarrer à partir d'un événement : l'apparition d'un fichier, un appel d'interface ou la fin d'un autre flow. Cette dernière variante remplace les délais artificiels qu'on utilise normalement pour enchaîner des tâches dans un ordonnanceur système, et c'est l'une des raisons de recourir à un orchestrateur.
Décide aussi de ce qui se passe quand des exécutions se chevauchent. Un flow planifié toutes les cinq minutes qui en prend parfois sept aura deux exécutions en même temps, et quand les deux écrivent dans la même table, ce n'est généralement pas ce qui était voulu. Une limite de concurrence au niveau du déploiement règle cela avec une seule déclaration.
Observabilité et diagnostic
L'enregistrement de l'état est le fondement, et à l'usage prolongé quelques autres choses aident.
Les tags appliqués aux flows et aux tâches te permettent de filtrer les exécutions par domaine, équipe ou environnement. Sans eux, une liste d'exécutions après un mois est un mur d'entrées où l'on ne peut pas naviguer.
Les artefacts te permettent de joindre un tableau, un graphique ou une note à une exécution, visibles dans l'interface. Pour le traitement de données, c'est un endroit pratique pour un rapport : combien d'enregistrements sont entrés, combien ont été rejetés et pourquoi. Quelqu'un qui vérifie si un import a réussi obtient une réponse sans ouvrir les logs.
Comprendre les états transitoires compte, car le diagnostic revient souvent à distinguer deux situations similaires. Un flow qui attend un emplacement libre dans un pool ressemble beaucoup à un flow que personne n'a pris en charge, alors que les causes sont entièrement différentes et se règlent à des endroits différents.
Pour les applications construites sur des modèles de langage, il vaut la peine d'associer cet enregistrement au traçage des appels aux modèles, via Arize Phoenix par exemple. L'orchestrateur montre qu'une tâche s'est exécutée ; l'outil de traçage montre ce qui est parti vers le modèle et ce qui est revenu. L'un sans l'autre laisse un trou.
Prefect face aux alternatives
| Option | Description du flow | Modèle | À choisir quand |
|---|---|---|---|
| Prefect | Décorateurs sur des fonctions | Hybride ou auto-hébergé | Une équipe Python, les données ne peuvent pas sortir |
| Airflow | Un graphe décrit séparément | Auto-hébergé ou managé | Une grande équipe, des pratiques établies, de nombreuses intégrations |
| Temporal | Du code avec des garanties de durabilité | Auto-hébergé ou managé | Processus métier, longues durées |
| Kestra | Un document YAML | Auto-hébergé ou managé | Une équipe mixte, des tâches dans plusieurs langages |
| Un ordonnanceur système | Un script et une entrée de planification | Ta machine | Quelques tâches, aucune exigence de visibilité |
La dernière ligne mérite une considération honnête, car elle est écartée pour des raisons qui ne sont pas techniques. Trois tâches exécutées une fois par jour avec une notification d'échec n'ont pas besoin d'orchestrateur. En introduire un signifie un service de plus à maintenir et un endroit de plus où quelque chose peut tomber en panne.
La frontière passe aux dépendances entre tâches et au besoin de savoir ce qui s'est passé. Dès que la tâche B doit attendre A, et qu'en cas d'échec de C tu dois savoir quels enregistrements sont passés, un ordonnanceur système ne suffit plus.
La troisième ligne résout un problème différent, et les confondre est courant. Là, il s'agit de processus qui durent des jours, avec la garantie que l'état survit à une panne de processus. Ici, c'est un traitement de données répétable avec visibilité et retries.
La quatrième ligne se déplace sur le même axe que la première, dans l'autre sens. Un flow décrit en YAML se lit pour quelqu'un qui n'écrit pas de Python, et les tâches elles-mêmes peuvent être dans n'importe quel langage, ce qui dans une équipe mixte compte souvent plus que la commodité de tester une fonction. Le prix est double : une logique de contrôle élaborée à l'intérieur du document devient illisible plus vite que le nombre de lignes ne le laisse penser, et une poignée de plugins sont réservés à l'édition commerciale.
Tarifs et auto-hébergement
La licence est ouverte, donc un déploiement auto-hébergé complet est disponible sans frais. Il te faut une couche de contrôle, une base de données, PostgreSQL par exemple, et au moins un processus worker.
La variante managée comporte un niveau gratuit appelé Hobby, plafonné à deux utilisateurs et cinq déploiements. Une fois le cinquième déploiement atteint, tu ne peux plus en créer un autre avant d'en supprimer un existant ou de passer à un plan payant, donc c'est un plafond strict plutôt qu'un seuil souple avec un supplément pour le dépassement.
Les plans payants ont deux formes de tarif différentes, ce qu'il est facile de manquer en jetant un coup d'œil rapide à la grille. Starter coûte 100 dollars par mois pour tout le compte, avec trois utilisateurs et vingt déploiements. Team coûte aussi 100 dollars, mais par utilisateur et par mois, avec quatre inclus au point d'entrée, donc la facture croît avec l'équipe au lieu de rester fixe. Pro et Enterprise sont sur devis et facturés annuellement. Vérifie la grille tarifaire actuelle du fournisseur, car les seuils et les limites changent plus souvent que l'architecture.
Plus important que le tarif est le principe de facturation. Tu paies pour des sièges d'équipe et des espaces de travail plutôt que pour des exécutions de tâches ou du calcul consommé, ce qui pour des flows qui s'exécutent souvent change fondamentalement la facture par rapport aux outils qui facturent à l'exécution. Une application qui exécute des dizaines de milliers de tâches par jour ne coûte pas plus ici qu'une qui en exécute quelques centaines. Le plafond se situe ailleurs : dans le nombre d'utilisateurs et de déploiements rattaché à un plan, de cinq déploiements au niveau gratuit à vingt, cent puis mille sur Pro. La conservation des exécutions mérite un regard séparé, car sur les deux plans les plus bas l'historique disparaît après sept jours.
En choisissant entre auto-hébergé et managé, chiffre le travail opérationnel. La couche de contrôle est un service qui doit tourner, avoir des sauvegardes et rester à jour, et sa panne arrête la planification de tous les flows. Pour une équipe sans personne dédiée à l'infrastructure, la variante managée revient généralement moins cher que ne le suggère une comparaison de tarifs.
Erreurs courantes
La première est un worker sans accès au code du flow. La couche de contrôle sait qu'un flow doit démarrer et n'a rien à exécuter, et le symptôme ressemble à une tâche bloquée dans une file.
La deuxième est un worker qui sert un autre pool que celui où la tâche a atterri. Tout est configuré correctement et rien ne se passe.
La troisième est de faire entrer des données dans la couche de contrôle via les logs et les messages d'erreur. Le modèle hybride protège les données traitées plutôt que ce que tu écris toi-même dans un log.
La quatrième est l'absence de limite de concurrence sur des tâches qui atteignent une ressource partagée. Cent tâches parallèles qui frappent une même base peuvent la faire tomber, et l'orchestrateur les lancera volontiers.
La cinquième est la mise en cache des résultats sans réfléchir à la clé. Une tâche considérée comme terminée parce que son entrée semble identique saute le traitement de données qui ont changé entre-temps.
La sixième est d'introduire un orchestrateur pour trois tâches exécutées une fois par jour. Tu gagnes un service à maintenir et une visibilité dont personne n'a besoin à cette échelle.
FAQ
En quoi Prefect diffère-t-il d'Airflow ?
Dans la façon dont un flow est décrit. Ici, un flow est une fonction ordinaire avec un décorateur, donc les boucles et les conditions sont des boucles et des conditions, et tester revient à appeler une fonction. Airflow décrit le graphe séparément, ce qui donne la connaissance de la structure avant l'exécution au prix de plus à apprendre.
Qu'est-ce que le modèle hybride ?
Une séparation du contrôle et de l'exécution. La planification, le suivi d'état et l'interface peuvent s'exécuter dans le cloud du fournisseur tandis que les tâches s'exécutent sur ton infrastructure, donc les données ne passent pas par le fournisseur. Ce qui atteint la couche de contrôle, ce sont des métadonnées plutôt que le contenu des enregistrements traités.
Puis-je tout exécuter moi-même ?
Oui, la licence est ouverte et un déploiement auto-hébergé complet est disponible sans frais. Il te faut une couche de contrôle, une base de données et au moins un processus worker, et en échange tu prends en charge les sauvegardes et les mises à jour de ce service.
Pourquoi mon flow est-il bloqué dans une file ?
Généralement pour l'une de trois raisons : aucun processus worker n'est en cours, celui qui tourne sert un autre pool, ou il ne peut pas atteindre le code du flow. Cette dernière surprend le plus, car la couche de contrôle connaît la planification et ne stocke aucun code.
Comment la variante managée est-elle facturée ?
Par sièges d'équipe et espaces de travail plutôt que par exécutions de tâches, donc le nombre d'exécutions cesse d'affecter le prix. Fais attention à la forme du tarif : le plan Starter coûte 100 dollars par mois pour tout le compte, tandis que le plan Team coûte 100 dollars par mois et par utilisateur. Chaque plan porte aussi son propre plafond de déploiements, de cinq au niveau gratuit à mille sur Pro.
La documentation se trouve sur le site du projet, et le code et les versions dans le dépôt GitHub.