Gérer vos sources et le cycle d'indexation
Suivre les statuts, ré-indexer, corriger les erreurs, comprendre le crawl automatique.
Dernière mise à jour :
Les statuts possibles
Dans le menu de gauche de votre agent, Configuration Agent › Connaissances, onglet Sources de données, chaque source affiche un statut :
- En attente — la source est enregistrée, mais son indexation n’a pas démarré. Cliquez sur Indexer.
- En cours — Sens Ai est en train de lire, découper et indexer le contenu. Patientez quelques minutes.
- Terminé — tout va bien, la source est exploitable par l’agent. Le nombre de segments extraits s’affiche à côté (ex. : « 42 segments »). Une source Terminé sans nombre de segments n’a donné aucun texte exploitable.
- Erreur — quelque chose a mal tourné ; le message qui l’explique s’affiche sous la source. Voir « Quand ça rate » plus bas. Une source restée En cours plus de 15 minutes passe d’elle-même en Erreur, avec le message « Indexation expirée (timeout) » : cliquez sur Indexer pour la relancer (voir Ingestion bloquée ou échouée).
La liste se met à jour d’elle-même tant qu’une source est En attente ou En cours — pas besoin de recharger la page.
Ré-indexer une source
Vos contenus évoluent. Votre agent ne le sait pas tout seul : il faut ré-indexer la source pour qu’il lise la nouvelle version.
Ré-indexation manuelle
- Dans la liste des sources, cliquez sur Indexer à côté de la source.
- Le message « Indexation lancée » s’affiche et le statut passe à En cours. Si une indexation de cette source tournait déjà (lancée depuis un autre onglet, par exemple), le message est « Indexation déjà en cours » : rien de plus n’est lancé, attendez qu’elle se termine.
- Quand c’est fini (30 secondes à 3 minutes en général), le statut repasse à Terminé.
L’ancienne version est remplacée automatiquement, et les FAQ générées à partir de cette source sont générées à nouveau (si la génération n’aboutit pas, les anciennes restent), sauf celles que vous avez modifiées ou supprimées. Vos FAQ manuelles, elles, ne sont pas touchées.
Ré-indexation automatique
Chaque nuit (vers 4 h ou 5 h du matin, heure de Paris), Sens Ai relit aussi les pages web au statut Terminé dont la dernière indexation est assez ancienne. Le rythme dépend de l’offre de votre organisation :
- Professionnel et Entreprise : environ chaque semaine, au plus tôt 7 jours après la dernière indexation de la page.
- Starter : environ chaque mois, au plus tôt 30 jours après.
- Essai gratuit : jamais.
Les pages relues depuis le plus longtemps passent en premier. Le nombre de pages relues chaque nuit est limité pour l’ensemble de Sens Ai : une page peut donc être relue plus tard que ce rythme.
Seules les pages web sont relues automatiquement, jamais les fichiers ni les textes, et seulement tant que votre abonnement est actif. Comme pour une ré-indexation manuelle, les FAQ générées à partir de la page sont remplacées, sauf celles que vous avez modifiées ou supprimées. Une source en Erreur n’est jamais relancée automatiquement : corrigez la cause, puis cliquez sur Indexer.
Ne comptez pas sur ce rythme pour une information urgente : cliquez sur Indexer dès que vous modifiez une page.
Bientôt disponible. Vous pourrez choisir la fréquence de ré-indexation automatique de chaque page web.
Quand ré-indexer manuellement
- Dès que vous modifiez une page de votre site qui est indexée.
- Après une refonte complète de votre site.
- Quand un client vous signale que l’agent donne une info obsolète.
- Avant chaque changement important (mise à jour tarifaire, nouveaux horaires).
Un fichier ou un texte ne change pas tout seul : pour le mettre à jour, supprimez-le puis ajoutez la nouvelle version.
Supprimer une source
- Cliquez sur Supprimer à côté de la source.
- Confirmez avec Confirmer (ou renoncez avec Annuler).
La source disparaît de la liste, l’agent ne s’en sert plus, et les FAQ générées à partir d’elle sont supprimées, y compris celles que vous avez modifiées. La place qu’elle occupait dans les limites de votre plan est libérée aussitôt.
Voir ce qu’a lu l’agent
Bientôt disponible. Un bouton « Voir le contenu » affichera le texte extrait de chaque source et son découpage en segments.
En attendant, posez depuis la page Test les questions dont la réponse devrait se trouver dans la source.
Analyser un site complet (crawl)
Plutôt que d’ajouter vos pages une par une, vous pouvez demander à Sens Ai de trouver les pages de votre site (Ajouter un site web › Analyser tout le site › Scanner), puis choisir celles à indexer. La marche à suivre est dans Ajouter et gérer vos sources.
Comment ça marche
Sens Ai part de l’adresse que vous donnez. Il lit d’abord le plan du site (sitemap.xml) s’il en existe un ; sinon, il suit les liens internes de page en page. Il vous présente la liste des pages trouvées, que vous ajustez avant de lancer l’indexation.
Ce qui est exclu automatiquement
Sens Ai écarte les adresses « techniques » pour ne pas encombrer votre base :
- Les pages de connexion, d’inscription, de compte et d’administration (
/login,/signup,/account,/admin/…). - Les paniers et paiements (
/cart,/checkout). - Les liens vers des fichiers non textuels (images, vidéos, PDF, archives ZIP…) — téléversez vos PDF avec Téléverser un fichier.
- Les liens vers d’autres sites (domaines externes).
- Les pages déjà dans les sources de cet agent, y compris celles dont l’indexation a échoué.
- Sur un site multilingue, les pages d’une langue que votre agent ne parle pas, quand la langue figure au début de l’adresse (
/en/,/de/…).
Lors du suivi des liens, la partie d’une adresse qui suit ? ou # est ignorée : deux adresses qui ne diffèrent que par là comptent pour une seule page.
Combien de pages choisir ?
- 20 pages pour un site vitrine classique (accueil, à propos, services, contact, blog récent).
- 30 pages — le maximum proposé par une analyse — pour un site avec un catalogue ou un blog actif.
- Au-delà : une fois l’indexation lancée, cliquez à nouveau sur Scanner. La nouvelle analyse écarte les pages déjà dans vos sources et propose les suivantes : les pages que l’analyse trouve s’ajoutent ainsi en plusieurs fois, dans la limite des pages de votre plan. Quand toutes les pages trouvées sont déjà indexées, l’analyse vous l’indique.
Astuce : commencez avec une vingtaine de pages. Regardez ce qui a été indexé et testez l’agent. Si c’est bon, ajoutez le reste.
Suivre la progression
Après Lancer l’indexation, un message indique combien de sources ont été créées (et si certaines n’ont pas été ajoutées : déjà présentes, invalides, ou au-delà des 32 pages traitées à la fois). Chaque page apparaît dans la liste comme une source à part, d’abord En cours, puis Terminé ou Erreur. Vous pouvez naviguer ailleurs dans Sens Ai sans interrompre l’indexation.
Votre organisation peut lancer jusqu’à 10 analyses (Scanner) et 5 indexations de site (Lancer l’indexation) par heure, et une seule à la fois par agent.
Quand ça rate
Le message d’erreur s’affiche sous la source. Les plus fréquents :
- « Le site a refusé l’accès (403 Forbidden) » — le site bloque les visites automatisées (pare-feu, protection anti-robots). Demandez à votre hébergeur de les autoriser, ou passez par un fichier PDF ou Ajouter du texte.
- « La page est introuvable (404) » — l’adresse est mal orthographiée ou la page n’existe plus. Supprimez la source et ajoutez la bonne adresse.
- « Le site a mis trop de temps à répondre (timeout) » — le site est lent ou temporairement hors ligne. Réessayez plus tard avec Indexer.
- « Échec du scraping » — la page n’a pas pu être lue (site hors ligne, page réservée aux membres connectés, redirection vers un autre site…). Si votre contenu est privé, téléversez plutôt un export PDF.
- Source « Terminé » sans segments — le site a répondu, mais Sens Ai n’a pas trouvé de texte : page surtout composée d’images, texte qui n’apparaît qu’après un clic ou une connexion, PDF scanné sans OCR.
- Limite de pages ou de fichiers atteinte — votre plan limite le nombre de pages et de fichiers. Supprimez des sources dont vous n’avez plus besoin, ou passez à une offre supérieure (Plans et tarifs).
Le détail de chaque cas, et que faire quand une source reste bloquée : Ingestion bloquée ou échouée.
Étape suivante
Équiper votre agent d’outils pour faire des choses (pas juste répondre) : Comprendre les actions.