Prévention du throttling

La prévention du throttling de KONNEKT comprend deux politiques, une "contrôle de la fréquence de mise à jour" politique et une "limitation du débit des requêtes" politique conçue pour gérer et contrôler le rythme auquel les requêtes sont effectuées vers l’API Microsoft Graph, afin de garantir que les connexions à SharePoint Online (SPO) restent stables et fonctionnent de manière optimale. Ces politiques sont particulièrement utiles pour empêcher une utilisation excessive des ressources et maintenir une expérience utilisateur fluide.

L’utilisation des API Microsoft 365 est soumise à des limitations en termes du nombre de requêtes qu’une application peut envoyer par unité de temps. Si une application utilise davantage de ressources, elle sera soumise au throttling. Vous trouverez plus d’informations à ce sujet dans le la documentation Microsoft.

Comme KONNEKT utilise l’API REST Microsoft SharePoint Online et l’API Microsoft Graph, il peut arriver que les API Microsoft limitent l’utilisation de KONNEKT. Si une application est soumise au throttling, l’API correspondante (par exemple l’API REST SPO) indique à KONNEKT qu’il doit attendre un certain délai. Cela commence à quelques secondes et peut aller jusqu’à plusieurs minutes, selon l’utilisation. Pour KONNEKT, cela peut se traduire par une navigation lente ou par un chargement/une écriture de fichiers plus lente. Si le throttling dure plusieurs minutes, cela se traduira par des messages d’erreur indiquant que le lecteur n’est actuellement pas disponible.

KONNEKT dispose de plusieurs mécanismes pour réduire l’apparition du throttling, qui sont appliqués automatiquement.

Scénarios courants de prévention du throttling

Scénario 1 : Téléversements de données à grand volume ou migration de données

Lorsqu’un utilisateur tente de téléverser un grand nombre de fichiers vers / ou d’effectuer une migration de données au sein de SPO sur une courte période, le dispositif peut atteindre la limite spécifiée.

Scénario 2 : Opérations de lecture intensives

Si un utilisateur effectue des opérations de lecture intensives, telles que l’interrogation ou la recherche dans un grand répertoire (> 1000 éléments), le dispositif peut atteindre la limite spécifiée.

Exemples :

• Utiliser la recherche de l’Explorateur de fichiers dans de grands dossiers
• Faire défiler des dossiers contenant de nombreux fichiers graphiques ou PDF

Scénario 3 : Requêtes de permissions

Depuis la version 2.10, KONNEKT vérifie en plus les permissions par dossier et par fichier, car ces requêtes consomment davantage d’unités de ressources que les autres opérations. Le système peut atteindre la limite spécifiée beaucoup plus vite, ce qui peut déclencher la prévention du throttling. Les requêtes de permissions ne seront pas déclenchées si "Prévention du throttling SharePoint" est défini sur « Élevé ».

Dans les environnements à forte charge, toutes les mesures peuvent ne pas suffire pour empêcher le throttling.

KONNEKT a été conçu pour le travail de bureau courant. Si vous utilisez des fichiers à gros volume (par ex. montage vidéo, conception graphique, CAO) ou si vous lisez/écrivez des gigaoctets de données, KONNEKT (et SPO) n’est peut-être pas l’outil le plus approprié.

Veuillez également consulter nos cas d’usage.

Unités de ressources

Chaque type de requête de l’API Microsoft Graph consomme un nombre différent d’unités de ressources :

• Lectures d’un seul élément : 1 unité de ressource chacune
• Opérations d’écriture et requêtes de répertoire : 2 unités de ressources chacune
• Requêtes de permissions : 5

Pour plus de détails, voir : https://learn.microsoft.com/en-us/sharepoint/dev/general-development/how-to-avoid-getting-throttled-or-blocked-in-sharepoint-online

Comment puis-je éviter le throttling ?

Les circonstances suivantes favorisent le throttling :

• Utilisation d’outils tiers pour la sauvegarde de SPO — surtout pendant les heures ouvrables
• Utilisation d’outils qui parcourent tout votre système de fichiers (comme un générateur d’aperçus, etc.)
• Utilisation de très grands dossiers avec plus de 1000 fichiers au premier niveau du dossier
• Utilisation excessive de la recherche de l’Explorateur de fichiers dans de grandes collections de sites ou bibliothèques de documents

Tenez compte des paramètres et actions suivants pour tous les utilisateurs d’un tenant Microsoft 365, sans exception.

Pour éviter le throttling :

• N’exécutez pas de sauvegardes SPO pendant les heures ouvrables.
• Si la recherche dans l’Explorateur de fichiers est inévitable : optimisez les recherches dans l’Explorateur de fichiers, concentrez-vous sur des dossiers ou sous-dossiers spécifiques afin de limiter les requêtes de l’API Microsoft Graph
• Maintenance régulière : archivez ou supprimez les fichiers, dossiers, bibliothèques de documents et collections de sites obsolètes.
• Évitez une utilisation excessive de la recherche dans l’Explorateur de fichiers dans les grandes collections de sites ou bibliothèques de documents
• N’utilisez aucun moteur de rendu d’aperçu pour les ressources KONNEKT. Voir aussi ici. Vous pouvez également définir le filtre hors ligne sur l’extension de fichier "YYY" (qui n’existe pas), afin d’empêcher l’Explorateur de fichiers Windows de générer des aperçus pour les fichiers PDF.
• Segmentez vos données (pas trop de fichiers au premier niveau d’un dossier).
• Définissez la "Prévention du throttling SharePoint" politique sur « Élevé » - recommandé uniquement jusqu’à KONNEKT version 2.10.2
• À partir de la version 2.11.0, nous recommandons d’activer "throttling côté client" et de définir la "Prévention du throttling SharePoint" politique sur « Auto ».

Lorsque vous passez la journalisation de KONNEKT en « debug », vous verrez des entrées de journal contenant "ThrottlingHook : besoin d’attendre X s avant de démarrer" (où X correspond au nombre de secondes que SPO nous demande d’attendre).

Les entrées de journal contenant "[Sharepoint] UpdateDrives : volume ignoré en raison de la prévention du throttling." ne sont PAS causées par le throttling de SharePoint. Elles indiquent des opérations normales visant à prévenir le throttling — rien d’inquiétant. ;-)

Fonctionnement

La "contrôle de la fréquence de mise à jour" politique limite les requêtes par des cycles d’actualisation améliorés, par exemple la mise à jour des collections de sites des utilisateurs.

La "limitation du débit des requêtes" politique fonctionne en surveillant le nombre de requêtes et les unités de ressources correspondantes effectuées dans une fenêtre de temps définie, puis en appliquant des limites à ces requêtes. Cette politique, « throttling côté client », comprend souples et dures limites :

• Limite souple : Lorsque la limite souple est atteinte, le système commencera à limiter le débit des requêtes. Cela signifie que la plupart des opérations seront retardées pendant une courte période (par ex. 2 secondes), et que le niveau de prévention du throttling passera à HIGH. Certaines opérations, telles que les tâches de téléversement opportunistes et les opérations de lecture anticipée, seront reportées jusqu’à ce que le nombre de requêtes passe sous la limite souple.
• Limite stricte : Lorsque la limite dure est atteinte, le système cessera d’envoyer des requêtes. L’application affichera un message d’erreur jusqu’à la fin de la fenêtre de temps.

Utilisez « Hard Limit » uniquement lorsque c’est nécessaire, car cela empêche KONNEKT d’accéder aux points de terminaison de Microsoft et d’y communiquer.