add ccpl scraping start

This commit is contained in:
Tykayn 2025-10-09 23:35:12 +02:00 committed by tykayn
parent e16d77d056
commit 24bd65565c
8 changed files with 1506 additions and 56 deletions

View file

@ -54,6 +54,13 @@
- **Logs informatifs** : Indication claire des événements prioritaires avec emoji 🔄
- **Robustesse** : Retry automatique des événements échoués
### 9. Traitement Parallèle
- **Activation automatique** : Se déclenche pour plus de 10 événements avec `--parallel`
- **ThreadPoolExecutor** : Utilise `concurrent.futures` pour la parallélisation
- **Workers configurables** : Nombre de workers ajustable avec `--max-workers`
- **Thread-safe** : Méthode `process_single_event()` sécurisée pour les threads
- **Performance** : Amélioration significative pour les gros volumes d'événements
## Utilisation
### Commandes de Base
@ -73,6 +80,12 @@ python agendadulibre.py --max-events 3 --verbose
# Forcer le rechargement du fichier iCal
python agendadulibre.py --force-refresh --max-events 5
# Traitement parallèle pour gros volumes
python agendadulibre.py --max-events 50 --parallel --max-workers 8 --no-dry-run
# Traitement parallèle en mode dry-run
python agendadulibre.py --max-events 100 --parallel --max-workers 4
```
### Arguments Disponibles
@ -87,6 +100,8 @@ python agendadulibre.py --force-refresh --max-events 5
| `--cache-duration N` | Durée de validité du cache (heures) | 1 |
| `--batch-size N` | Taille des batches | 1 |
| `--api-url URL` | URL de l'API OEDB | https://api.openeventdatabase.org |
| `--parallel` | Activer le traitement parallèle pour plus de 10 événements | False |
| `--max-workers N` | Nombre maximum de workers pour le traitement parallèle | 4 |
## Fichiers Générés
@ -301,6 +316,8 @@ python test_agendadulibre_improvements.py
16. **Priorisation intelligente** : Traitement prioritaire des événements en attente
17. **Robustesse** : Retry automatique des événements échoués
18. **Efficacité** : Optimisation du traitement par priorité
19. **Parallélisation** : Traitement simultané pour les gros volumes d'événements
20. **Performance** : Amélioration significative avec `--parallel` et `--max-workers`
## Migration