add ccpl scraping start
This commit is contained in:
parent
e16d77d056
commit
24bd65565c
8 changed files with 1506 additions and 56 deletions
|
@ -54,6 +54,13 @@
|
|||
- **Logs informatifs** : Indication claire des événements prioritaires avec emoji 🔄
|
||||
- **Robustesse** : Retry automatique des événements échoués
|
||||
|
||||
### 9. Traitement Parallèle
|
||||
- **Activation automatique** : Se déclenche pour plus de 10 événements avec `--parallel`
|
||||
- **ThreadPoolExecutor** : Utilise `concurrent.futures` pour la parallélisation
|
||||
- **Workers configurables** : Nombre de workers ajustable avec `--max-workers`
|
||||
- **Thread-safe** : Méthode `process_single_event()` sécurisée pour les threads
|
||||
- **Performance** : Amélioration significative pour les gros volumes d'événements
|
||||
|
||||
## Utilisation
|
||||
|
||||
### Commandes de Base
|
||||
|
@ -73,6 +80,12 @@ python agendadulibre.py --max-events 3 --verbose
|
|||
|
||||
# Forcer le rechargement du fichier iCal
|
||||
python agendadulibre.py --force-refresh --max-events 5
|
||||
|
||||
# Traitement parallèle pour gros volumes
|
||||
python agendadulibre.py --max-events 50 --parallel --max-workers 8 --no-dry-run
|
||||
|
||||
# Traitement parallèle en mode dry-run
|
||||
python agendadulibre.py --max-events 100 --parallel --max-workers 4
|
||||
```
|
||||
|
||||
### Arguments Disponibles
|
||||
|
@ -87,6 +100,8 @@ python agendadulibre.py --force-refresh --max-events 5
|
|||
| `--cache-duration N` | Durée de validité du cache (heures) | 1 |
|
||||
| `--batch-size N` | Taille des batches | 1 |
|
||||
| `--api-url URL` | URL de l'API OEDB | https://api.openeventdatabase.org |
|
||||
| `--parallel` | Activer le traitement parallèle pour plus de 10 événements | False |
|
||||
| `--max-workers N` | Nombre maximum de workers pour le traitement parallèle | 4 |
|
||||
|
||||
## Fichiers Générés
|
||||
|
||||
|
@ -301,6 +316,8 @@ python test_agendadulibre_improvements.py
|
|||
16. **Priorisation intelligente** : Traitement prioritaire des événements en attente
|
||||
17. **Robustesse** : Retry automatique des événements échoués
|
||||
18. **Efficacité** : Optimisation du traitement par priorité
|
||||
19. **Parallélisation** : Traitement simultané pour les gros volumes d'événements
|
||||
20. **Performance** : Amélioration significative avec `--parallel` et `--max-workers`
|
||||
|
||||
## Migration
|
||||
|
||||
|
|
Loading…
Add table
Add a link
Reference in a new issue