MLOps Platform

Aussie Weather Flow - Services Dashboard

Applications Principales

🌐 Streamlit Frontend

Interface web principale pour la visualisation des données météo et l'entraînement de modèles

app.mlops.tristanlozahic.com

FastAPI Backend

API REST pour la gestion des modèles, authentification et données météo

api.mlops.tristanlozahic.com

📊 Apache Airflow

Orchestration des workflows et des pipelines de données

airflow.mlops.tristanlozahic.com

🧠 MLflow

Suivi des expériences ML, gestion des modèles et registre

mlflow.mlops.tristanlozahic.com

Monitoring & Observabilité

📈 Grafana

Tableaux de bord de monitoring et visualisation des métriques

grafana.mlops.tristanlozahic.com

🔍 Prometheus

Collecte et stockage des métriques des services

prometheus.mlops.tristanlozahic.com

📦 MinIO Console

Interface de gestion du stockage S3 compatible (artefacts MLflow)

minio.mlops.tristanlozahic.com

À propos du projet

AussieWeatherFlow est un pipeline automatisé de prévision météo (pluie à J+1) en Australie avec déploiement MLOps complet.

  • Collecte automatisée des données météo depuis les sources publiques (BOM Australia)
  • Entraînement et sélection automatique du meilleur modèle (Random Forest)
  • Déploiement continu avec API REST et interface utilisateur Streamlit
  • Monitoring complet des performances avec Grafana et Prometheus
  • Orchestration des workflows via Apache Airflow avec DAGs automatisés
  • Gestion des modèles avec MLflow Tracking et Model Registry

Architecture du flux de données

AussieWeatherFlow - Architecture MLOps SOURCES DONNÉES Web Scraping APIs Météo Données Australie PostgreSQL Base de données Données nettoyées AIRFLOW Orchestration DAG Collecte (Quotidien) DAG Entraînement (Hebdo) DAG Tests (Manuel) MLflow Gestion des modèles Random Forest Sélection auto (F1-score) Model Registry FastAPI API REST Prédictions météo Documentation auto Streamlit Interface utilisateur • Prédictions • Sélection modèles • Comparaisons • Pipeline manuel MONITORING Prometheus Grafana Node Exporter Alertes ACCÈS - RÔLES Token User simple Administrateur ENVIRONNEMENT DEV GitHub VSCode Python - SQL Docker CI/CD GitHub Actions Tests automatisés Build Docker Déploiement auto Scraping ETL Training Deploy API REST Stockage Build Metrics

Flux de données : Scraping → ETL/Airflow → PostgreSQL → MLflow → API FastAPI → Dashboard Streamlit → Monitoring

Pipelines Airflow

DAG Collecte (quotidien) : Scraping → Nettoyage → Feature Engineering → Insertion PostgreSQL

DAG Entraînement (hebdomadaire) : Extraction SQL → Préparation → Training Random Forest → Sélection meilleur modèle → Déploiement auto

Principe de sélection : Déploiement automatique si amélioration d'au moins 1% du F1-score par rapport au modèle en production