Statistque III - Cours 11

1. Du test causal à la prédiction : changement de perspective

a) De l’explication causale à la prédiction utile

• Régression et modèles d’équations structurelles (SEM) permettent de tester des théories et d’estimer des effets causaux.
• Le Machine Learning introduit une nouvelle perspective centrée sur la prédiction plutôt que sur l’explication causale.

b) Théories et DAGs : ce qu’ils disent et ce qu’ils ne disent pas

• La forme fonctionnelle décrit comment mathématiquement $X$ influence $Y$ (linéaire, quadratique, seuils, interactions complexes).
• Les théories et DAGs ne spécifient pas cette forme fonctionnelle.

c) Hypothèses discrètement ajoutées dans les modèles causaux classiques

Pour estimer les modèles, on ajoute souvent :

• Hypothèse de linéarité : $$y = \beta_0 + \beta_1 x_1 + \cdots$$
• Hypothèses de distribution (ex. erreurs normalement distribuées)
• Absence ou simplicité des interactions

Ces hypothèses sont supplémentaires et non exigées par la théorie.

d) Conséquences

• Les modèles sont interprétables et adaptés au raisonnement causal.
• Mais ils sont aussi rigides et souvent peu réalistes.

e) Question clé

Faut-il toujours supposer une forme fonctionnelle précise pour modéliser la relation entre variables ?

La prédiction utile, via le machine learning, propose de relâcher ces hypothèses rigides pour mieux capturer des relations complexes et non linéaires.

1. Formes fonctionnelles en modélisation

La forme fonctionnelle désigne la manière mathématique dont les variables explicatives $X$ et la variable cible $Y$ sont reliées (exemples : linéaire, quadratique, logarithmique, etc.).

Deux grandes approches existent pour choisir cette forme :

2. Deux perspectives fondamentales

3. Points clés à retenir

• En test de théorie, on cherche à expliquer et tester des hypothèses causales, donc la forme fonctionnelle est choisie a priori.
• En machine learning, l’objectif est la précision prédictive, même si le modèle ne reflète pas la causalité réelle.
• Le ML peut apprendre des relations complexes sans hypothèses préalables sur la forme fonctionnelle.

4. Exemples illustratifs

• ChatGPT (OpenAI) : produit des textes cohérents sans théorie linguistique explicite, il prédit simplement le mot suivant avec une très bonne précision.
• Analyse anti-causale : inférer des émotions à partir d’expressions faciales est une démarche inverse à la causalité réelle (émotions → expression), mais reste utile pour la prédiction.

À retenir : Le machine learning privilégie la qualité prédictive sur la connaissance du mécanisme causal, en apprenant souvent la forme fonctionnelle directement à partir des données.

1. Principes fondamentaux du Machine Learning

Le Machine Learning consiste à demander à un ordinateur de trouver une fonction $f$ qui prédit une variable $Y$ à partir d’une variable $X$ aussi précisément que possible, sans spécifier a priori la forme de cette fonction.
Formellement :

$$y = f(X)$$

Contrairement aux méthodes classiques où la forme fonctionnelle est imposée (ex. régression linéaire), le Machine Learning apprend directement la forme fonctionnelle à partir des données. Cela permet de capturer des motifs complexes non spécifiés à l’avance.

2. Différence clé avec les approches traditionnelles

Message clé : On échange l’explication causale contre la puissance prédictive et la flexibilité.

3. Hypothèses en Machine Learning

Le Machine Learning ne fait pas d’hypothèses fortes sur la forme fonctionnelle, mais il repose sur d’autres hypothèses importantes concernant les données :

• Représentativité des données : les données doivent refléter la population cible.
• Homogénéité des distributions : données d’entraînement et de test doivent provenir de la même population.
• Quantité suffisante de données : nécessaire pour apprendre des relations fiables.

Message clé : On passe d’hypothèses structurelles sur le modèle à des hypothèses sur les données et la généralisation.

4. Objectif principal du Machine Learning

• Prédire avec précision sur de nouvelles données, pas nécessairement expliquer causalement.
• La généralisation est au cœur du processus : le modèle doit bien fonctionner sur des données jamais vues.

5. Trois grandes formes de Machine Learning

6. Exemple d’application en apprentissage supervisé

• Variable cible : dépression (oui/non), score de burnout, réussite d’examen (oui/non).
• But : prédire cette variable aussi précisément que possible sur de nouveaux cas.

À retenir : Le Machine Learning apprend des relations fonctionnelles flexibles à partir des données, avec pour but principal la prédiction, en s’appuyant sur des hypothèses sur la qualité et la représentativité des données plutôt que sur des hypothèses fortes sur la forme du modèle.

1. Les trois grandes formes de Machine Learning

Le Machine Learning se divise en trois grandes catégories selon la nature des données et l’objectif d’apprentissage.

2. Apprentissage supervisé

• But : apprendre une fonction qui associe des entrées à une sortie (variable cible).
• Exemples classiques : classification (ex. : spam ou non spam), régression (ex. : prédire un prix).
• Algorithmes populaires : Support Vector Machines (SVM), K-Nearest Neighbours (KNN), arbres de décision, random forests.

3. Apprentissage non supervisé

• Pas de variable cible connue.
• Objectif : révéler la structure sous-jacente des données (groupes, motifs).
• Utilisé pour le clustering, la détection d’anomalies, la réduction de dimension.

4. Apprentissage par renforcement

• Le système apprend par essais, erreurs et récompenses.
• Objectif : maximiser une récompense cumulée à long terme en prenant des décisions adaptées.
• Utilisé dans les jeux, la robotique, la gestion de ressources.

5. Focus : Les arbres de décision (exemple d’apprentissage supervisé)

• Pourquoi choisir un arbre de décision comme premier modèle ?

  • Aucune hypothèse sur la linéarité ou la distribution des données.
  • Capturent automatiquement les interactions et effets non linéaires.
  • Très interprétables : la structure de l’arbre est visualisable.
  • Illustrent l’idée centrale du ML : la structure est apprise à partir des données.

• Définition : un arbre de décision est une suite de questions de type si–alors menant à une prédiction.

• Exemple simplifié (prédiction de la dépression) :

  1. Le stress est-il élevé ?
  2. Si oui : le soutien social est-il faible ?
  3. Sinon : la qualité du sommeil est-elle mauvaise ?

• Construction d’un arbre de décision :

  1. Tester toutes les séparations possibles (ex. : âge > 35 ? stress > 7 ?).
  2. Choisir la séparation qui crée les sous-groupes les plus homogènes.
  3. Répéter récursivement dans chaque sous-groupe.

• Objectif : créer des groupes de plus en plus purs, c’est-à-dire où la majorité des cas ont la même classe.

• Modèle entièrement guidé par les données, sans hypothèse fonctionnelle préalable.

• Mesure de la pureté : l’indice de Gini est souvent utilisé pour évaluer la qualité d’une séparation dans les arbres de classification.

L’arbre de décision apprend la structure des données en divisant récursivement l’espace des variables pour maximiser la pureté des groupes.

1. Indice de Gini

• Indice de Gini mesure la pureté d’un groupe en termes de classes.
• Gini = 0 : pureté parfaite (toutes les observations dans une seule classe).
• Gini élevé : classes mélangées, impureté plus grande.
• Pour deux classes, Gini max ≈ 0,5 (répartition 50/50).

2. Construction de l’arbre de décision

• À chaque étape, l’algorithme choisit la séparation qui maximise la pureté globale des groupes enfants.
• L’objectif est de créer des sous-groupes les plus homogènes possible.

3. Exemple d’application

• Données sur des femmes en couple avec variables mesurées :

  • Niveau de conflit
  • Soutien perçu
  • Stress

• Variable dépendante :

  1. Regression tree : variable numérique (échelle 1 à 5, insatisfaite à satisfaite)
  2. Classification tree : variable binaire (0 = insatisfaite, 1 = satisfaite)

4. Interprétation de l’arbre

• L’importance d’un prédicteur se déduit de :

  • Son positionnement dans l’arbre (plus tôt = plus important)
  • Le nombre de fois où il est utilisé (plus de divisions = plus important)
  • Sa significativité (présence dans le graphique)

• Pour visualiser et interpréter l’arbre, on utilise la fonction plot(tree) en R.

5. Syntaxe R pour arbres de décision

6. Variables clés dans l’exemple

L’algorithme privilégie les variables qui segmentent le mieux les données en groupes homogènes, mesurés par l’indice de Gini.

1. Surapprentissage (Overfitting)

• Définition : Un modèle est en surapprentissage lorsqu'il fonctionne très bien sur les données d'entraînement mais mal sur des données nouvelles. Il a mémorisé les données d'entraînement au lieu d’apprendre des régularités générales.
• Conséquence : Mauvaise généralisation, car le modèle capture le bruit et les particularités accidentelles des données d’entraînement.
• Importance : Le surapprentissage est un des plus grands dangers en apprentissage automatique, surtout si l’objectif est la prédiction sur des données jamais vues.

2. Évaluation des modèles

• Ne jamais évaluer un modèle uniquement sur les données d’entraînement.
• Méthodes courantes pour évaluer la capacité de généralisation :
  • Séparation entraînement / test : Diviser les données en deux ensembles distincts.
  • Validation croisée : Répéter plusieurs fois la séparation pour une évaluation plus robuste.
  • Matrice de confusion (pour la classification) : Mesure détaillée des performances par classes.

3. Arbres de décision : avantages et limites

• Les arbres de décision illustrent comment le machine learning peut produire des prédictions utiles sans hypothèses théoriques fortes.

4. Random Forest : solution au surapprentissage

• Principe : Construire un grand nombre d’arbres (ex. 100), chacun entraîné sur un échantillon différent des données.
• Chaque arbre apprend un modèle légèrement différent.
• Combinaison des prédictions :
  • Classification : Prédiction finale = classe choisie par la majorité des arbres.
  • Régression : Prédiction finale = moyenne des valeurs prédites par les arbres.
• Avantage : Réduit le surapprentissage et améliore la stabilité et la performance prédictive sur de nouvelles données.

Le surapprentissage correspond à un modèle qui a appris le bruit des données d’entraînement au lieu des régularités, ce qui nuit à sa capacité à généraliser.

1. Random Forest : agrégation et robustesse

Bagging (Bootstrap Aggregating)

• Chaque arbre est entraîné sur un échantillon bootstrap : rééchantillonnage avec remise du jeu de données d’entraînement.
• Cette méthode crée des jeux de données légèrement différents pour chaque arbre.

Aléa sur les variables

• À chaque séparation dans un arbre, on ne considère qu’un sous-ensemble aléatoire des prédicteurs.
• Cela rend les arbres différents et leurs erreurs moins corrélées.
• La moyenne des prédictions des arbres améliore la performance globale.

Résultat

• La Random Forest est beaucoup plus stable et offre une meilleure généralisation qu’un arbre unique.

2. Syntaxe conceptuelle de base (exemple en R)

library(party)
m1 <- cforest(rafa ~ ., data = psych_df, ntree = 100)

• Ce code entraîne une forêt aléatoire avec 100 arbres et agrège leurs prédictions.
• C’est une version simplifiée, utile pour comprendre le principe.

3. Pratique : étapes supplémentaires pour un modèle robuste

4. Arbre de décision vs Random Forest

• Changement de paradigme : on passe d’un test causal rigide à une prédiction utile guidée par les données.
• Les arbres de décision montrent que le ML peut apprendre sans hypothèses fortes.
• Les Random Forests ajoutent robustesse et praticité.
• Même des prédictions anti-causales peuvent être utiles.

5. Applications en psychologie

• Prédiction des risques
• Systèmes d’alerte précoce
• Interventions personnalisées

À retenir : La Random Forest combine bootstrap et sélection aléatoire de variables pour créer des arbres diversifiés dont la moyenne des prédictions améliore la robustesse et la généralisation.