En statistique, il existe une multitude de paradoxe; ces situations étranges qui challenge notre intuition. Le paradoxe de Simpson est probablement le plus connu, souvent rencontré et certainement un des plus intriguant. Décrit en 1903 par Yule, le paradoxe de Simpson aussi appelé effet de Yule-Simpson, fut ensuite étayé par Simpson en 1951. Il se distingue par une certaine tendance pour l’ensemble des données combinées (tous groupes confondus), mais lorsqu’on stratifie ou contrôle par une variable de groupe, la tendance s’inverse ou s’annule, si bien qu’il est impossible de déduire le vrai du faux.
Un visuel vaut mieux que des mots. Voici un exemple hypothétique (pour un exemple réel voir plus bas). L’image ci-dessous illustre le paradoxe de Simpson pour des données continues représentant la couleur (CCT, en Kelvin) et l’intensité lumineuse (l’illuminance, en Lux). Le graphique de gauche montre bien une corrélation positive: plus l’intensité lumineuse augmente, plus la couleur de la lumière devient blanche.
Cependant lorsqu’on stratifie par le groupe « moment de la journée » (Daytime; tôt le matin, en matinée, à midi, l’après-midi et le soir), on constate que ce sont les différents groupes qui font augmenter le CCT et l’illuminance: plus on avance dans la journée, plus le CCT et l’illuminance sont bas.
On pourrait donc expliquer ce paradoxe par le diagramme suivant:
Pour solutionner ce paradoxe, il faudra, comme indiqué par DAGitty, conditionner par le Daytime (voir plus bas, le prochain exemple pour une explication détaillée de la résolution du paradoxe de Simpson).
Exemple réél
Le prochain exemple, a été découvert lorsque je travaillais dans le domaine de la prévoyance vieillesse à l’Office Fédéral de la Statistique. Il est observable dans les données de la Statistique des Nouvelles Rentes (NRS) sur le montant des rentes des caisses de pension suisses, selon le type de combinaison et le sexe (ce tableau pour les années 2020 à 2024). Il sera probablement observable aussi dans les années futures.
La même explication est valable pour toutes les années. Nous prendrons donc ici uniquement l’exemple de l’année 2024. Les données concernées sont reproduites ci-dessous:
| Rente seule | Rente et capital | |
| Hommes | 2 650 | 2 556 |
| Femmes | 1 571 | 1 484 |
| Total | 2 141 | 2 227 |
Comme indiqué en gras, les montants sont plus élevés pour la combinaison « rente seule » chez les femmes et les hommes, par contre pour l’ensemble des données c’est la rente combinée au capital qui montre le montant le plus important.
Dès que j’ai été informé de la présence de ce paradoxe dans nos données, j’ai tout de suite pensé à Judea Pearl et son papier scientifique sur la résolution du paradoxe de Simpson: http://dx.doi.org/10.2139/ssrn.2343788. Je me suis donc empressé de résoudre notre paradoxe. Avant de présenter ma démarche, il faut faire un léger détour par les maths qui traduisent que l’effet global va dans un sens et l’effet en contrôlant pour une variable dans l’autre. Les voici:
- Y sera le montant de la rente
- X sera la combinaison de rente, soit rente seule ou combinaison rente et capital
- Z sera le sexe, soit hommes ou femmes
La moyenne des montants qui diffèrent pour chaque groupe se traduit par:
L’inversion de l’effet total est comme suit:
Par la loi de l’espérance totale on obtient:
Ce qui signifie que pour évaluer la différence de montant entre rente uniquement et la combinaison rente et capital, il faut effectuer une moyenne pondérée des moyennes de chaque sexe. On en déduit donc que les poids:
Ne sont pas les mêmes pour chaque combinaison de rentes.
Je me suis donc attelé à vérifier les proportions de choix des personnes selon le sexe.
| Rente seule | Rente et capital | Total | |
| Hommes | 13 833 | 9 574 | 23 407 |
| Femmes | 13 224 | 4 449 | 17 673 |
| Total | 27 057 | 14 023 | 41 080 |
| Rente seule | Rente et capital | |
| Hommes | 51% | 68% |
| Femmes | 49% | 32% |
| Total | 100% | 100% |
On constate donc que les deux sexes prennent sont bien réparti dans la rente seule, mais dans la combinaison rente et capital, il y a plus d’hommes que de femmes. Le fait qu’il y ai plus d’hommes dans la combinaison rente et capital peut tirer la moyenne vers le haut, il faudra donc stratifié par le sexe, car il s’agit de deux populations bien distinctes qui influencent le montant et la combinaison choisie.
D’un point de vue causal, plusieurs patterns peuvent expliquer ce paradoxe: une variable confondante, un médiateur…, comme décrit dans le papier de Pearl.
Bien entendu, suivant la configuration, l’intervention pour obtenir la résolution sera différente. Il faudra conditionner/stratifier par Z dans les diagrammes a, b et d, mais pas dans le cas c. Dans notre cas, de façon similaire à l’exemple hypothétique, nous nous trouvons vraisemblablement dans le cas a; la variable confondante:
La bonne réponse pour résoudre ce paradoxe de Simpson est donc de stratifier par le sexe. On peut donc en conclure que prendre une rente uniquement permet d’obtenir un montant plus élevé à la retraite que prendre une combinaison rente et capital. Cette réponse est satisfaisante et fait du sens d’un point de vue théorique.
P.S.: A moins que, bien entendu, ce modèle soit trop simple et la réalité bien plus complexe, remplie de variables non mesurées, tel que le niveau de richesse, l’historique de la vie active etc. 🙂