Mathématiques universitaires — Licence 1 · Bachelor Year 1

25Fonctions de deux variables

L’année s’achève par une première incursion en dimension supérieure : les fonctions $f(x, y)$ de deux variables réelles. Tout se généralise — limites, continuité, dérivées, extrema — mais chaque notion prend un tour nouveau : une limite peut être approchée selon toutes les directions à la fois, les dérivées se scindent en dérivées partielles, et le gradient indique la direction de la montée. La théorie complète (différentielles, $\R^n$ général, sous-variétés) relève de la deuxième année ; ici nous fixons le vocabulaire et les premiers théorèmes honnêtes.

25.1 Le plan $\R^2$ ; continuité

Définition 25.1

Sur $\R^2$ , on utilise la norme euclidienne $\norm{(x,y)} = \sqrt{x^2 + y^2}$ (Chapitre 23). Les boules ouvertes, les voisinages, les parties ouvertes de $\R^2$ se définissent exactement comme au Chapitre 12, avec des boules à la place des intervalles. Une fonction $f \colon U \to \R$ ( $U \subseteq \R^2$ ouvert) est continue en $a \in U$ lorsque

\forall\varepsilon > 0,\ \exists\delta > 0, \quad \norm{X - a} \leq \delta \implies \abs{f(X) - f(a)} \leq \varepsilon,

avec la même caractérisation séquentielle qu’en une variable. Sommes, produits, quotients et composées avec des fonctions continues d’une variable préservent la continuité ; les applications coordonnées sont continues, donc aussi les polynômes en $(x,y)$ .

Exemple 25.2 (La majoration polaire, la bonne façon de prouver une limite)

Montrons que $f(x, y) = \dfrac{x^2y^2}{x^2 + y^2}$ (avec $f(0,0) = 0$ ) est continue à l’origine. En coordonnées polaires $x = \rho\cos\theta$ , $y = \rho\sin\theta$ :

\abs{f} = \frac{\rho^4\cos^2\theta\sin^2\theta}{\rho^2} = \rho^2\,(\cos\theta\sin\theta)^2 \leq \frac{\rho^2}{4} \xrightarrow[\rho \to 0]{} 0 ,

majoration indépendante de $\theta$ : quelle que soit la direction d’approche, les valeurs sont écrasées vers $0$ . Cette uniformité en $\theta$ est tout l’enjeu — une majoration comme $\abs g = \abs{\cos\theta\sin\theta}$ (plus de $\rho$ ) ne prouve rien, et de fait ce $g$ est le piège radial discontinu de l’exemple suivant.

Exemple 25.3 (Le piège radial)

Soit $f(x, y) = \dfrac{xy}{x^2 + y^2}$ pour $(x,y) \neq (0,0)$ , $f(0, 0) = 0$ . Le long de chaque axe, $f = 0 \to 0$ ; mais le long de la diagonale $y = x$ , $f(x, x) = \frac12 \not\to 0$ . Pas de limite à l’origine : approcher selon toutes les droites, et même trouver la même limite selon chacune, ne suffit pas (ici les limites selon les droites diffèrent ; il y a pire, des fonctions qui donnent la même limite selon toutes les droites et échouent le long d’une parabole, Exercice 25.3). La continuité par rapport à chaque variable séparément n’entraîne pas la continuité.

25.2 Dérivées partielles

Définition 25.4

Les dérivées partielles de $f$ en $(a, b)$ sont les dérivées à une variable le long des axes :

\frac{\partial f}{\partial x}(a,b) = \lim_{h \to 0} \frac{f(a + h, b) - f(a,b)}{h}, \qquad \frac{\partial f}{\partial y}(a,b) = \lim_{k \to 0} \frac{f(a, b + k) - f(a,b)}{k}.

$f$ est de classe $C^1$ sur $U$ lorsque les deux existent et sont continues sur $U$ . Le gradient est $\nabla f(a,b) = \bigl(\frac{\partial f}{\partial x},\, \frac{\partial f}{\partial y}\bigr)(a,b)$ .

Théorème 25.5 ( $C^1$ entraîne un plan tangent)

Soit $f$ de classe $C^1$ sur $U$ et $(a,b) \in U$ . Alors, quand $(h, k) \to (0,0)$ :

f(a + h, b + k) = f(a, b) + h\,\frac{\partial f}{\partial x}(a,b) + k\,\frac{\partial f}{\partial y}(a,b) + o\bigl(\norm{(h,k)}\bigr) .

En particulier $f$ est continue, et le graphe $z = f(x,y)$ admet en chaque point le plan tangent que la formule fait lire.

Exemple 25.6 (L’approximation linéaire à l’œuvre)

Estimons $f(1.02,\ 0.99)$ pour $f(x, y) = x^3y^2$ . En $(1, 1)$ : $f = 1$ , $\frac{\partial f}{\partial x} = 3x^2y^2 = 3$ , $\frac{\partial f}{\partial y} = 2x^3y = 2$ , donc le Théorème 25.5 donne

f(1.02,\ 0.99) \approx 1 + 3\,(0.02) + 2\,(-0.01) = 1.04 ,

contre la valeur exacte $1.02^3 \times 0.99^2 = 1.04006\dots$ — l’erreur est du second ordre en les accroissements, comme le promet le $o(\norm{(h,k)})$ . Le plan tangent au graphe en $(1, 1, 1)$ est $z = 1 + 3(x - 1) + 2(y - 1)$ , l’équation implicitement utilisée dans l’estimation.

Démonstration. Déplaçons une coordonnée à la fois :

f(a+h, b+k) - f(a,b) = \bigl[f(a+h, b+k) - f(a, b+k)\bigr] + \bigl[f(a, b+k) - f(a,b)\bigr].

Par le théorème des accroissements finis à une variable (Théorème 14.9), le premier crochet vaut $h\, \frac{\partial f}{\partial x}(a + \theta h,\, b + k)$ pour un certain $\theta \in \intoo{0}{1}$ , et le second $k\,\frac{\partial f}{\partial y}(a,\, b + \theta' k)$ . La continuité des dérivées partielles en $(a,b)$ permet d’écrire chacune comme (valeur en $(a,b)$ ) $+$ (erreur $\to 0$ ) ; l’erreur totale est $h\,\varepsilon_1 + k\,\varepsilon_2 = o(\norm{(h,k)})$ puisque $\abs h, \abs k \leq \norm{(h,k)}$ . ∎

Théorème 25.7 (Règle de la chaîne)

Soit $f$ de classe $C^1$ sur $U$ et $t \mapsto (x(t), y(t))$ de classe $C^1$ d’un intervalle dans $U$ . Alors $g(t) = f\bigl(x(t), y(t)\bigr)$ est de classe $C^1$ , et

g'(t) = x'(t)\,\frac{\partial f}{\partial x}\bigl(x(t),y(t)\bigr) + y'(t)\,\frac{\partial f}{\partial y}\bigl(x(t),y(t)\bigr) = \bigl\langle \nabla f,\ (x', y')\bigr\rangle .

Démonstration. Appliquons le Théorème 25.5 en $(x(t), y(t))$ avec $(h, k) = (x(t+s) - x(t),\, y(t+s) - y(t))$ : quand $s \to 0$ , la dérivabilité à une variable donne $h = s\,x'(t) + o(s)$ et $k = s\,y'(t) + o(s)$ , donc $\norm{(h, k)} = O(s)$ et

g(t+s) - g(t) = h\,\frac{\partial f}{\partial x} + k\,\frac{\partial f}{\partial y} + o\bigl(\norm{(h,k)}\bigr) = s\,\Bigl(x'\,\frac{\partial f}{\partial x} + y'\,\frac{\partial f}{\partial y}\Bigr) + o(s) ,

l’erreur finale absorbant à la fois les $o(s)$ de $h$ et de $k$ (multipliés par les valeurs fixes des dérivées partielles) et le $o(O(s))$ de l’estimation du plan tangent. On divise par $s$ et l’on fait tendre $s \to 0$ . La continuité de $g'$ résulte de celle de tous les ingrédients. ∎

Exemple 25.8 (La règle de la chaîne, vérifiée des deux façons)

Soit $f(x, y) = x^2 y$ et $g(t) = f(t, t^2)$ . Directement : $g(t) = t^2\cdot t^2 = t^4$ , donc $g'(t) = 4t^3$ . Par la règle de la chaîne : $\frac{\partial f}{\partial x} = 2xy$ et $\frac{\partial f}{\partial y} = x^2$ , évaluées le long de la courbe $(t, t^2)$ :

g'(t) = 1\cdot 2t\cdot t^2 + 2t\cdot t^2 = 2t^3 + 2t^3 = 4t^3 .

Les deux calculs concordent, et la décomposition a un sens : $2t^3$ de la croissance vient du déplacement vers la droite à travers la pente en $x$ , $2t^3$ du déplacement vers le haut à travers la pente en $y$ . Sur les courbes où $g$ n’a pas de forme close, seul le second calcul survit — c’est là tout l’intérêt du théorème.

Remarque 25.9 (Lire le gradient)

Le long d’une direction unitaire $u$ , la règle de la chaîne appliquée à $t \mapsto f(a + tu)$ donne la dérivée directionnelle $\langle \nabla f(a), u\rangle$ : maximale quand $u$ pointe dans la direction de $\nabla f(a)$ (par Cauchy–Schwarz, Théorème 23.4). Le gradient est la direction de plus forte pente, et il est orthogonal aux lignes de niveau $\{f = c\}$ (dériver $f$ le long d’une courbe tracée dans une ligne de niveau : la règle de la chaîne donne $\langle\nabla f,\, \text{tangente}\rangle = 0$ ).

Exemple 25.10 (Lignes de niveau et gradients, sur une même fonction)

Prenons $f(x, y) = x^2 - y^2$ . Ses lignes de niveau : $\{f = c\}$ est une hyperbole ouverte vers la gauche et la droite pour $c > 0$ , vers le haut et le bas pour $c < 0$ , et le couple de droites sécantes $y = \pm x$ pour $c = 0$ — la carte des courbes de niveau d’un col de montagne, avec le point col à l’origine où les deux droites de niveau nul se croisent. Gradient : $\nabla f = (2x, -2y)$ . Au point $(2, 1)$ (sur le niveau $c = 3$ ) : $\nabla f = (4, -2)$ , tandis que le vecteur tangent à la ligne de niveau, paramétrée près de ce point par $\bigl(t, \sqrt{t^2 - 3}\bigr)$ , vaut $\bigl(1, \frac{t}{\sqrt{t^2 - 3}}\bigr) = (1, 2)$ en $t = 2$ — et de fait

\langle (4, -2),\ (1, 2)\rangle = 4 - 4 = 0 :

gradient perpendiculaire à la courbe de niveau, pointant vers les valeurs plus grandes de $f$ (ici : en s’éloignant de l’axe des $y$ ). Deux lectures de plus : le gradient s’annule exactement au point col, là où la carte des niveaux se pince ; et la droite tangente à la ligne de niveau en $(2,1)$ est $4(x - 2) - 2(y - 1) = 0$ , c’est-à-dire $2x - y = 3$ — l’équation « $\langle \nabla f,\ M - M_0\rangle = 0$ » qui généralise la tangente à l’ellipse de l’Exercice 24.11.

Théorème 25.11 (Schwarz)

Si $f$ est de classe $C^2$ (les dérivées partielles des dérivées partielles existent et sont continues), alors

\frac{\partial^2 f}{\partial x\,\partial y} = \frac{\partial^2 f}{\partial y\,\partial x} .

Démonstration. Admis à ce niveau. ∎

25.3 Extrema locaux

Méthode 25.12 (Étude des extrema, en bon ordre)

Résoudre $\nabla f = 0$ complètement. Factoriser chaque dérivée partielle dès que possible (des produits de facteurs linéaires scindent le système en cas transparents, comme dans l’Exemple 25.16 ci-dessous) ; un cas oublié est un point critique oublié.
Classer chaque point à l’aide des données de Monge $r, s, t$ — recalculées en chaque point, jamais une fois pour toutes.
Si $rt - s^2 = 0$ , examiner $f$ directement le long de courbes bien choisies passant par le point (les droites d’abord, puis les paraboles), en cherchant soit deux signes (pas d’extremum), soit un signe constant avec un argument couvrant toutes les directions.
Prendre du recul pour la vue d’ensemble : examiner le comportement à l’infini (un minimum local peut n’être pas global), et si le domaine n’est pas ouvert, traiter sa frontière à part (Exercice 25.12) — le théorème des points critiques ne voit que les points intérieurs.

Théorème 25.13 (Points critiques)

Si $f$ (de classe $C^1$ sur l’ouvert $U$ ) admet un extremum local en $(a,b) \in U$ , alors $\nabla f(a,b) = (0,0)$ : le point est critique.

Démonstration. Les fonctions d’une variable $x \mapsto f(x, b)$ et $y \mapsto f(a, y)$ admettent des extrema locaux intérieurs en $a$ , resp. $b$ : la Proposition 14.7 annule les deux dérivées partielles. ∎

Méthode 25.14 (Test du second ordre (notations de Monge))

En un point critique d’une fonction de classe $C^2$ , posons

r = \frac{\partial^2 f}{\partial x^2}, \qquad s = \frac{\partial^2 f}{\partial x \partial y}, \qquad t = \frac{\partial^2 f}{\partial y^2} \qquad (\text{valeurs au point}).

Si $rt - s^2 > 0$ : extremum local — minimum pour $r > 0$ , maximum pour $r < 0$ ;
si $rt - s^2 < 0$ : pas d’extremum (un point col) ;
si $rt - s^2 = 0$ : le test est muet ; examiner directement.

(La justification — une formule de Taylor–Young à l’ordre $2$ et l’étude du signe de la forme quadratique $r h^2 + 2shk + tk^2$ — est menée en deuxième année ; le test est utilisé ici comme outil de travail.)

Exemple 25.15

$f(x,y) = x^3 + y^3 - 3xy$ . Points critiques : $\nabla f = (3x^2 - 3y,\; 3y^2 - 3x) = 0$ donne $y = x^2$ et $x = y^2$ , donc $x = x^4$ : $x \in \{0, 1\}$ : points $(0,0)$ et $(1,1)$ .

Dérivées secondes : $r = 6x$ , $s = -3$ , $t = 6y$ . En $(0,0)$ : $rt - s^2 = -9 < 0$ : point col. En $(1,1)$ : $rt - s^2 = 36 - 9 > 0$ , $r = 6 > 0$ : minimum local, $f(1,1) = -1$ . (Non global : $f(x, 0) = x^3 \to -\infty$ .)

Exemple 25.16 (Une étude à quatre points, en entier)

$f(x, y) = xy\,(3 - x - y) = 3xy - x^2y - xy^2$ . Gradient :

\frac{\partial f}{\partial x} = y\,(3 - 2x - y), \qquad \frac{\partial f}{\partial y} = x\,(3 - x - 2y).

Points critiques : si $y = 0$ , la seconde équation donne $x \in \{0, 3\}$ ; si $x = 0$ , la première donne $y \in \{0, 3\}$ ; si $xy \neq 0$ , on résout $2x + y = 3$ , $x + 2y = 3$ : $x = y = 1$ . Quatre points : $(0,0)$ , $(3,0)$ , $(0,3)$ , $(1,1)$ . Dérivées secondes : $r = -2y$ , $s = 3 - 2x - 2y$ , $t = -2x$ .

$(1,1)$ : $r = -2$ , $s = -1$ , $t = -2$ : $rt - s^2 = 3 > 0$ , $r < 0$ : maximum local, $f(1,1) = 1$ .
$(0,0)$ : $r = t = 0$ , $s = 3$ : $rt - s^2 = -9 < 0$ : point col ; de même $(3, 0)$ ( $s = -3$ ) et $(0, 3)$ : trois points cols.

Le maximum n’est que local : $f(-T, -T) = T^2(3 + 2T) \to +\infty$ . Contrôle par symétrie : $f(x, y) = f(y, x)$ , et de fait l’ensemble critique et la classification sont symétriques en $x \leftrightarrow y$ . Interprétation : parmi les rectangles avec marge $x, y \geq 0$ , $x + y \leq 3$ , le produit $xy(3 - x - y)$ des trois « parts » de $3$ est maximal quand les parts sont égales — une ombre à deux variables du principe de l’inégalité arithmético-géométrique.

Les deux courbes f = 0 pour f = x3 + y3 - 3xy se coupent aux points critiques (0,0) (point col) et (1,1) (minimum local). — Les deux courbes $\nabla f = 0$ pour $f = x^3 + y^3 - 3xy$ se coupent aux points critiques $(0,0)$ (point col) et $(1,1)$ (minimum local).

Remarque 25.17 (Pièges courants)

Les dérivées partielles peuvent exister en un point de discontinuité : le piège radial $g(x,y) = \frac{xy}{x^2+y^2}$ de l’Exemple 25.3 vérifie $\frac{\partial g}{\partial x}(0,0) = \frac{\partial g}{\partial y}(0,0) = 0$ (les deux restrictions aux axes sont identiquement nulles), et pourtant $g$ n’a pas de limite à l’origine — les dérivées partielles ne sondent que deux directions, la continuité les exige toutes ; seule l’hypothèse $C^1$ rétablit l’ordre (Théorème 25.5). Les limites selon les droites ne suffisent jamais : la fonction de l’Exercice 25.3 a pour limite $0$ selon toute droite et n’a pourtant pas de limite — toujours essayer les paraboles (ou des majorations polaires valables uniformément en $\theta$ ). Critique est nécessaire, pas suffisant : les points cols abondent (trois points sur quatre dans l’Exemple 25.16) ; et le théorème ne vaut que sur les ouverts — sur un disque fermé, les extrema peuvent se situer sur la frontière avec un gradient non nul (Exercice 25.12). Le cas muet $rt - s^2 = 0$ est vraiment muet : $x^4 + y^4$ (minimum) et $x^3 + y^3$ (ni l’un ni l’autre) ont tous deux $r = s = t = 0$ à l’origine ; seule une étude directe du signe tranche (Exercice 25.6, fonction $h$ ). Le gradient est orthogonal aux lignes de niveau, non porté par elles : pour suivre une courbe de niveau, se déplacer perpendiculairement à $\nabla f$ ; pour monter le plus vite, se déplacer le long de $\nabla f$ — confondre les deux renverse la géométrie de toute carte de niveaux.

Remarque 25.18 (Où mènent les deux variables)

Ce chapitre est une porte d’entrée. Le gradient et la règle de la chaîne s’étendent mot pour mot à $n$ variables dans le volume de Licence 2, où le $o(\norm{(h,k)})$ du Théorème 25.5 devient la différentielle et où le test de Monge est démontré en entier via la formule de Taylor à l’ordre deux et les formes quadratiques. Le cas particulier que l’on peut régler cette année — les fonctions quadratiques, pour lesquelles le développement au second ordre est exact — fait l’objet du devoir maison, et il se trouve que c’est le cas qui fait tourner l’ajustement de données du monde entier : la régression par moindres carrés. Les extrema liés (l’Exercice 25.5 en était un avant-goût) deviennent les multiplicateurs de Lagrange en Licence 2 ; les fonctions harmoniques (Exercice 25.7) reviennent dans l’analyse complexe du volume de Licence 3.

Remarque 25.19 (Perspectives dans le livre 3 : l’année, bouclée)

Ce chapitre est le lieu où les deux moitiés du volume se serrent la main. La moitié analyse a fourni ses outils une dérivée à la fois : le théorème des accroissements finis fait marcher le Théorème 25.5, les développements de Taylor font marcher les tests d’extremum, et les $\varepsilon$ du Chapitre 12 sont revenus avec des boules au lieu d’intervalles. La moitié algèbre a fourni la géométrie : le gradient se lit à travers le produit scalaire du Chapitre 23 (Cauchy–Schwarz en fait la direction de plus forte pente), les données de Monge $(r, s, t)$ forment une matrice symétrique du Chapitre 21 soumise au test du déterminant du Chapitre 22, et le devoir maison fait tourner une projection orthogonale sur des vecteurs de données. Même les courbes du Chapitre 24 reviennent comme lignes de niveau. Un lecteur capable de reconstituer pourquoi chacun de ces cinq relais fonctionne a, de fait, révisé l’année entière — ce qui est le véritable objet de ce dernier chapitre.

Les moindres carrés en une image : quatre points de données, la droite de régression y = 1.4x - 0.1, et les résidus verticaux (en pointillés) dont la droite minimise la somme des carrés — total 0.2, le plus petit possible. Le devoir maison calcule cette droite, démontre qu’elle est l’unique minimiseur, et identifie toute la construction à une projection orthogonale dans ℝ4. — Les moindres carrés en une image : quatre points de données, la droite de régression $y = 1.4x - 0.1$ , et les résidus verticaux (en pointillés) dont la droite minimise la somme des carrés — total $0.2$ , le plus petit possible. Le devoir maison calcule cette droite, démontre qu’elle est l’unique minimiseur, et identifie toute la construction à une projection orthogonale dans $\R^4$ .

25.4 Exercices

Exercice 25.1 ★

Calculer les dérivées partielles : $f(x,y) = x^2 y + \eu^{xy}$ ; $\;g(x,y) = \ln(x^2 + y^2)$ (sur $\R^2\setminus\{0\}$ ) ; $\;h(x,y) = \arctan\frac yx$ (sur $x > 0$ ).

Solution

Solution de Exercice 25.1.

$\dfrac{\partial f}{\partial x} = 2xy + y\,\eu^{xy}$ , $\dfrac{\partial f}{\partial y} = x^2 + x\,\eu^{xy}$ .

$\dfrac{\partial g}{\partial x} = \dfrac{2x}{x^2+y^2}$ , $\dfrac{\partial g}{\partial y} = \dfrac{2y}{x^2+y^2}$ .

$\dfrac{\partial h}{\partial x} = \dfrac{-y/x^2}{1 + y^2/x^2} = \dfrac{-y}{x^2+y^2}$ , $\dfrac{\partial h}{\partial y} = \dfrac{x}{x^2+y^2}$ .

Exercice 25.2 ★

Étudier la continuité en $(0,0)$ (où l’on pose la valeur $0$ ) de :

f(x,y) = \frac{x^2 y}{x^2 + y^2}, \qquad g(x,y) = \frac{xy}{x^2 + y^2}, \qquad h(x,y) = \frac{x^3 + y^3}{x^2 + y^2}.

(Les coordonnées polaires $x = \rho\cos\theta$ , $y = \rho\sin\theta$ aident : majorer par une fonction de $\rho$ seul quand c’est possible.)

Solution

Solution de Exercice 25.2.

En coordonnées polaires ( $\rho \to 0$ ) :

$\abs{f} = \dfrac{\rho^3\abs{\cos^2\theta\sin\theta}}{\rho^2} \leq \rho \to 0$ : continue.

$g = \cos\theta\sin\theta$ : indépendant de $\rho$ , prenant des valeurs différentes selon les demi-droites (cf. Exemple 25.3) : pas de limite, non continue.

$\abs h \leq \dfrac{\rho^3(\abs{\cos^3\theta} + \abs{\sin^3\theta})}{\rho^2} \leq 2\rho \to 0$ : continue.

Exercice 25.3 ★★

Soit $f(x,y) = \dfrac{x^2 y}{x^4 + y^2}$ ( $f(0,0) = 0$ ). Démontrer que $f$ a pour limite $0$ à l’origine selon toute droite, mais que $f\bigl(x, x^2\bigr) = \frac12$ : $f$ n’est pas continue en $(0,0)$ .

Solution

Solution de Exercice 25.3.

Le long de $y = mx$ : $f(x, mx) = \dfrac{m x^3}{x^4 + m^2 x^2} = \dfrac{mx}{x^2 + m^2} \to 0$ (pour $m \neq 0$ ; le long de $y = 0$ et de l’axe des $y$ , $f = 0$ ). Toute limite selon une droite vaut donc $0$ . Mais sur la parabole $y = x^2$ :

f(x, x^2) = \frac{x^4}{x^4 + x^4} = \frac12 :

la suite $\bigl(\frac1n, \frac{1}{n^2}\bigr) \to (0,0)$ vérifie $f \to \frac12 \neq 0$ . Non continue : les droites ne suffisent pas à tester les limites à deux variables.

Exercice 25.4 ★

Vérifier à la main le théorème de Schwarz sur $f(x, y) = x^3 y^2 + \sin(xy)$ .

Solution

Solution de Exercice 25.4.

$\frac{\partial f}{\partial x} = 3x^2y^2 + y\cos(xy)$ ; puis

\frac{\partial^2 f}{\partial y\,\partial x} = 6x^2 y + \cos(xy) - xy\sin(xy) .

$\frac{\partial f}{\partial y} = 2x^3 y + x\cos(xy)$ ; puis

\frac{\partial^2 f}{\partial x\,\partial y} = 6x^2 y + \cos(xy) - xy\sin(xy) :

égales, comme Schwarz le promet.

Exercice 25.5 ★★

Soit $f$ de classe $C^1$ sur $\R^2$ et $g(t) = f(\cos t, \sin t)$ . Exprimer $g'(t)$ par la règle de la chaîne. En déduire que $f$ restreinte au cercle unité atteint ses extrema aux points où $\nabla f$ est parallèle au rayon vecteur.

Solution

Solution de Exercice 25.5.

Par le Théorème 25.7 avec $(x, y) = (\cos t, \sin t)$ :

g'(t) = -\sin t\,\frac{\partial f}{\partial x}(\cos t, \sin t) + \cos t\,\frac{\partial f}{\partial y}(\cos t, \sin t) = \bigl\langle \nabla f,\ (-\sin t, \cos t)\bigr\rangle .

En un extremum de $g$ , $g'(t) = 0$ : $\nabla f$ est orthogonal au vecteur tangent $(-\sin t, \cos t)$ du cercle, donc parallèle au rayon vecteur $(\cos t, \sin t)$ (dans le plan, l’orthogonal d’un vecteur unitaire est la droite qu’il engendre, prise perpendiculairement). C’est l’exemple le plus simple d’un multiplicateur de Lagrange.

Exercice 25.6 ★★

Trouver et classer les points critiques de :

f(x, y) = x^2 + xy + y^2 - 3x, \qquad g(x, y) = x^2 - y^2 + 4y, \qquad h(x, y) = x^4 + y^4 - 2(x - y)^2 .

(Pour $h$ , le test du déterminant est muet à l’origine : examiner $h(x, x)$ et $h(x, -x)$ .)

Solution

Solution de Exercice 25.6.

$f$ : $\nabla f = (2x + y - 3,\; x + 2y) = 0$ : $y = -\frac x2$ et $2x - \frac x2 = 3$ : $x = 2$ , $y = -1$ . Second ordre : $r = 2$ , $s = 1$ , $t = 2$ : $rt - s^2 = 3 > 0$ , $r > 0$ : minimum local (et même global — la fonction est quadratique) en $(2, -1)$ , de valeur $f(2,-1) = -3$ .

$g$ : $\nabla g = (2x,\; -2y + 4) = 0$ : point $(0, 2)$ ; $r = 2$ , $s = 0$ , $t = -2$ : $rt - s^2 = -4 < 0$ : point col.

$h$ : $\nabla h = \bigl(4x^3 - 4(x - y),\; 4y^3 + 4(x-y)\bigr) = 0$ . En additionnant : $x^3 + y^3 = 0$ , donc $y = -x$ ; en substituant : $4x^3 - 8x = 0$ : $x \in \{0, \pm\sqrt2\}$ . Points critiques : $(0,0)$ , $(\sqrt2, -\sqrt2)$ , $(-\sqrt2, \sqrt2)$ . En $(\pm\sqrt2, \mp\sqrt2)$ : $r = 12x^2 - 4 = 20$ , $s = 4$ , $t = 20$ : $rt - s^2 > 0$ , $r > 0$ : minima locaux (valeur $h = 4 + 4 - 16 = -8$ ). En $(0,0)$ : $r = t = -4$ , $s = 4$ : $rt - s^2 = 0$ : test muet. Examinons : $h(x, x) = 2x^4 > 0$ et $h(x, -x) = 2x^4 - 8x^2 < 0$ pour $x \neq 0$ petit : les deux signes dans tout voisinage — pas d’extremum à l’origine.

Exercice 25.7 ★★

Une fonction $f$ est dite harmonique lorsque $\frac{\partial^2 f}{\partial x^2} + \frac{\partial^2 f}{\partial y^2} = 0$ . Vérifier que $x^2 - y^2$ , $xy$ , $\eu^x\cos y$ et $\ln(x^2 + y^2)$ (hors de l’origine) sont harmoniques.

Solution

Solution de Exercice 25.7.

$x^2 - y^2$ : dérivées secondes $2$ et $-2$ : somme $0$ . $xy$ : les deux dérivées secondes pures sont nulles. $\eu^x\cos y$ : $\frac{\partial^2}{\partial x^2} = \eu^x\cos y$ , $\frac{\partial^2}{\partial y^2} = -\eu^x\cos y$ : somme $0$ . $\ln(x^2+y^2)$ : d’après l’Exercice 25.1,

\frac{\partial^2}{\partial x^2}\ln(x^2+y^2) = \frac{2(x^2+y^2) - 4x^2}{(x^2+y^2)^2} = \frac{2(y^2 - x^2)}{(x^2+y^2)^2},

et la version en $y$ en est l’opposée : somme $0$ .

Exercice 25.8 ★★★

Trouver le point du plan $\{x + 2y - z = 4\} \subseteq \R^3$ le plus proche de l’origine, de deux façons : par projection orthogonale (Chapitre 23), et en minimisant la fonction de deux variables $f(x, y) = x^2 + y^2 + (x + 2y - 4)^2$ obtenue en éliminant $z$ .

Solution

Solution de Exercice 25.8.

Projection : le plan $P$ a pour normale $n = (1, 2, -1)$ et passe par $A = (4, 0, 0)$ . Le point le plus proche de l’origine est le projeté de $O$ : $p = O + \frac{\langle A - O, n\rangle}{\norm n^2}\,n = \frac{4}{6}(1,2,-1) = \bigl(\frac23, \frac43, -\frac23\bigr)$ , à distance $\frac{4}{\sqrt 6}$ . (Formule : la distance de l’origine au plan $\langle X, n \rangle = c$ vaut $\frac{\abs c}{\norm n}$ avec $c = 4$ .)

Minimisation : $f(x,y) = x^2 + y^2 + (x + 2y - 4)^2$ . En posant $w = x + 2y - 4$ pour le dernier facteur :

\nabla f = \bigl(2x + 2w,\; 2y + 4w\bigr) = 0 \iff x = -w \text{ et } y = -2w .

En reportant dans la définition de $w$ : $w = -w - 4w - 4$ , donc $w = -\frac23$ , d’où $x = \frac23$ , $y = \frac43$ , et $z = w = -\frac23$ . Même point que par la projection, à distance $\sqrt{\frac49 + \frac{16}{9} + \frac49} = \frac{2\sqrt 6}{3} = \frac{4}{\sqrt6}$ ; c’est un minimum puisque $f \to \infty$ à l’infini (une quadratique définie positive plus des termes linéaires).

Exercice 25.9 ★★★

(Laplacien en coordonnées polaires, premier contact) Soit $f$ de classe $C^2$ sur $\R^2 \setminus \{0\}$ et radiale : $f(x, y) = \varphi\bigl(\sqrt{x^2+y^2}\bigr)$ avec $\varphi$ de classe $C^2$ sur $\intoo{0}{+\infty}$ . Démontrer que

\frac{\partial^2 f}{\partial x^2} + \frac{\partial^2 f}{\partial y^2} = \varphi''(\rho) + \frac{\varphi'(\rho)}{\rho}, \qquad \rho = \sqrt{x^2 + y^2},

et trouver toutes les fonctions harmoniques radiales sur le plan épointé.

Solution

Solution de Exercice 25.9.

Avec $\rho = \sqrt{x^2+y^2}$ : $\frac{\partial \rho}{\partial x} = \frac{x}{\rho}$ , donc

\frac{\partial f}{\partial x} = \varphi'(\rho)\,\frac{x}{\rho}, \qquad \frac{\partial^2 f}{\partial x^2} = \varphi''(\rho)\,\frac{x^2}{\rho^2} + \varphi'(\rho)\,\Bigl(\frac{1}{\rho} - \frac{x^2}{\rho^3}\Bigr),

(règles de dérivation du quotient et des fonctions composées). En ajoutant l’expression symétrique en $y$ : les termes en $\varphi''$ donnent $\frac{x^2 + y^2}{\rho^2} = 1$ , les termes en $\varphi'$ donnent $\frac{2}{\rho} - \frac{x^2 + y^2}{\rho^3} = \frac{1}{\rho}$ :

\Delta f = \varphi'' + \frac{\varphi'}{\rho} .

Harmoniques radiales : résolvons $\varphi'' + \frac{\varphi'}{\rho} = 0$ : l’équation du premier ordre $u' + \frac u\rho = 0$ pour $u = \varphi'$ donne $u = \frac{c}{\rho}$ (Théorème 5.2), puis $\varphi = c\ln\rho + d$ . Les fonctions harmoniques radiales sont les $c\,\ln\sqrt{x^2 + y^2} + d$ — le potentiel logarithmique de l’Exercice 25.7 et les constantes, rien d’autre.

Exercice 25.10 ★★

Donner l’équation du plan tangent au graphe $z = xy$ au point $(1, 1, 1)$ . Puis trouver tous les points du graphe de $f(x,y) = x^3 + y^3 - 3xy$ où le plan tangent est horizontal, et relier la réponse à l’Exemple 25.15.

Solution

Solution de Exercice 25.10.

Pour $z = xy$ en $(1,1)$ : dérivées partielles $y = 1$ et $x = 1$ , plan tangent $z = 1 + (x - 1) + (y - 1) = x + y - 1$ . Un plan tangent horizontal signifie que les deux dérivées partielles s’annulent, c’est-à-dire $\nabla f = 0$ : d’après l’Exemple 25.15, exactement les points critiques $(0, 0)$ et $(1, 1)$ , avec les plans horizontaux $z = 0$ et $z = -1$ . « Plan tangent horizontal » et « point critique » sont la même notion, vue sur le graphe et dans la formule.

Exercice 25.11 ★★

Soit $f$ de classe $C^1$ sur $\R^2$ .

Si $\frac{\partial f}{\partial x} = 0$ partout, démontrer que $f(x, y)$ ne dépend que de $y$ .
Trouver toutes les solutions de classe $C^1$ de l’équation $\frac{\partial f}{\partial x} = \frac{\partial f}{\partial y}$ sur $\R^2$ . (Poser $g(u, v) = f\bigl(\frac{u+v}2, \frac{u-v}2\bigr)$ et calculer $\frac{\partial g}{\partial v}$ par la règle de la chaîne.)

Solution

Solution de Exercice 25.11.

À $y$ fixé, la fonction d’une variable $x \mapsto f(x,y)$ a une dérivée nulle sur $\R$ , donc est constante (Théorème 14.9) : $f(x, y) = f(0, y)$ pour tout $x$ : $f$ ne dépend que de $y$ .
Posons $g(u, v) = f\bigl(\frac{u+v}2, \frac{u-v}2\bigr)$ . Par la règle de la chaîne (Théorème 25.7, appliquée en la variable $v$ à $u$ figé) :

$\frac{\partial g}{\partial v} = \frac12\,\frac{\partial f}{\partial x} - \frac12\,\frac{\partial f}{\partial y} = 0 .$

D’après (1), $g$ ne dépend que de $u$ : $g(u, v) = \varphi(u)$ avec $\varphi$ de classe $C^1$ , et en inversant le changement de variables ( $u = x + y$ , $v = x - y$ ),

$f(x, y) = \varphi(x + y).$

Réciproquement, toute telle $f$ vérifie $f_x = f_y = \varphi'$ : les solutions sont exactement les fonctions de classe $C^1$ de $x + y$ .

Exercice 25.12 ★★★

Trouver le maximum et le minimum globaux de $f(x, y) = xy$ sur le disque fermé $x^2 + y^2 \leq 1$ . (On admettra le théorème des bornes atteintes à deux variables : une fonction continue sur le disque fermé atteint ses bornes — démontré dans le volume de Licence 2. Traiter le disque ouvert par les points critiques et le cercle frontière par le paramétrage de l’Exercice 25.5.)

Solution

Solution de Exercice 25.12.

Sur le disque ouvert, un extremum serait critique : $\nabla f = (y, x) = 0$ seulement en $(0,0)$ , où $f = 0$ ; c’est un point col ( $f(\pm \varepsilon, \pm\varepsilon) = \varepsilon^2 > 0 > -\varepsilon^2 = f(\pm\varepsilon, \mp\varepsilon)$ ), donc pas d’extremum là. Par le théorème admis des bornes atteintes, les bornes sont atteintes, nécessairement sur le cercle frontière. Là, avec l’Exercice 25.5,

f(\cos t, \sin t) = \cos t\sin t = \frac{\sin 2t}{2} \in \intcc{-\tfrac12}{\tfrac12},

avec maximum $\frac12$ en $t = \frac\pi4, \frac{5\pi}4$ (points $\pm\frac{1}{\sqrt2}(1,1)$ ) et minimum $-\frac12$ en $t = \frac{3\pi}4, \frac{7\pi}4$ (points $\pm\frac{1}{\sqrt2}(1,-1)$ ). Maximum global $\frac12$ , minimum global $-\frac12$ .

25.5 Problème : moindres carrés et droite de régression

Problème 25.1

Étant donné $n$ points de données, quelle droite passe « au plus près » de tous ? Legendre et Gauss ont répondu : la droite qui minimise la somme des carrés des erreurs verticales — parce que cette minimisation-là se résout exactement par l’algèbre linéaire. Ce problème démontre d’abord honnêtement le test de Monge de la Méthode 25.14 pour les fonctions quadratiques (le seul cas où le développement au second ordre est exact), puis construit les équations normales, la droite de régression et le coefficient de corrélation sur la géométrie euclidienne du Chapitre 23.

Partie I — Fonctions quadratiques : le test de Monge, démontré. Fixons des réels $r, s, t$ et posons $q(h, k) = r h^2 + 2s hk + t k^2$ .

Supposons $r \neq 0$ . Établir la forme canonique

$q(h, k) = r\Bigl(h + \frac{s}{r}k\Bigr)^{\!2} + \frac{rt - s^2}{r}\,k^2 ,$

et en déduire : si $rt - s^2 > 0$ , $q$ a le signe strict de $r$ hors de l’origine ; si $rt - s^2 < 0$ , $q$ prend les deux signes.
Régler les cas restants : $r = 0$ , $t \neq 0$ (symétrique) ; et $r = t = 0$ ( $q = 2shk$ ). Conclure : $q$ prend les deux signes si et seulement si $rt - s^2 < 0$ , et $q$ ne s’annule qu’à l’origine si et seulement si $rt - s^2 > 0$ .
Soit maintenant $f(x, y) = \frac12\bigl(r x^2 + 2s xy + t y^2\bigr) + \beta x + \gamma y + \delta$ une fonction quadratique ayant un point critique $X_0 = (a, b)$ . Démontrer le développement exact

$f(X_0 + (h,k)) = f(X_0) + \tfrac12\,q(h, k) \qquad (\text{sans reste}),$

et en déduire la classification de Monge pour les fonctions quadratiques : minimum global strict si $rt - s^2 > 0$ , $r > 0$ ; maximum global strict si $rt - s^2 > 0$ , $r < 0$ ; point col si $rt - s^2 < 0$ .
Supposons $rt - s^2 > 0$ et $r > 0$ (donc aussi $t > 0$ ). Démontrer la minoration de coercivité explicite

$q(h, k) \geq c\,(h^2 + k^2), \qquad c = \frac{rt - s^2}{r + t} > 0 .$

(Montrer que la forme quadratique $q - c(h^2 + k^2)$ , de coefficients $r - c$ , $s$ , $t - c$ , satisfait encore aux conditions du test du discriminant.)
En déduire qu’une fonction quadratique dont la partie quadratique est définie positive tend vers $+\infty$ quand $\norm{(x,y)} \to \infty$ , et admet donc un unique minimiseur global : son point critique. Contraster avec l’Exemple 25.15, où un minimum local d’une fonction non quadratique n’était pas global.

Partie II — Les équations normales. Soient $C_1, C_2, b \in \R^n$ (produit scalaire canonique), et

f(u, v) = \norm{u\,C_1 + v\,C_2 - b}^2 .

Développer $f$ et montrer que c’est une fonction quadratique de $(u, v)$ dont la partie quadratique a pour coefficients $r = 2\norm{C_1}^2$ , $s = 2\langle C_1, C_2\rangle$ , $t = 2\norm{C_2}^2$ .
Montrer que $rt - s^2 > 0$ si et seulement si $(C_1, C_2)$ est libre (le cas d’égalité de Cauchy–Schwarz, Théorème 23.4) ; on le supposera désormais.
Montrer que les équations critiques $\nabla f = 0$ sont les équations normales

$\begin{pmatrix} \norm{C_1}^2 & \langle C_1, C_2\rangle\\ \langle C_1, C_2\rangle & \norm{C_2}^2 \end{pmatrix} \begin{pmatrix} u\\ v\end{pmatrix} = \begin{pmatrix} \langle C_1, b\rangle\\ \langle C_2, b\rangle\end{pmatrix}$

— la matrice de Gram de l’Exercice 23.11 à gauche — et qu’elles disent exactement : $b - (uC_1 + vC_2) \perp C_1, C_2$ . Conclure avec la partie I et le Théorème 23.10 : l’unique minimiseur donne $p = uC_1 + vC_2 =$ la projection orthogonale de $b$ sur $\operatorname{Vect}(C_1, C_2)$ .
Montrer que la valeur minimale est $\norm{b}^2 - \langle p, b\rangle = \norm{b - p}^2$ , et faire le dessin pythagoricien.

Partie III — La droite de régression. Points de données $(x_1, y_1), \dots, (x_n, y_n)$ , les $x_i$ n’étant pas tous égaux. Minimiser

E(\alpha, \beta) = \sum_{i=1}^{n}\bigl(y_i - \alpha - \beta x_i\bigr)^2 .

On note $\bar x = \frac1n\sum x_i$ , $\bar y = \frac1n\sum y_i$ , $v_x = \frac1n\sum x_i^2 - \bar x^2$ , $v_y = \frac1n\sum y_i^2 - \bar y^2$ , $c_{xy} = \frac1n\sum x_i y_i - \bar x\bar y$ .

Reconnaître la partie II avec $C_1 = (1, \dots, 1)$ , $C_2 = (x_1, \dots, x_n)$ , $b = (y_1, \dots, y_n)$ , et écrire les équations normales

$n\alpha + \Bigl(\sum x_i\Bigr)\beta = \sum y_i, \qquad \Bigl(\sum x_i\Bigr)\alpha + \Bigl(\sum x_i^2\Bigr)\beta = \sum x_i y_i .$
Les résoudre :

$\beta = \frac{c_{xy}}{v_x}, \qquad \alpha = \bar y - \beta\,\bar x ,$

et observer que la droite de régression $y = \alpha + \beta x$ passe par le point moyen $(\bar x, \bar y)$ .
Vérifier que $v_x > 0$ exactement quand les $x_i$ ne sont pas tous égaux, et rapprocher cela de la question 7.
Démontrer que l’erreur minimale vaut

$E_{\min} = n\Bigl(v_y - \frac{c_{xy}^2}{v_x}\Bigr) = n\,v_y\,(1 - \rho^2), \qquad \rho = \frac{c_{xy}}{\sqrt{v_x v_y}} \quad (v_y \neq 0).$

En déduire $\abs\rho \leq 1$ , avec $\abs\rho = 1$ si et seulement si les données sont parfaitement alignées.
Exemple traité : pour les données $(0,0)$ , $(1,1)$ , $(2,3)$ , $(3,4)$ , calculer $\bar x, \bar y, v_x, c_{xy}$ , la droite de régression, les quatre résidus et $E_{\min}$ .
Démontrer que les résidus $\varepsilon_i = y_i - \alpha - \beta x_i$ de la droite optimale vérifient $\sum_i \varepsilon_i = 0$ et $\sum_i x_i\varepsilon_i = 0$ , et interpréter les deux par l’orthogonalité.

Partie IV — Variantes et applications.

(Meilleure constante) Montrer que la constante $\alpha$ qui minimise $\sum_i (y_i - \alpha)^2$ est la moyenne $\bar y$ , et que la valeur minimale est $n\,v_y$ : la variance mesure le défaut de constance des données.
(Droite passant par l’origine) Montrer que la pente qui minimise $\sum_i (y_i - \beta x_i)^2$ est $\beta_0 = \frac{\sum x_iy_i}{\sum x_i^2}$ , et donner une condition sur les données pour que $\beta_0$ coïncide avec la pente $c_{xy}/v_x$ de la question 11.
(Distance à une droite, encore) Pour un point $M$ et la droite $D$ passant par $P_0$ et dirigée par le vecteur unitaire $w$ , minimiser $g(\tau) = \norm{P_0 + \tau w - M}^2$ et en déduire $d(M, D)^2 = \norm{M - P_0}^2 - \langle M - P_0, w\rangle^2$ ; retrouver la formule $d = \frac{\abs{a x_0 + b y_0 + c}}{\sqrt{a^2 + b^2}}$ pour la droite $ax + by + c = 0$ du plan.
(Analyse de la variance) Démontrer la décomposition $v_y = \beta^2 v_x + \frac{E_{\min}}n$ : la variance des $y_i$ se scinde en la part expliquée par la droite et la variance résiduelle.
(Ajustement parabolique) Pour ajuster $y = a + bx + cx^2$ , montrer que les équations normales forment le système $3 \times 3$ de matrice des moments

$\begin{pmatrix} n & \sum x_i & \sum x_i^2\\ \sum x_i & \sum x_i^2 & \sum x_i^3\\ \sum x_i^2 & \sum x_i^3 & \sum x_i^4 \end{pmatrix},$

matrice de Gram inversible dès que trois des $x_i$ sont distincts (liberté de $(1, X, X^2)$ échantillonné aux données, Exercice 23.11 ; comparer avec les matrices des moments du devoir maison du Chapitre 22).

Partie V — Robustesse, et synthèse.

Classer les points critiques des trois fonctions quadratiques

$x^2 + xy + y^2, \qquad x^2 + 3xy + y^2, \qquad x^2 + 2xy + y^2 ,$

par la partie I, en traitant à la main le troisième cas dégénéré (où le minimum est-il atteint ?).
(Expérience de la valeur aberrante) Ajouter le point $(10, 0)$ aux données de la question 14 et recalculer la pente $\beta$ . Que s’est-il passé, et pourquoi l’erreur quadratique est-elle si sensible à un seul point lointain ?
(Moindres carrés pondérés) Étant donné des poids $w_i > 0$ , minimiser $\sum_i w_i(y_i - \alpha - \beta x_i)^2$ : montrer que la solution est donnée par les mêmes formules qu’à la question 11 avec des moyennes, une variance et une covariance pondérées (les définir).
Montrer que, pour la droite optimale, $E_{\min} = 0$ force tous les points à être exactement sur elle, et relier au cas d’égalité $\abs\rho = 1$ de la question 13 ; tester sur les données alignées $(1,1), (2,3), (3,5)$ .
Synthèse, en quatre phrases : pourquoi les fonctions quadratiques sont la seule classe où le test du second ordre de ce chapitre n’a besoin d’aucun théorème admis ; comment les équations normales identifient la minimisation analytique à la projection orthogonale du Chapitre 23 ; ce que mesure le coefficient de corrélation et quelle inégalité le borne ; et quels morceaux des chapitres 18 à 23 (bases, matrices de Gram et des moments, projections) ont reparu. Nommer la méthode et les équations étudiées dans les parties II et III.

Solution

Solution de Problème 25.1.

1. En développant le membre de droite :

r\Bigl(h + \frac srk\Bigr)^{\!2} + \frac{rt - s^2}{r}k^2 = rh^2 + 2shk + \frac{s^2}{r}k^2 + \frac{rt - s^2}{r}k^2 = q(h,k) .

Si $rt - s^2 > 0$ : les deux carrés portent le signe du facteur $r$ , et $q(h,k) = 0$ force $k = 0$ puis $h = 0$ : signe strict de $r$ hors de l’origine. Si $rt - s^2 < 0$ : $q(1, 0) = r$ tandis que $q\bigl(-\frac sr, 1\bigr) = \frac{rt - s^2}{r}$ est de signe opposé : les deux signes apparaissent.

2. Si $r = 0 \neq t$ , on échange les rôles de $h$ et $k$ (la forme canonique en $k$ ), avec les mêmes conclusions ; remarquons que $rt - s^2 = -s^2 < 0$ dès que $s \neq 0$ , et de fait $q = 2shk + tk^2$ prend alors les deux signes ( $k$ petit devant $h$ ). Si $r = t = 0$ : $q = 2shk$ , deux signes si et seulement si $s \neq 0$ , c’est-à-dire si et seulement si $rt - s^2 = -s^2 < 0$ . Bilan : $q$ prend les deux signes $\iff rt - s^2 < 0$ ; $q$ ne s’annule qu’à l’origine (forme définie) $\iff rt - s^2 > 0$ (ce qui force $r \neq 0$ , puisque $r = 0$ donne $q(1,0) = 0$ ).

3. Avec $f_x = rx + sy + \beta$ et $f_y = sx + ty + \gamma$ , le développement direct donne

f(a + h, b + k) = f(a, b) + h\,f_x(a,b) + k\,f_y(a,b) + \tfrac12 q(h, k),

sans termes d’ordre supérieur (la fonction est un polynôme de degré $2$ ). En un point critique la partie linéaire s’annule : $f(X_0 + H) - f(X_0) = \frac12 q(H)$ exactement, de sorte que l’étude de signe des questions 1 et 2 classe : minimum global strict ( $rt - s^2 > 0$ , $r > 0$ ), maximum global strict ( $rt - s^2 > 0$ , $r < 0$ ), point col — les deux signes dans tout voisinage — lorsque $rt - s^2 < 0$ . Cela démontre la Méthode 25.14 pour les fonctions quadratiques.

4. La forme $q - c(h^2 + k^2)$ a pour données $r - c$ , $s$ , $t - c$ . Avec $c = \frac{rt - s^2}{r + t}$ (noter que $t > 0$ puisque $rt > s^2 \geq 0$ et $r > 0$ ) :

(r - c)(t - c) - s^2 = rt - s^2 - c(r + t) + c^2 = c^2 \geq 0,

et $r - c \geq 0$ ( $c \leq r \iff rt - s^2 \leq r^2 + rt$ , vrai). Si $r - c > 0$ , la forme canonique de la question 1 montre que $q - c(h^2 + k^2) \geq 0$ ; si $r - c = 0$ , alors $s = 0$ (car $-s^2 = -c^2 \leq \dots$ force la quantité affichée à être $\geq 0$ avec un premier facteur nul) et la forme vaut $(t - c)k^2 \geq 0$ . Dans les deux cas $q(h,k) \geq c(h^2 + k^2)$ .

5. D’après les questions 3 et 4, $f(X) = f(X_0) + \frac12 q(X - X_0) \geq f(X_0) + \frac c2\norm{X - X_0}^2 \to +\infty$ quand $\norm X \to \infty$ : $f$ est coercive, et l’inégalité est stricte pour $X \neq X_0$ : le point critique est l’unique minimiseur global. Pour la cubique $f = x^3 + y^3 - 3xy$ de l’Exemple 25.15, aucune telle conclusion ne vaut : $f(x,0) = x^3 \to -\infty$ , et le minimum local en $(1,1)$ n’est pas global — c’est l’exactitude du développement quadratique qui faisait défaut.

6. En développant le carré de la norme :

f(u,v) = u^2\norm{C_1}^2 + 2uv\,\langle C_1, C_2\rangle + v^2\norm{C_2}^2 - 2u\,\langle C_1, b\rangle - 2v\,\langle C_2, b\rangle + \norm b^2 ,

fonction quadratique de $(u, v)$ dont la partie quadratique est $\frac12(ru^2 + 2suv + tv^2)$ avec $r = 2\norm{C_1}^2$ , $s = 2\langle C_1, C_2\rangle$ , $t = 2\norm{C_2}^2$ .

7. $rt - s^2 = 4\bigl(\norm{C_1}^2\norm{C_2}^2 - \langle C_1, C_2\rangle^2\bigr) \geq 0$ par Cauchy–Schwarz (Théorème 23.4), avec égalité exactement quand $C_1, C_2$ sont proportionnels (ou l’un des deux nul), c’est-à-dire quand la famille est liée. Donc $rt - s^2 > 0 \iff (C_1, C_2)$ libre.

8. $\nabla f = 0$ s’écrit

\norm{C_1}^2 u + \langle C_1, C_2\rangle v = \langle C_1, b\rangle, \qquad \langle C_1, C_2\rangle u + \norm{C_2}^2 v = \langle C_2, b\rangle,

les équations normales, avec la matrice de Gram à gauche ; elles disent $\langle uC_1 + vC_2 - b,\ C_i\rangle = 0$ pour $i = 1, 2$ , c’est-à-dire $b - p \perp \operatorname{Vect}(C_1, C_2)$ pour $p = uC_1 + vC_2$ . Par la partie I (questions 3 et 5) l’unique point critique est l’unique minimiseur global, et par le Théorème 23.10 la caractérisation « $p \in F$ , $b - p \perp F$ » identifie $p$ à la projection orthogonale de $b$ sur $F = \operatorname{Vect}(C_1, C_2)$ .

9. $\norm{b - p}^2 = \norm b^2 - 2\langle b, p\rangle + \norm p^2$ , et $\langle p, b - p\rangle = 0$ donne $\norm p^2 = \langle p, b\rangle$ : le minimum vaut $\norm b^2 - \langle p, b\rangle$ . Pythagore : $\norm b^2 = \norm p^2 + \norm{b - p}^2$ — le vecteur de données se scinde en sa part expliquée $p$ et sa part résiduelle $b - p$ , orthogonales l’une à l’autre.

10. $E(\alpha, \beta) = \norm{\alpha C_1 + \beta C_2 - b}^2$ avec les $C_1, C_2, b$ indiqués ; les équations normales de la question 8 s’écrivent, terme à terme,

n\alpha + \Bigl(\sum x_i\Bigr)\beta = \sum y_i, \qquad \Bigl(\sum x_i\Bigr)\alpha + \Bigl(\sum x_i^2\Bigr)\beta = \sum x_i y_i .

11. En divisant par $n$ : $\alpha + \beta\bar x = \bar y$ et $\alpha\bar x + \beta\bigl(v_x + \bar x^2\bigr) = c_{xy} + \bar x\bar y$ . En substituant $\alpha = \bar y - \beta\bar x$ dans la seconde : $\beta v_x = c_{xy}$ , donc

\beta = \frac{c_{xy}}{v_x}, \qquad \alpha = \bar y - \beta\bar x ,

et la première équation dit précisément que $(\bar x, \bar y)$ est sur la droite.

12. $v_x = \frac1n\sum(x_i - \bar x)^2 \geq 0$ , nul si et seulement si tous les $x_i$ valent $\bar x$ . Et $rt - s^2 = 4\bigl(n\sum x_i^2 - (\sum x_i)^2\bigr) = 4n^2 v_x$ : la condition de liberté de la question 7 est $v_x > 0$ , c’est-à-dire les $x_i$ non tous égaux.

13. Avec $\alpha = \bar y - \beta\bar x$ , centrons les données ( $\tilde x_i = x_i - \bar x$ , $\tilde y_i = y_i - \bar y$ ) :

E(\alpha, \beta) = \sum_i(\tilde y_i - \beta\tilde x_i)^2 = n\,v_y - 2\beta\,n\,c_{xy} + \beta^2 n\,v_x ,

minimisée en $\beta = c_{xy}/v_x$ , de valeur $E_{\min} = n\bigl(v_y - \frac{c_{xy}^2}{v_x}\bigr) = n v_y(1 - \rho^2)$ . Comme $E_{\min} \geq 0$ et $v_y > 0$ : $\rho^2 \leq 1$ , et $\abs\rho = 1$ si et seulement si $E_{\min} = 0$ , c’est-à-dire si et seulement si tous les résidus sont nuls : les points sont exactement sur la droite.

14. $n = 4$ : $\bar x = \frac64 = 1.5$ , $\bar y = 2$ , $\sum x_i^2 = 14$ donc $v_x = 3.5 - 2.25 = 1.25$ , $\sum x_iy_i = 0 + 1 + 6 + 12 = 19$ donc $c_{xy} = 4.75 - 3 = 1.75$ . Ainsi

\beta = \frac{1.75}{1.25} = 1.4, \qquad \alpha = 2 - 1.4\times1.5 = -0.1 : \qquad y = 1.4\,x - 0.1 .

Valeurs ajustées $-0.1,\ 1.3,\ 2.7,\ 4.1$ ; résidus $0.1,\ -0.3,\ 0.3,\ -0.1$ ; $E_{\min} = 0.01 + 0.09 + 0.09 + 0.01 = 0.2$ (vérification : $v_y = \frac{26}4 - 4 = 2.5$ et $4(2.5 - \frac{1.75^2}{1.25}) = 4(2.5 - 2.45) = 0.2$ ).

15. Les deux équations normales de la question 10 sont exactement $\sum_i\varepsilon_i = 0$ et $\sum_i x_i\varepsilon_i = 0$ : le vecteur des résidus est orthogonal à $C_1 = (1, \dots, 1)$ et à $C_2 = (x_i)$ — à tout l’espace du modèle. En particulier la droite optimale équilibre toujours ses erreurs : leur somme est nulle.

16. $\frac{\dd}{\dd\alpha}\sum(y_i - \alpha)^2 = -2\sum(y_i - \alpha) = 0$ donne $\alpha = \bar y$ (et la dérivée seconde $2n > 0$ en fait le minimum global, la fonction étant une quadratique coercive d’une variable). Valeur minimale $\sum(y_i - \bar y)^2 = n v_y$ : la variance est l’erreur quadratique incompressible d’un modèle constant.

17. $\frac{\dd}{\dd\beta}\sum(y_i - \beta x_i)^2 = -2\sum x_i(y_i - \beta x_i) = 0$ donne $\beta_0 = \frac{\sum x_iy_i}{\sum x_i^2}$ . En écrivant les deux pentes sur des quantités centrées : $\beta_0 = \frac{c_{xy} + \bar x\bar y}{v_x + \bar x^2}$ vaut $\frac{c_{xy}}{v_x}$ si et seulement si $c_{xy}\bar x^2 = \bar x\bar y\,v_x$ , c’est-à-dire si et seulement si $\bar x = 0$ (abscisses centrées) ou $\bar y = \beta\bar x$ — ce dernier cas signifiant $\alpha = 0$ : la droite de régression complète passe déjà par l’origine.

18. $g(\tau) = \norm{M - P_0}^2 - 2\tau\langle M - P_0, w\rangle + \tau^2$ est minimale en $\tau^* = \langle M - P_0, w\rangle$ , de valeur $d(M,D)^2 = \norm{M - P_0}^2 - \langle M - P_0, w\rangle^2$ . Dans le plan, complétons $w$ en une base orthonormale $(w, n)$ avec $n = \frac{(a, b)}{\sqrt{a^2+b^2}}$ (normale unitaire de $D$ ) : alors $\norm{M - P_0}^2 = \langle M - P_0, w\rangle^2 + \langle M - P_0, n\rangle^2$ , donc $d(M, D) = \abs{\langle M - P_0, n\rangle}$ , et avec $aP_{0x} + bP_{0y} = -c$ :

d = \frac{\abs{a x_0 + b y_0 + c}}{\sqrt{a^2 + b^2}} .

19. De $E_{\min}/n = v_y - \frac{c_{xy}^2}{v_x}$ et $\beta^2 v_x = \frac{c_{xy}^2}{v_x}$ :

v_y = \beta^2 v_x + \frac{E_{\min}}n :

variance totale $=$ variance le long de la droite ajustée $+$ variance résiduelle. (En divisant par $v_y$ : $1 = \rho^2 + (1 - \rho^2)$ , la part de variance « expliquée » par la droite est $\rho^2$ .)

20. L’espace du modèle est $\operatorname{Vect}\bigl(C_1, C_2, C_3\bigr)$ avec $C_1 = (1)$ , $C_2 = (x_i)$ , $C_3 = (x_i^2)$ ; minimiser $\norm{aC_1 + bC_2 + cC_3 - b}^2$ conduit, exactement comme à la question 8, au système de Gram $3\times3$ , dont la matrice a pour coefficients $\langle C_i, C_j\rangle = \sum_k x_k^{\,i+j-2}$ : la matrice des moments affichée. Elle est inversible si et seulement si $(C_1, C_2, C_3)$ est libre (Exercice 23.11) ; une relation $a + bx_k + cx_k^2 = 0$ pour tout $k$ fait de chaque $x_k$ une racine d’un même polynôme de degré $\leq 2$ , impossible avec trois valeurs distinctes à moins que $a = b = c = 0$ . Comparer avec les matrices des moments du devoir maison du Chapitre 22, dont les déterminants étaient des carrés de valeurs de Vandermonde.

21. Première : $r = 2, s = 1, t = 2$ , $rt - s^2 = 3 > 0$ , $r > 0$ : minimum global strict à l’origine. Deuxième : $r = 2, s = 3, t = 2$ , $rt - s^2 = -5 < 0$ : point col. Troisième : $r = s = t = 2$ , $rt - s^2 = 0$ : dégénérée — mais $x^2 + 2xy + y^2 = (x + y)^2 \geq 0$ s’annule sur toute la droite $y = -x$ : un minimum global (non strict) atteint le long d’une droite, invisible au test du déterminant.

22. Nouvelles sommes ( $n = 5$ ) : $\bar x = 3.2$ , $\bar y = 1.6$ , $\sum x_iy_i = 19$ donc $c_{xy} = 3.8 - 5.12 = -1.32$ , $\sum x_i^2 = 114$ donc $v_x = 22.8 - 10.24 = 12.56$ . Nouvelle pente :

\beta = \frac{-1.32}{12.56} \approx -0.105 :

un seul point a transformé une tendance nettement croissante ( $\beta = 1.4$ ) en une tendance légèrement décroissante. L’erreur quadratique facture un résidu $\varepsilon^2$ , de sorte qu’un seul point lointain — $\abs{x_{i} - \bar x}$ grand et résidu grand — domine à la fois $c_{xy}$ et $v_x$ : les moindres carrés sont efficaces, mais pas robustes.

23. Posons $W = \sum w_i$ et définissons $\bar x_w = \frac1W\sum w_ix_i$ , $\bar y_w$ de même, $v_x^w = \frac1W\sum w_ix_i^2 - \bar x_w^2$ , $c^w_{xy} = \frac1W\sum w_ix_iy_i - \bar x_w\bar y_w$ . L’application $\langle u, v\rangle_w = \sum_i w_iu_iv_i$ est un produit scalaire sur $\R^n$ ( $w_i > 0$ donne le caractère défini), donc la partie II s’applique mot pour mot et les équations normales, divisées par $W$ , deviennent

\alpha + \beta\bar x_w = \bar y_w, \qquad \alpha\bar x_w + \beta(v^w_x + \bar x_w^2) = c^w_{xy} + \bar x_w\bar y_w ,

d’où $\beta = c^w_{xy}/v^w_x$ et $\alpha = \bar y_w - \beta\bar x_w$ : les mêmes formules, avec toutes les moyennes pondérées.

24. $E_{\min} = \sum\varepsilon_i^2 = 0$ force chaque $\varepsilon_i = 0$ : tous les points sont exactement sur la droite ; par la question 13 c’est le cas $\abs\rho = 1$ . Test : pour $(1,1), (2,3), (3,5)$ : $\bar x = 2$ , $\bar y = 3$ , $v_x = \frac{14}3 - 4 = \frac23$ , $c_{xy} = \frac{22}3 - 6 = \frac43$ : $\beta = 2$ , $\alpha = -1$ , et de fait $y_i = 2x_i - 1$ pour les trois points ; $v_y = \frac{35}3 - 9 = \frac83$ et $\rho^2 = \frac{(4/3)^2}{(2/3)(8/3)} = 1$ .

25. (i) Pour les fonctions quadratiques le développement à l’ordre deux est une identité, de sorte que l’étude de signe de la forme quadratique — de l’algèbre pure, questions 1 et 2 — classe les points critiques sans aucun théorème de Taylor admis. (ii) Les équations normales disent « résidu orthogonal à l’espace du modèle », donc le minimum analytique est la projection orthogonale du vecteur de données : l’analyse et la géométrie euclidienne calculent le même objet. (iii) La corrélation $\rho = c_{xy}/\sqrt{v_xv_y}$ mesure la part $\rho^2$ de la variance expliquée par la droite, et Cauchy–Schwarz la borne : $\abs\rho \leq 1$ , avec égalité seulement pour des données alignées. (iv) Bases et liberté (chapitre 18), matrices de Gram et des moments et leurs déterminants (chapitres 22 et 23), et projection orthogonale (chapitre 23) ont tous reparu comme les pièces d’un même algorithme. Les parties II et III développent la méthode des moindres carrés (Legendre, Gauss) à travers ses équations normales.

25.1 Le plan R2\R^2R2 ; continuité

25.2 Dérivées partielles

25.3 Extrema locaux

25.4 Exercices

25.5 Problème : moindres carrés et droite de régression

25.1 Le plan $\R^2$ ; continuité