Universitaire wiskunde — Bachelor jaar 1 · Bachelor Year 1

25Functies van Twee Variabelen

Het jaar eindigt met een eerste wandeling in hogere dimensie: functies $f(x, y)$ van twee reële variabelen. Alles veralgemeent — limieten, continuïteit, afgeleiden, extrema — maar elk begrip krijgt een wending: limieten kunnen tegelijk langs elke richting benaderd worden, afgeleiden splitsen in partiële afgeleiden, en de gradiënt wijst de weg bergop. De volledige theorie (differentialen, algemeen $\R^n$ , deelvariëteiten) hoort thuis in het tweede jaar; hier leggen we de woordenschat en de eerste eerlijke stellingen vast.

25.1 Het vlak $\R^2$ ; continuïteit

Definitie 25.1

Op $\R^2$ gebruiken we de euclidische norm $\norm{(x,y)} = \sqrt{x^2 + y^2}$ (Hoofdstuk 23). Open ballen, omgevingen, open delen van $\R^2$ worden exact gedefinieerd zoals in Hoofdstuk 12, met ballen in plaats van intervallen. Een functie $f \colon U \to \R$ ( $U \subseteq \R^2$ open) is continu in $a \in U$ wanneer

\forall\varepsilon > 0,\ \exists\delta > 0, \quad \norm{X - a} \leq \delta \implies \abs{f(X) - f(a)} \leq \varepsilon,

met dezelfde sequentiële karakterisering als in één variabele. Sommen, producten, quotiënten en samenstellingen met continue functies van één variabele behouden de continuïteit; de coördinaat- afbeeldingen zijn continu, dus ook de veeltermen in $(x,y)$ .

Voorbeeld 25.2 (De poolgrens, de zuivere manier om een limiet te bewijzen)

Toon aan dat $f(x, y) = \dfrac{x^2y^2}{x^2 + y^2}$ (met $f(0,0) = 0$ ) continu is in de oorsprong. In poolcoördinaten $x = \rho\cos\theta$ , $y = \rho\sin\theta$ :

\abs{f} = \frac{\rho^4\cos^2\theta\sin^2\theta}{\rho^2} = \rho^2\,(\cos\theta\sin\theta)^2 \leq \frac{\rho^2}{4} \xrightarrow[\rho \to 0]{} 0 ,

een grens onafhankelijk van $\theta$ : welke richting de benadering ook heeft, de waarden worden naar $0$ geklemd. Die uniformiteit in $\theta$ is de hele clou — een grens als $\abs g = \abs{\cos\theta\sin\theta}$ (geen $\rho$ over) bewijst niets, en die $g$ is inderdaad de discontinue radiale val van het volgende voorbeeld.

Voorbeeld 25.3 (De radiale val)

Zij $f(x, y) = \dfrac{xy}{x^2 + y^2}$ voor $(x,y) \neq (0,0)$ , $f(0, 0) = 0$ . Langs elke as is $f = 0 \to 0$ ; maar langs de diagonaal $y = x$ is $f(x, x) = \frac12 \not\to 0$ . Geen limiet in de oorsprong: benaderen langs elke rechte, en zelfs telkens dezelfde limiet vinden, volstaat niet (hier verschillen de limieten langs de rechten; ergere voorbeelden stemmen overeen langs alle rechten en falen toch langs een parabool, Oefening 25.3). Continuïteit in elke variabele afzonderlijk impliceert geen continuïteit.

25.2 Partiële afgeleiden

Definitie 25.4

De partiële afgeleiden van $f$ in $(a, b)$ zijn de afgeleiden in één variabele langs de assen:

\frac{\partial f}{\partial x}(a,b) = \lim_{h \to 0} \frac{f(a + h, b) - f(a,b)}{h}, \qquad \frac{\partial f}{\partial y}(a,b) = \lim_{k \to 0} \frac{f(a, b + k) - f(a,b)}{k}.

$f$ is van klasse $C^1$ op $U$ wanneer beide bestaan en continu zijn op $U$ . De gradiënt is $\nabla f(a,b) = \bigl(\frac{\partial f}{\partial x},\, \frac{\partial f}{\partial y}\bigr)(a,b)$ .

Stelling 25.5 ( $C^1$ impliceert een raakvlak)

Zij $f$ van klasse $C^1$ op $U$ en $(a,b) \in U$ . Dan geldt, als $(h, k) \to (0,0)$ :

f(a + h, b + k) = f(a, b) + h\,\frac{\partial f}{\partial x}(a,b) + k\,\frac{\partial f}{\partial y}(a,b) + o\bigl(\norm{(h,k)}\bigr) .

In het bijzonder is $f$ continu, en de grafiek $z = f(x,y)$ heeft in elk punt het raakvlak dat rechtstreeks uit de formule af te lezen is.

Voorbeeld 25.6 (Lineaire benadering in actie)

Schat $f(1.02,\ 0.99)$ voor $f(x, y) = x^3y^2$ . In $(1, 1)$ : $f = 1$ , $\frac{\partial f}{\partial x} = 3x^2y^2 = 3$ , $\frac{\partial f}{\partial y} = 2x^3y = 2$ , dus geeft Stelling 25.5

f(1.02,\ 0.99) \approx 1 + 3\,(0.02) + 2\,(-0.01) = 1.04 ,

tegenover de echte waarde $1.02^3 \times 0.99^2 = 1.04006\dots$ — de fout is van tweede orde in de aangroeiingen, zoals de $o(\norm{(h,k)})$ belooft. Het raakvlak aan de grafiek in $(1, 1, 1)$ is $z = 1 + 3(x - 1) + 2(y - 1)$ , de vergelijking die impliciet in de schatting zit.

Bewijs. Beweeg één coördinaat per keer:

f(a+h, b+k) - f(a,b) = \bigl[f(a+h, b+k) - f(a, b+k)\bigr] + \bigl[f(a, b+k) - f(a,b)\bigr].

Volgens de middelwaardestelling in één variabele (Stelling 14.9) is de eerste term $h\, \frac{\partial f}{\partial x}(a + \theta h,\, b + k)$ voor zekere $\theta \in \intoo{0}{1}$ , en de tweede is $k\,\frac{\partial f}{\partial y}(a,\, b + \theta' k)$ . De continuïteit van de partiële afgeleiden in $(a,b)$ laat ons elk schrijven als (waarde in $(a,b)$ ) $+$ (fout $\to 0$ ); de totale fout is $h\,\varepsilon_1 + k\,\varepsilon_2 = o(\norm{(h,k)})$ aangezien $\abs h, \abs k \leq \norm{(h,k)}$ . ∎

Stelling 25.7 (Kettingregel)

Zij $f$ van klasse $C^1$ op $U$ en $t \mapsto (x(t), y(t))$ van klasse $C^1$ van een interval naar $U$ . Dan is $g(t) = f\bigl(x(t), y(t)\bigr)$ van klasse $C^1$ , met

g'(t) = x'(t)\,\frac{\partial f}{\partial x}\bigl(x(t),y(t)\bigr) + y'(t)\,\frac{\partial f}{\partial y}\bigl(x(t),y(t)\bigr) = \bigl\langle \nabla f,\ (x', y')\bigr\rangle .

Bewijs. Pas Stelling 25.5 toe in $(x(t), y(t))$ met $(h, k) = (x(t+s) - x(t),\, y(t+s) - y(t))$ : als $s \to 0$ geeft de afleidbaarheid in één variabele $h = s\,x'(t) + o(s)$ en $k = s\,y'(t) + o(s)$ , zodat $\norm{(h, k)} = O(s)$ en

g(t+s) - g(t) = h\,\frac{\partial f}{\partial x} + k\,\frac{\partial f}{\partial y} + o\bigl(\norm{(h,k)}\bigr) = s\,\Bigl(x'\,\frac{\partial f}{\partial x} + y'\,\frac{\partial f}{\partial y}\Bigr) + o(s) ,

waarbij de laatste fout zowel de beide $o(s)$ ’s van $h$ en $k$ opneemt (vermenigvuldigd met de vaste waarden van de partiële afgeleiden) als de $o(O(s))$ van de raakvlakschatting. Deel door $s$ en laat $s \to 0$ . De continuïteit van $g'$ volgt uit die van alle ingrediënten. ∎

Voorbeeld 25.8 (De kettingregel, op beide manieren geverifieerd)

Zij $f(x, y) = x^2 y$ en $g(t) = f(t, t^2)$ . Rechtstreeks: $g(t) = t^2\cdot t^2 = t^4$ , dus $g'(t) = 4t^3$ . Via de kettingregel: $\frac{\partial f}{\partial x} = 2xy$ en $\frac{\partial f}{\partial y} = x^2$ , geëvalueerd langs de kromme $(t, t^2)$ :

g'(t) = 1\cdot 2t\cdot t^2 + 2t\cdot t^2 = 2t^3 + 2t^3 = 4t^3 .

De twee berekeningen stemmen overeen, en de splitsing is betekenisvol: $2t^3$ van de groei komt van het naar rechts bewegen doorheen de $x$ -helling, $2t^3$ van het naar boven bewegen doorheen de $y$ -helling. Op krommen waar geen gesloten vorm voor $g$ bestaat, blijft alleen de tweede berekening overeind — dat is de clou van de stelling.

Opmerking 25.9 (De gradiënt lezen)

Langs een eenheidsrichting $u$ geeft de kettingregel op $t \mapsto f(a + tu)$ de richtingsafgeleide $\langle \nabla f(a), u\rangle$ : maximaal wanneer $u$ langs $\nabla f(a)$ wijst (volgens Cauchy–Schwarz, Stelling 23.4). De gradiënt is de richting van de steilste stijging, en hij staat orthogonaal op de niveaukrommen $\{f = c\}$ (leid $f$ af langs een kromme getekend in een niveauverzameling: de kettingregel geeft $\langle\nabla f,\, \text{raaklijn}\rangle = 0$ ).

Voorbeeld 25.10 (Niveaukrommen en gradiënten, op één functie)

Neem $f(x, y) = x^2 - y^2$ . De niveauverzamelingen: $\{f = c\}$ is een hyperbool die links-rechts opent voor $c > 0$ , boven-onder voor $c < 0$ , en het gekruiste paar rechten $y = \pm x$ voor $c = 0$ — de hoogtekaart van een bergpas, met het zadelpunt in de oorsprong waar de twee nulniveaurechten kruisen. Gradiënt: $\nabla f = (2x, -2y)$ . In het punt $(2, 1)$ (op het niveau $c = 3$ ): $\nabla f = (4, -2)$ , terwijl de raakvector van de niveau- kromme, nabij dat punt geparametriseerd door $\bigl(t, \sqrt{t^2 - 3}\bigr)$ , gelijk is aan $\bigl(1, \frac{t}{\sqrt{t^2 - 3}}\bigr) = (1, 2)$ in $t = 2$ — en inderdaad

\langle (4, -2),\ (1, 2)\rangle = 4 - 4 = 0 :

gradiënt loodrecht op de hoogtelijn, wijzend naar hogere waarden van $f$ (hier: weg van de $y$ -as). Nog twee lezingen: de gradiënt verdwijnt precies in het zadelpunt, waar de hoogtekaart samenknijpt; en de raaklijn aan de niveaukromme in $(2,1)$ is $4(x - 2) - 2(y - 1) = 0$ , d.w.z. $2x - y = 3$ — de vergelijking “ $\langle \nabla f,\ M - M_0\rangle = 0$ ” die de ellipsraaklijn van Oefening 24.11 veralgemeent.

Stelling 25.11 (Schwarz)

Als $f$ van klasse $C^2$ is (partiële afgeleiden van partiële afgeleiden bestaan en zijn continu), dan geldt

\frac{\partial^2 f}{\partial x\,\partial y} = \frac{\partial^2 f}{\partial y\,\partial x} .

Bewijs. Toegegeven op dit niveau. ∎

25.3 Lokale extrema

Methode 25.12 (Extremumstudies, geordend)

Los $\nabla f = 0$ volledig op. Ontbind elke partiële afgeleide waar mogelijk (producten van lineaire factoren splitsen het stelsel in doorzichtige gevallen, zoals in Voorbeeld 25.16 hieronder); een vergeten geval is een vergeten kritiek punt.
Classificeer elk punt met de Monge-gegevens $r, s, t$ — telkens in elk punt herberekend, nooit één keer voor alles.
Als $rt - s^2 = 0$ , onderzoek $f$ rechtstreeks langs goedgekozen krommen door het punt (eerst rechten, dan parabolen), op zoek naar ofwel twee tekens (geen extremum) ofwel een vast teken met een argument dat alle richtingen dekt.
Stap terug voor het globale plaatje: controleer het gedrag in het oneindige (een lokaal minimum hoeft geen globaal te zijn), en als het domein niet open is, behandel dan zijn rand apart (Oefening 25.12) — de stelling over kritieke punten ziet alleen inwendige punten.

Stelling 25.13 (Kritieke punten)

Als $f$ ( $C^1$ op de open verzameling $U$ ) een lokaal extremum heeft in $(a,b) \in U$ , dan is $\nabla f(a,b) = (0,0)$ : het punt is kritiek.

Bewijs. De functies in één variabele $x \mapsto f(x, b)$ en $y \mapsto f(a, y)$ hebben inwendige lokale extrema in $a$ , resp. $b$ : Propositie 14.7 maakt beide partiële afgeleiden nul. ∎

Methode 25.14 (Test van tweede orde (Monge-notatie))

In een kritiek punt van een $C^2$ -functie stel je

r = \frac{\partial^2 f}{\partial x^2}, \qquad s = \frac{\partial^2 f}{\partial x \partial y}, \qquad t = \frac{\partial^2 f}{\partial y^2} \qquad (\text{waarden in het punt}).

Als $rt - s^2 > 0$ : lokaal extremum — minimum voor $r > 0$ , maximum voor $r < 0$ ;
als $rt - s^2 < 0$ : geen extremum (een zadel punt);
als $rt - s^2 = 0$ : de test zwijgt; onderzoek rechtstreeks.

(Rechtvaardiging — een Taylor–Young-ontwikkeling van orde $2$ en de tekenstudie van de kwadratische vorm $r h^2 + 2shk + tk^2$ — wordt uitgevoerd in het tweede jaar; de test wordt hier als werkinstrument gebruikt.)

Voorbeeld 25.15

$f(x,y) = x^3 + y^3 - 3xy$ . Kritieke punten: $\nabla f = (3x^2 - 3y,\; 3y^2 - 3x) = 0$ geeft $y = x^2$ en $x = y^2$ , dus $x = x^4$ : $x \in \{0, 1\}$ : punten $(0,0)$ en $(1,1)$ .

Tweede afgeleiden: $r = 6x$ , $s = -3$ , $t = 6y$ . In $(0,0)$ : $rt - s^2 = -9 < 0$ : zadel. In $(1,1)$ : $rt - s^2 = 36 - 9 > 0$ , $r = 6 > 0$ : lokaal minimum, $f(1,1) = -1$ . (Niet globaal: $f(x, 0) = x^3 \to -\infty$ .)

Voorbeeld 25.16 (Een studie in vier punten, volledig)

$f(x, y) = xy\,(3 - x - y) = 3xy - x^2y - xy^2$ . Gradiënt:

\frac{\partial f}{\partial x} = y\,(3 - 2x - y), \qquad \frac{\partial f}{\partial y} = x\,(3 - x - 2y).

Kritieke punten: als $y = 0$ , geeft de tweede vergelijking $x \in \{0, 3\}$ ; als $x = 0$ , geeft de eerste $y \in \{0, 3\}$ ; als $xy \neq 0$ , los $2x + y = 3$ , $x + 2y = 3$ op: $x = y = 1$ . Vier punten: $(0,0)$ , $(3,0)$ , $(0,3)$ , $(1,1)$ . Tweede afgeleiden: $r = -2y$ , $s = 3 - 2x - 2y$ , $t = -2x$ .

$(1,1)$ : $r = -2$ , $s = -1$ , $t = -2$ : $rt - s^2 = 3 > 0$ , $r < 0$ : lokaal maximum, $f(1,1) = 1$ .
$(0,0)$ : $r = t = 0$ , $s = 3$ : $rt - s^2 = -9 < 0$ : zadel; evenzo $(3, 0)$ ( $s = -3$ ) en $(0, 3)$ : drie zadels.

Het maximum is slechts lokaal: $f(-T, -T) = T^2(3 + 2T) \to +\infty$ . Symmetriecontrole: $f(x, y) = f(y, x)$ , en inderdaad zijn de kritieke verzameling en de classificatie symmetrisch in $x \leftrightarrow y$ . Interpretatie: onder de rechthoeken-met-speling $x, y \geq 0$ , $x + y \leq 3$ , is het product $xy(3 - x - y)$ van de drie “delen” van $3$ het grootst wanneer de delen gelijk zijn — een tweevariabele-schaduw van het RM–MK-principe.

De twee krommen f = 0 voor f = x3 + y3 - 3xy snijden elkaar in de kritieke punten (0,0) (zadel) en (1,1) (lokaal minimum). — De twee krommen $\nabla f = 0$ voor $f = x^3 + y^3 - 3xy$ snijden elkaar in de kritieke punten $(0,0)$ (zadel) en $(1,1)$ (lokaal minimum).

Opmerking 25.17 (Veelvoorkomende valkuilen)

Partiële afgeleiden kunnen bestaan in een punt van discontinuïteit: de radiale val $g(x,y) = \frac{xy}{x^2+y^2}$ van Voorbeeld 25.3 heeft $\frac{\partial g}{\partial x}(0,0) = \frac{\partial g}{\partial y}(0,0) = 0$ (beide as- beperkingen zijn identiek nul), en toch heeft $g$ geen limiet in de oorsprong — partiële afgeleiden peilen slechts twee richtingen, continuïteit heeft ze alle nodig; alleen de $C^1$ -hypothese herstelt de orde (Stelling 25.5). Limieten langs rechten volstaan nooit: de functie van Oefening 25.3 heeft limiet $0$ langs elke rechte en toch geen limiet — probeer altijd parabolen (of poolgrenzen uniform geldig in $\theta$ ). Kritiek is nodig, niet voldoende: zadels zijn er in overvloed (drie van de vier punten in Voorbeeld 25.16); en de stelling geldt alleen op open verzamelingen — op een gesloten schijf kunnen de extrema op de rand liggen met een gradiënt die niet nul is (Oefening 25.12). Het stille geval $rt - s^2 = 0$ is echt stil: $x^4 + y^4$ (minimum) en $x^3 + y^3$ (geen van beide) hebben allebei $r = s = t = 0$ in de oorsprong; alleen een rechtstreekse tekenstudie beslist (Oefening 25.6, functie $h$ ). De gradiënt staat orthogonaal op de niveaukrommen, niet er langs: om een hoogtelijn te volgen, beweeg loodrecht op $\nabla f$ ; om het snelst te klimmen, beweeg er langs — de twee door elkaar halen keert de geometrie van elke hoogtekaart om.

Opmerking 25.18 (Waarheen twee variabelen leiden)

Dit hoofdstuk is een deur. De gradiënt en de kettingregel breiden zich letterlijk uit naar $n$ variabelen in het volume van Jaar 2, waar de $o(\norm{(h,k)})$ van Stelling 25.5 de differentiaal wordt en de Monge-test volledig bewezen wordt via de Taylor-formule van orde twee en kwadratische vormen. Het speciale geval dat dit jaar afgehandeld kan worden — kwadratische functies, waarvoor de ontwikkeling van tweede orde exact is — is het onderwerp van het weekendprobleem, en het blijkt het geval te zijn dat het gegevensfitten van de hele wereld aandrijft: kleinste-kwadraten-regressie. Extrema onder voorwaarden (Oefening 25.5 was een voorproefje) worden Lagrange-multiplicatoren in Jaar 2; harmonische functies (Oefening 25.7) keren terug in de complexe analyse van het volume van Jaar 3.

Opmerking 25.19 (Perspectieven binnen Boek 3: het jaar, afgesloten)

Dit hoofdstuk is waar de twee helften van het volume elkaar de hand schudden. De analysehelft leverde haar werktuigen één afgeleide per keer: de middelwaardestelling drijft Stelling 25.5 aan, Taylor- ontwikkelingen drijven de extremumtests aan, en de $\varepsilon$ ’s van Hoofdstuk 12 kwamen terug met ballen in plaats van intervallen. De algebrahelft leverde de geometrie: de gradiënt wordt gelezen via het inwendig product van Hoofdstuk 23 (Cauchy–Schwarz maakt hem tot de steilste richting), de Monge- gegevens $(r, s, t)$ zijn een symmetrische matrix van Hoofdstuk 21 met de determinanttest van Hoofdstuk 22, en het weekendprobleem voert orthogonale projectie op gegevensvectoren uit. Zelfs de krommen van Hoofdstuk 24 keren terug als niveauverzamelingen. Een lezer die kan reconstrueren waarom elk van deze vijf overdrachten werkt, heeft in feite het hele jaar herhaald — wat het echte doel is van dit slothoofdstuk.

Kleinste kwadraten in één beeld: vier gegevenspunten, de regressierechte y = 1.4x - 0.1, en de verticale residu’s (streepjes) waarvan de rechte de kwadraten minimaliseert — totaal 0.2, het kleinste haalbare. Het weekendprobleem berekent deze rechte, bewijst dat ze de unieke minimaliseerder is, en identificeert de hele constructie met een orthogonale projectie in ℝ4. — Kleinste kwadraten in één beeld: vier gegevenspunten, de regressierechte $y = 1.4x - 0.1$ , en de verticale residu’s (streepjes) waarvan de rechte de kwadraten minimaliseert — totaal $0.2$ , het kleinste haalbare. Het weekendprobleem berekent deze rechte, bewijst dat ze de unieke minimaliseerder is, en identificeert de hele constructie met een orthogonale projectie in $\R^4$ .

25.4 Oefeningen

Oefening 25.1 ★

Bereken de partiële afgeleiden: $f(x,y) = x^2 y + \eu^{xy}$ ; $\;g(x,y) = \ln(x^2 + y^2)$ (op $\R^2\setminus\{0\}$ ); $\;h(x,y) = \arctan\frac yx$ (op $x > 0$ ).

Oplossing

Oplossing van Oefening 25.1.

$\dfrac{\partial f}{\partial x} = 2xy + y\,\eu^{xy}$ , $\dfrac{\partial f}{\partial y} = x^2 + x\,\eu^{xy}$ .

$\dfrac{\partial g}{\partial x} = \dfrac{2x}{x^2+y^2}$ , $\dfrac{\partial g}{\partial y} = \dfrac{2y}{x^2+y^2}$ .

$\dfrac{\partial h}{\partial x} = \dfrac{-y/x^2}{1 + y^2/x^2} = \dfrac{-y}{x^2+y^2}$ , $\dfrac{\partial h}{\partial y} = \dfrac{x}{x^2+y^2}$ .

Oefening 25.2 ★

Bestudeer de continuïteit in $(0,0)$ (met waarde $0$ daar) van:

f(x,y) = \frac{x^2 y}{x^2 + y^2}, \qquad g(x,y) = \frac{xy}{x^2 + y^2}, \qquad h(x,y) = \frac{x^3 + y^3}{x^2 + y^2}.

(Poolcoördinaten $x = \rho\cos\theta$ , $y = \rho\sin\theta$ helpen: begrens waar mogelijk door een functie van $\rho$ alleen.)

Oplossing

Oplossing van Oefening 25.2.

In poolcoördinaten ( $\rho \to 0$ ):

$\abs{f} = \dfrac{\rho^3\abs{\cos^2\theta\sin\theta}}{\rho^2} \leq \rho \to 0$ : continu.

$g = \cos\theta\sin\theta$ : onafhankelijk van $\rho$ , en neemt verschillende waarden aan langs verschillende stralen (vgl. Voorbeeld 25.3): geen limiet, niet continu.

$\abs h \leq \dfrac{\rho^3(\abs{\cos^3\theta} + \abs{\sin^3\theta})}{\rho^2} \leq 2\rho \to 0$ : continu.

Oefening 25.3 ★★

Zij $f(x,y) = \dfrac{x^2 y}{x^4 + y^2}$ ( $f(0,0) = 0$ ). Bewijs dat $f$ limiet $0$ heeft in de oorsprong langs elke rechte lijn, maar dat $f\bigl(x, x^2\bigr) = \frac12$ : $f$ is niet continu in $(0,0)$ .

Oplossing

Oplossing van Oefening 25.3.

Langs $y = mx$ : $f(x, mx) = \dfrac{m x^3}{x^4 + m^2 x^2} = \dfrac{mx}{x^2 + m^2} \to 0$ (voor $m \neq 0$ ; langs $y = 0$ en de $y$ -as is $f = 0$ ). Dus elke limiet langs een rechte lijn is $0$ . Maar op de parabool $y = x^2$ :

f(x, x^2) = \frac{x^4}{x^4 + x^4} = \frac12 :

de rij $\bigl(\frac1n, \frac{1}{n^2}\bigr) \to (0,0)$ heeft $f \to \frac12 \neq 0$ . Niet continu: rechten volstaan niet om tweevariabele-limieten te testen.

Oefening 25.4 ★

Verifieer de stelling van Schwarz met de hand op $f(x, y) = x^3 y^2 + \sin(xy)$ .

Oplossing

Oplossing van Oefening 25.4.

$\frac{\partial f}{\partial x} = 3x^2y^2 + y\cos(xy)$ ; dan

\frac{\partial^2 f}{\partial y\,\partial x} = 6x^2 y + \cos(xy) - xy\sin(xy) .

$\frac{\partial f}{\partial y} = 2x^3 y + x\cos(xy)$ ; dan

\frac{\partial^2 f}{\partial x\,\partial y} = 6x^2 y + \cos(xy) - xy\sin(xy) :

gelijk, zoals Schwarz belooft.

Oefening 25.5 ★★

Zij $f$ van klasse $C^1$ op $\R^2$ en $g(t) = f(\cos t, \sin t)$ . Druk $g'(t)$ uit via de kettingregel. Leid af dat $f$ beperkt tot de eenheidscirkel extrema bereikt in punten waar $\nabla f$ evenwijdig is met de straalvector.

Oplossing

Oplossing van Oefening 25.5.

Volgens Stelling 25.7 met $(x, y) = (\cos t, \sin t)$ :

g'(t) = -\sin t\,\frac{\partial f}{\partial x}(\cos t, \sin t) + \cos t\,\frac{\partial f}{\partial y}(\cos t, \sin t) = \bigl\langle \nabla f,\ (-\sin t, \cos t)\bigr\rangle .

In een extremum van $g$ is $g'(t) = 0$ : $\nabla f$ staat orthogonaal op de raakvector $(-\sin t, \cos t)$ van de cirkel, dus evenwijdig met de straalvector $(\cos t, \sin t)$ (het orthogonale complement in het vlak van een eenheidsvector is de rechte die hij opspant, loodrecht genomen). Dit is het eenvoudigste geval van een Lagrange- multiplicator.

Oefening 25.6 ★★

Zoek en classificeer de kritieke punten van:

f(x, y) = x^2 + xy + y^2 - 3x, \qquad g(x, y) = x^2 - y^2 + 4y, \qquad h(x, y) = x^4 + y^4 - 2(x - y)^2 .

(Voor $h$ zwijgt de determinanttest in de oorsprong: onderzoek $h(x, x)$ en $h(x, -x)$ .)

Oplossing

Oplossing van Oefening 25.6.

$f$ : $\nabla f = (2x + y - 3,\; x + 2y) = 0$ : $y = -\frac x2$ en $2x - \frac x2 = 3$ : $x = 2$ , $y = -1$ . Tweede orde: $r = 2$ , $s = 1$ , $t = 2$ : $rt - s^2 = 3 > 0$ , $r > 0$ : lokaal (zelfs globaal — kwadratisch) minimum in $(2, -1)$ , waarde $f(2,-1) = -3$ .

$g$ : $\nabla g = (2x,\; -2y + 4) = 0$ : punt $(0, 2)$ ; $r = 2$ , $s = 0$ , $t = -2$ : $rt - s^2 = -4 < 0$ : zadel.

$h$ : $\nabla h = \bigl(4x^3 - 4(x - y),\; 4y^3 + 4(x-y)\bigr) = 0$ . Optellen: $x^3 + y^3 = 0$ , dus $y = -x$ ; substitueren: $4x^3 - 8x = 0$ : $x \in \{0, \pm\sqrt2\}$ . Kritieke punten: $(0,0)$ , $(\sqrt2, -\sqrt2)$ , $(-\sqrt2, \sqrt2)$ . In $(\pm\sqrt2, \mp\sqrt2)$ : $r = 12x^2 - 4 = 20$ , $s = 4$ , $t = 20$ : $rt - s^2 > 0$ , $r > 0$ : lokale minima (waarde $h = 4 + 4 - 16 = -8$ ). In $(0,0)$ : $r = t = -4$ , $s = 4$ : $rt - s^2 = 0$ : stil. Onderzoek: $h(x, x) = 2x^4 > 0$ en $h(x, -x) = 2x^4 - 8x^2 < 0$ voor kleine $x \neq 0$ : beide tekens in elke omgeving — geen extremum in de oorsprong.

Oefening 25.7 ★★

Een functie $f$ is harmonisch wanneer $\frac{\partial^2 f}{\partial x^2} + \frac{\partial^2 f}{\partial y^2} = 0$ . Ga na dat $x^2 - y^2$ , $xy$ , $\eu^x\cos y$ en $\ln(x^2 + y^2)$ (buiten de oorsprong) harmonisch zijn.

Oplossing

Oplossing van Oefening 25.7.

$x^2 - y^2$ : tweede partiële afgeleiden $2$ en $-2$ : som $0$ . $xy$ : beide zuivere tweede partiële afgeleiden verdwijnen. $\eu^x\cos y$ : $\frac{\partial^2}{\partial x^2} = \eu^x\cos y$ , $\frac{\partial^2}{\partial y^2} = -\eu^x\cos y$ : som $0$ . $\ln(x^2+y^2)$ : uit Oefening 25.1,

\frac{\partial^2}{\partial x^2}\ln(x^2+y^2) = \frac{2(x^2+y^2) - 4x^2}{(x^2+y^2)^2} = \frac{2(y^2 - x^2)}{(x^2+y^2)^2},

en de $y$ -versie is haar tegengestelde: som $0$ .

Oefening 25.8 ★★★

Zoek het punt van het vlak $\{x + 2y - z = 4\} \subseteq \R^3$ dat het dichtst bij de oorsprong ligt, op twee manieren: via orthogonale projectie (Hoofdstuk 23), en door het minimaliseren van de tweevariabele-functie $f(x, y) = x^2 + y^2 + (x + 2y - 4)^2$ verkregen door $z$ te elimineren.

Oplossing

Oplossing van Oefening 25.8.

Projectie: het vlak $P$ heeft normaal $n = (1, 2, -1)$ en gaat door $A = (4, 0, 0)$ . Het dichtste punt bij de oorsprong is $O$ geprojecteerd: $p = O + \frac{\langle A - O, n\rangle}{\norm n^2}\,n = \frac{4}{6}(1,2,-1) = \bigl(\frac23, \frac43, -\frac23\bigr)$ , op afstand $\frac{4}{\sqrt 6}$ . (Formule: afstand van de oorsprong tot het vlak $\langle X, n \rangle = c$ is $\frac{\abs c}{\norm n}$ met $c = 4$ .)

Minimalisering: $f(x,y) = x^2 + y^2 + (x + 2y - 4)^2$ . Schrijven we $w = x + 2y - 4$ voor de laatste factor:

\nabla f = \bigl(2x + 2w,\; 2y + 4w\bigr) = 0 \iff x = -w \text{ en } y = -2w .

Substitueren in de definitie van $w$ : $w = -w - 4w - 4$ , dus $w = -\frac23$ , wat geeft $x = \frac23$ , $y = \frac43$ , en $z = w = -\frac23$ . Zelfde punt als via projectie, op afstand $\sqrt{\frac49 + \frac{16}{9} + \frac49} = \frac{2\sqrt 6}{3} = \frac{4}{\sqrt6}$ ; het is een minimum aangezien $f \to \infty$ in het oneindige (een positief definiete kwadratische vorm plus lineaire termen).

Oefening 25.9 ★★★

(Laplaciaan in poolcoördinaten, eerste contact) Zij $f$ van klasse $C^2$ op $\R^2 \setminus \{0\}$ en radiaal: $f(x, y) = \varphi\bigl(\sqrt{x^2+y^2}\bigr)$ met $\varphi$ van klasse $C^2$ op $\intoo{0}{+\infty}$ . Bewijs dat

\frac{\partial^2 f}{\partial x^2} + \frac{\partial^2 f}{\partial y^2} = \varphi''(\rho) + \frac{\varphi'(\rho)}{\rho}, \qquad \rho = \sqrt{x^2 + y^2},

en zoek alle radiale harmonische functies op het geperforeerde vlak.

Oplossing

Oplossing van Oefening 25.9.

Met $\rho = \sqrt{x^2+y^2}$ : $\frac{\partial \rho}{\partial x} = \frac{x}{\rho}$ , dus

\frac{\partial f}{\partial x} = \varphi'(\rho)\,\frac{x}{\rho}, \qquad \frac{\partial^2 f}{\partial x^2} = \varphi''(\rho)\,\frac{x^2}{\rho^2} + \varphi'(\rho)\,\Bigl(\frac{1}{\rho} - \frac{x^2}{\rho^3}\Bigr),

(quotiënt- en kettingregel). Bij het optellen van de symmetrische $y$ -uitdrukking: verzamelen de $\varphi''$ -termen $\frac{x^2 + y^2}{\rho^2} = 1$ , de $\varphi'$ -termen verzamelen $\frac{2}{\rho} - \frac{x^2 + y^2}{\rho^3} = \frac{1}{\rho}$ :

\Delta f = \varphi'' + \frac{\varphi'}{\rho} .

Radiaal harmonisch: los $\varphi'' + \frac{\varphi'}{\rho} = 0$ op: de vergelijking van eerste orde $u' + \frac u\rho = 0$ voor $u = \varphi'$ geeft $u = \frac{c}{\rho}$ (Stelling 5.2), dan $\varphi = c\ln\rho + d$ . De radiale harmonische functies zijn $c\,\ln\sqrt{x^2 + y^2} + d$ — de logaritmische potentiaal van Oefening 25.7 en de constanten, niets anders.

Oefening 25.10 ★★

Geef de vergelijking van het raakvlak aan de grafiek $z = xy$ in het punt $(1, 1, 1)$ . Zoek dan alle punten van de grafiek van $f(x,y) = x^3 + y^3 - 3xy$ waar het raakvlak horizontaal is, en breng het antwoord in verband met Voorbeeld 25.15.

Oplossing

Oplossing van Oefening 25.10.

Voor $z = xy$ in $(1,1)$ : partiële afgeleiden $y = 1$ en $x = 1$ , raak vlak $z = 1 + (x - 1) + (y - 1) = x + y - 1$ . Horizontaal raakvlak betekent dat beide partiële afgeleiden verdwijnen, d.w.z. $\nabla f = 0$ : volgens Voorbeeld 25.15 precies de kritieke punten $(0, 0)$ en $(1, 1)$ , met horizontale vlakken $z = 0$ en $z = -1$ . “Horizontaal raakvlak” en “kritiek punt” zijn hetzelfde begrip, gezien op de grafiek en in de formule.

Oefening 25.11 ★★

Zij $f$ van klasse $C^1$ op $\R^2$ .

Als $\frac{\partial f}{\partial x} = 0$ overal, bewijs dan dat $f(x, y)$ alleen van $y$ afhangt.
Zoek alle $C^1$ -oplossingen van de vergelijking $\frac{\partial f}{\partial x} = \frac{\partial f}{\partial y}$ op $\R^2$ . (Stel $g(u, v) = f\bigl(\frac{u+v}2, \frac{u-v}2\bigr)$ en bereken $\frac{\partial g}{\partial v}$ via de kettingregel.)

Oplossing

Oplossing van Oefening 25.11.

Voor vaste $y$ heeft de functie in één variabele $x \mapsto f(x,y)$ een afgeleide nul op $\R$ , dus is ze constant (Stelling 14.9): $f(x, y) = f(0, y)$ voor alle $x$ : $f$ hangt alleen van $y$ af.
Zij $g(u, v) = f\bigl(\frac{u+v}2, \frac{u-v}2\bigr)$ . Via de kettingregel (Stelling 25.7, toegepast in de variabele $v$ met $u$ bevroren):

$\frac{\partial g}{\partial v} = \frac12\,\frac{\partial f}{\partial x} - \frac12\,\frac{\partial f}{\partial y} = 0 .$

Via (1) hangt $g$ alleen van $u$ af: $g(u, v) = \varphi(u)$ met $\varphi$ van klasse $C^1$ , en door de verandering van veranderlijken om te keren ( $u = x + y$ , $v = x - y$ ),

$f(x, y) = \varphi(x + y).$

Omgekeerd voldoet elke zulke $f$ aan $f_x = f_y = \varphi'$ : de oplossingen zijn precies de $C^1$ -functies van $x + y$ .

Oefening 25.12 ★★★

Zoek het globale maximum en minimum van $f(x, y) = xy$ op de gesloten schijf $x^2 + y^2 \leq 1$ . (Neem de tweevariabele- extremumwaardenstelling aan: een continue functie op de gesloten schijf bereikt haar grenzen — bewezen in het volume van Jaar 2. Behandel de open schijf via kritieke punten en de randcirkel via de parametrisering van Oefening 25.5.)

Oplossing

Oplossing van Oefening 25.12.

Op de open schijf zou een extremum kritiek zijn: $\nabla f = (y, x) = 0$ alleen in $(0,0)$ , waar $f = 0$ ; het is een zadel ( $f(\pm \varepsilon, \pm\varepsilon) = \varepsilon^2 > 0 > -\varepsilon^2 = f(\pm\varepsilon, \mp\varepsilon)$ ), dus daar geen extremum. Volgens de aangenomen extremumwaardenstelling worden de grenzen bereikt, noodzakelijkerwijs op de randcirkel. Daar, met Oefening 25.5,

f(\cos t, \sin t) = \cos t\sin t = \frac{\sin 2t}{2} \in \intcc{-\tfrac12}{\tfrac12},

met maximum $\frac12$ in $t = \frac\pi4, \frac{5\pi}4$ (punten $\pm\frac{1}{\sqrt2}(1,1)$ ) en minimum $-\frac12$ in $t = \frac{3\pi}4, \frac{7\pi}4$ (punten $\pm\frac{1}{\sqrt2}(1,-1)$ ). Globaal maximum $\frac12$ , globaal minimum $-\frac12$ .

25.5 Probleem: kleinste kwadraten en de regressierechte

Probleem 25.1

Gegeven $n$ gegevenspunten, welke rechte passeert het “dichtst” bij al deze punten? Legendre en Gauss antwoordden: de rechte die de som van de gekwadrateerde verticale fouten minimaliseert — omdat die minimalisering exact oplosbaar is met lineaire algebra. Dit probleem bewijst eerst de Monge-test van Methode 25.14 eerlijk voor kwadratische functies (het ene geval waar de tweede-orde-ontwikkeling exact is), en bouwt dan de normaal vergelijkingen, de regressierechte en de correlatiecoëfficiënt bovenop de euclidische geometrie van Hoofdstuk 23.

Deel I — Kwadratische functies: de Monge-test, bewezen. Fixeer reële getallen $r, s, t$ en zij $q(h, k) = r h^2 + 2s hk + t k^2$ .

Onderstel $r \neq 0$ . Leid de kwadraatafsplitsingsvorm af

$q(h, k) = r\Bigl(h + \frac{s}{r}k\Bigr)^{\!2} + \frac{rt - s^2}{r}\,k^2 ,$

en leid af: als $rt - s^2 > 0$ , heeft $q$ het strikte teken van $r$ buiten de oorsprong; als $rt - s^2 < 0$ , neemt $q$ beide tekens aan.
Behandel de resterende gevallen: $r = 0$ , $t \neq 0$ (symmetrisch); en $r = t = 0$ ( $q = 2shk$ ). Besluit: $q$ neemt beide tekens aan desda $rt - s^2 < 0$ , en $q$ verdwijnt alleen in de oorsprong desda $rt - s^2 > 0$ .
Zij nu $f(x, y) = \frac12\bigl(r x^2 + 2s xy + t y^2\bigr) + \beta x + \gamma y + \delta$ een kwadratische functie met een kritiek punt $X_0 = (a, b)$ . Bewijs de exacte ontwikkeling

$f(X_0 + (h,k)) = f(X_0) + \tfrac12\,q(h, k) \qquad (\text{geen restterm}),$

en leid de Monge-classificatie voor kwadratische functies af: strikt globaal minimum als $rt - s^2 > 0$ , $r > 0$ ; strikt globaal maximum als $rt - s^2 > 0$ , $r < 0$ ; zadel als $rt - s^2 < 0$ .
Onderstel $rt - s^2 > 0$ en $r > 0$ (dus ook $t > 0$ ). Bewijs de expliciete coërciviteitsgrens

$q(h, k) \geq c\,(h^2 + k^2), \qquad c = \frac{rt - s^2}{r + t} > 0 .$

(Toon aan dat de kwadratische vorm $q - c(h^2 + k^2)$ , met coëfficiënten $r - c$ , $s$ , $t - c$ , nog steeds niet-negatieve discriminanttestgegevens heeft.)
Leid af dat een kwadratische functie met positief definiet kwadratisch deel naar $+\infty$ neigt als $\norm{(x,y)} \to \infty$ , en dus een unieke globale minimaliseerder heeft: haar kritieke punt. Contrasteer met Voorbeeld 25.15, waar een lokaal minimum van een niet-kwadratische functie niet globaal was.

Deel II — De normaalvergelijkingen. Zij $C_1, C_2, b \in \R^n$ (canoniek inwendig product), en

f(u, v) = \norm{u\,C_1 + v\,C_2 - b}^2 .

Werk $f$ uit en toon aan dat het een kwadratische functie is van $(u, v)$ met kwadratisch-deel-coëfficiënten $r = 2\norm{C_1}^2$ , $s = 2\langle C_1, C_2\rangle$ , $t = 2\norm{C_2}^2$ .
Toon aan dat $rt - s^2 > 0$ desda $(C_1, C_2)$ vrij is (het gelijkheidsgeval van Cauchy–Schwarz, Stelling 23.4); onderstel dit voortaan.
Toon aan dat de kritieke vergelijkingen $\nabla f = 0$ de normaalvergelijkingen zijn

$\begin{pmatrix} \norm{C_1}^2 & \langle C_1, C_2\rangle\\ \langle C_1, C_2\rangle & \norm{C_2}^2 \end{pmatrix} \begin{pmatrix} u\\ v\end{pmatrix} = \begin{pmatrix} \langle C_1, b\rangle\\ \langle C_2, b\rangle\end{pmatrix}$

— de Gram-matrix van Oefening 23.11 links — en dat ze precies zeggen: $b - (uC_1 + vC_2) \perp C_1, C_2$ . Besluit met Deel I en Stelling 23.10: de unieke minimaliseerder geeft $p = uC_1 + vC_2 =$ de orthogonale projectie van $b$ op $\operatorname{Vect}(C_1, C_2)$ .
Toon aan dat de minimale waarde $\norm{b}^2 - \langle p, b\rangle = \norm{b - p}^2$ is, en teken het Pythagoras beeld.

Deel III — De regressierechte. Gegevenspunten $(x_1, y_1), \dots, (x_n, y_n)$ , niet alle $x_i$ gelijk. Minimaliseer

E(\alpha, \beta) = \sum_{i=1}^{n}\bigl(y_i - \alpha - \beta x_i\bigr)^2 .

Schrijf $\bar x = \frac1n\sum x_i$ , $\bar y = \frac1n\sum y_i$ , $v_x = \frac1n\sum x_i^2 - \bar x^2$ , $v_y = \frac1n\sum y_i^2 - \bar y^2$ , $c_{xy} = \frac1n\sum x_i y_i - \bar x\bar y$ .

Herken Deel II met $C_1 = (1, \dots, 1)$ , $C_2 = (x_1, \dots, x_n)$ , $b = (y_1, \dots, y_n)$ , en schrijf de normaalvergelijkingen

$n\alpha + \Bigl(\sum x_i\Bigr)\beta = \sum y_i, \qquad \Bigl(\sum x_i\Bigr)\alpha + \Bigl(\sum x_i^2\Bigr)\beta = \sum x_i y_i .$
Los ze op:

$\beta = \frac{c_{xy}}{v_x}, \qquad \alpha = \bar y - \beta\,\bar x ,$

en merk op dat de regressierechte $y = \alpha + \beta x$ door het gemiddelde punt $(\bar x, \bar y)$ gaat.
Controleer dat $v_x > 0$ precies wanneer de $x_i$ niet alle gelijk zijn, en breng dit in overeenstemming met vraag 7.
Bewijs dat de minimale fout gelijk is aan

$E_{\min} = n\Bigl(v_y - \frac{c_{xy}^2}{v_x}\Bigr) = n\,v_y\,(1 - \rho^2), \qquad \rho = \frac{c_{xy}}{\sqrt{v_x v_y}} \quad (v_y \neq 0).$

Leid $\abs\rho \leq 1$ af, met $\abs\rho = 1$ desda de gegevens perfect uitgelijnd zijn.
Uitgewerkt voorbeeld: voor de gegevens $(0,0)$ , $(1,1)$ , $(2,3)$ , $(3,4)$ , bereken $\bar x, \bar y, v_x, c_{xy}$ , de regressierechte, de vier residu’s en $E_{\min}$ .
Bewijs dat de residu’s $\varepsilon_i = y_i - \alpha - \beta x_i$ van de optimale rechte voldoen aan $\sum_i \varepsilon_i = 0$ en $\sum_i x_i\varepsilon_i = 0$ , en interpreteer beide via orthogonaliteit.

Deel IV — Variaties en toepassingen.

(Beste constante) Toon aan dat de constante $\alpha$ die $\sum_i (y_i - \alpha)^2$ minimaliseert het gemiddelde $\bar y$ is, en dat de minimale waarde $n\,v_y$ is: de variantie meet het falen van de gegevens om constant te zijn.
(Rechte door de oorsprong) Toon aan dat de richtingscoëfficiënt die $\sum_i (y_i - \beta x_i)^2$ minimaliseert $\beta_0 = \frac{\sum x_iy_i}{\sum x_i^2}$ is, en geef een voorwaarde op de gegevens opdat $\beta_0$ samenvalt met de richtingscoëfficiënt $c_{xy}/v_x$ van vraag 11.
(Afstand tot een rechte, opnieuw) Voor een punt $M$ en de rechte $D$ door $P_0$ met richting de eenheidsvector $w$ , minimaliseer $g(\tau) = \norm{P_0 + \tau w - M}^2$ en leid af $d(M, D)^2 = \norm{M - P_0}^2 - \langle M - P_0, w\rangle^2$ ; herwin de formule $d = \frac{\abs{a x_0 + b y_0 + c}}{\sqrt{a^2 + b^2}}$ voor de rechte $ax + by + c = 0$ in het vlak.
(Variantieanalyse) Bewijs de decompositie $v_y = \beta^2 v_x + \frac{E_{\min}}n$ : de variantie van de $y_i$ splitst in het deel verklaard door de rechte plus de residuele variantie.
(Parabolische fit) Om $y = a + bx + cx^2$ te fitten, toon aan dat de normaalvergelijkingen het $3 \times 3$ -stelsel zijn met de momentmatrix

$\begin{pmatrix} n & \sum x_i & \sum x_i^2\\ \sum x_i & \sum x_i^2 & \sum x_i^3\\ \sum x_i^2 & \sum x_i^3 & \sum x_i^4 \end{pmatrix},$

een Gram-matrix die inverteerbaar is zodra drie van de $x_i$ verschillend zijn (vrijheid van $(1, X, X^2)$ bemonsterd in de gegevens, Oefening 23.11; vergelijk de momentmatrices van het weekendprobleem van Hoofdstuk 22).

Deel V — Robuustheid, en synthese.

Classificeer de kritieke punten van de drie kwadratische functies

$x^2 + xy + y^2, \qquad x^2 + 3xy + y^2, \qquad x^2 + 2xy + y^2 ,$

via Deel I, en behandel het gedegenereerde derde geval met de hand (waar wordt het minimum bereikt?).
(Uitschieterexperiment) Voeg het punt $(10, 0)$ toe aan de gegevens van vraag 14 en herbereken de richtingscoëfficiënt $\beta$ . Wat gebeurde er, en waarom is de gekwadrateerde fout zo gevoelig voor één ver punt?
(Gewogen kleinste kwadraten) Gegeven gewichten $w_i > 0$ , minimaliseer $\sum_i w_i(y_i - \alpha - \beta x_i)^2$ : toon aan dat de oplossing gegeven wordt door dezelfde formules als vraag 11 met gewogen gemiddelden, variantie en covariantie (definieer ze).
Toon aan dat voor de optimale rechte $E_{\min} = 0$ dwingt dat alle punten er exact op liggen, en verbind met de gelijkheidsgeval $\abs\rho = 1$ van vraag 13; test op de uitgelijnde gegevens $(1,1), (2,3), (3,5)$ .
Synthese, in vier zinnen: waarom kwadratische functies de ene klasse zijn waar de tweede-orde-test van dit hoofdstuk geen aangenomen stelling nodig heeft; hoe de normaalvergelijkingen de analytische minimalisering identificeren met de orthogonale projectie van Hoofdstuk 23; wat de correlatie coëfficiënt meet en welke ongelijkheid hem begrenst; en welke stukken van Hoofdstukken 18–23 (bases, Gram- en momentmatrices, projecties) terug opdoken. Benoem de methode en de vergelijkingen bestudeerd in Delen II–III.

Oplossing

Oplossing van Probleem 25.1.

1. Het rechterlid uitwerken:

r\Bigl(h + \frac srk\Bigr)^{\!2} + \frac{rt - s^2}{r}k^2 = rh^2 + 2shk + \frac{s^2}{r}k^2 + \frac{rt - s^2}{r}k^2 = q(h,k) .

Als $rt - s^2 > 0$ : beide kwadraten dragen het factorteken van $r$ , en $q(h,k) = 0$ dwingt $k = 0$ dan $h = 0$ : strikt teken van $r$ buiten de oorsprong. Als $rt - s^2 < 0$ : $q(1, 0) = r$ terwijl $q\bigl(-\frac sr, 1\bigr) = \frac{rt - s^2}{r}$ het tegengestelde teken heeft: beide tekens komen voor.

2. Als $r = 0 \neq t$ , verwissel de rollen van $h$ en $k$ (het kwadraat afgesplitst in $k$ ), met dezelfde conclusies; merk op dat $rt - s^2 = -s^2 < 0$ zodra $s \neq 0$ , en inderdaad neemt $q = 2shk + tk^2$ dan beide tekens aan ( $k$ klein tegenover $h$ ). Als $r = t = 0$ : $q = 2shk$ , beide tekens desda $s \neq 0$ , d.w.z. desda $rt - s^2 = -s^2 < 0$ . Samenvatting: $q$ neemt beide tekens aan $\iff rt - s^2 < 0$ ; $q$ verdwijnt alleen in de oorsprong (definiet) $\iff rt - s^2 > 0$ (wat $r \neq 0$ dwingt, aangezien $r = 0$ geeft $q(1,0) = 0$ ).

3. Met $f_x = rx + sy + \beta$ en $f_y = sx + ty + \gamma$ geeft rechtstreekse uitwerking

f(a + h, b + k) = f(a, b) + h\,f_x(a,b) + k\,f_y(a,b) + \tfrac12 q(h, k),

zonder hogere termen (de functie is een veelterm van graad $2$ ). In een kritiek punt verdwijnt het lineaire deel: $f(X_0 + H) - f(X_0) = \frac12 q(H)$ exact, zodat de tekenstudie van vragen 1–2 classificeert: strikt globaal minimum ( $rt - s^2 > 0$ , $r > 0$ ), strikt globaal maximum ( $rt - s^2 > 0$ , $r < 0$ ), zadel — beide tekens in elke omgeving — wanneer $rt - s^2 < 0$ . Dit bewijst Methode 25.14 voor kwadratische functies.

4. De vorm $q - c(h^2 + k^2)$ heeft gegevens $r - c$ , $s$ , $t - c$ . Met $c = \frac{rt - s^2}{r + t}$ (merk op $t > 0$ aangezien $rt > s^2 \geq 0$ en $r > 0$ ):

(r - c)(t - c) - s^2 = rt - s^2 - c(r + t) + c^2 = c^2 \geq 0,

en $r - c \geq 0$ ( $c \leq r \iff rt - s^2 \leq r^2 + rt$ , waar). Als $r - c > 0$ , toont het afgesplitste kwadraat van vraag 1 dat $q - c(h^2 + k^2) \geq 0$ ; als $r - c = 0$ , dan $s = 0$ (uit $-s^2 = -c^2 \leq \dots$ die de weergegeven grootheid $\geq 0$ dwingt met eerste factor $0$ ) en de vorm is $(t - c)k^2 \geq 0$ . In beide gevallen is $q(h,k) \geq c(h^2 + k^2)$ .

5. Volgens vragen 3–4 is $f(X) = f(X_0) + \frac12 q(X - X_0) \geq f(X_0) + \frac c2\norm{X - X_0}^2 \to +\infty$ als $\norm X \to \infty$ : $f$ is coërcief, en de ongelijkheid is strikt voor $X \neq X_0$ : het kritieke punt is de unieke globale minimaliseerder. Voor de derdegraadsfunctie $f = x^3 + y^3 - 3xy$ van Voorbeeld 25.15 geldt zo’n conclusie niet: $f(x,0) = x^3 \to -\infty$ , en het lokale minimum in $(1,1)$ is niet globaal — het is de exactheid van de kwadratische ontwikkeling die faalde.

6. De gekwadrateerde norm uitwerken:

f(u,v) = u^2\norm{C_1}^2 + 2uv\,\langle C_1, C_2\rangle + v^2\norm{C_2}^2 - 2u\,\langle C_1, b\rangle - 2v\,\langle C_2, b\rangle + \norm b^2 ,

een kwadratische functie van $(u, v)$ waarvan het kwadratische deel $\frac12(ru^2 + 2suv + tv^2)$ is met $r = 2\norm{C_1}^2$ , $s = 2\langle C_1, C_2\rangle$ , $t = 2\norm{C_2}^2$ .

7. $rt - s^2 = 4\bigl(\norm{C_1}^2\norm{C_2}^2 - \langle C_1, C_2\rangle^2\bigr) \geq 0$ volgens Cauchy–Schwarz (Stelling 23.4), met gelijkheid precies wanneer $C_1, C_2$ evenredig zijn (of één ervan nul is), d.w.z. wanneer het paar gebonden is. Dus $rt - s^2 > 0 \iff (C_1, C_2)$ vrij.

8. $\nabla f = 0$ luidt

\norm{C_1}^2 u + \langle C_1, C_2\rangle v = \langle C_1, b\rangle, \qquad \langle C_1, C_2\rangle u + \norm{C_2}^2 v = \langle C_2, b\rangle,

de normaalvergelijkingen met de Gram-matrix links; ze zeggen $\langle uC_1 + vC_2 - b,\ C_i\rangle = 0$ voor $i = 1, 2$ , d.w.z. $b - p \perp \operatorname{Vect}(C_1, C_2)$ voor $p = uC_1 + vC_2$ . Volgens Deel I (vragen 3, 5) is het unieke kritieke punt de unieke globale minimaliseerder, en volgens Stelling 23.10 identificeert de karakterisering “ $p \in F$ , $b - p \perp F$ ” $p$ als de orthogonale projectie van $b$ op $F = \operatorname{Vect}(C_1, C_2)$ .

9. $\norm{b - p}^2 = \norm b^2 - 2\langle b, p\rangle + \norm p^2$ , en $\langle p, b - p\rangle = 0$ geeft $\norm p^2 = \langle p, b\rangle$ : het minimum is gelijk aan $\norm b^2 - \langle p, b\rangle$ . Pythagoras: $\norm b^2 = \norm p^2 + \norm{b - p}^2$ — de gegevensvector splitst in zijn verklaarde deel $p$ en zijn residuele deel $b - p$ , orthogonaal op elkaar.

10. $E(\alpha, \beta) = \norm{\alpha C_1 + \beta C_2 - b}^2$ met de gestelde $C_1, C_2, b$ ; de normaalvergelijkingen van vraag 8 zijn, per component,

n\alpha + \Bigl(\sum x_i\Bigr)\beta = \sum y_i, \qquad \Bigl(\sum x_i\Bigr)\alpha + \Bigl(\sum x_i^2\Bigr)\beta = \sum x_i y_i .

11. Delen door $n$ : $\alpha + \beta\bar x = \bar y$ en $\alpha\bar x + \beta\bigl(v_x + \bar x^2\bigr) = c_{xy} + \bar x\bar y$ . $\alpha = \bar y - \beta\bar x$ in de tweede substitueren: $\beta v_x = c_{xy}$ , dus

\beta = \frac{c_{xy}}{v_x}, \qquad \alpha = \bar y - \beta\bar x ,

en de eerste vergelijking zegt precies dat $(\bar x, \bar y)$ op de rechte ligt.

12. $v_x = \frac1n\sum(x_i - \bar x)^2 \geq 0$ , nul desda elke $x_i$ gelijk is aan $\bar x$ . En $rt - s^2 = 4\bigl(n\sum x_i^2 - (\sum x_i)^2\bigr) = 4n^2 v_x$ : de vrijheidsvoorwaarde van vraag 7 is $v_x > 0$ , d.w.z. de $x_i$ niet alle gelijk.

13. Met $\alpha = \bar y - \beta\bar x$ , centreer de gegevens ( $\tilde x_i = x_i - \bar x$ , $\tilde y_i = y_i - \bar y$ ):

E(\alpha, \beta) = \sum_i(\tilde y_i - \beta\tilde x_i)^2 = n\,v_y - 2\beta\,n\,c_{xy} + \beta^2 n\,v_x ,

geminimaliseerd in $\beta = c_{xy}/v_x$ met waarde $E_{\min} = n\bigl(v_y - \frac{c_{xy}^2}{v_x}\bigr) = n v_y(1 - \rho^2)$ . Aangezien $E_{\min} \geq 0$ en $v_y > 0$ : $\rho^2 \leq 1$ , en $\abs\rho = 1$ desda $E_{\min} = 0$ , d.w.z. desda elk residu verdwijnt: de punten liggen exact op de rechte.

14. $n = 4$ : $\bar x = \frac64 = 1.5$ , $\bar y = 2$ , $\sum x_i^2 = 14$ dus $v_x = 3.5 - 2.25 = 1.25$ , $\sum x_iy_i = 0 + 1 + 6 + 12 = 19$ dus $c_{xy} = 4.75 - 3 = 1.75$ . Bijgevolg

\beta = \frac{1.75}{1.25} = 1.4, \qquad \alpha = 2 - 1.4\times1.5 = -0.1 : \qquad y = 1.4\,x - 0.1 .

Gefitte waarden $-0.1,\ 1.3,\ 2.7,\ 4.1$ ; residu’s $0.1,\ -0.3,\ 0.3,\ -0.1$ ; $E_{\min} = 0.01 + 0.09 + 0.09 + 0.01 = 0.2$ (controle: $v_y = \frac{26}4 - 4 = 2.5$ en $4(2.5 - \frac{1.75^2}{1.25}) = 4(2.5 - 2.45) = 0.2$ ).

15. De twee normaalvergelijkingen van vraag 10 zijn precies $\sum_i\varepsilon_i = 0$ en $\sum_i x_i\varepsilon_i = 0$ : de residuvector staat orthogonaal op $C_1 = (1, \dots, 1)$ en op $C_2 = (x_i)$ — op de hele modelruimte. In het bijzonder brengt de optimale rechte haar fouten altijd in evenwicht: ze sommeren tot nul.

16. $\frac{\dd}{\dd\alpha}\sum(y_i - \alpha)^2 = -2\sum(y_i - \alpha) = 0$ geeft $\alpha = \bar y$ (en de tweede afgeleide $2n > 0$ maakt het tot het globale minimum, aangezien de functie een coërcieve kwadratische functie in één variabele is). Minimale waarde $\sum(y_i - \bar y)^2 = n v_y$ : de variantie is de onherleidbare kwadratische fout van een constant model.

17. $\frac{\dd}{\dd\beta}\sum(y_i - \beta x_i)^2 = -2\sum x_i(y_i - \beta x_i) = 0$ geeft $\beta_0 = \frac{\sum x_iy_i}{\sum x_i^2}$ . Beide richtingscoëfficiënten over gecentreerde grootheden schrijven: $\beta_0 = \frac{c_{xy} + \bar x\bar y}{v_x + \bar x^2}$ is gelijk aan $\frac{c_{xy}}{v_x}$ desda $c_{xy}\bar x^2 = \bar x\bar y\,v_x$ , d.w.z. desda $\bar x = 0$ (gecentreerde abscissen) of $\bar y = \beta\bar x$ — dit laatste betekent $\alpha = 0$ : de volledige regressierechte gaat al door de oorsprong.

18. $g(\tau) = \norm{M - P_0}^2 - 2\tau\langle M - P_0, w\rangle + \tau^2$ is minimaal in $\tau^* = \langle M - P_0, w\rangle$ , met waarde $d(M,D)^2 = \norm{M - P_0}^2 - \langle M - P_0, w\rangle^2$ . In het vlak, vul $w$ aan tot een orthonormale basis $(w, n)$ met $n = \frac{(a, b)}{\sqrt{a^2+b^2}}$ (eenheids normaal van $D$ ): dan $\norm{M - P_0}^2 = \langle M - P_0, w\rangle^2 + \langle M - P_0, n\rangle^2$ , dus $d(M, D) = \abs{\langle M - P_0, n\rangle}$ , en met $aP_{0x} + bP_{0y} = -c$ :

d = \frac{\abs{a x_0 + b y_0 + c}}{\sqrt{a^2 + b^2}} .

19. Uit $E_{\min}/n = v_y - \frac{c_{xy}^2}{v_x}$ en $\beta^2 v_x = \frac{c_{xy}^2}{v_x}$ :

v_y = \beta^2 v_x + \frac{E_{\min}}n :

totale variantie $=$ variantie langs de gefitte rechte $+$ residuele variantie. (Delen door $v_y$ : $1 = \rho^2 + (1 - \rho^2)$ , het aandeel van de variantie “verklaard” door de rechte is $\rho^2$ .)

20. De modelruimte is $\operatorname{Vect}\bigl(C_1, C_2, C_3\bigr)$ met $C_1 = (1)$ , $C_2 = (x_i)$ , $C_3 = (x_i^2)$ ; het minimaliseren van $\norm{aC_1 + bC_2 + cC_3 - b}^2$ leidt, precies als in vraag 8, tot het $3\times3$ - Gram-stelsel, waarvan de matrix elementen $\langle C_i, C_j\rangle = \sum_k x_k^{\,i+j-2}$ heeft: de weergegeven momentmatrix. Ze is inverteerbaar desda $(C_1, C_2, C_3)$ vrij is (Oefening 23.11); een relatie $a + bx_k + cx_k^2 = 0$ voor alle $k$ maakt elke $x_k$ een wortel van één veelterm van graad $\leq 2$ , onmogelijk met drie verschillende waarden tenzij $a = b = c = 0$ . Vergelijk de momentmatrices van het weekendprobleem van Hoofdstuk 22, waar hun determinanten gekwadrateerde Vandermonde-waarden waren.

21. Eerste: $r = 2, s = 1, t = 2$ , $rt - s^2 = 3 > 0$ , $r > 0$ : strikt globaal minimum in de oorsprong. Tweede: $r = 2, s = 3, t = 2$ , $rt - s^2 = -5 < 0$ : zadel. Derde: $r = s = t = 2$ , $rt - s^2 = 0$ : gedegenereerd — maar $x^2 + 2xy + y^2 = (x + y)^2 \geq 0$ verdwijnt op de hele rechte $y = -x$ : een (niet-strikt) globaal minimum bereikt langs een rechte, onzichtbaar voor de determinanttest.

22. Nieuwe sommen ( $n = 5$ ): $\bar x = 3.2$ , $\bar y = 1.6$ , $\sum x_iy_i = 19$ dus $c_{xy} = 3.8 - 5.12 = -1.32$ , $\sum x_i^2 = 114$ dus $v_x = 22.8 - 10.24 = 12.56$ . Nieuwe richtingscoëfficiënt:

\beta = \frac{-1.32}{12.56} \approx -0.105 :

één punt veranderde een duidelijk stijgende trend ( $\beta = 1.4$ ) in een licht dalende. De gekwadrateerde fout rekent een residu $\varepsilon^2$ aan, dus één ver punt — grote $\abs{x_{i} - \bar x}$ en groot residu — domineert zowel $c_{xy}$ als $v_x$ : kleinste kwadraten is efficiënt maar niet robuust.

23. Stel $W = \sum w_i$ en definieer $\bar x_w = \frac1W\sum w_ix_i$ , $\bar y_w$ evenzo, $v_x^w = \frac1W\sum w_ix_i^2 - \bar x_w^2$ , $c^w_{xy} = \frac1W\sum w_ix_iy_i - \bar x_w\bar y_w$ . De afbeelding $\langle u, v\rangle_w = \sum_i w_iu_iv_i$ is een inwendig product op $\R^n$ ( $w_i > 0$ geeft definietheid), dus Deel II geldt letterlijk en de normaalvergelijkingen delen door $W$ in

\alpha + \beta\bar x_w = \bar y_w, \qquad \alpha\bar x_w + \beta(v^w_x + \bar x_w^2) = c^w_{xy} + \bar x_w\bar y_w ,

waaruit $\beta = c^w_{xy}/v^w_x$ en $\alpha = \bar y_w - \beta\bar x_w$ : dezelfde formules, met elk gemiddelde gewogen.

24. $E_{\min} = \sum\varepsilon_i^2 = 0$ dwingt elk $\varepsilon_i = 0$ : alle punten exact op de rechte; volgens vraag 13 is dit het geval $\abs\rho = 1$ . Test: voor $(1,1), (2,3), (3,5)$ : $\bar x = 2$ , $\bar y = 3$ , $v_x = \frac{14}3 - 4 = \frac23$ , $c_{xy} = \frac{22}3 - 6 = \frac43$ : $\beta = 2$ , $\alpha = -1$ , en inderdaad $y_i = 2x_i - 1$ voor alle drie de punten; $v_y = \frac{35}3 - 9 = \frac83$ en $\rho^2 = \frac{(4/3)^2}{(2/3)(8/3)} = 1$ .

25. (i) Voor kwadratische functies is de ontwikkeling van orde twee een identiteit, zodat de tekenstudie van de kwadratische vorm — pure algebra, vragen 1–2 — kritieke punten classificeert zonder aangenomen Taylor-stelling. (ii) De normaalvergelijkingen zeggen “residu orthogonaal op de modelruimte”, zodat het analytische minimum de orthogonale projectie is van de gegevensvector: calculus en euclidische geometrie berekenen hetzelfde object. (iii) De correlatie $\rho = c_{xy}/\sqrt{v_xv_y}$ meet het aandeel $\rho^2$ van de variantie verklaard door de rechte, en Cauchy–Schwarz begrenst haar: $\abs\rho \leq 1$ , met gelijkheid alleen voor uitgelijnde gegevens. (iv) Bases en vrijheid (Hoofdstuk 18), Gram- en momentmatrices en hun determinanten (Hoofdstukken 22–23), en orthogonale projectie (Hoofdstuk 23) doken alle weer op als de werkende onderdelen van één algoritme. Delen II–III ontwikkelen de methode van de kleinste kwadraten (Legendre, Gauss) via haar normaalvergelijkingen.

25.1 Het vlak R2\R^2R2; continuïteit

25.2 Partiële afgeleiden

25.3 Lokale extrema

25.4 Oefeningen

25.5 Probleem: kleinste kwadraten en de regressierechte

25.1 Het vlak $\R^2$ ; continuïteit