Universitaire wiskunde — Bachelor jaar 1 · Bachelor Year 1

25Functies van twee veranderlijken

Het jaar eindigt met een eerste wandeling in hogere dimensie: functies $f(x, y)$ van twee reële veranderlijken. Alles veralgemeent — limieten, continuïteit, afgeleiden, extrema — maar elk begrip krijgt een draai: limieten kunnen tegelijk langs elke richting worden benaderd, afgeleiden splitsen zich in partiële, en de gradiënt wijst de weg bergop. De volledige theorie (differentialen, algemene $\R^n$ , deelvariëteiten) hoort bij het tweede jaar; hier zetten wij het vocabulaire en de eerste eerlijke stellingen neer.

25.1 Het vlak $\R^2$ ; continuïteit

Definitie 25.1

Op $\R^2$ gebruiken wij de euclidische norm $\norm{(x,y)} = \sqrt{x^2 + y^2}$ (Hoofdstuk 23). Open bollen, omgevingen en open deelverzamelingen van $\R^2$ worden precies zo gedefinieerd als in Hoofdstuk 12, met bollen in plaats van intervallen. Een functie $f \colon U \to \R$ ( $U \subseteq \R^2$ open) heet continu in $a \in U$ wanneer

\forall\varepsilon > 0,\ \exists\delta > 0, \quad \norm{X - a} \leq \delta \implies \abs{f(X) - f(a)} \leq \varepsilon,

met dezelfde karakterisering met rijen als in één veranderlijke. Sommen, producten, quotiënten en samenstellingen met continue functies van één veranderlijke bewaren de continuïteit; de coördinaatafbeeldingen zijn continu, en dus ook de veeltermen in $(x,y)$ .

Voorbeeld 25.2 (De poolgrens, de nette manier om een limiet te bewijzen)

Toon aan dat $f(x, y) = \dfrac{x^2y^2}{x^2 + y^2}$ (met $f(0,0) = 0$ ) continu is in de oorsprong. In poolcoördinaten $x = \rho\cos\theta$ , $y = \rho\sin\theta$ :

\abs{f} = \frac{\rho^4\cos^2\theta\sin^2\theta}{\rho^2} = \rho^2\,(\cos\theta\sin\theta)^2 \leq \frac{\rho^2}{4} \xrightarrow[\rho \to 0]{} 0 ,

een grens onafhankelijk van $\theta$ : wat de richting van de benadering ook is, de waarden worden naar $0$ geknepen. Die uniformiteit in $\theta$ is het hele punt — een grens als $\abs g = \abs{\cos\theta\sin\theta}$ (zonder $\rho$ ) bewijst niets, en die $g$ is inderdaad de discontinue radiale val van het volgende voorbeeld.

Voorbeeld 25.3 (De radiale val)

Zij $f(x, y) = \dfrac{xy}{x^2 + y^2}$ voor $(x,y) \neq (0,0)$ en $f(0, 0) = 0$ . Langs elke as is $f = 0 \to 0$ ; maar langs de diagonaal $y = x$ is $f(x, x) = \frac12 \not\to 0$ . Geen limiet in de oorsprong: langs elke rechte benaderen, en zelfs langs elke rechte dezelfde limiet vinden, is niet genoeg (hier verschillen de limieten langs de rechten al; ergere voorbeelden stemmen langs alle rechten overeen en falen toch langs een parabool, Oefening 25.3). Continuïteit in elke veranderlijke afzonderlijk impliceert geen continuïteit.

25.2 Partiële afgeleiden

Definitie 25.4

De partiële afgeleiden van $f$ in $(a, b)$ zijn de afgeleiden in één veranderlijke langs de assen:

\frac{\partial f}{\partial x}(a,b) = \lim_{h \to 0} \frac{f(a + h, b) - f(a,b)}{h}, \qquad \frac{\partial f}{\partial y}(a,b) = \lim_{k \to 0} \frac{f(a, b + k) - f(a,b)}{k}.

$f$ is van klasse $C^1$ op $U$ wanneer beide bestaan en continu zijn op $U$ . De gradiënt is $\nabla f(a,b) = \bigl(\frac{\partial f}{\partial x},\, \frac{\partial f}{\partial y}\bigr)(a,b)$ .

Stelling 25.5 ( $C^1$ impliceert een raakvlak)

Zij $f$ van klasse $C^1$ op $U$ en $(a,b) \in U$ . Dan geldt, als $(h, k) \to (0,0)$ :

f(a + h, b + k) = f(a, b) + h\,\frac{\partial f}{\partial x}(a,b) + k\,\frac{\partial f}{\partial y}(a,b) + o\bigl(\norm{(h,k)}\bigr) .

In het bijzonder is $f$ continu, en heeft de grafiek $z = f(x,y)$ in elk punt het raakvlak dat uit de formule wordt afgelezen.

Voorbeeld 25.6 (Lineaire benadering in actie)

Schat $f(1.02,\ 0.99)$ voor $f(x, y) = x^3y^2$ . In $(1, 1)$ : $f = 1$ , $\frac{\partial f}{\partial x} = 3x^2y^2 = 3$ , $\frac{\partial f}{\partial y} = 2x^3y = 2$ , dus geeft Stelling 25.5

f(1.02,\ 0.99) \approx 1 + 3\,(0.02) + 2\,(-0.01) = 1.04 ,

tegenover de werkelijke waarde $1.02^3 \times 0.99^2 = 1.04006\dots$ — de fout is van tweede orde in de aangroeiingen, zoals de $o(\norm{(h,k)})$ belooft. Het raakvlak aan de grafiek in $(1, 1, 1)$ is $z = 1 + 3(x - 1) + 2(y - 1)$ , de vergelijking die in de schatting besloten ligt.

Bewijs. Verplaats één coördinaat tegelijk:

f(a+h, b+k) - f(a,b) = \bigl[f(a+h, b+k) - f(a, b+k)\bigr] + \bigl[f(a, b+k) - f(a,b)\bigr].

Volgens de middelwaardestelling in één veranderlijke (Stelling 14.9) is de eerste haak gelijk aan $h\, \frac{\partial f}{\partial x}(a + \theta h,\, b + k)$ voor zekere $\theta \in \intoo{0}{1}$ , en de tweede aan $k\,\frac{\partial f}{\partial y}(a,\, b + \theta' k)$ . De continuïteit van de partiële afgeleiden in $(a,b)$ laat toe elk te schrijven als (de waarde in $(a,b)$ ) $+$ (een fout $\to 0$ ); de totale fout is $h\,\varepsilon_1 + k\,\varepsilon_2 = o(\norm{(h,k)})$ , omdat $\abs h, \abs k \leq \norm{(h,k)}$ . ∎

Stelling 25.7 (Kettingregel)

Zij $f$ van klasse $C^1$ op $U$ en $t \mapsto (x(t), y(t))$ van klasse $C^1$ van een interval naar $U$ . Dan is $g(t) = f\bigl(x(t), y(t)\bigr)$ van klasse $C^1$ , met

g'(t) = x'(t)\,\frac{\partial f}{\partial x}\bigl(x(t),y(t)\bigr) + y'(t)\,\frac{\partial f}{\partial y}\bigl(x(t),y(t)\bigr) = \bigl\langle \nabla f,\ (x', y')\bigr\rangle .

Bewijs. Pas Stelling 25.5 toe in $(x(t), y(t))$ met $(h, k) = (x(t+s) - x(t),\, y(t+s) - y(t))$ : als $s \to 0$ geeft de afleidbaarheid in één veranderlijke $h = s\,x'(t) + o(s)$ en $k = s\,y'(t) + o(s)$ , dus $\norm{(h, k)} = O(s)$ en

g(t+s) - g(t) = h\,\frac{\partial f}{\partial x} + k\,\frac{\partial f}{\partial y} + o\bigl(\norm{(h,k)}\bigr) = s\,\Bigl(x'\,\frac{\partial f}{\partial x} + y'\,\frac{\partial f}{\partial y}\Bigr) + o(s) ,

waarbij de laatste fout zowel de $o(s)$ ’s van $h$ en $k$ opneemt (vermenigvuldigd met de vaste waarden van de partiële afgeleiden) als de $o(O(s))$ van de raakvlakschatting. Deel door $s$ en laat $s \to 0$ . De continuïteit van $g'$ volgt uit die van alle ingrediënten. ∎

Voorbeeld 25.8 (De kettingregel, op twee manieren nagegaan)

Zij $f(x, y) = x^2 y$ en $g(t) = f(t, t^2)$ . Rechtstreeks: $g(t) = t^2\cdot t^2 = t^4$ , dus $g'(t) = 4t^3$ . Met de kettingregel: $\frac{\partial f}{\partial x} = 2xy$ en $\frac{\partial f}{\partial y} = x^2$ , geëvalueerd langs de kromme $(t, t^2)$ :

g'(t) = 1\cdot 2t\cdot t^2 + 2t\cdot t^2 = 2t^3 + 2t^3 = 4t^3 .

De twee berekeningen stemmen overeen, en de splitsing is betekenisvol: $2t^3$ van de groei komt van het naar rechts bewegen door de $x$ -helling, en $2t^3$ van het omhoog bewegen door de $y$ -helling. Op krommen waar geen gesloten vorm voor $g$ bestaat, overleeft alleen de tweede berekening — en dat is het punt van de stelling.

Opmerking 25.9 (De gradiënt lezen)

Langs een eenheidsrichting $u$ geeft de kettingregel op $t \mapsto f(a + tu)$ de richtingsafgeleide $\langle \nabla f(a), u\rangle$ : maximaal wanneer $u$ langs $\nabla f(a)$ wijst (volgens Cauchy–Schwarz, Stelling 23.4). De gradiënt is de richting van de steilste klim, en hij staat loodrecht op de niveaukrommen $\{f = c\}$ (leid $f$ af langs een kromme die in een niveauverzameling is getekend: de kettingregel geeft $\langle\nabla f,\, \text{raakvector}\rangle = 0$ ).

Voorbeeld 25.10 (Niveaukrommen en gradiënten, op één functie)

Neem $f(x, y) = x^2 - y^2$ . Haar niveauverzamelingen: $\{f = c\}$ is een hyperbool die links-rechts opent voor $c > 0$ en boven-onder voor $c < 0$ , en het gekruiste paar rechten $y = \pm x$ voor $c = 0$ — de hoogtekaart van een bergpas, met het zadelpunt in de oorsprong waar de twee nulniveaurechten elkaar kruisen. Gradiënt: $\nabla f = (2x, -2y)$ . In het punt $(2, 1)$ (op het niveau $c = 3$ ) is $\nabla f = (4, -2)$ , terwijl de raakvector van de niveaukromme, in de buurt van dat punt geparametriseerd door $\bigl(t, \sqrt{t^2 - 3}\bigr)$ , gelijk is aan $\bigl(1, \frac{t}{\sqrt{t^2 - 3}}\bigr) = (1, 2)$ bij $t = 2$ — en inderdaad is

\langle (4, -2),\ (1, 2)\rangle = 4 - 4 = 0 :

de gradiënt staat loodrecht op de hoogtelijn en wijst naar hogere waarden van $f$ (hier: weg van de $y$ -as). Nog twee lezingen: de gradiënt wordt precies nul in het zadel, waar de hoogtekaart insnoert; en de raaklijn aan de niveaukromme in $(2,1)$ is $4(x - 2) - 2(y - 1) = 0$ , dus $2x - y = 3$ — de vergelijking “ $\langle \nabla f,\ M - M_0\rangle = 0$ ” die de raaklijn aan de ellips van Oefening 24.11 veralgemeent.

Stelling 25.11 (Schwarz)

Is $f$ van klasse $C^2$ (de partiële afgeleiden van de partiële afgeleiden bestaan en zijn continu), dan is

\frac{\partial^2 f}{\partial x\,\partial y} = \frac{\partial^2 f}{\partial y\,\partial x} .

Bewijs. Op dit niveau zonder bewijs aangenomen. ∎

25.3 Lokale extrema

Methode 25.12 (Extremumonderzoek, georganiseerd)

Los $\nabla f = 0$ volledig op. Splits elke partiële afgeleide af waar dat kan (producten van lineaire factoren splitsen het stelsel in doorzichtige gevallen, zoals in Voorbeeld 25.16 hieronder); een vergeten geval is een vergeten kritiek punt.
Classificeer elk punt met de gegevens $r, s, t$ van Monge — telkens in elk punt opnieuw berekend, nooit één keer voor alles.
Is $rt - s^2 = 0$ , onderzoek $f$ dan rechtstreeks langs goedgekozen krommen door het punt (eerst rechten, dan parabolen), op zoek naar ofwel twee tekens (geen extremum) ofwel een vast teken met een argument dat alle richtingen dekt.
Stap terug voor het globale beeld: controleer het gedrag in het oneindige (een lokaal minimum hoeft geen globaal te zijn), en is het domein niet open, behandel dan zijn rand apart (Oefening 25.12) — de stelling over kritieke punten ziet alleen inwendige punten.

Stelling 25.13 (Kritieke punten)

Heeft $f$ (van klasse $C^1$ op de open verzameling $U$ ) een lokaal extremum in $(a,b) \in U$ , dan is $\nabla f(a,b) = (0,0)$ : het punt is kritiek.

Bewijs. De functies van één veranderlijke $x \mapsto f(x, b)$ en $y \mapsto f(a, y)$ hebben inwendige lokale extrema in respectievelijk $a$ en $b$ : Propositie 14.7 doodt beide partiële afgeleiden. ∎

Methode 25.14 (Toets van de tweede orde (notatie van Monge))

Stel in een kritiek punt van een $C^2$ -functie

r = \frac{\partial^2 f}{\partial x^2}, \qquad s = \frac{\partial^2 f}{\partial x \partial y}, \qquad t = \frac{\partial^2 f}{\partial y^2} \qquad (\text{de waarden in het punt}).

Is $rt - s^2 > 0$ : een lokaal extremum — een minimum voor $r > 0$ , een maximum voor $r < 0$ ;
is $rt - s^2 < 0$ : geen extremum (een zadelpunt);
is $rt - s^2 = 0$ : de toets zwijgt; onderzoek rechtstreeks.

(De rechtvaardiging — een taylorontwikkeling van Young op orde $2$ en het tekenonderzoek van de kwadratische vorm $r h^2 + 2shk + tk^2$ — wordt in het tweede jaar uitgevoerd; hier wordt de toets als werkgereedschap gebruikt.)

Voorbeeld 25.15

$f(x,y) = x^3 + y^3 - 3xy$ . Kritieke punten: $\nabla f = (3x^2 - 3y,\; 3y^2 - 3x) = 0$ geeft $y = x^2$ en $x = y^2$ , dus $x = x^4$ : $x \in \{0, 1\}$ : de punten $(0,0)$ en $(1,1)$ .

Tweede afgeleiden: $r = 6x$ , $s = -3$ , $t = 6y$ . In $(0,0)$ : $rt - s^2 = -9 < 0$ : een zadel. In $(1,1)$ : $rt - s^2 = 36 - 9 > 0$ en $r = 6 > 0$ : een lokaal minimum, $f(1,1) = -1$ . (Niet globaal: $f(x, 0) = x^3 \to -\infty$ .)

Voorbeeld 25.16 (Een onderzoek met vier punten, volledig)

$f(x, y) = xy\,(3 - x - y) = 3xy - x^2y - xy^2$ . Gradiënt:

\frac{\partial f}{\partial x} = y\,(3 - 2x - y), \qquad \frac{\partial f}{\partial y} = x\,(3 - x - 2y).

Kritieke punten: is $y = 0$ , dan geeft de tweede vergelijking $x \in \{0, 3\}$ ; is $x = 0$ , dan geeft de eerste $y \in \{0, 3\}$ ; is $xy \neq 0$ , los dan $2x + y = 3$ , $x + 2y = 3$ op: $x = y = 1$ . Vier punten: $(0,0)$ , $(3,0)$ , $(0,3)$ , $(1,1)$ . Tweede afgeleiden: $r = -2y$ , $s = 3 - 2x - 2y$ , $t = -2x$ .

$(1,1)$ : $r = -2$ , $s = -1$ , $t = -2$ : $rt - s^2 = 3 > 0$ en $r < 0$ : een lokaal maximum, $f(1,1) = 1$ .
$(0,0)$ : $r = t = 0$ , $s = 3$ : $rt - s^2 = -9 < 0$ : een zadel; net zo $(3, 0)$ ( $s = -3$ ) en $(0, 3)$ : drie zadels.

Het maximum is slechts lokaal: $f(-T, -T) = T^2(3 + 2T) \to +\infty$ . Symmetriecontrole: $f(x, y) = f(y, x)$ , en inderdaad zijn de kritieke verzameling en de classificatie symmetrisch in $x \leftrightarrow y$ . Interpretatie: onder de rechthoeken met speling $x, y \geq 0$ , $x + y \leq 3$ is het product $xy(3 - x - y)$ van de drie “delen” van $3$ het grootst wanneer de delen gelijk zijn — een schaduw in twee veranderlijken van het rekenkundig–meetkundige beginsel.

De twee krommen f = 0 voor f = x3 + y3 - 3xy snijden elkaar in de kritieke punten (0,0) (zadel) en (1,1) (lokaal minimum). — De twee krommen $\nabla f = 0$ voor $f = x^3 + y^3 - 3xy$ snijden elkaar in de kritieke punten $(0,0)$ (zadel) en $(1,1)$ (lokaal minimum).

Opmerking 25.17 (Veelgemaakte fouten)

Partiële afgeleiden kunnen bestaan in een punt van discontinuïteit: de radiale val $g(x,y) = \frac{xy}{x^2+y^2}$ uit Voorbeeld 25.3 heeft $\frac{\partial g}{\partial x}(0,0) = \frac{\partial g}{\partial y}(0,0) = 0$ (beide beperkingen tot de assen zijn identiek nul), en toch heeft $g$ geen limiet in de oorsprong — partiële afgeleiden peilen slechts twee richtingen, terwijl de continuïteit ze alle nodig heeft; alleen de hypothese $C^1$ herstelt de orde (Stelling 25.5). Limieten langs rechten volstaan nooit: de functie van Oefening 25.3 heeft langs elke rechte limiet $0$ en toch geen limiet — probeer altijd parabolen (of poolgrenzen die uniform in $\theta$ gelden). Kritiek is noodzakelijk, niet voldoende: zadels zijn er in overvloed (drie van de vier punten in Voorbeeld 25.16); en de stelling geldt alleen op open verzamelingen — op een gesloten schijf kunnen de extrema op de rand liggen met een gradiënt ongelijk aan nul (Oefening 25.12). Het zwijgende geval $rt - s^2 = 0$ zwijgt werkelijk: $x^4 + y^4$ (minimum) en $x^3 + y^3$ (geen van beide) hebben allebei $r = s = t = 0$ in de oorsprong; alleen een rechtstreeks tekenonderzoek beslist (Oefening 25.6, de functie $h$ ). De gradiënt staat loodrecht op de niveaukrommen, niet erlangs: om een hoogtelijn te volgen beweeg je loodrecht op $\nabla f$ ; om het snelst te klimmen beweeg je erlangs — de twee verwarren keert de meetkunde van elke hoogtekaart om.

Opmerking 25.18 (Waarheen twee veranderlijken leiden)

Dit hoofdstuk is een deuropening. De gradiënt en de kettingregel breiden zich woordelijk uit tot $n$ veranderlijken in het volume van bachelorjaar 2, waar de $o(\norm{(h,k)})$ van Stelling 25.5 de differentiaal wordt en de toets van Monge volledig wordt bewezen met de formule van Taylor van orde twee en met kwadratische vormen. Het bijzondere geval dat dit jaar kan worden beslecht — kwadratische functies, waarvoor de ontwikkeling van tweede orde exact is — is het onderwerp van de weekendopgave, en het is toevallig het geval dat de gegevensaanpassing van de wereld aandrijft: regressie met kleinste kwadraten. Extrema onder voorwaarden (Oefening 25.5 was een voorproefje) worden in bachelorjaar 2 de multiplicatoren van Lagrange; harmonische functies (Oefening 25.7) keren terug in de complexe analyse van het volume van bachelorjaar 3.

Opmerking 25.19 (Vooruitzichten binnen boek 3: het jaar gesloten)

In dit hoofdstuk schudden de twee helften van het volume elkaar de hand. De analytische helft leverde haar gereedschap één afgeleide tegelijk: de middelwaardestelling drijft Stelling 25.5 aan, taylorontwikkelingen drijven de extremumtoetsen aan, en de $\varepsilon$ ’s van Hoofdstuk 12 kwamen terug met bollen in plaats van intervallen. De algebraïsche helft leverde de meetkunde: de gradiënt wordt gelezen via het inwendige product van Hoofdstuk 23 (Cauchy–Schwarz maakt hem tot de steilste richting), de gegevens $(r, s, t)$ van Monge vormen een symmetrische matrix uit Hoofdstuk 21 met de determinanttoets van Hoofdstuk 22, en de weekendopgave laat de orthogonale projectie op gegevensvectoren lopen. Zelfs de krommen van Hoofdstuk 24 keren terug als niveauverzamelingen. Een lezer die kan reconstrueren waarom elk van deze vijf overdrachten werkt, heeft in feite het hele jaar herhaald — en dat is het echte doel van dit slothoofdstuk.

Kleinste kwadraten in één beeld: vier gegevenspunten, de regressierechte y = 1.4x - 0.1, en de verticale resten (gestreept) waarvan de rechte de kwadraten minimaliseert — samen 0.2, het kleinst haalbare. De weekendopgave berekent deze rechte, bewijst dat zij de eenduidige minimalisator is, en identificeert de hele constructie met een orthogonale projectie in ℝ4. — Kleinste kwadraten in één beeld: vier gegevenspunten, de regressierechte $y = 1.4x - 0.1$ , en de verticale resten (gestreept) waarvan de rechte de kwadraten minimaliseert — samen $0.2$ , het kleinst haalbare. De weekendopgave berekent deze rechte, bewijst dat zij de eenduidige minimalisator is, en identificeert de hele constructie met een orthogonale projectie in $\R^4$ .

25.4 Oefeningen

Oefening 25.1 ★

Bereken de partiële afgeleiden: $f(x,y) = x^2 y + \eu^{xy}$ ; $\;g(x,y) = \ln(x^2 + y^2)$ (op $\R^2\setminus\{0\}$ ); $\;h(x,y) = \arctan\frac yx$ (op $x > 0$ ).

Oplossing

Oplossing van Oefening 25.1.

$\dfrac{\partial f}{\partial x} = 2xy + y\,\eu^{xy}$ , $\dfrac{\partial f}{\partial y} = x^2 + x\,\eu^{xy}$ .

$\dfrac{\partial g}{\partial x} = \dfrac{2x}{x^2+y^2}$ , $\dfrac{\partial g}{\partial y} = \dfrac{2y}{x^2+y^2}$ .

$\dfrac{\partial h}{\partial x} = \dfrac{-y/x^2}{1 + y^2/x^2} = \dfrac{-y}{x^2+y^2}$ , $\dfrac{\partial h}{\partial y} = \dfrac{x}{x^2+y^2}$ .

Oefening 25.2 ★

Onderzoek de continuïteit in $(0,0)$ (met daar de waarde $0$ ) van:

f(x,y) = \frac{x^2 y}{x^2 + y^2}, \qquad g(x,y) = \frac{xy}{x^2 + y^2}, \qquad h(x,y) = \frac{x^3 + y^3}{x^2 + y^2}.

(Poolcoördinaten $x = \rho\cos\theta$ , $y = \rho\sin\theta$ helpen: begrens waar mogelijk door een functie van $\rho$ alleen.)

Oplossing

Oplossing van Oefening 25.2.

In poolcoördinaten ( $\rho \to 0$ ):

$\abs{f} = \dfrac{\rho^3\abs{\cos^2\theta\sin\theta}}{\rho^2} \leq \rho \to 0$ : continu.

$g = \cos\theta\sin\theta$ : onafhankelijk van $\rho$ en met verschillende waarden langs verschillende voerstralen (vergelijk Voorbeeld 25.3): geen limiet, niet continu.

$\abs h \leq \dfrac{\rho^3(\abs{\cos^3\theta} + \abs{\sin^3\theta})}{\rho^2} \leq 2\rho \to 0$ : continu.

Oefening 25.3 ★★

Zij $f(x,y) = \dfrac{x^2 y}{x^4 + y^2}$ ( $f(0,0) = 0$ ). Bewijs dat $f$ in de oorsprong langs elke rechte limiet $0$ heeft, maar dat $f\bigl(x, x^2\bigr) = \frac12$ : $f$ is niet continu in $(0,0)$ .

Oplossing

Oplossing van Oefening 25.3.

Langs $y = mx$ : $f(x, mx) = \dfrac{m x^3}{x^4 + m^2 x^2} = \dfrac{mx}{x^2 + m^2} \to 0$ (voor $m \neq 0$ ; langs $y = 0$ en de $y$ -as is $f = 0$ ). Elke limiet langs een rechte is dus $0$ . Maar op de parabool $y = x^2$ :

f(x, x^2) = \frac{x^4}{x^4 + x^4} = \frac12 :

de rij $\bigl(\frac1n, \frac{1}{n^2}\bigr) \to (0,0)$ heeft $f \to \frac12 \neq 0$ . Niet continu: rechten volstaan niet om limieten in twee veranderlijken te toetsen.

Oefening 25.4 ★

Ga de stelling van Schwarz met de hand na op $f(x, y) = x^3 y^2 + \sin(xy)$ .

Oplossing

Oplossing van Oefening 25.4.

$\frac{\partial f}{\partial x} = 3x^2y^2 + y\cos(xy)$ ; dan is

\frac{\partial^2 f}{\partial y\,\partial x} = 6x^2 y + \cos(xy) - xy\sin(xy) .

$\frac{\partial f}{\partial y} = 2x^3 y + x\cos(xy)$ ; dan is

\frac{\partial^2 f}{\partial x\,\partial y} = 6x^2 y + \cos(xy) - xy\sin(xy) :

gelijk, zoals Schwarz belooft.

Oefening 25.5 ★★

Zij $f$ van klasse $C^1$ op $\R^2$ en $g(t) = f(\cos t, \sin t)$ . Druk $g'(t)$ uit met de kettingregel. Leid af dat $f$ , beperkt tot de eenheidscirkel, extrema aanneemt in punten waar $\nabla f$ evenwijdig is met de voerstraal.

Oplossing

Oplossing van Oefening 25.5.

Volgens Stelling 25.7 met $(x, y) = (\cos t, \sin t)$ :

g'(t) = -\sin t\,\frac{\partial f}{\partial x}(\cos t, \sin t) + \cos t\,\frac{\partial f}{\partial y}(\cos t, \sin t) = \bigl\langle \nabla f,\ (-\sin t, \cos t)\bigr\rangle .

In een extremum van $g$ is $g'(t) = 0$ : $\nabla f$ staat loodrecht op de raakvector $(-\sin t, \cos t)$ van de cirkel, en is dus evenwijdig met de voerstraal $(\cos t, \sin t)$ (het vlakke orthogonale complement van een eenheidsvector is de rechte die hij opspant, loodrecht genomen). Dit is het eenvoudigste geval van een multiplicator van Lagrange.

Oefening 25.6 ★★

Bepaal en classificeer de kritieke punten van:

f(x, y) = x^2 + xy + y^2 - 3x, \qquad g(x, y) = x^2 - y^2 + 4y, \qquad h(x, y) = x^4 + y^4 - 2(x - y)^2 .

(Voor $h$ zwijgt de determinanttoets in de oorsprong: onderzoek $h(x, x)$ en $h(x, -x)$ .)

Oplossing

Oplossing van Oefening 25.6.

$f$ : $\nabla f = (2x + y - 3,\; x + 2y) = 0$ : $y = -\frac x2$ en $2x - \frac x2 = 3$ : $x = 2$ , $y = -1$ . Tweede orde: $r = 2$ , $s = 1$ , $t = 2$ : $rt - s^2 = 3 > 0$ , $r > 0$ : een lokaal (en zelfs, omdat de functie kwadratisch is, globaal) minimum in $(2, -1)$ , met waarde $f(2,-1) = -3$ .

$g$ : $\nabla g = (2x,\; -2y + 4) = 0$ : het punt $(0, 2)$ ; $r = 2$ , $s = 0$ , $t = -2$ : $rt - s^2 = -4 < 0$ : een zadel.

$h$ : $\nabla h = \bigl(4x^3 - 4(x - y),\; 4y^3 + 4(x-y)\bigr) = 0$ . Optellen: $x^3 + y^3 = 0$ , dus $y = -x$ ; invullen: $4x^3 - 8x = 0$ : $x \in \{0, \pm\sqrt2\}$ . Kritieke punten: $(0,0)$ , $(\sqrt2, -\sqrt2)$ , $(-\sqrt2, \sqrt2)$ . In $(\pm\sqrt2, \mp\sqrt2)$ : $r = 12x^2 - 4 = 20$ , $s = 4$ , $t = 20$ : $rt - s^2 > 0$ , $r > 0$ : lokale minima (waarde $h = 4 + 4 - 16 = -8$ ). In $(0,0)$ : $r = t = -4$ , $s = 4$ : $rt - s^2 = 0$ : zwijgend. Onderzoek: $h(x, x) = 2x^4 > 0$ en $h(x, -x) = 2x^4 - 8x^2 < 0$ voor kleine $x \neq 0$ : beide tekens in elke omgeving — geen extremum in de oorsprong.

Oefening 25.7 ★★

Een functie $f$ heet harmonisch wanneer $\frac{\partial^2 f}{\partial x^2} + \frac{\partial^2 f}{\partial y^2} = 0$ . Ga na dat $x^2 - y^2$ , $xy$ , $\eu^x\cos y$ en $\ln(x^2 + y^2)$ (buiten de oorsprong) harmonisch zijn.

Oplossing

Oplossing van Oefening 25.7.

$x^2 - y^2$ : de tweede partiële afgeleiden zijn $2$ en $-2$ : som $0$ . $xy$ : beide zuivere tweede partiële afgeleiden worden nul. $\eu^x\cos y$ : $\frac{\partial^2}{\partial x^2} = \eu^x\cos y$ en $\frac{\partial^2}{\partial y^2} = -\eu^x\cos y$ : som $0$ . $\ln(x^2+y^2)$ : uit Oefening 25.1,

\frac{\partial^2}{\partial x^2}\ln(x^2+y^2) = \frac{2(x^2+y^2) - 4x^2}{(x^2+y^2)^2} = \frac{2(y^2 - x^2)}{(x^2+y^2)^2},

en de $y$ -versie is haar tegengestelde: som $0$ .

Oefening 25.8 ★★★

Bepaal het punt van het vlak $\{x + 2y - z = 4\} \subseteq \R^3$ dat het dichtst bij de oorsprong ligt, op twee manieren: met de orthogonale projectie (Hoofdstuk 23), en door de functie van twee veranderlijken $f(x, y) = x^2 + y^2 + (x + 2y - 4)^2$ te minimaliseren die door eliminatie van $z$ ontstaat.

Oplossing

Oplossing van Oefening 25.8.

Projectie: het vlak $P$ heeft normaal $n = (1, 2, -1)$ en gaat door $A = (4, 0, 0)$ . Het punt dat het dichtst bij de oorsprong ligt is de geprojecteerde $O$ : $p = O + \frac{\langle A - O, n\rangle}{\norm n^2}\,n = \frac{4}{6}(1,2,-1) = \bigl(\frac23, \frac43, -\frac23\bigr)$ , op afstand $\frac{4}{\sqrt 6}$ . (Formule: de afstand van de oorsprong tot het vlak $\langle X, n \rangle = c$ is $\frac{\abs c}{\norm n}$ met $c = 4$ .)

Minimalisering: $f(x,y) = x^2 + y^2 + (x + 2y - 4)^2$ . Met $w = x + 2y - 4$ voor de laatste factor:

\nabla f = \bigl(2x + 2w,\; 2y + 4w\bigr) = 0 \iff x = -w \text{ en } y = -2w .

Invullen in de definitie van $w$ : $w = -w - 4w - 4$ , dus $w = -\frac23$ , wat $x = \frac23$ , $y = \frac43$ en $z = w = -\frac23$ geeft. Hetzelfde punt als via de projectie, op afstand $\sqrt{\frac49 + \frac{16}{9} + \frac49} = \frac{2\sqrt 6}{3} = \frac{4}{\sqrt6}$ ; het is een minimum omdat $f \to \infty$ in het oneindige (een positief definiete kwadratische vorm plus lineaire termen).

Oefening 25.9 ★★★

(Laplaciaan in poolcoördinaten, eerste contact) Zij $f$ van klasse $C^2$ op $\R^2 \setminus \{0\}$ en radiaal: $f(x, y) = \varphi\bigl(\sqrt{x^2+y^2}\bigr)$ met $\varphi$ van klasse $C^2$ op $\intoo{0}{+\infty}$ . Bewijs dat

\frac{\partial^2 f}{\partial x^2} + \frac{\partial^2 f}{\partial y^2} = \varphi''(\rho) + \frac{\varphi'(\rho)}{\rho}, \qquad \rho = \sqrt{x^2 + y^2},

en bepaal alle radiale harmonische functies op het geperforeerde vlak.

Oplossing

Oplossing van Oefening 25.9.

Met $\rho = \sqrt{x^2+y^2}$ is $\frac{\partial \rho}{\partial x} = \frac{x}{\rho}$ , dus

\frac{\partial f}{\partial x} = \varphi'(\rho)\,\frac{x}{\rho}, \qquad \frac{\partial^2 f}{\partial x^2} = \varphi''(\rho)\,\frac{x^2}{\rho^2} + \varphi'(\rho)\,\Bigl(\frac{1}{\rho} - \frac{x^2}{\rho^3}\Bigr),

(quotiënt- en kettingregel). Optellen bij de symmetrische $y$ -uitdrukking: de $\varphi''$ -termen verzamelen $\frac{x^2 + y^2}{\rho^2} = 1$ , de $\varphi'$ -termen $\frac{2}{\rho} - \frac{x^2 + y^2}{\rho^3} = \frac{1}{\rho}$ :

\Delta f = \varphi'' + \frac{\varphi'}{\rho} .

Radiaal harmonisch: los $\varphi'' + \frac{\varphi'}{\rho} = 0$ op: de vergelijking van eerste orde $u' + \frac u\rho = 0$ voor $u = \varphi'$ geeft $u = \frac{c}{\rho}$ (Stelling 5.2), en daarna $\varphi = c\ln\rho + d$ . De radiale harmonische functies zijn $c\,\ln\sqrt{x^2 + y^2} + d$ — de logaritmische potentiaal van Oefening 25.7 en de constanten, en verder niets.

Oefening 25.10 ★★

Geef de vergelijking van het raakvlak aan de grafiek $z = xy$ in het punt $(1, 1, 1)$ . Bepaal daarna alle punten van de grafiek van $f(x,y) = x^3 + y^3 - 3xy$ waar het raakvlak horizontaal is, en breng het antwoord in verband met Voorbeeld 25.15.

Oplossing

Oplossing van Oefening 25.10.

Voor $z = xy$ in $(1,1)$ : de partiële afgeleiden zijn $y = 1$ en $x = 1$ , dus is het raakvlak $z = 1 + (x - 1) + (y - 1) = x + y - 1$ . Een horizontaal raakvlak betekent dat beide partiële afgeleiden nul worden, dus $\nabla f = 0$ : volgens Voorbeeld 25.15 precies de kritieke punten $(0, 0)$ en $(1, 1)$ , met horizontale vlakken $z = 0$ en $z = -1$ . “Horizontaal raakvlak” en “kritiek punt” zijn hetzelfde begrip, gezien op de grafiek en in de formule.

Oefening 25.11 ★★

Zij $f$ van klasse $C^1$ op $\R^2$ .

Is $\frac{\partial f}{\partial x} = 0$ overal, bewijs dan dat $f(x, y)$ alleen van $y$ afhangt.
Bepaal alle $C^1$ -oplossingen van de vergelijking $\frac{\partial f}{\partial x} = \frac{\partial f}{\partial y}$ op $\R^2$ . (Stel $g(u, v) = f\bigl(\frac{u+v}2, \frac{u-v}2\bigr)$ en bereken $\frac{\partial g}{\partial v}$ met de kettingregel.)

Oplossing

Oplossing van Oefening 25.11.

Voor vaste $y$ heeft de functie van één veranderlijke $x \mapsto f(x,y)$ afgeleide nul op $\R$ en is zij dus constant (Stelling 14.9): $f(x, y) = f(0, y)$ voor alle $x$ , dus hangt $f$ alleen van $y$ af.
Zij $g(u, v) = f\bigl(\frac{u+v}2, \frac{u-v}2\bigr)$ . Volgens de kettingregel (Stelling 25.7, toegepast in de veranderlijke $v$ met $u$ bevroren):

$\frac{\partial g}{\partial v} = \frac12\,\frac{\partial f}{\partial x} - \frac12\,\frac{\partial f}{\partial y} = 0 .$

Volgens (1) hangt $g$ alleen van $u$ af: $g(u, v) = \varphi(u)$ met $\varphi$ van klasse $C^1$ , en na het terugdraaien van de verandering van veranderlijken ( $u = x + y$ , $v = x - y$ ):

$f(x, y) = \varphi(x + y).$

Omgekeerd voldoet elke zo’n $f$ aan $f_x = f_y = \varphi'$ : de oplossingen zijn precies de $C^1$ -functies van $x + y$ .

Oefening 25.12 ★★★

Bepaal het globale maximum en minimum van $f(x, y) = xy$ op de gesloten schijf $x^2 + y^2 \leq 1$ . (Neem de extremumstelling in twee veranderlijken aan: een continue functie op de gesloten schijf bereikt haar grenzen — bewezen in het volume van bachelorjaar 2. Behandel de open schijf met kritieke punten en de randcirkel met de parametrisering van Oefening 25.5.)

Oplossing

Oplossing van Oefening 25.12.

Op de open schijf zou een extremum kritiek zijn: $\nabla f = (y, x) = 0$ alleen in $(0,0)$ , waar $f = 0$ ; dat is een zadel ( $f(\pm\varepsilon, \pm\varepsilon) = \varepsilon^2 > 0 > -\varepsilon^2 = f(\pm\varepsilon, \mp\varepsilon)$ ), dus daar geen extremum. Volgens de aangenomen extremumstelling worden de grenzen bereikt, en noodzakelijk op de randcirkel. Daar geldt, met Oefening 25.5,

f(\cos t, \sin t) = \cos t\sin t = \frac{\sin 2t}{2} \in \intcc{-\tfrac12}{\tfrac12},

met maximum $\frac12$ bij $t = \frac\pi4, \frac{5\pi}4$ (de punten $\pm\frac{1}{\sqrt2}(1,1)$ ) en minimum $-\frac12$ bij $t = \frac{3\pi}4, \frac{7\pi}4$ (de punten $\pm\frac{1}{\sqrt2}(1,-1)$ ). Globaal maximum $\frac12$ , globaal minimum $-\frac12$ .

25.5 Opgave: kleinste kwadraten en de regressierechte

Probleem 25.1

Welke rechte gaat, gegeven $n$ gegevenspunten, “het dichtst” langs alle punten? Legendre en Gauss antwoordden: de rechte die de som van de gekwadrateerde verticale fouten minimaliseert — omdat die minimalisering precies door lineaire algebra exact oplosbaar is. Deze opgave bewijst eerst de toets van Monge uit Methode 25.14 eerlijk voor kwadratische functies (het enige geval waarin de ontwikkeling van tweede orde exact is), en bouwt daarna de normaalvergelijkingen, de regressierechte en de correlatiecoëfficiënt bovenop de euclidische meetkunde van Hoofdstuk 23.

Deel I — Kwadratische functies: de toets van Monge, bewezen. Leg reële $r, s, t$ vast en zij $q(h, k) = r h^2 + 2s hk + t k^2$ .

Stel dat $r \neq 0$ . Stel de vorm met afgesplitst kwadraat

$q(h, k) = r\Bigl(h + \frac{s}{r}k\Bigr)^{\!2} + \frac{rt - s^2}{r}\,k^2$

vast, en leid af: is $rt - s^2 > 0$ , dan heeft $q$ buiten de oorsprong strikt het teken van $r$ ; is $rt - s^2 < 0$ , dan neemt $q$ beide tekens aan.
Beslecht de overige gevallen: $r = 0$ , $t \neq 0$ (symmetrisch); en $r = t = 0$ ( $q = 2shk$ ). Besluit: $q$ neemt beide tekens aan dan en slechts dan als $rt - s^2 < 0$ , en $q$ wordt alleen in de oorsprong nul dan en slechts dan als $rt - s^2 > 0$ .
Zij nu $f(x, y) = \frac12\bigl(r x^2 + 2s xy + t y^2\bigr) + \beta x + \gamma y + \delta$ een kwadratische functie met een kritiek punt $X_0 = (a, b)$ . Bewijs de exacte ontwikkeling

$f(X_0 + (h,k)) = f(X_0) + \tfrac12\,q(h, k) \qquad (\text{zonder restterm}),$

en leid de classificatie van Monge voor kwadratische functies af: een strikt globaal minimum als $rt - s^2 > 0$ , $r > 0$ ; een strikt globaal maximum als $rt - s^2 > 0$ , $r < 0$ ; een zadel als $rt - s^2 < 0$ .
Stel $rt - s^2 > 0$ en $r > 0$ (dus ook $t > 0$ ). Bewijs de expliciete coërciviteitsgrens

$q(h, k) \geq c\,(h^2 + k^2), \qquad c = \frac{rt - s^2}{r + t} > 0 .$

(Toon aan dat de kwadratische vorm $q - c(h^2 + k^2)$ , met coëfficiënten $r - c$ , $s$ , $t - c$ , nog steeds aan de gunstige kant van de discriminanttoets ligt.)
Leid af dat een kwadratische functie met een positief definiet kwadratisch deel naar $+\infty$ nadert als $\norm{(x,y)} \to \infty$ , en dus een eenduidige globale minimalisator heeft: haar kritieke punt. Vergelijk met Voorbeeld 25.15, waar een lokaal minimum van een niet-kwadratische functie niet globaal was.

Deel II — De normaalvergelijkingen. Zij $C_1, C_2, b \in \R^n$ (met het canonieke inwendige product), en

f(u, v) = \norm{u\,C_1 + v\,C_2 - b}^2 .

Werk $f$ uit en toon aan dat zij een kwadratische functie van $(u, v)$ is met als coëfficiënten van het kwadratische deel $r = 2\norm{C_1}^2$ , $s = 2\langle C_1, C_2\rangle$ , $t = 2\norm{C_2}^2$ .
Toon aan dat $rt - s^2 > 0$ dan en slechts dan als $(C_1, C_2)$ vrij is (het gelijkheidsgeval van Cauchy–Schwarz, Stelling 23.4); neem dit vanaf nu aan.
Toon aan dat de kritieke vergelijkingen $\nabla f = 0$ de normaalvergelijkingen

$\begin{pmatrix} \norm{C_1}^2 & \langle C_1, C_2\rangle\\ \langle C_1, C_2\rangle & \norm{C_2}^2 \end{pmatrix} \begin{pmatrix} u\\ v\end{pmatrix} = \begin{pmatrix} \langle C_1, b\rangle\\ \langle C_2, b\rangle\end{pmatrix}$

zijn — met links de grammatrix van Oefening 23.11 — en dat zij precies zeggen: $b - (uC_1 + vC_2) \perp C_1, C_2$ . Besluit met deel I en Stelling 23.10: de eenduidige minimalisator geeft $p = uC_1 + vC_2 =$ de orthogonale projectie van $b$ op $\operatorname{Vect}(C_1, C_2)$ .
Toon aan dat de minimale waarde $\norm{b}^2 - \langle p, b\rangle = \norm{b - p}^2$ is, en teken het beeld van Pythagoras.

Deel III — De regressierechte. Gegevenspunten $(x_1, y_1), \dots, (x_n, y_n)$ , met niet alle $x_i$ gelijk. Minimaliseer

E(\alpha, \beta) = \sum_{i=1}^{n}\bigl(y_i - \alpha - \beta x_i\bigr)^2 .

Schrijf $\bar x = \frac1n\sum x_i$ , $\bar y = \frac1n\sum y_i$ , $v_x = \frac1n\sum x_i^2 - \bar x^2$ , $v_y = \frac1n\sum y_i^2 - \bar y^2$ , $c_{xy} = \frac1n\sum x_i y_i - \bar x\bar y$ .

Herken deel II met $C_1 = (1, \dots, 1)$ , $C_2 = (x_1, \dots, x_n)$ , $b = (y_1, \dots, y_n)$ , en schrijf de normaalvergelijkingen

$n\alpha + \Bigl(\sum x_i\Bigr)\beta = \sum y_i, \qquad \Bigl(\sum x_i\Bigr)\alpha + \Bigl(\sum x_i^2\Bigr)\beta = \sum x_i y_i .$
Los ze op:

$\beta = \frac{c_{xy}}{v_x}, \qquad \alpha = \bar y - \beta\,\bar x ,$

en merk op dat de regressierechte $y = \alpha + \beta x$ door het middelpunt $(\bar x, \bar y)$ gaat.
Ga na dat $v_x > 0$ precies wanneer de $x_i$ niet alle gelijk zijn, en breng dit in overeenstemming met vraag 7.
Bewijs dat de minimale fout

$E_{\min} = n\Bigl(v_y - \frac{c_{xy}^2}{v_x}\Bigr) = n\,v_y\,(1 - \rho^2), \qquad \rho = \frac{c_{xy}}{\sqrt{v_x v_y}} \quad (v_y \neq 0)$

is. Leid af dat $\abs\rho \leq 1$ , met $\abs\rho = 1$ dan en slechts dan als de gegevens volmaakt op één lijn liggen.
Uitgewerkt voorbeeld: bereken voor de gegevens $(0,0)$ , $(1,1)$ , $(2,3)$ , $(3,4)$ de waarden $\bar x, \bar y, v_x, c_{xy}$ , de regressierechte, de vier resten en $E_{\min}$ .
Bewijs dat de resten $\varepsilon_i = y_i - \alpha - \beta x_i$ van de optimale rechte voldoen aan $\sum_i \varepsilon_i = 0$ en $\sum_i x_i\varepsilon_i = 0$ , en interpreteer beide via de orthogonaliteit.

Deel IV — Varianten en toepassingen.

(Beste constante) Toon aan dat de constante $\alpha$ die $\sum_i (y_i - \alpha)^2$ minimaliseert het gemiddelde $\bar y$ is, en dat de minimale waarde $n\,v_y$ bedraagt: de variantie meet in welke mate de gegevens niet constant zijn.
(Rechte door de oorsprong) Toon aan dat de helling die $\sum_i (y_i - \beta x_i)^2$ minimaliseert gelijk is aan $\beta_0 = \frac{\sum x_iy_i}{\sum x_i^2}$ , en geef een voorwaarde op de gegevens waaronder $\beta_0$ samenvalt met de helling $c_{xy}/v_x$ uit vraag 11.
(Afstand tot een rechte, opnieuw) Minimaliseer voor een punt $M$ en de rechte $D$ door $P_0$ met de eenheidsrichtingsvector $w$ de functie $g(\tau) = \norm{P_0 + \tau w - M}^2$ en leid $d(M, D)^2 = \norm{M - P_0}^2 - \langle M - P_0, w\rangle^2$ af; vind de formule $d = \frac{\abs{a x_0 + b y_0 + c}}{\sqrt{a^2 + b^2}}$ terug voor de rechte $ax + by + c = 0$ in het vlak.
(Variantieanalyse) Bewijs de ontbinding $v_y = \beta^2 v_x + \frac{E_{\min}}n$ : de variantie van de $y_i$ splitst zich in het deel dat door de rechte wordt verklaard plus de restvariantie.
(Aanpassing met een parabool) Toon aan dat voor het aanpassen van $y = a + bx + cx^2$ de normaalvergelijkingen het $3 \times 3$ stelsel zijn met de momentenmatrix

$\begin{pmatrix} n & \sum x_i & \sum x_i^2\\ \sum x_i & \sum x_i^2 & \sum x_i^3\\ \sum x_i^2 & \sum x_i^3 & \sum x_i^4 \end{pmatrix},$

een grammatrix die inverteerbaar is zodra drie van de $x_i$ verschillend zijn (de vrijheid van $(1, X, X^2)$ bemonsterd in de gegevens, Oefening 23.11; vergelijk de momentenmatrices van de weekendopgave van Hoofdstuk 22).

Deel V — Robuustheid, en synthese.

Classificeer met deel I de kritieke punten van de drie kwadratische functies

$x^2 + xy + y^2, \qquad x^2 + 3xy + y^2, \qquad x^2 + 2xy + y^2 ,$

waarbij je het ontaarde derde geval met de hand behandelt (waar wordt het minimum bereikt?).
(Uitschieterexperiment) Voeg het punt $(10, 0)$ toe aan de gegevens van vraag 14 en bereken de helling $\beta$ opnieuw. Wat is er gebeurd, en waarom is de gekwadrateerde fout zo gevoelig voor één ver verwijderd punt?
(Gewogen kleinste kwadraten) Minimaliseer, gegeven gewichten $w_i > 0$ , de som $\sum_i w_i(y_i - \alpha - \beta x_i)^2$ : toon aan dat de oplossing wordt gegeven door dezelfde formules als in vraag 11, met gewogen gemiddelden, variantie en covariantie (definieer die).
Toon aan dat $E_{\min} = 0$ voor de optimale rechte afdwingt dat alle punten er precies op liggen, en verbind dit met het gelijkheidsgeval $\abs\rho = 1$ uit vraag 13; toets het op de gegevens $(1,1), (2,3), (3,5)$ , die op één lijn liggen.
Synthese, in vier zinnen: waarom kwadratische functies de enige klasse zijn waarvoor de toets van de tweede orde uit dit hoofdstuk geen aangenomen stelling nodig heeft; hoe de normaalvergelijkingen de analytische minimalisering identificeren met de orthogonale projectie van Hoofdstuk 23; wat de correlatiecoëfficiënt meet en welke ongelijkheid hem begrenst; en welke stukken uit de hoofdstukken 18–23 (bases, gram- en momentenmatrices, projecties) terugkeerden. Benoem de methode en de vergelijkingen die in de delen II–III zijn bestudeerd.

Oplossing

Oplossing van Probleem 25.1.

1. Uitwerken van het rechterlid:

r\Bigl(h + \frac srk\Bigr)^{\!2} + \frac{rt - s^2}{r}k^2 = rh^2 + 2shk + \frac{s^2}{r}k^2 + \frac{rt - s^2}{r}k^2 = q(h,k) .

Is $rt - s^2 > 0$ , dan dragen beide kwadraten het teken van $r$ , en dwingt $q(h,k) = 0$ eerst $k = 0$ en daarna $h = 0$ af: buiten de oorsprong strikt het teken van $r$ . Is $rt - s^2 < 0$ , dan is $q(1, 0) = r$ terwijl $q\bigl(-\frac sr, 1\bigr) = \frac{rt - s^2}{r}$ het tegengestelde teken heeft: beide tekens komen voor.

2. Is $r = 0 \neq t$ , verwissel dan de rollen van $h$ en $k$ (het afgesplitste kwadraat in $k$ ), met dezelfde conclusies; merk op dat $rt - s^2 = -s^2 < 0$ zodra $s \neq 0$ , en dat $q = 2shk + tk^2$ dan inderdaad beide tekens aanneemt ( $k$ klein ten opzichte van $h$ ). Is $r = t = 0$ : $q = 2shk$ , beide tekens dan en slechts dan als $s \neq 0$ , dus dan en slechts dan als $rt - s^2 = -s^2 < 0$ . Samengevat: $q$ neemt beide tekens aan $\iff rt - s^2 < 0$ ; en $q$ wordt alleen in de oorsprong nul (definiet) $\iff rt - s^2 > 0$ (wat $r \neq 0$ afdwingt, want $r = 0$ geeft $q(1,0) = 0$ ).

3. Met $f_x = rx + sy + \beta$ en $f_y = sx + ty + \gamma$ geeft rechtstreeks uitwerken

f(a + h, b + k) = f(a, b) + h\,f_x(a,b) + k\,f_y(a,b) + \tfrac12 q(h, k),

zonder hogere termen (de functie is een veelterm van graad $2$ ). In een kritiek punt verdwijnt het lineaire deel: $f(X_0 + H) - f(X_0) = \frac12 q(H)$ exact, zodat het tekenonderzoek van de vragen 1–2 classificeert: een strikt globaal minimum ( $rt - s^2 > 0$ , $r > 0$ ), een strikt globaal maximum ( $rt - s^2 > 0$ , $r < 0$ ), en een zadel — beide tekens in elke omgeving — wanneer $rt - s^2 < 0$ . Dit bewijst Methode 25.14 voor kwadratische functies.

4. De vorm $q - c(h^2 + k^2)$ heeft de gegevens $r - c$ , $s$ , $t - c$ . Met $c = \frac{rt - s^2}{r + t}$ (merk op dat $t > 0$ omdat $rt > s^2 \geq 0$ en $r > 0$ ):

(r - c)(t - c) - s^2 = rt - s^2 - c(r + t) + c^2 = c^2 \geq 0,

en $r - c \geq 0$ ( $c \leq r \iff rt - s^2 \leq r^2 + rt$ , waar). Is $r - c > 0$ , dan toont het afgesplitste kwadraat van vraag 1 dat $q - c(h^2 + k^2) \geq 0$ ; is $r - c = 0$ , dan is $s = 0$ (want de getoonde grootheid moet $\geq 0$ blijven met eerste factor $0$ ) en is de vorm $(t - c)k^2 \geq 0$ . In beide gevallen is $q(h,k) \geq c(h^2 + k^2)$ .

5. Volgens de vragen 3–4 is $f(X) = f(X_0) + \frac12 q(X - X_0) \geq f(X_0) + \frac c2\norm{X - X_0}^2 \to +\infty$ als $\norm X \to \infty$ : $f$ is coërcief, en de ongelijkheid is strikt voor $X \neq X_0$ : het kritieke punt is de eenduidige globale minimalisator. Voor de derdegraadsfunctie $f = x^3 + y^3 - 3xy$ uit Voorbeeld 25.15 geldt zo’n besluit niet: $f(x,0) = x^3 \to -\infty$ , en het lokale minimum in $(1,1)$ is niet globaal — wat faalde, was de exactheid van de kwadratische ontwikkeling.

6. Uitwerken van de gekwadrateerde norm:

f(u,v) = u^2\norm{C_1}^2 + 2uv\,\langle C_1, C_2\rangle + v^2\norm{C_2}^2 - 2u\,\langle C_1, b\rangle - 2v\,\langle C_2, b\rangle + \norm b^2 ,

een kwadratische functie van $(u, v)$ waarvan het kwadratische deel $\frac12(ru^2 + 2suv + tv^2)$ is met $r = 2\norm{C_1}^2$ , $s = 2\langle C_1, C_2\rangle$ en $t = 2\norm{C_2}^2$ .

7. $rt - s^2 = 4\bigl(\norm{C_1}^2\norm{C_2}^2 - \langle C_1, C_2\rangle^2\bigr) \geq 0$ volgens Cauchy–Schwarz (Stelling 23.4), met gelijkheid precies wanneer $C_1, C_2$ evenredig zijn (of een van beide nul is), dus wanneer het paar afhankelijk is. Dus $rt - s^2 > 0 \iff (C_1, C_2)$ vrij.

8. $\nabla f = 0$ luidt

\norm{C_1}^2 u + \langle C_1, C_2\rangle v = \langle C_1, b\rangle, \qquad \langle C_1, C_2\rangle u + \norm{C_2}^2 v = \langle C_2, b\rangle,

de normaalvergelijkingen met links de grammatrix; zij zeggen $\langle uC_1 + vC_2 - b,\ C_i\rangle = 0$ voor $i = 1, 2$ , dat wil zeggen $b - p \perp \operatorname{Vect}(C_1, C_2)$ met $p = uC_1 + vC_2$ . Volgens deel I (de vragen 3 en 5) is het eenduidige kritieke punt de eenduidige globale minimalisator, en volgens Stelling 23.10 identificeert de karakterisering “ $p \in F$ , $b - p \perp F$ ” de vector $p$ als de orthogonale projectie van $b$ op $F = \operatorname{Vect}(C_1, C_2)$ .

9. $\norm{b - p}^2 = \norm b^2 - 2\langle b, p\rangle + \norm p^2$ , en $\langle p, b - p\rangle = 0$ geeft $\norm p^2 = \langle p, b\rangle$ : het minimum is gelijk aan $\norm b^2 - \langle p, b\rangle$ . Pythagoras: $\norm b^2 = \norm p^2 + \norm{b - p}^2$ — de gegevensvector splitst zich in zijn verklaarde deel $p$ en zijn rest $b - p$ , die orthogonaal met elkaar zijn.

10. $E(\alpha, \beta) = \norm{\alpha C_1 + \beta C_2 - b}^2$ met de genoemde $C_1, C_2, b$ ; de normaalvergelijkingen van vraag 8 luiden per ingang

n\alpha + \Bigl(\sum x_i\Bigr)\beta = \sum y_i, \qquad \Bigl(\sum x_i\Bigr)\alpha + \Bigl(\sum x_i^2\Bigr)\beta = \sum x_i y_i .

11. Delen door $n$ : $\alpha + \beta\bar x = \bar y$ en $\alpha\bar x + \beta\bigl(v_x + \bar x^2\bigr) = c_{xy} + \bar x\bar y$ . Invullen van $\alpha = \bar y - \beta\bar x$ in de tweede geeft $\beta v_x = c_{xy}$ , dus

\beta = \frac{c_{xy}}{v_x}, \qquad \alpha = \bar y - \beta\bar x ,

en de eerste vergelijking zegt precies dat $(\bar x, \bar y)$ op de rechte ligt.

12. $v_x = \frac1n\sum(x_i - \bar x)^2 \geq 0$ , en nul dan en slechts dan als elke $x_i$ gelijk is aan $\bar x$ . En $rt - s^2 = 4\bigl(n\sum x_i^2 - (\sum x_i)^2\bigr) = 4n^2 v_x$ : de vrijheidsvoorwaarde van vraag 7 is $v_x > 0$ , dus dat de $x_i$ niet alle gelijk zijn.

13. Met $\alpha = \bar y - \beta\bar x$ en gecentreerde gegevens ( $\tilde x_i = x_i - \bar x$ , $\tilde y_i = y_i - \bar y$ ):

E(\alpha, \beta) = \sum_i(\tilde y_i - \beta\tilde x_i)^2 = n\,v_y - 2\beta\,n\,c_{xy} + \beta^2 n\,v_x ,

geminimaliseerd bij $\beta = c_{xy}/v_x$ met waarde $E_{\min} = n\bigl(v_y - \frac{c_{xy}^2}{v_x}\bigr) = n v_y(1 - \rho^2)$ . Omdat $E_{\min} \geq 0$ en $v_y > 0$ , is $\rho^2 \leq 1$ , en is $\abs\rho = 1$ dan en slechts dan als $E_{\min} = 0$ , dus dan en slechts dan als elke rest nul is: de punten liggen precies op de rechte.

14. $n = 4$ : $\bar x = \frac64 = 1.5$ , $\bar y = 2$ , $\sum x_i^2 = 14$ dus $v_x = 3.5 - 2.25 = 1.25$ , $\sum x_iy_i = 0 + 1 + 6 + 12 = 19$ dus $c_{xy} = 4.75 - 3 = 1.75$ . Bijgevolg

\beta = \frac{1.75}{1.25} = 1.4, \qquad \alpha = 2 - 1.4\times1.5 = -0.1 : \qquad y = 1.4\,x - 0.1 .

Aangepaste waarden $-0.1,\ 1.3,\ 2.7,\ 4.1$ ; resten $0.1,\ -0.3,\ 0.3,\ -0.1$ ; $E_{\min} = 0.01 + 0.09 + 0.09 + 0.01 = 0.2$ (controle: $v_y = \frac{26}4 - 4 = 2.5$ en $4(2.5 - \frac{1.75^2}{1.25}) = 4(2.5 - 2.45) = 0.2$ ).

15. De twee normaalvergelijkingen van vraag 10 zijn precies $\sum_i\varepsilon_i = 0$ en $\sum_i x_i\varepsilon_i = 0$ : de restvector staat loodrecht op $C_1 = (1, \dots, 1)$ en op $C_2 = (x_i)$ — op de hele modelruimte. In het bijzonder brengt de optimale rechte haar fouten altijd in evenwicht: zij sommeren tot nul.

16. $\frac{\dd}{\dd\alpha}\sum(y_i - \alpha)^2 = -2\sum(y_i - \alpha) = 0$ geeft $\alpha = \bar y$ (en de tweede afgeleide $2n > 0$ maakt er het globale minimum van, want de functie is een coërcieve kwadratische in één veranderlijke). De minimale waarde is $\sum(y_i - \bar y)^2 = n v_y$ : de variantie is de onherleidbare kwadratische fout van een constant model.

17. $\frac{\dd}{\dd\beta}\sum(y_i - \beta x_i)^2 = -2\sum x_i(y_i - \beta x_i) = 0$ geeft $\beta_0 = \frac{\sum x_iy_i}{\sum x_i^2}$ . Beide hellingen over gecentreerde grootheden geschreven: $\beta_0 = \frac{c_{xy} + \bar x\bar y}{v_x + \bar x^2}$ is gelijk aan $\frac{c_{xy}}{v_x}$ dan en slechts dan als $c_{xy}\bar x^2 = \bar x\bar y\,v_x$ , dus dan en slechts dan als $\bar x = 0$ (gecentreerde abscissen) of $\bar y = \beta\bar x$ — dat laatste betekent $\alpha = 0$ : de volledige regressierechte gaat al door de oorsprong.

18. $g(\tau) = \norm{M - P_0}^2 - 2\tau\langle M - P_0, w\rangle + \tau^2$ is minimaal bij $\tau^* = \langle M - P_0, w\rangle$ , met waarde $d(M,D)^2 = \norm{M - P_0}^2 - \langle M - P_0, w\rangle^2$ . Vul in het vlak $w$ aan tot een orthonormale basis $(w, n)$ met $n = \frac{(a, b)}{\sqrt{a^2+b^2}}$ (de eenheidsnormaal van $D$ ): dan is $\norm{M - P_0}^2 = \langle M - P_0, w\rangle^2 + \langle M - P_0, n\rangle^2$ , dus $d(M, D) = \abs{\langle M - P_0, n\rangle}$ , en met $aP_{0x} + bP_{0y} = -c$ :

d = \frac{\abs{a x_0 + b y_0 + c}}{\sqrt{a^2 + b^2}} .

19. Uit $E_{\min}/n = v_y - \frac{c_{xy}^2}{v_x}$ en $\beta^2 v_x = \frac{c_{xy}^2}{v_x}$ volgt

v_y = \beta^2 v_x + \frac{E_{\min}}n :

de totale variantie is de variantie langs de aangepaste rechte plus de restvariantie. (Delen door $v_y$ : $1 = \rho^2 + (1 - \rho^2)$ ; het aandeel van de variantie dat de rechte “verklaart” is $\rho^2$ .)

20. De modelruimte is $\operatorname{Vect}\bigl(C_1, C_2, C_3\bigr)$ met $C_1 = (1)$ , $C_2 = (x_i)$ , $C_3 = (x_i^2)$ ; het minimaliseren van $\norm{aC_1 + bC_2 + cC_3 - b}^2$ leidt, precies als in vraag 8, tot het $3\times3$ stelsel van Gram, waarvan de matrix de ingangen $\langle C_i, C_j\rangle = \sum_k x_k^{\,i+j-2}$ heeft: de getoonde momentenmatrix. Zij is inverteerbaar dan en slechts dan als $(C_1, C_2, C_3)$ vrij is (Oefening 23.11); een betrekking $a + bx_k + cx_k^2 = 0$ voor alle $k$ maakt van elke $x_k$ een wortel van één veelterm van graad $\leq 2$ , wat met drie verschillende waarden onmogelijk is tenzij $a = b = c = 0$ . Vergelijk de momentenmatrices van de weekendopgave van Hoofdstuk 22, waar hun determinanten gekwadrateerde waarden van Vandermonde waren.

21. Eerste: $r = 2, s = 1, t = 2$ , $rt - s^2 = 3 > 0$ , $r > 0$ : een strikt globaal minimum in de oorsprong. Tweede: $r = 2, s = 3, t = 2$ , $rt - s^2 = -5 < 0$ : een zadel. Derde: $r = s = t = 2$ , $rt - s^2 = 0$ : ontaard — maar $x^2 + 2xy + y^2 = (x + y)^2 \geq 0$ wordt nul op de hele rechte $y = -x$ : een (niet-strikt) globaal minimum dat langs een rechte wordt bereikt, onzichtbaar voor de determinanttoets.

22. Nieuwe sommen ( $n = 5$ ): $\bar x = 3.2$ , $\bar y = 1.6$ , $\sum x_iy_i = 19$ dus $c_{xy} = 3.8 - 5.12 = -1.32$ , $\sum x_i^2 = 114$ dus $v_x = 22.8 - 10.24 = 12.56$ . Nieuwe helling:

\beta = \frac{-1.32}{12.56} \approx -0.105 :

één punt maakte van een duidelijk stijgende trend ( $\beta = 1.4$ ) een licht dalende. De gekwadrateerde fout rekent een rest $\varepsilon^2$ aan, zodat één ver verwijderd punt — met een grote $\abs{x_{i} - \bar x}$ en een grote rest — zowel $c_{xy}$ als $v_x$ domineert: de kleinste kwadraten zijn efficiënt maar niet robuust.

23. Stel $W = \sum w_i$ en definieer $\bar x_w = \frac1W\sum w_ix_i$ , $\bar y_w$ analoog, $v_x^w = \frac1W\sum w_ix_i^2 - \bar x_w^2$ en $c^w_{xy} = \frac1W\sum w_ix_iy_i - \bar x_w\bar y_w$ . De afbeelding $\langle u, v\rangle_w = \sum_i w_iu_iv_i$ is een inwendig product op $\R^n$ ( $w_i > 0$ geeft de definietheid), dus geldt deel II woordelijk en delen de normaalvergelijkingen zich door $W$ tot

\alpha + \beta\bar x_w = \bar y_w, \qquad \alpha\bar x_w + \beta(v^w_x + \bar x_w^2) = c^w_{xy} + \bar x_w\bar y_w ,

waaruit $\beta = c^w_{xy}/v^w_x$ en $\alpha = \bar y_w - \beta\bar x_w$ : dezelfde formules, met elk gemiddelde gewogen.

24. $E_{\min} = \sum\varepsilon_i^2 = 0$ dwingt elke $\varepsilon_i = 0$ af: alle punten liggen precies op de rechte; en volgens vraag 13 is dat het geval $\abs\rho = 1$ . Toets: voor $(1,1), (2,3), (3,5)$ is $\bar x = 2$ , $\bar y = 3$ , $v_x = \frac{14}3 - 4 = \frac23$ , $c_{xy} = \frac{22}3 - 6 = \frac43$ : $\beta = 2$ , $\alpha = -1$ , en inderdaad is $y_i = 2x_i - 1$ voor alle drie de punten; $v_y = \frac{35}3 - 9 = \frac83$ en $\rho^2 = \frac{(4/3)^2}{(2/3)(8/3)} = 1$ .

25. (i) Voor kwadratische functies is de ontwikkeling van tweede orde een identiteit, zodat het tekenonderzoek van de kwadratische vorm — zuivere algebra, de vragen 1–2 — de kritieke punten classificeert zonder enige aangenomen stelling van Taylor. (ii) De normaalvergelijkingen zeggen “de rest staat loodrecht op de modelruimte”, zodat het analytische minimum de orthogonale projectie van de gegevensvector is: de analyse en de euclidische meetkunde berekenen hetzelfde object. (iii) De correlatie $\rho = c_{xy}/\sqrt{v_xv_y}$ meet het aandeel $\rho^2$ van de variantie dat de rechte verklaart, en Cauchy–Schwarz begrenst haar: $\abs\rho \leq 1$ , met gelijkheid alleen voor gegevens die op één lijn liggen. (iv) Bases en vrijheid (hoofdstuk 18), gram- en momentenmatrices met hun determinanten (de hoofdstukken 22–23) en de orthogonale projectie (hoofdstuk 23) keerden alle terug als de werkende onderdelen van één algoritme. De delen II–III ontwikkelen de methode van de kleinste kwadraten (Legendre, Gauss) via haar normaalvergelijkingen.

25.1 Het vlak R2\R^2R2; continuïteit

25.2 Partiële afgeleiden

25.3 Lokale extrema

25.4 Oefeningen

25.5 Opgave: kleinste kwadraten en de regressierechte

25.1 Het vlak $\R^2$ ; continuïteit