Todos los libros

1 Primary & Middle School MathematicsCursos 1–9 En línea 2 High School MathematicsCursos 10–12 En línea 3 University Mathematics — Year 1Grado — Año 1 En línea 4 University Mathematics — Year 2Grado — Año 2 En línea 5 University Mathematics — Year 3Grado — Año 3 En línea

1 Primary & Middle School PhysicsCursos 1–9 En línea 2 High School PhysicsCursos 10–12 En línea 3 University Physics — Year 1Grado — Año 1 En línea 4 University Physics — Year 2Grado — Año 2 En línea 5 University Physics — Year 3Grado — Año 3 En línea

1 Primary & Middle School BiologyCursos 1–9 En línea 2 High School BiologyCursos 10–12 En línea 3 University Biology — Year 1Grado — Año 1 En línea 4 University Biology — Year 2Grado — Año 2 En línea 5 University Biology — Year 3Grado — Año 3 En línea

1 Markets I: The Ecosystem and Exchange-Traded MarketsMercados En línea 2 Markets II: Rates, FX and CreditMercados En línea 3 Markets III: Commodities, Energy and CryptoMercados En línea 4 Quantitative MethodsMétodos En línea 5 Derivatives and VolatilityDerivados En línea 6 Rates, Credit, XVA and RiskTipos, crédito y riesgo En línea 7 Research Craft: Predictors, Backtests, Measurement, PortfoliosInvestigación En línea 8 Strategies I: Equities and FuturesEstrategias En línea 9 Strategies II: Volatility, Relative Value, Macro and the Bank DesksEstrategias En línea 10 Microstructure and ExecutionEjecución En línea 11 Market Making and High-Frequency TradingMarket making En línea 12 Machine Learning for MarketsAprendizaje automático En línea 13 Low-Latency SoftwareTecnología En línea 14 Networks, Hardware and Trading InfrastructureTecnología En línea 15 Research, Data and Risk PlatformsTecnología En línea 16 The Desk and the FirmLa firma En línea 17 The Industry: Firms, Roles and CareersCarreras En línea 18 The Interview BookCarreras En línea

Todos los juegos Math Fuse Word Reactor Atlas Dash

Apps Acerca de

Coach

English Français Español Nederlands Português हिन्दी العربية Bahasa Indonesia

Iniciar sesión Empezar a leer

Quantitative Finance · Glosario

¿Qué es Policy gradient, actor–critic method?

También llamado: policy gradient · actor--critic method

Definition 17.4 Machine Learning for Markets · Capítulo 17 — Reinforcement Learning Foundations

A policy gradient method adjusts the parameters $\theta$ of a stochastic policy in the direction $\E[G_t\nabla_\theta\log\pi_\theta(u_t\mid x_t)]$ , the gradient of expected cumulative reward (REINFORCE; Williams, 1992); a baseline subtracted from $G_t$ lowers the variance without biasing it. An actor–critic method replaces $G_t$ by the temporal-difference error of a learned value function (the critic), so that the policy (the actor) learns at every step.

Value gap to the dynamic-programming optimum of the policy learned after a number of episodes (the greedy policy for Q-learning and SARSA, the softmax policy for the others), mean of three seeds. Data: ml_rl.learning_curves. — Figure 17.1. Value gap to the dynamic-programming optimum of the policy learned after a number of episodes (the greedy policy for Q-learning and SARSA, the softmax policy for the others), mean of three seeds. Data: ml_rl.learning_curves.

Leer en el capítulo →