Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
Titulo:

Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
.

Sumario:

Este estudio explora las implicaciones de la implementación de técnicas de apren­dizaje reforzado para el trading de acciones parte del índice S&P 500 al 15 de octubre de 2022, bajo una estrategia de pair-trading. A través de un proceso de selección de pares de acciones se investiga si modelos de aprendizaje reforzado ofrecen una ventaja frente estrategias más simples. Los resultados indicaron sorpresivamente que modelos entrenados con entornos sencillos como el que no permite posiciones en corto, producen una mayor y constante rentabilidad, si se compara con los agentes entrenados en entornos con mayor complejidad lógica como lo son el de proporción del saldo disponible para entrar en posiciones según el conjunto de acciones y... Ver más

Guardado en:

Revista ODEON

1794-1113

2346-2140

Quintero González , Cristian

UNIVERSIDAD EXTERNADO DE COLOMBIA

10.18601/17941113.n26.04

2024-12-05

55

93

Colombia

pair-trading;

arbitraje estadístico;

aprendizaje reforzado;

trading

http://purl.org/coar/access_right/c_abf2

info:eu-repo/semantics/openAccess

Cristian Quintero González - 2024

Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.

id metarevistapublica_uexternado_revistaodeon_39-article-10070
record_format ojs
spelling Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
Mnih, V., Puigdome`nech, A., Mirza, M., Graves, A., Lillicrap, T., Harley, T., Silver, D. y Kavukcuoglu, K. (2016). Asynchronous Methods for Deep Reinforcement Learning. CoRR. arXiv, 1602(01783). http://arxiv.org/abs/1602. 01783
Carr, P. y Wu, L. (2004). Time-changed Levy processes and option pricing. Journal of financial economics, 1(71), 113-141.
Carta, S., Corriga, A., Ferreira, A. y Podda, A. (2021). A multi-layer and multi-ensemble stock trader using deep learning. Applied Science, 51, 889-905.
Chakole, J., Kolhe, M., Mahapurush, G., Yadav, A. y Kurhekar, M. (2021). A Q-learning agent for automated trading in equity stock markets. Expert Systems with Applications, 163, 1-12.
Do, B. y Faff, R. (2010). Does simple pairs trading still work? Financial Analysts Journal, CFA Institute, 66(4), 83-95.
Goncu, A. y Akildirim, E. (2016). A stochastic model for commoditiy pairs trading. Quantitative Finance, 16(12), 1843-1857.
Haress, E. M. y Yaozhong, H. (2021). Estimation of all parameters in the fractional Ornstein-Uhlenbeck model under discrete observations. Statistical inference for stochastic processes, 24, 327-351.
Huang, C. Y. (2018). Financial trading as a game: A deep reinforcement learning approach. arXiv preprint arXiv, 1807(02787), 1-15.
Konlack, V. y Wilcox, D. (2014). A comparison of generalized hyperbolic distribution models for equity returns. Journal of applied mathematics (15).
Kowalik, P., Kjellevold, A. y Gropen, S. (2019). A deep reinforcement learning approach for stock trading [Tesis de maestría]. Norwegian University of Science y Technology.
Krauss, C. (2015). Statistical arbitrage pairs trading strategies: Review and outlook. En Working Paper 09. Institut für Wirtschaftspolitik und Quantitative Wirtschaftsforschung.
Leung, T. y Xin, L. (2016). Optimal mean reversion: Mathematical analysis and practical applications. World Scientific.
Liang, Z., Chen, H., Zhu, J., Jiang K. y Li, Y. (2018). Adversarial deep reinforcement learning in portfolio management. En arXiv.
Madan, D., Carr, P. y Chang, E. (1999). The Variance Gamma process and option pricing. European Finance Review, 2(1), 79-105.
Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A., Veness, J., Bellemare, M. […] Hassabis, D. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529-533.
Plaat, A. (2022). Deep reinforcement learning. Springer.
Bertram, W. (2010). Analytic solution for optimal statistical arbitrage trading. Physica A: Statistical mechanics and its applications, 389, 2234-2243.
http://purl.org/coar/resource_type/c_6501
Text
http://purl.org/coar/access_right/c_abf2
info:eu-repo/semantics/openAccess
http://purl.org/coar/version/c_970fb48d4fbd8a85
info:eu-repo/semantics/publishedVersion
http://purl.org/redcol/resource_type/ARTREF
info:eu-repo/semantics/article
Schulman, J., Wolski, F., Dhariwal, P., Radford, A. y Klimov, O. (2017). “Proximal Policy Optimization Algorithms”. CoRR abs, 1707(06347). http://arxiv.org/abs/1707.06347
Zeng, Z. y Lee, C. C. (2014). Pairs trading: optimal threshold and profitability. Quantitative Finance, 14(11), 1881-1893.
Yang, H., Liu, X., Zhong, S. y Walid, A. (2020). Deep Reinforcement Learning for Automated Stock Trading: An Ensemble Strategy. SSRN. 10.2139/ssrn.3690996.
Vidyamurthi, G. (2004). Pairs trading: Quantitative methods and analysis. Wiley Finance.
Sun, S., Wang, R. y An, B. (2021). Reinforcement learning for quantitative trading. arXiv ePrint.
Stock, J. y Watson, M. (1988). Testing for common trends. Journal of american Statistical Association, 83(404), 1097-1107.
Schwartz, E. (1997). Stochastic behavior of commodity prices: Implications for valuation and hedging. Journal of Finance, 52(2), 923-973.
Carapuco, J., Neves, R. y Horta, N. (2018). Reinforcement learning applied to forex trading. Applied Soft Computing Journal, 73, 783-794.
Bertram, W. (2009). Optimal trading Strategies for Ito diffusion processes. Physica A: Statistical mechanics and its applications, 338, 2865-2873.
Publication
pair-trading;
26
Núm. 26 , Año 2024 : Enero-Junio
Artículo de revista
arbitraje estadístico;
Ait-Sahala, Y. (2002). Maximum likelihood estimation of discretely sampled diffusions: A closed-form approximation approach. Econometrica, 70(1), 223-262.
aprendizaje reforzado;
application/pdf
Universidad Externado de Colombia
ODEON
trading
https://revistas.uexternado.edu.co/index.php/odeon/article/view/10070
Quintero González , Cristian
Español
http://creativecommons.org/licenses/by-nc-sa/4.0
Cristian Quintero González - 2024
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
Este estudio explora las implicaciones de la implementación de técnicas de apren­dizaje reforzado para el trading de acciones parte del índice S&P 500 al 15 de octubre de 2022, bajo una estrategia de pair-trading. A través de un proceso de selección de pares de acciones se investiga si modelos de aprendizaje reforzado ofrecen una ventaja frente estrategias más simples. Los resultados indicaron sorpresivamente que modelos entrenados con entornos sencillos como el que no permite posiciones en corto, producen una mayor y constante rentabilidad, si se compara con los agentes entrenados en entornos con mayor complejidad lógica como lo son el de proporción del saldo disponible para entrar en posiciones según el conjunto de acciones y β-balanceado. Adicionalmente se observó que un incremento en el número de pasos por episodio, que generalmente lleva a con­sumir un mayor tiempo de entrenamiento para el hardware usado, no es garantía de mejorar considerablemente la varianza de la distribución de rentabilidades potenciales en los datos de trading, como tampoco es una variable que permita mejorar significativamente la media del retorno u otros indicadores, lo que se evidencia también en los valores value loss y policy loss, los cuales se tornaban explosivos y más volátiles luego de un valor de episodios determinado.
trading;
Reinforcement learning;
pair-trading
This study explores the implications of implementing reinforcement learn­ing algorithms on pair-trading strategies. Through a detailed analysis of three selected learning environments, it investigates how algortihms such as A2C and PPO perform when learning by being rewarded based on profit and loss. Findings suggest that a pure pair-trading strategy cannot outoperform a straigforward/ classical approach on pair-trading strategy, named delta distance. This paper discusses the challenges and opportunities associated with this implementation letting the reader to perform an extension considering the challenges presented thereof. The results surprisingly showed that models trained in simple environ­ments, such as the one that does not allow short positions, produce greater and constant profitability compared to agents trained in environments of greater logical complexity, such as the proportion of the balance available to enter. in positions according to the set of actions and β-balanced. In addition, it was observed that increasing the number of steps per episode, which generally leads to consuming a greater training time for the hardware used, does not guarantee a significant improvement in the variance of the distribution of potential returns in the trading data, such as Nor is it a variable that allows a significant improve­ment in the average return or other indicators, also evidenced by the value loss and policy loss values, which became explosive and more volatile after a certain value of episodes.
statistical arbitrage;
Reinforcement learning in pair-trading Application for a pair-trading strategy
Journal article
https://revistas.uexternado.edu.co/index.php/odeon/article/download/10070/17165
2024-12-05T12:44:37Z
2024-12-05
1794-1113
2346-2140
10.18601/17941113.n26.04
https://doi.org/10.18601/17941113.n26.04
55
93
2024-12-05T12:44:37Z
institution UNIVERSIDAD EXTERNADO DE COLOMBIA
thumbnail https://nuevo.metarevistas.org/UNIVERSIDADEXTERNADODECOLOMBIA/logo.png
country_str Colombia
collection Revista ODEON
title Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
spellingShingle Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
Quintero González , Cristian
pair-trading;
arbitraje estadístico;
aprendizaje reforzado;
trading
trading;
Reinforcement learning;
pair-trading
statistical arbitrage;
title_short Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
title_full Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
title_fullStr Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
title_full_unstemmed Aprendizaje reforzado en pair-trading Aplicación para una estrategia pair-trading
title_sort aprendizaje reforzado en pair-trading aplicación para una estrategia pair-trading
title_eng Reinforcement learning in pair-trading Application for a pair-trading strategy
description Este estudio explora las implicaciones de la implementación de técnicas de apren­dizaje reforzado para el trading de acciones parte del índice S&P 500 al 15 de octubre de 2022, bajo una estrategia de pair-trading. A través de un proceso de selección de pares de acciones se investiga si modelos de aprendizaje reforzado ofrecen una ventaja frente estrategias más simples. Los resultados indicaron sorpresivamente que modelos entrenados con entornos sencillos como el que no permite posiciones en corto, producen una mayor y constante rentabilidad, si se compara con los agentes entrenados en entornos con mayor complejidad lógica como lo son el de proporción del saldo disponible para entrar en posiciones según el conjunto de acciones y β-balanceado. Adicionalmente se observó que un incremento en el número de pasos por episodio, que generalmente lleva a con­sumir un mayor tiempo de entrenamiento para el hardware usado, no es garantía de mejorar considerablemente la varianza de la distribución de rentabilidades potenciales en los datos de trading, como tampoco es una variable que permita mejorar significativamente la media del retorno u otros indicadores, lo que se evidencia también en los valores value loss y policy loss, los cuales se tornaban explosivos y más volátiles luego de un valor de episodios determinado.
description_eng This study explores the implications of implementing reinforcement learn­ing algorithms on pair-trading strategies. Through a detailed analysis of three selected learning environments, it investigates how algortihms such as A2C and PPO perform when learning by being rewarded based on profit and loss. Findings suggest that a pure pair-trading strategy cannot outoperform a straigforward/ classical approach on pair-trading strategy, named delta distance. This paper discusses the challenges and opportunities associated with this implementation letting the reader to perform an extension considering the challenges presented thereof. The results surprisingly showed that models trained in simple environ­ments, such as the one that does not allow short positions, produce greater and constant profitability compared to agents trained in environments of greater logical complexity, such as the proportion of the balance available to enter. in positions according to the set of actions and β-balanced. In addition, it was observed that increasing the number of steps per episode, which generally leads to consuming a greater training time for the hardware used, does not guarantee a significant improvement in the variance of the distribution of potential returns in the trading data, such as Nor is it a variable that allows a significant improve­ment in the average return or other indicators, also evidenced by the value loss and policy loss values, which became explosive and more volatile after a certain value of episodes.
author Quintero González , Cristian
author_facet Quintero González , Cristian
topicspa_str_mv pair-trading;
arbitraje estadístico;
aprendizaje reforzado;
trading
topic pair-trading;
arbitraje estadístico;
aprendizaje reforzado;
trading
trading;
Reinforcement learning;
pair-trading
statistical arbitrage;
topic_facet pair-trading;
arbitraje estadístico;
aprendizaje reforzado;
trading
trading;
Reinforcement learning;
pair-trading
statistical arbitrage;
citationissue 26
citationedition Núm. 26 , Año 2024 : Enero-Junio
publisher Universidad Externado de Colombia
ispartofjournal ODEON
source https://revistas.uexternado.edu.co/index.php/odeon/article/view/10070
language Español
format Article
rights http://purl.org/coar/access_right/c_abf2
info:eu-repo/semantics/openAccess
http://creativecommons.org/licenses/by-nc-sa/4.0
Cristian Quintero González - 2024
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
references Mnih, V., Puigdome`nech, A., Mirza, M., Graves, A., Lillicrap, T., Harley, T., Silver, D. y Kavukcuoglu, K. (2016). Asynchronous Methods for Deep Reinforcement Learning. CoRR. arXiv, 1602(01783). http://arxiv.org/abs/1602. 01783
Carr, P. y Wu, L. (2004). Time-changed Levy processes and option pricing. Journal of financial economics, 1(71), 113-141.
Carta, S., Corriga, A., Ferreira, A. y Podda, A. (2021). A multi-layer and multi-ensemble stock trader using deep learning. Applied Science, 51, 889-905.
Chakole, J., Kolhe, M., Mahapurush, G., Yadav, A. y Kurhekar, M. (2021). A Q-learning agent for automated trading in equity stock markets. Expert Systems with Applications, 163, 1-12.
Do, B. y Faff, R. (2010). Does simple pairs trading still work? Financial Analysts Journal, CFA Institute, 66(4), 83-95.
Goncu, A. y Akildirim, E. (2016). A stochastic model for commoditiy pairs trading. Quantitative Finance, 16(12), 1843-1857.
Haress, E. M. y Yaozhong, H. (2021). Estimation of all parameters in the fractional Ornstein-Uhlenbeck model under discrete observations. Statistical inference for stochastic processes, 24, 327-351.
Huang, C. Y. (2018). Financial trading as a game: A deep reinforcement learning approach. arXiv preprint arXiv, 1807(02787), 1-15.
Konlack, V. y Wilcox, D. (2014). A comparison of generalized hyperbolic distribution models for equity returns. Journal of applied mathematics (15).
Kowalik, P., Kjellevold, A. y Gropen, S. (2019). A deep reinforcement learning approach for stock trading [Tesis de maestría]. Norwegian University of Science y Technology.
Krauss, C. (2015). Statistical arbitrage pairs trading strategies: Review and outlook. En Working Paper 09. Institut für Wirtschaftspolitik und Quantitative Wirtschaftsforschung.
Leung, T. y Xin, L. (2016). Optimal mean reversion: Mathematical analysis and practical applications. World Scientific.
Liang, Z., Chen, H., Zhu, J., Jiang K. y Li, Y. (2018). Adversarial deep reinforcement learning in portfolio management. En arXiv.
Madan, D., Carr, P. y Chang, E. (1999). The Variance Gamma process and option pricing. European Finance Review, 2(1), 79-105.
Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A., Veness, J., Bellemare, M. […] Hassabis, D. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529-533.
Plaat, A. (2022). Deep reinforcement learning. Springer.
Bertram, W. (2010). Analytic solution for optimal statistical arbitrage trading. Physica A: Statistical mechanics and its applications, 389, 2234-2243.
Schulman, J., Wolski, F., Dhariwal, P., Radford, A. y Klimov, O. (2017). “Proximal Policy Optimization Algorithms”. CoRR abs, 1707(06347). http://arxiv.org/abs/1707.06347
Zeng, Z. y Lee, C. C. (2014). Pairs trading: optimal threshold and profitability. Quantitative Finance, 14(11), 1881-1893.
Yang, H., Liu, X., Zhong, S. y Walid, A. (2020). Deep Reinforcement Learning for Automated Stock Trading: An Ensemble Strategy. SSRN. 10.2139/ssrn.3690996.
Vidyamurthi, G. (2004). Pairs trading: Quantitative methods and analysis. Wiley Finance.
Sun, S., Wang, R. y An, B. (2021). Reinforcement learning for quantitative trading. arXiv ePrint.
Stock, J. y Watson, M. (1988). Testing for common trends. Journal of american Statistical Association, 83(404), 1097-1107.
Schwartz, E. (1997). Stochastic behavior of commodity prices: Implications for valuation and hedging. Journal of Finance, 52(2), 923-973.
Carapuco, J., Neves, R. y Horta, N. (2018). Reinforcement learning applied to forex trading. Applied Soft Computing Journal, 73, 783-794.
Bertram, W. (2009). Optimal trading Strategies for Ito diffusion processes. Physica A: Statistical mechanics and its applications, 338, 2865-2873.
Ait-Sahala, Y. (2002). Maximum likelihood estimation of discretely sampled diffusions: A closed-form approximation approach. Econometrica, 70(1), 223-262.
type_driver info:eu-repo/semantics/article
type_coar http://purl.org/coar/resource_type/c_6501
type_version info:eu-repo/semantics/publishedVersion
type_coarversion http://purl.org/coar/version/c_970fb48d4fbd8a85
type_content Text
publishDate 2024-12-05
date_accessioned 2024-12-05T12:44:37Z
date_available 2024-12-05T12:44:37Z
url https://revistas.uexternado.edu.co/index.php/odeon/article/view/10070
url_doi https://doi.org/10.18601/17941113.n26.04
issn 1794-1113
eissn 2346-2140
doi 10.18601/17941113.n26.04
citationstartpage 55
citationendpage 93
url2_str_mv https://revistas.uexternado.edu.co/index.php/odeon/article/download/10070/17165
_version_ 1817669593773113344

Código QR

Estadísticas y Métricas Alternativas

Títulos similares