Publication:
Arquitecturas para el análisis de grandes cantidades de datos en tiempo real, aplicado a criptomonedas

Thumbnail Image
Files

Files

Arquitecturas para el análisis de grandes cantidades de datos en tiempo real.pdf (992.56 KB)
View Statistics
Reference Managers
Mendeley
Indexers
Google Scholar CORE
QR Code
QR Code
Authors

Authors

Arévalo Merchán, Juan Pablo
Abstract (Spanish)
Diariamente, se generan grandes cantidades de datos en internet. El crecimiento exponencial de los dispositivos conectados y las nuevas formas de interacción humana con la tecnología proporcionan una gran fuente de información. En este contexto, el análisis de datos en tiempo real es fundamental para tomar decisiones basadas en información actualizada. Varios factores, como la latencia, la escalabilidad, el almacenamiento, el procesamiento, la visualización y la predicción, afectan la forma en que se reciben y procesan estos datos. Diseñar una arquitectura adecuada para estos sistemas es un elemento crítico de cualquier negocio o empresa respaldada por la tecnología. En este artículo se estudia el estado del arte de las arquitecturas de sistemas para el análisis en tiempo real de big data en el contexto de las criptomonedas. Se presentan primero lambda y kappa, dos arquitecturas de referencia para el análisis en tiempo real en sistemas big data, y luego se exploran varios trabajos en los que se describen las arquitecturas de los sistemas de análisis en tiempo real para criptomonedas.
Abstract (English)
Large amounts of data are being generated daily on the internet. The exponential growth of connected devices and the new ways of human interactions with technology provide a prolific information source In this context, real-time data analysis is essential for making decisions based on updated information. Several factors, such as latency, scalability, storage, processing, visualization, and prediction, affect how this data is received and processed. Designing a suitable architecture for these systems is a critical element of any business or social endeavor supported by technology. This article studies the state of the art of the architectures of systems for real-time analysis of big data in the context of cryptocurrency. The paper first presents lambda and kappa, two reference architectures for real-time analysis in big data systems. It then explores several works describing the architectures of real-time analysis systems for cryptocurrency.
Extent
12 páginas
URI: https://repositorio.escuelaing.edu.co/handle/001/3167
Collections

Collections

AD - CTG – Informática
References

Marz, N. (2011, octubre). How to beat the CAP theorem [en línea]. http://nathanmarz.com/blog/how-to-beat-the-captheorem.html [últimoacceso: 01/11/2020]

] Feick, M., Kleer, N. & Kohn, M. (2018). Fundamentals of realtime data processing architectures lambda and kappa. Lecture Notes in Informatics (LNI), 1

Kreps, J. (2014, julio). Questioning the lambda architecture. O’Reilly [en línea]. https://www.oreilly.com/radar/questioningthe-lambda-architecture/ [último acceso: 21/11/2020]

Lee, C.-H. & Lin, C.-Y. (2017). Implementation of lambda architecture: a restaurant recommender system over Apache Mesos. IEEE 31st International Conference on Advanced Information Networking and Applications (AINA). Taipéi

Godoy, G. (2020). ¿Qué es lo que mueve el precio del bitcóin? ¿Cuál es el factor más importante? [en línea]. https:// es.cointelegraph.com/news/what-drives-the-price-of-bitcóinwhats-the-most-important-factor [último acceso: 30/ 11/2020]

] Horvat, N., Ivković, V., Todorović, N., Ivančević, V., Gajic, D. & Luković, I. (2020). Big data architecture for cryptocurrency real-time data processing. ICIST 2020 - 10th International Conference on Information Society and Technology. Kopaonik, 2020

Verrilli, M. (2017, agosto). De lambda a kappa: guía sobre arquitecturas de big data en tiempo real. Talend [en línea]. https://www.talend.com/es/blog/2017/08/28/lambda-kappareal-time-big-data-architectures/ [último acceso: 21/11/2020]

Balkenende, M. (2018, junio). The big data debate: batch versus stream processing. The New Stack [en línea]. https:// thenewstack.io/the-big-data-debate-batch-processing-vs-streaming-processing/ [último acceso: 21/11/2020]

Laney, D. (2001). 3D Data management: controlling data volume, velocity, and variety. META Group

Barranco Fragoso, R. (2012, junio). ¿Qué es big data? IBM [en línea]. https://developer.ibm.com/es/articles/que-es-big-data/ [último acceso: 21/11/2020]

Microsoft (2015). ¿Qué es eso llamado big data? 24/08/2015 [en línea]. https://news.microsoft.com/es-xl/que-es-eso-llamadobig-data/ [último acceso: 23/ /11/2020]

Oracle (2020). ¿Qué es big data? [en línea]. https://www. oracle.com/co/big-data/what-is-big-data.html [último acceso: 23/11/2020]

Vaseekaran, G. (2017). Big data battle: batch processing vs. stream processing. 21/10/2017 [en línea]. https://medium. com/@gowthamy/big-data-battle-batch-processing-vs-streamprocessing-5d94600d8103 [último acceso: 23/11/2020]

Domínguez, J. (2018). De lambda a kappa: evolución de las arquitecturas big data [en línea]. https://www.paradigmadigital. com/techbiz/de-lambda-a-kappa-evolucion-de-las-arquitecturasbig-data/ [último acceso: 23/11/2020]

Vera-Tudela, B. (s.f.). Arquitectura lambda: combinando lo mejor de dos mundos. SG [en línea]. https://sg.com.mx/revista/52/arquitectura-lambda-combinando-lo-mejor-dos-mundos [último acceso: 21/11/2020]

Bryan, P. (2018, noviembre). Big data y la arquitectura lambda [en línea]. https://medium.com/big-data-world/bigdata-y-la-arquitectura-lambda-f571e117670a [último acceso: 23/11/2020]

Nakamoto, S. (2008). Bitcóin: a peer-to-peer electronic cash system

Zheng, Z., Xie, S., Dai, H., Chen, X. & Wang, H. (2017). An overview of blockchain technology: architecture, consensus, and future trends. 6th IEEE International Congress on Big Data. Honolulú

Laskowski, L. & Kim, H. (2016). Rapid prototyping of a text mining application for cryptocurrency market intelligence. 5th IEEE International Workshop on Data Integration and Mining (IEEE DIM). Pittsburgh

Dulau, T. & Dulau, M. (2019). Cryptocurrency: sentiment analysis in social media. Acta Marisiensis. Serie Technologica, XVI (2), 1-6

Jiang, Z. & Liang, J. (2017). Cryptocurrency portfolio management with deep reinforcement learning. 2017 Intelligent Systems Conference (IntelliSys). Londres

Ordinas, M. (2017). Las criptomonedas: ¿oportunidad o burbuja? Palma de Mallorca: Banca March

Mohapatra, S., Ahmed, N. & Alencar, P. (2019). KryptoOracle: a real-time cryptocurrency price prediction platform using twitter sentiments. 2019 IEEE International Conference on Big Data (Big Data). Los Ángeles

Ayvaz, S. & Shiha, M. (2018). A scalable streaming big data architecture for real-time sentiment analysis. Proceedings of the 2018 2nd International Conference on Cloud and Big Data Computing (ICCBDC’18). Nueva York

CoinMarketCap (2020, noviembre) [en línea]. https://coinmarketcap.com/es/ [último acceso: 30/11/2020].

Reiff, N. (2020, enero). The 10 most important cryptocurrencies other than bitcóin [en línea]. https://www.investopedia. com/tech/most-important-cryptocurrencies-other-than-bitcóin/ [último acceso: 30/11/2020]

Charts, Y. (2020, noviembre). Ethereum transactions per day [en línea]. https://ycharts.com/indicators/ethereum_transactions_per_day [último acceso: 30/ 11/2020]

Bass, L., Clements, P. & Kazman, R. (2003). Arquitectura de software. Boston: Addison Wesley

Marz, N. & Warren, J. (2015). Big data: principles and best practices of scalable real time data systems. Nueva York: Manning Publications Co

Demchenko, Y., Laat, C. de & Membrey, M. (2014). Defining architecture components of the Big Data Ecosystem. International Conference on Collaboration Technologies and Systems (CTS). Minneápolis: IEE

Hassan, H., Huang, X. & Silva, E. (2018). Big-crypto: big data, blockchain and cryptocurrency. Big Data and Cognitive Computing, 2(4), 34

Karafiloski, E. & Mishev, A. (2017). Blockchain solutions for big data challenges: a literature review. IEEE Eurocon 2017-17th International Conference on Smart Technologies. Ohrid

Deepa, N., Pham, Q.-V.,. Nguyen, D. C., Bhattacharya, S., Boopathy, P., Gadekallu, T. R., Reddy, P. K., Fang, F. & Pathirana, P. N. (2020). A survey on blockchain for big data: approaches, opportunities, and future directions. ACM Comput. Surv. 1(1)

Ullah Rathore, M. M., Paul, A., Ahmad, A., Chen, B.-W., Huang, B. & Ji, W. (2015). Real-time big data analytical architecture for remote sensing application. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 8, 4610- 4621

Jabbar, A., Akhtarb, P. & Dani, S. (2020). Real-time big data processing for instantaneous marketing decisions: a problematization approach. Industrial Marketing Management, 90 (1), 558-569

Silva, B. N., Khan, M., Jung, C., Seo, J., Muhammad, D., Han, J., Yoon, Y. & Han, K. (2018). Urban planning and smart city decision management empowered by real-time data processing using big data analytics. Sensors, 18

Chrimes, D., Kuo, M.-H., Moa, B. & Hu, W. (2017). Towards a real-time big data analytics platform for health applications. International Journal of Big Data Intelligence, 4(2)