Karolina Ruiz Rogelj

15 results

IoT 데이터와 관련한 3대 핵심 과제와 해결 방법

IoT(Internet of Things, 사물인터넷)는 미래 지향적인 솔루션을 위한 핵심 구성 요소로 자리매김하고 있으며 막대한 경제적 가치가 내재되어 있습니다. McKinsey & Company는 2030년까지 IoT가 소비자 및 고객을 통한 가치 창출을 포함해 전 세계적으로 5조5천 억 달러에서 12조6천 억 달러 규모의 시장을 형성할 것으로 전망했습니다. 지속적으로 높아지는 IoT의 인기와 소비자들의 의존도는 아마도 여러분의 손목을 보는 것만으로도 충분히 확인할 수 있을 것입니다. 피트니스 밴드에서 커넥티드 카, 스마트 홈, 그리고 제조 및 소매 산업의 플릿 관리(fleet-management) 솔루션에 이르기까지, IoT는 이미 전 세계 수십 억 대의 장치를 연결하고 있으며, 앞으로 그 수는 더욱 증가할 것입니다. 점차 더 많은 IoT 기반 장치들이 온라인으로 연결되고 더욱 정교한 센서들이 탑재되고 있기 때문에, IoT 솔루션을 보다 쉽게 구현하고 기업들이 새로운 혁신 기회를 포착할 수 있도록 돕는 올바른 기반 기술을 선택하는 것이 매우 중요합니다. 이 블로그에서는 제조, 소매, 통신, 의료 등을 비롯한 다양한 산업에서 MongoDB가 어떻게 IoT 데이터와 관련한 3대 핵심 과제를 성공적으로 해결하는지를 보여드릴 것입니다. 3대 핵심 과제는 다음과 같습니다. 데이터 관리 실시간 분석 공급망 최적화 그림 1: MongoDB Atlas for IoT 자, 이제 자세히 살펴보겠습니다! 데이터 관리 IoT 장치들이 생성한 대용량 데이터를 저장, 전송 및 처리하는 데는 상당한 어려움이 따릅니다. 또한, IoT 장치들이 생성한 데이터는 많은 경우, 가변적인 구조를 가지고 있습니다. 효과적인 의사 결정에 필요한 컨텍스트를 생성하려면, 이러한 데이터에 신중하게 타임스탬프(timestamp)를 저장하고, 인덱스를 만들며, 다른 데이터 소스와의 상관 관계를 분석해야 합니다. 이러한 데이터 볼륨과 복잡성으로 인해 IoT 장치들의 데이터를 효과적이고 효율적으로 처리하기 어렵습니다. Bosch Bosch Digital의 IoT 장치 관리, IoT 데이터 관리, IoT 엣지를 위한 제품 및 서비스 제품군인 Bosch IoT Suite를 보십시오. 이들 제품 및 서비스는 250개 이상의 국제적인 IoT 프로젝트와 1천 만 개 이상의 커넥티드 장치들을 유지하고 있습니다. Bosch는 실시간으로 데이터를 저장, 관리 및 분석하기 위해 MongoDB를 구축했습니다. MongoDB는 정형, 반정형 및 비정형 데이터를 처리할 수 있으며, JSON으로 효율적인 데이터 모델링을 실행할 수 있기 때문에, 각 장치의 정보 모델을 데이터베이스 내 관련 도큐먼트에 쉽게 매핑할 수 있습니다. 또한, 동적 스키마는 애자일(agile) 개발 방법론을 지원하며 애플리케이션과 소프트웨어의 개발을 단순화합니다. 새로운 장치, 센서 및 에셋(asset)을 쉽게 추가할 수 있기 때문에 개발 팀은 보다 우수한 소프트웨어를 개발하는 데 집중할 수 있습니다. ThingSpace 또 다른 예로, Verizon의 시장 선도적인 IoT 연결 관리 플랫폼으로서, 다양한 IoT 제품 및 서비스를 제공하는 데 필요한 네트워크 액세스를 제공하는 ThingSpace를 들 수 있습니다. Verizon은 자사 네트워크 액세스를 구매한 회사들과 협력하여 이들의 장치를 연결하고, 이들 회사의 고유 솔루션과 함께 번들하여 최종 사용자에게 판매합니다. ThingSpace의 각 고객들은 장치들이 항상 작동하도록 보장하기 위해 신뢰할 수 있는 연결이 필요한 IoT 제품을 판매합니다. WiFi는 이러한 연결을 제공할 수 없습니다. Verizon의 모놀리식(monolithic) RDBMS 기반 시스템은 트랜잭션 및 시계열 워크로드 모두를 처리하도록 확장될 수 없기 때문에 Verizon은 앞으로 분산 데이터베이스 아키텍처가 필요하다고 판단했습니다. MongoDB는 Verizon의 다양한 활용 사례와 워크로드 유형 전반에서 Verizon의 요구 사항을 충족하도록 확장되는 유일한 솔루션이라는 것을 입증했습니다. 수많은 장치와 빠르게 수신되는 메시지로 인해 발생한 엄청난 처리 요구는 MongoDB의 매우 가용성과 확장성이 뛰어난 아키텍처로만 해결되었습니다. 네이티브 MongoDB Time Series는 클러스터링된 인덱스로 최적화된 스토리지와 최적화된 Time-Series 쿼리 연산자를 통해 성능을 향상시킬 수 있습니다. 유연한 데이터 모델링, 강력한 인덱싱, Time Series 등과 같은 MongoDB의 첨단 기능들은 IoT 장치들이 생성한 복잡하고 다양한 데이터를 관리하는 효과적인 솔루션입니다. 실시간 분석 오늘날 빅 데이터 분석에서 가장 필수적인 부분 중 하나인 실시간 데이터 분석은 보다 데이터 기반의 실시간 의사 결정을 내릴 수 있도록 한다는 점에서 기업에 매우 중요합니다. 하지만, 그 중요성에도 불구하고 분 단위로 또는 초 단위로 데이터의 변경에 대응할 수 있는 경우는 극소수에 불과합니다. 엔터프라이즈 규모로 실시간 분석을 구현하는 과정에서 많은 과제들이 발생하게 됩니다. 이처럼 엄청난 용량의 데이터를 저장하고 이를 실시간으로 분석하는 것은 완전히 다른 문제입니다. Thermo Fisher Cloud AWS의 과학계를 위한 최대 클라우드 플랫폼 중 하나인 Thermo Fisher Cloud를 살펴보겠습니다. MS Instrument Connect는 Thermo Fisher 고객들이 모든 모바일 장치나 브라우저에서 실시간으로 실험 결과를 확인할 수 있도록 합니다. 각 실험은 수백 만 개의 데이터 "행(row)"을 생성했으며, 이에 따라, 기존 데이터베이스들은 최적의 성능으로 실행되지 못하게 됐습니다. 내부 개발자들은 빠르게 변경되는 다양한 데이터를 쉽게 처리할 수 있는 데이터베이스를 필요로 했습니다. MongoDB의 표현식 쿼리 언어와 리치 보조 인덱스는 고객들의 과학 실험을 위해 필요한 애드혹(ad-hoc) 쿼리와 사전 정의된 쿼리 모두를 유연하게 지원합니다. 언제나 MongoDB Atlas와 같은 서비스를 이용할 수 있기 때문에, Thermo Fisher는 핵심 업무, 즉 과학 분야에서 업계 최고 수준의 서비스를 제공하는 회사로 성장하는 데 집중할 수 있습니다. Joseph Fluckiger, Thermo Fisher의 수석 소프트웨어 아키텍트 MongoDB Atlas 는 원활하게 확장되고, 엄청난 양의 센서 및 이벤트 정보를 수집해 실시간 분석을 지원함으로써 모든 중요한 이벤트를 포착할 수 있습니다. 이를 통해 기업들은 다음과 같은 새로운 기능들을 활용할 수 있습니다. 과도한 데이터 매핑 없이 모든 유형의 스트리밍 또는 배치(batch) 데이터 캡처 내장된 집계 프레임워크로 쉽고 직관적으로 데이터 분석 실행 신속하고 손쉽게 규모에 맞는 데이터 통찰력 제공 MongoDB를 통해 기업들은 쿼리를 최적화하여 신속하게 결과를 제공함으로써 운영을 개선하고 비즈니스 성장에 박차를 가할 수 있습니다. 공급망 최적화 품목들은 공급망 내 여러 지점을 거쳐 이동하기 때문에 이러한 여정의 전반에 걸쳐 처음부터 끝까지 완벽한 가시성을 유지하기 어렵습니다. 어떤 단계에서든 통제력을 잃는다면, 계획의 효율성이 저하되고, 전체 공급망 속도가 느려지며, 궁극적으로 투자수익률(Return on Investment, ROI)이 낮아지는 결과를 초래할 수 있습니다. 필요에 따라 원재료를 소싱하여 물류센터 공간을 최적화하는 것부터 실시간 공급망 통찰력에 이르기까지, IoT 기반 공급망은 사각지대와 비효율을 제거해 이러한 프로세스를 크게 최적화할 수 있도록 지원합니다. Longbow Advantage Longbow Advantage 는 고객들이 자체 공급망을 최적화할 수 있도록 지원함으로써 상당한 비즈니스 성과를 거두고 있습니다. 수백 만 건의 화물이 매일 여러 물류센터를 거쳐 이동하면서 하루 종일 실시간 가시성과 리포팅을 위해 분석해야 하는 엄청난 양의 데이터를 생성합니다. 대표적인 물류센터 가시성 플랫폼인 Rebus는 실시간 성능 리포팅 기능과 함께 엔드투엔드 물류센터 가시성 및 지능형 인력 관리 기능을 결합하고 있습니다. Longbow는 이러한 규모의 데이터를 처리하고 Rebus의 핵심에서 실시간 물류센터 가시성 및 리포팅 기능을 제공할 수 있는 데이터베이스 솔루션을 필요로 했으며, 많은 시간이 소요되는 모놀리식 스프레드시트는 이를 수행하는 데 역부족이라는 사실을 깨달았습니다. MongoDB의 도큐먼트 데이터베이스 모델이 여기에 가장 적합하며, Rebus가 거의 실시간으로 다양한 데이터를 수집하고 저장하며 가시성을 확보하도록 지원할 것이라는 확신을 갖게 됐습니다. 지능형 공급망 솔루션에서 중요한 또 하나의 구성 요소는 실시간 가시성을 제공하고 현장에서 데이터 기반 의사 결정을 수행할 수 있도록 지원하는 IoT 기반 모바일 앱입니다. 이러한 상황에서, 직원들은 연결이 취약하거나 존재하지 않는 지역에서도 데이터에 액세스해야 하기 때문에 오프라인 우선(offline-first) 패러다임이 중요해집니다. MongoDB의 Realm은 리소스가 제한된 환경을 위한 경량의 객체 지향형 임베디드 기술입니다. 모바일 기기에 데이터를 저장하는 데 이상적인 솔루션입니다. Realm 데이터베이스를 래핑(wrap)하는 MongoDB의 Realm SDK와 함께, 개발자들이 최소한의 작업만으로 MongoDB와 모바일 기기의 Realm 간에 원활하게 데이터 동기화를 실행할 수 있는 Atlas Device Sync를 활용함으로써 기업들은 신속하게 모바일 애플리케이션을 개발하고 혁신을 추진할 수 있습니다. MongoDB는 프로세스를 최적화하고 비효율을 제거할 수 있는 IoT 기반 공급망을 위한 강력한 솔루션을 제공하기 때문에 기업들은 데이터 기반 의사 결정을 수행하고 공급망 효율성을 향상시킬 수 있습니다. 결론 IoT 산업이 빠르게 진화하고, 커넥티드 장치의 수가 늘어나면서 이들 솔루션을 활용하는 기업들이 직면한 과제도 증가하고 있습니다. 여러 다양한 실제 활용 사례들을 통해 MongoDB가 어떻게 기업들이 IoT 데이터 관리를 처리하고, 실시간 분석을 수행하며, 공급망을 최적화함으로써 다양한 산업 부문에서 혁신을 추진할 수 있도록 지원했는지 살펴봤습니다. 고객들을 위해 힘든 작업을 관리하도록 설계된 고유한 특징과 기능들을 통해, MongoDB는 IoT 환경의 지속적인 디지털 전환에서 중요한 역할을 수행할 수 있는 유리한 입지를 확보하고 있습니다. 자세한 내용을 원하거나, MongoDB로 시작하시기를 원하십니까? MongoDB의 IoT 리소스를 확인해 보십시오. MongoDB IoT 참조 아키텍처 Relational Migrator를 이용한 기존 애플리케이션 마이그레이션 MongoDB & IIoT e북 IoT 웹페이지

December 29, 2023

Real-Time Inventory Tracking with Computer Vision & MongoDB Atlas

In today’s rapidly evolving manufacturing landscape, digital twins of factory processes have emerged as a game-changing technology. But why are they so important? Digital twins serve as virtual replicas of physical manufacturing processes, allowing organizations to simulate and analyze their operations in a virtual environment. By incorporating artificial intelligence and machine learning, organizations can interpret and classify objects, leading to cost reductions, faster throughput speeds, and improved quality levels. Real-time data, especially inventory information, plays a crucial role in these virtual factories, providing up-to-the-minute insights for accurate simulations and dynamic adjustments. In the first blog , we covered a 5-step high level plan to create a virtual factory. In this blog, we delve into the technical aspects of implementing a real-time computer vision inventory inference solution as seen in Figure 1 below. Our focus will be on connecting a physical factory with its digital twin using MongoDB Atlas, which facilitates real-time interaction between the physical and digital realms. Let's get started! Figure 1: High Level Overview Part 1: The physical factory sends data to MongoDB Atlas Let’s start with the first task of transmitting data from the physical factory to MongoDB Atlas. Here, we focus on sending captured images of raw material inventory from the factory to MongoDB for storage and further processing as seen in Figure 2. Using the MQTT protocol, we send images as base64 encoded strings. AWS IoT Core serves as our MQTT broker, ensuring secure and reliable image transfer from the factory to MongoDB Atlas. Figure 2: Sending images to MongoDB Atlas via AWS IoT Core For simplicity purposes, in this demo, we directly store the base64 encoded image strings in MongoDB documents. This is because each image received from the physical factory is small enough to fit into one document. However, this is not the only method to work with images (or generally large files) in MongoDB. Within our developer data platform , we have various storage methods, including GridFS for larger files or binary data for smaller ones (less than 16MB). Moreover, object storage services like AWS S3 or Google Cloud Storage, coupled with MongoDB data federation are commonly used in production scenarios. In this real-world scenario, integrating object storage services with MongoDB provides a scalable and cost-efficient architecture. MongoDB is excellent for fast and scalable reads and writes of operational data, but when retrieving images with very low latency is not a priority, the storage of these large files in ‘buckets’ helps reduce costs while getting all the benefits of working with MongoDB Atlas. Robert Bosch GmbH , for instance, uses this architecture for Bosch's IoT Data Storage , which helps service millions of devices worldwide efficiently. Coming back to our use case, to facilitate communication between AWS IoT Core and MongoDB, we employ Rules defined in AWS IoT Core, which helps us send data to an HTTPS endpoint. This endpoint is configured directly in MongoDB Atlas and allows us to receive and process incoming data. If you want to learn more about MongoDB Data APIs, check this blog from our Developer Center colleagues. Part 2: MongoDB Atlas to AWS SageMaker for CV prediction Now it’s time for the inference part! We’ve trained a built-in multi-label classification model provided by Sagemaker, using images like in Figure 3. The images were annotated with using an .lst file format following the schema: So in an image where only the red and white pieces are present, but no blue is present in the warehouse, we would have an annotation such as: Figure 3: Sample image used for the Computer Vision model The model was built using 24 training images and 8 validation images, which was a simplicity-based decision to demonstrate the capabilities of the implementation rather than building a powerful model. Regardless of the extremely low training/validation sample, we managed to achieve a 0.97 validation accuracy. If you want to learn more about how the model was built, check out the Github repo . With a model trained and ready to predict, we created a model endpoint in Sagemaker where we send new images through a POST request so it answers back with the predicted values. We use an Atlas Function to drive this functionality. Every minute, it grabs the latest image stored in MongoDB and sends it to the Sagemaker endpoint. It then waits for the response. When the response is received, we get an array with three decimal values between 0 and 1 representing the likelihood of each piece (blue, red, white) being in the stock. We interpret the numeric values with a simple rule: if the value is above 0.85, we consider the piece being in stock. Finally, the same Atlas function writes the results in a collection (Figure 4) that keeps the current state of the inventory of the physical factory. More details about the function here . Figure 4: Collection storing real time stock status of the factory The beauty comes when we have MongoDB Realm incorporated on the Virtual Factory as seen in Figure 5. It’s automatically and seamlessly synced with MongoDB Atlas through Device Sync. The moment we update the collection with the inventory status of the physical factory in MongoDB Atlas, the virtual factory, with Realm, is automatically updated. The advantage here, besides not needing to include any additional lines of code for the data transfer, is that conflict resolution will be handled out of the box and when connection is lost, the data won’t be lost and rather updated as soon as the connection is re-established. This essentially enables a real-time synchronized digital twin without the hustle of managing data pipelines, configuring your code for edge cases and lose time in non-competitive work. Figure 5: Connecting Atlas and Realm via Device Sync Just as an example of how companies are implementing Realm and Device Sync for mission-critical applications: The airline Cathay Pacific revolutionized how pilots logged critical flight data such as wind speed, elevation, and oil pressure. Historically, it was done manually via pen and paper until they switched to a fully digital, tablet-based app with MongoDB, Realm, and Device Sync. With this, they eliminated all papers from flights and did one of the first zero-paper flights in the world in 2019. Check out the full article here . As you can see, the combination of these technologies is what enables the development of truly connected, highly performant digital twins within just one platform. Part 3: CV results are sent to Digital Twin via Device Sync In the process of sending data to the digital twin through device sync, developers can follow a straightforward procedure. First, we need to navigate to Atlas and access the Realm SDK section. Here, they can choose their preferred programming language and the data models will be automatically pre-built based on the schemas defined in the MongoDB collections. MongoDB Atlas simplifies this task by offering a copy-paste functionality as seen in Figure 6 , eliminating the need to construct data models from scratch. For this specific project, the C# SDK was utilized. However, developers have the flexibility to select from various SDK options, including Kotlin, C++, Flutter, and more, depending on their preferences and project requirements. Once the data models are in place, simply activating device sync completes the setup. This enables seamless bidirectional communication. Developers can now send data to their digital twin effortlessly. Figure 6: Realm C# SDK Object Model example One of the key advantages of using device sync is its built-in conflict resolution capability. Whether facing offline interruptions or any conflicting changes, MongoDB Atlas automatically manages conflict resolution. The "Always on '' feature is particularly crucial for Digital Twins, ensuring constant synchronization between the device and the MongoDB Atlas. This powerful feature saves developers significant time that would otherwise be spent on building custom conflict resolution mechanisms, error-handling functions, and connection-handling methods. With device sync handling conflict resolution out of the box, developers can focus on building and improving their applications. They can be confident in the seamless synchronization of data between the digital twin and MongoDB Atlas. Part 4: Virtual factory sends inventory status to the user For this demonstration, we built the Digital Twin of our physical factory using Unity so that it can be interactive through a VR headset. With this, the user can order a piece on the physical world by interacting with the Virtual Twin, even if the user is thousands of miles away from the real factory. In order to control the physical factory through the headset, it’s crucial that the app informs the user whether or not a piece is present in the stock, and this is where Realm and Device Sync come into play. Figure 7: User is informed of which pieces are not in stock in real time. In Figure 7, the user intended to order a blue piece on the Digital Twin and the app is informing that the piece is not in stock, and therefore not activating the order neither on the physical factory nor its digital twin. What’s happening behind on the backend is that the app is reading the Realm object that stores the stock status of the physical factory and deciding if the piece is orderable or not. Remember that this Realm object is in real-time sync with MongoDB Atlas, which in turn is constantly updating the stock status on the collection in Figure 4 based on Sagemaker inferences. Conclusion In this blog, we presented a four-part process demonstrating the integration of a virtual factory and computer vision with MongoDB Atlas. This solution enables transformative real-time inventory management for manufacturing companies. If you're interested in learning more and getting hands-on experience, feel free to explore our accompanying GitHub repository for further details and practical implementation.

August 1, 2023

Real-Time Energy Monitoring for Smart Buildings with MongoDB and HiveMQ

The Internet of Things (IoT) has ushered in a new era of energy efficiency, enabling the deployment of energy-efficient sensors for energy conservation and resource utilization. With over 1.5 billion connected IoT devices already installed in commercial smart buildings in 2022 and a projected surge to 3.25 billion devices by 2028, the volume of data generated is staggering. To put it in perspective, an average home in 2020 would generate approximately 4.7 terabytes of data annually. However, managing and harnessing this immense amount of real-time streaming data poses a significant challenge for developers. In smart buildings, where a multitude of IoT sensors continuously gather event streaming data, developers often grapple with integrating disparate technologies and investing significant time into data streaming integration. In this blog, we present a simple yet powerful solution to this challenge. We will demonstrate how you can effortlessly move IoT data using standard protocols such as MQTT to MongoDB Atlas using the HiveMQ Enterprise Extension for MongoDB . By optimizing smart buildings with real-time energy monitoring through the seamless integration of MongoDB and HiveMQ, we unlock the potential for efficient energy management and a sustainable future. Let’s get started! Dream team: HiveMQ + MongoDB In a world where energy conservation and efficient resource utilization are essential, let’s go through Figure 1 and see how simple it is to use MongoDB, HiveMQ’s MQTT broker, and the Enterprise Extension for MongoDB to enable real-time energy monitoring for smart building. Figure 1: Combining HiveMQ and MongoDB process data in real-time Step 1: Data transmission Using MQTT-based IoT devices deployed throughout the building, electricity consumption, temperature, and occupancy data is collected and sent to the HiveMQ MQTT broker. The MQTT broker acts as a central hub, efficiently and securely handling the communication between devices and backend systems. The HiveMQ MQTT broker also ensures reliable message delivery. It also provides MQTT-specific features like quality of service, session management, and topic-based message routing. Step 2: Data ingestion The HiveMQ MongoDB extension seamlessly integrates with MongoDB, allowing for persistent storage of the MQTT data in a highly scalable and flexible manner. The fully customizable templating system allows MQTT data to be stored according to the building’s specific operational requirements. MongoDB's document-based model accommodates the varying data formats and structures generated by different IoT devices. Step 3: Data visualization and analytics Once the MQTT data is securely stored in MongoDB, using its powerful in-app analytics, building managers can gain deep insights into energy consumption patterns, identify anomalies, and optimize energy usage. By leveraging MongoDB's rich query support and aggregation framework, building managers can make data-driven decisions promptly, reducing costs and enhancing sustainability. In cases where data needs to be exported to an ML/AI engine, MongoDB Spark and Kafka connectors can be used. Users of MongoDB Atlas can leverage Atlas Device Sync and Realm to send real-time alerts and messages to mobile devices. Data can be visualized using MongoDB Atlas Charts or through a third-party Business Intelligence (BI) tool connected via MongoDB BI connector or Atlas SQL interface. Conclusion By seamlessly integrating HiveMQ's MQTT broker with MongoDB, developers can efficiently handle data transmission, ingestion, and storage. This integration enables building managers to gain valuable insights into energy consumption patterns, make data-driven decisions, and optimize energy usage. To learn more about MongoDB’s role in IoT, please visit our IoT webpage . You can also try the HiveMQ platform now with the Enterprise Extension for MongoDB for free . Thank you Ainhoa Múgica for her contributions to this blog.

July 11, 2023

使用 MongoDB 剖析开放银行：技术挑战和解决方案

感谢 Ainhoa Múgica 对本文的贡献。 开放银行（或开放金融）在银行业掀起了一股颠覆性浪潮，它迫使金融机构（银行、保险公司、金融科技公司、企业甚至政府机构）迎接一个透明、协作和创新的新时代。这种模式转变要求银行与第三方提供商（TPP）公开共享客户数据，通过结合“同类最佳”的产品和服务，提升客户体验，促进创新金融技术解决方案的发展。截至 2020 年，全球有 2470 万人使用开放银行服务，预计到 2024 年这一数字将达到 1.322 亿。这种上升趋势推动了竞争，刺激了创新，并促进了传统银行与灵活的金融科技公司之间的合作。在这一变革格局中，MongoDB 作为领先的开发者数据平台，通过提供安全、可扩展且灵活的基础架构来管理和保护共享的客户数据，在支持开放银行业务方面发挥着至关重要的角色。通过利用 MongoDB 技术的力量，金融机构可以降低成本，改善客户体验，并通过严格的监管合规性来降低与广泛共享客户数据相关的潜在风险。 图 1：开放银行架构示例 开放银行/金融的本质是利用通用数据交换协议与第三方共享金融数据和服务。在本博客中，我们将从数据和数据服务的角度深入探讨开放银行的技术挑战和解决方案，并探讨 MongoDB 如何帮助金融机构克服这些障碍并释放这个开放生态系统的全部潜力。 动态环境和标准 随着开放银行标准的不断发展，金融机构必须保持适应性，以满足不断变化的法规和行业需求。传统的 relational database 往往难以跟上开放银行业务的动态要求，原因在于其僵化的模式难以随着时间的推移而改变和管理。在没有标准化开放银行框架的国家，银行和第三方提供商面临着开发多个版本的 API 来与不同机构集成的挑战，这会造成复杂性并阻碍互操作性。幸运的是，开放银行标准或指南（如欧洲、新加坡、印度尼西亚、香港、澳大利亚等）都普遍要求或建议开放 API 为 RESTful，并支持 JSON 数据格式，这为通用数据交换奠定了基础。 MongoDB 通过提供 灵活的开发者数据平台 来应对这些挑战，该平台本身支持 JSON 数据格式、简化数据建模并为开发者提供灵活的模式更改。借助 MongoDB Data API 等功能，开发者可以通过低代码方式轻松公开数据，从而减少开发和维护工作。 稳定的 API 功能可确保数据库升级期间的兼容性，防止代码破坏并提供无缝过渡。此外，MongoDB 还提供提高生产力的功能，例如 全文搜索 、 数据可视化 、 数据联合 、 移动数据库同步 和其他 应用服务 ，使开发者能够加快产品上市时间。借助 MongoDB 的功能，金融机构和第三方提供商可以更有效地驾驭不断变化的开放银行格局、促进协作并为客户提供创新解决方案。 Natwest 就是一个利用 MongoDB 的原生 JSON 数据管理和灵活性的客户示例。Natwest 是英国一家主要的零售和商业银行，总部位于英国伦敦。随着开放银行业务的增长，该银行在几年内每月的 API 调用次数从零增加到 9 亿次，预计未来几年还将增长 10 倍。在 2022 年 11 月 15 日的 MongoDB 活动中，Natwest 的“API 银行”技术（一个将零售银行服务带给合作伙伴的 API 生态系统）负责人 Jonathan Haggarty 在题为“使用 API 数据驱动客户价值”的演讲中分享了 Natwest不断发 展的 API 生态系统使其能够“将大量 JSON 数据推送到 MongoDB 中，[这使得]“从简单的信息到相当复杂的信息都很容易”，并且还可以更轻松地通过数据屏蔽来混淆用户详细信息以保护客户隐私。Natwest 能够通过其 API 生态系统为合作伙伴提供客户数据洞察，例如“客户在电子商务领域的位置”、“[零售商]推出折扣的最佳时间”以及“最有价值客户”的洞察– 使用数据来解决问题；分析和洞察力；和报告。 性能 在开放银行的动态格局中，满足对性能、可扩展性和可用性的不可预测的需求至关重要。应用程序的效率和整体客户体验在很大程度上依赖于 API 的响应能力。然而，如果第三方供应商的业务和技术要求不公开，建立开放银行平台就会变得错综复杂。如果不仔细管理，可能会导致不可预见的性能问题并增加成本。开放银行要求 API 在各种工作负载下都具有高性能。 OBIE 建议所有付款邀请（文件付款除外）和帐户信息 API 的每个端点响应的平均 TTLB（到最后一个字节的时间）为 750 毫秒。遵守某些司法管辖区的监管服务级别协议（SLA）进一步增加了复杂性。传统架构和数据库通常很难满足这些苛刻的标准，需要进行大量更改才能确保可扩展性和最佳性能。 这就是 MongoDB 发挥作用的地方。MongoDB 专为通过其 WiredTiger 存储引擎及其压缩功能提供卓越的性能而构建。此外， MongoDB Atlas 根据其智能索引和架构建议、自动数据分层以及用于分析的工作负载隔离来提高性能。著名的金融服务应用程序提供商 Temenos 通过利用 MongoDB Atlas 实现了卓越的交易量处理性能和效率，证明了其能力。他们最近使用 MongoDB Atlas 和 Microsoft Azure 运行了基准测试，并以破纪录的每秒 150,000 笔交易成功处理了惊人的 2 亿笔 嵌入式金融贷款和 1 亿个零售账户 。这展示了 MongoDB 的强大功能和可扩展性以及无与伦比的性能，使金融机构能够有效应对开放银行带来的挑战。MongoDB 确保出色的性能、可扩展性和可用性，以满足行业不断变化的需求。 可扩展性 构建一个为 TPP 提供服务的平台（TPP 可能不会披露其业务用途和技术/性能要求），如果托管不周，可能会带来不可预测的性能和成本问题。例如，新加坡的一家银行面临一个问题，他们的开放 API 每周三都会遇到峰值负载和崩溃。经过调查，他们发现其中一个 TPP 每周三都会开展促销活动，导致 API 调用激增，导致该银行的基础设施不堪重负。除了满足特定已知交易量的性能要求之外，能够在不可预测的工作负载下执行的可扩展解决方案也至关重要。 MongoDB 灵活的架构和可扩展性功能有效解决了这些问题。凭借其基于分布式文档的数据模型，MongoDB 允许垂直和水平无缝扩展。通过利用 分片 ，数据可以分布在多个节点上，确保资源的高效利用，并使系统能够在不影响性能的情况下处理大量交易。MongoDB 的自动分片功能可随着工作负载的增长进行动态扩展，为金融机构提供适应不断变化的需求的灵活性，并确保平稳且可扩展的开放银行基础设施。 可用性 在开放银行领域，可用性成为一项关键挑战。随着第三方提供商 (TPP) 对银行服务的依赖程度越来越高，确保持续可用性变得更加复杂。以前，银行可以在非高峰时段关闭某些服务以进行维护。然而，由于 TPP 提供 24x7 全天候体验，任何停机时间都是不可接受的。这给银行带来了更大的压力，要求他们保持 Open API 服务的持续可用性，即使在计划的维护窗口或不可预见的事件期间也是如此。 MongoDB Atlas 是完全托管的全球云数据库服务，可有效解决这些可用性挑战。MongoDB Atlas 凭借其多节点集群和多云 DBaaS 功能，可确保高可用性和容错能力。它提供了在多个领先云提供商上运行的灵活性，使银行能够最大限 度降低集中风险 ，并通过跨不同云平台的分布式集群实现更高的可用性。MongoDB Atlas 提供的 强大复制和故障 转移机制可保证服务不间断，并使金融机构能够为其客户和 TPP 提供可靠且始终可用的开放银行 API。 安全和隐私 数据安全和同意管理是参与开放银行业务的银行最关心的问题。将身份验证和授权机制暴露给第三方提供商会引发安全问题，并带来数据保护方面的复杂技术问题。银行需要精细的访问控制和加密机制来保护共享数据，包括细粒度地管理数据共享同意。此外，银行必须了解《通用数据保护条例》(GDPR) 等数据隐私法规的情况，这些法律提出了与传统银行法规不同的严格要求。 MongoDB 提供一系列解决方案 ，可有效解决这些安全和隐私挑战。 Queryable Encryption 提供了一种在 MongoDB 中管理加密数据的机制，从而确保即使与第三方提供商共享敏感信息也能保持安全。MongoDB 的全面加密功能涵盖静态数据和传输中数据，在数据的整个生命周期中保护数据。MongoDB 的灵活架构允许金融机构捕获管理数据共享同意的不同数据要求，并将来自不同国家的用户同意统一到单一数据存储中，从而简化对复杂数据隐私法规的遵守。此外，MongoDB 的 地理分片 功能可确保相关数据和同意信息保留在最近的云数据中心，同时为访问数据提供最佳响应时间，从而确保遵守数据驻留法规。 为了进一步增强数据隐私，MongoDB 提供了字段级加密技术，支持字段级别的对称加密，以保护敏感数据（例如个人身份信息），即使是与 TPP 共享时也是如此。字段的随机加密增加了一层安全性，并可对加密数据进行查询操作。MongoDB 的 Queryable Encryption 技术进一步增强了安全性并防御密码分析，确保开放银行生态系统中的客户数据受到保护和保密。 活动监控 由于银行在开放银行生态系统中提供了大量 API，活动监控和故障排除已成为维护强大且安全的基础设施的关键方面。MongoDB 通过其监控工具和审核功能简化了活动监控。管理员和用户可以精细地跟踪系统活动、监控数据库系统和应用程序事件。 MongoDB Atlas 具有管理 API，可用于以编程方式管理 Atlas 服务。例如，可以使用 Atlas Administration API 来创建数据库部署、向这些部署添加用户、监控这些部署等。这些 API 可帮助实现 CI/CD 管道的自动化，并监控数据平台上的活动，使开发者和管理员能够从繁琐的工作中解放出来，专注于创造更多业务价值。性能监控工具（包括性能优化顾问）有助于衡量和优化系统性能，确保 API 提供卓越的用户体验。 图 2：MongoDB Atlas 上的活动监控 MongoDB Atlas Charts 是 MongoDB Atlas 的一项集成功能，可提供分析和可视化功能。金融机构可使用 MongoDB Atlas Charts 创建商业智能仪表盘。这样就不需要与传统商业智能工具相关的昂贵许可，随着越来越多的 TPP 使用 API，成本效益也会随之提高。利用 MongoDB Atlas Charts，金融机构可以向 TPP 提供全面的业务遥测数据，例如保险报价单数量、保单交易、API 调用量和性能指标。这些见解使金融机构能够做出数据驱动的决策，提高运营效率，并优化开放银行生态系统中的客户体验。 图 3：Atlas Charts 样本仪表盘 实时性 开放银行业务给金融机构带来了新的挑战，因为它们努力在 TPP 不可预测的工作负载中提供服务并扩大规模。虽然静态内容带来的难度较小，但需要实时更新或连续流的 API（例如动态账户余额或经 ESG 调整的信用评分）需要近乎实时的实时数据交付功能。 为了使应用程序能够立即对发生的实时更改或更改做出反应，组织可以利用基于其聚合框架的 MongoDB Change Streams 对单个集合、数据库甚至整个部署中的数据更改做出反应。此功能进一步增强了 MongoDB 的实时数据和事件处理和分析能力。 MongoDB 提供了多种机制来支持数据流，包括用于事件驱动架构的 Kafka Connector 和用于使用 Spark 进行流处理的 Spark Connector 。这些解决方案使金融机构能够有效满足其开放银行合作伙伴的实时数据需求，实现无缝集成和实时数据交付，从而增强客户体验。 结论 MongoDB 的技术能力使其成为金融机构踏上开放银行之旅的关键推动力。从管理动态环境和适应不可预测的工作负载，到确保可扩展性、可用性、安全性和隐私，MongoDB 提供了一套全面的工具和功能来有效应对开放银行业务的挑战。以 MongoDB 作为底层基础设施，金融机构可以自信地驾驭不断发展的开放银行格局，提供创新的解决方案，推动银行业的未来。拥抱 MongoDB 使金融机构能够释放开放银行的全部潜力，并在协作和数字化转型的时代提供卓越的客户体验。 如果想要了解有关如何利用 MongoDB 构建开放银行基础设施的更多信息，请查看以下资源： 开放银行小组讨论：利用 MongoDB、Celent、Icon Solutions 和 AWS 在数据和 API 标准不断变化的世界中让您的银行面向未来 数据网格如何促进开放银行业务 金融服务中心

June 6, 2023

MongoDB를 통한 오픈 뱅킹 분석: 기술적 과제와 솔루션

이 게시물에 도움을 주신 Ainhoa Múgica 님에게 감사드립니다. 은행 업계에 파괴적인 물결(disruptive wave)을 일으키고 있는 오픈 뱅킹(또는 오픈 파이낸스)은 그 이름에서 알 수 있듯이 은행, 보험사, 핀테크, 기업, 심지어 정부 기관까지 금융 기관이 투명성, 협업, 혁신의 새로운 시대를 받아들이도록 강요하고 있습니다. 이러한 패러다임의 변화는 은행이 고객 데이터를 타사 제공업체(TPP)와 공개적으로 공유하여 고객 경험을 개선하고 '동급 최고의' 상품과 서비스를 결합하여 혁신적인 핀테크 솔루션 개발을 촉진하도록 요구합니다. 2020년 현재 전 세계적으로 2,470 만 명이 오픈 뱅킹 서비스를 이용하고 있으며, 2024년에는 1억 3,220만 명에 달할 것으로 예상됩니다. 이러한 상승 추세는 경쟁과 혁신을 촉진하며 기존 은행과 민첩한 핀테크 기업 간의 파트너십을 조성합니다. 이러한 변화의 흐름 속에서 선도적인 개발자 데이터 플랫폼인 MongoDB는 공유 고객 데이터를 관리하고 보호하기 위한 안전하고 확장 가능하며 유연한 인프라를 제공함으로써 오픈 뱅킹을 지원하는 데 중요한 역할을 담당하고 있습니다. MongoDB의 기술 역량을 활용함으로써 금융 기관은 비용을 절감하고 고객 경험을 개선하며 엄격한 규제 준수를 통해 광범위한 고객 데이터 공유와 관련된 잠재적 위험을 완화할 수 있습니다. 그림 1: 오픈 뱅킹 아키텍처 예시 오픈 뱅킹/금융의 본질은 공통 데이터 교환 프로토콜을 활용하여 금융 데이터 및 서비스를 타사와 공유하는 것입니다. 이 블로그에서는 데이터 및 데이터 서비스 관점에서 오픈 뱅킹의 기술적 과제와 해결책을 살펴보고, MongoDB가 어떻게 금융 기관이 이러한 장애물을 극복하고 개방형 에코시스템의 잠재력을 최대한 활용할 수 있도록 지원하는지 살펴봅니다. 동적 환경 및 표준 오픈 뱅킹 표준이 계속 진화함에 따라 금융 기관은 변화하는 규정과 업계 요구 사항에 계속 대응해야 합니다. 기존의 relational database는 시간이 지나면서 변경 및 관리가 어려운 경직된 스키마로 인해 오픈 뱅킹의 동적 요구 사항을 충족시키는 데 어려움을 겪는 경우가 많습니다. 표준화된 오픈 뱅킹 프레임워크가 없는 국가에서는 은행과 타사 제공업체가 여러 기관과 통합하기 위해 여러 버전의 API를 개발해야 하므로 복잡성이 발생하고 상호 운용성이 저해되는 문제에 직면하게 됩니다. 다행히도 오픈 뱅킹 표준 또는 가이드라인(예: 유럽, 싱가포르, 인도네시아, 홍콩, 호주 등)에서는 일반적으로 오픈 API가 RESTful이어야 하고 JSON 데이터 형식을 지원하도록 요구하거나 권장하여 공통 데이터 교환을 위한 기반을 마련하고 있습니다. MongoDB는 기본적으로 JSON 데이터 형식을 지원하고 데이터 모델링을 간소화하며 개발자가 스키마를 유연하게 변경할 수 있는 유연한 개발자 데이터 플랫폼을 제공하여 이러한 문제를 해결합니다. MongoDB Data API 와 같은 기능을 통해 개발자는 로우 코드 방식으로 데이터를 쉽게 노출하여 개발 및 유지 관리 노력을 줄일 수 있습니다. 안정적인 API 기능은 데이터베이스 업그레이드 중에 호환성을 보장하여 코드 중단을 방지하고 원활한 전환을 제공합니다. 또한 MongoDB는 전체 텍스트 검색 , 데이터 시각화 , 데이터 페더레이션 , 모바일 데이터베이스 동기화 및 기타 앱 서비스 등 생산성 향상 기능을 제공하여 개발자가 시장 출시 시간을 단축할 수 있도록 지원합니다. MongoDB의 기능을 통해 금융 기관과 타사 제공업체는 변화하는 오픈 뱅킹 환경을 더 효과적으로 탐색하고 협업을 촉진하며 고객에게 혁신적인 솔루션을 제공할 수 있습니다. MongoDB의 기본 JSON 데이터 관리 및 유연성을 활용하는 클라이언트의 한 예로 Natwest가 있습니다. Natwest는 잉글랜드 런던에 본사를 둔 영국의 주요 소매 및 상업 은행입니다. 오픈 뱅킹 이용률이 증가함에 따라 은행의 월 API 호출 건수는 수년 만에 0건에서 9억 건 으로 증가했으며, 향후 몇 년 안에 10배 이상 증가할 것으로 예상됩니다. 2022년 11월 15일에 열린 MongoDB 행사에서 Natwest의 'Bank of API' 기술(소매 은행의 서비스를 파트너에게 제공하는 API 에코시스템) 책임자인 Jonathan Haggarty는 ' API 데이터를 사용한 고객 가치 창출' 이라는 제목의 프레젠테이션에서 Natwest의 성장하는 API 에코시스템을 통해 “많은 양의 JSON 데이터를 MongoDB에 푸쉬하여 간단한 정보에서 상당히 복잡한 정보로 쉽게 이동할 수 있고" 고객 개인정보 보호를 위해 데이터 마스킹을 통해 사용자 정보를 쉽게 난독화할 수 있다고 설명했습니다. Natwest는 API 에코시스템을 통해 파트너를 위한 고객 데이터 인사이트, 예를 들어 '고객이 이커머스 스펙트럼에서 어디에 있는지', '[소매업체가] 할인을 추진하기에 가장 좋은 시기', '가장 가치 있는 고객'에 대한 인사이트 등 문제 해결, 분석 및 인사이트, 보고에 데이터를 사용할 수 있도록 지원합니다. 성능 동적인 오픈 뱅킹 환경에서는 성능, 확장성, 가용성에 대한 예측할 수 없는 요구 사항을 충족하는 것이 매우 중요합니다. 애플리케이션의 효율성과 전반적인 고객 경험은 API의 응답성에 크게 좌우됩니다. 그러나 공개되지 않은 비즈니스 및 기술 요구 사항이 있는 타사 제공업체를 수용할 경우 오픈 뱅킹 플랫폼을 구축하는 것이 복잡해집니다. 주의 깊게 관리하지 않으면 예상치 못한 성능 문제와 비용 증가가 발생할 수 있습니다. 오픈 뱅킹은 모든 종류의 워크로드 볼륨에서 고성능의 API를 요구합니다. OBIE 는 모든 결제 초대(파일 결제 제외) 및 계정 정보 API에 대해 엔드포인트 응답당 평균 TTLB(마지막 바이트까지의 시간)를 750ms로 권장합니다. 특정 관할권의 규제 서비스 수준 계약(SLA)을 준수해야 하는 경우 복잡성이 더욱 가중됩니다. 레거시 아키텍처와 데이터베이스는 이러한 까다로운 기준을 충족하는 데 어려움을 겪는 경우가 많기 때문에 확장성과 최적의 성능을 보장하기 위해 광범위한 변경이 필요합니다. 바로 여기에 MongoDB가 등장합니다. MongoDB는 WiredTiger 스토리지 엔진과 압축 기능을 통해 탁월한 성능을 제공하도록 특별히 구축되었습니다. 또한 MongoDB Atlas 는 지능형 인덱스 및 스키마 제안, 자동 데이터 계층화, 분석을 위한 워크로드 격리를 통해 성능을 향상시킵니다. 널리 알려진 금융 서비스 애플리케이션 제공업체인 Temenos가 MongoDB Atlas를 활용하여 놀라운 트랜잭션 볼륨 처리 성능과 효율성을 달성한 것이 그 역량을 보여주는 대표적인 예입니다. 최근 MongoDB Atlas와 Microsoft Azure 로 벤치마크를 실행한 결과, 초당 15만 건이라는 기록적인 속도로 2억 건의 임베디드 금융 대출과 1억 건의 소매 계좌를 성공적으로 처리했습니다 . 이는 금융 기관이 오픈 뱅킹으로 인한 과제를 효과적으로 해결할 수 있도록 지원하는 탁월한 성능을 갖춘 MongoDB의 강력한 성능과 확장성을 보여줍니다. MongoDB는 끊임없이 변화하는 업계 요구 사항을 충족하는 뛰어난 성능, 확장성 및 가용성을 보장합니다. 확장성 비즈니스 사용량과 기술/성능 요구 사항을 공개하지 않을 수 있는 TPP에 서비스를 제공하기 위한 플랫폼을 구축하는 경우, 신중하게 관리하지 않으면 예측할 수 없는 성능 및 비용 문제가 발생할 수 있습니다. 예를 들어 싱가포르의 한 은행은 매주 수요일 Open API가 최대 부하와 충돌이 발생하는 문제에 직면했습니다. 조사 결과, TPP 중 한 곳이 매주 수요일에 프로모션 캠페인을 실시하여 은행의 인프라를 압도하는 API 호출이 발생한 것으로 나타났습니다. 알려진 특정 트랙잭션 볼륨의 성능 요구 사항을 충족하는 것 외에도 예측할 수 없는 워크로드에서도 성능을 발휘할 수 있는 확장 가능한 솔루션이 중요합니다. MongoDB의 유연한 아키텍처 및 확장성 기능은 이러한 문제를 효과적으로 해결합니다. MongoDB는 분산된 문서 기반 데이터 모델을 통해 수직 및 수평적으로 원활하게 확장할 수 있습니다. 샤딩 을 활용하면 데이터를 멀티 노드에 분산하여 효율적인 리소스 활용을 보장하고 시스템이 성능 저하 없이 대량 트랜잭션을 처리할 수 있습니다. MongoDB의 자동 샤딩 기능은 워크로드 증가에 따라 동적으로 확장할 수 있어 금융 기관이 변화하는 수요에 유연하게 대응하고 원활하고 확장 가능한 오픈 뱅킹 인프라를 보장할 수 있도록 합니다. 가용성 오픈 뱅킹 분야에서는 가용성이 중요한 과제가 되고 있습니다. 타사 제공업체(TPP)의 뱅킹 서비스에 대한 의존도가 높아짐에 따라 일관된 가용성을 보장하는 것이 더욱 복잡해지고 있습니다. 이전에는 은행에서 유지 관리를 위해 이용량이 적은 시간대에 특정 서비스를 중단할 수 있었습니다. 그러나 연중무휴 24시간 서비스를 제공하는 TPP에서는 어떠한 다운타임도 용납되지 않습니다. 이에 따라 은행은 계획된 유지 관리 기간이나 예상치 못한 상황이 발생한 경우에도 Open API 서비스의 가용성을 지속해서 유지해야 한다는 압박을 받게 됩니다. 완전 관리형 글로벌 클라우드 데이터베이스 서비스인 MongoDB Atlas는 이러한 가용성 문제를 효과적으로 해결합니다. 멀티 노드 클러스터 및 멀티 클라우드 DBaaS 기능을 갖춘 MongoDB Atlas는 고가용성과 내결함성을 보장합니다. 여러 주요 클라우드 제공업체에서 실행할 수 있는 유연성을 제공하므로 은행은 여러 클라우드 플랫폼에 분산된 클러스터를 통해 집중 위험을 최소화하고 더 높은 가용성을 달성할 수 있습니다. MongoDB Atlas가 제공하는 강력한 복제 및 장애 복구 메커니즘은 중단 없는 서비스를 보장하며 금융 기관이 고객과 TPP에 안정적이고 항시 사용 가능한 오픈 뱅킹 API를 제공할 수 있도록 지원합니다. 보안 및 개인정보 보호 데이터 보안과 동의 관리는 오픈 뱅킹에 참여하는 은행의 가장 중요한 관심사입니다. 타사 제공업체에 인증 및 권한 부여 메커니즘이 노출되면 보안 문제가 제기되고 데이터 보호와 관련된 기술적 복잡성이 증가합니다. 은행은 데이터 공유 동의를 세분화된 수준으로 관리하는 등 공유 데이터를 보호하기 위해 세분화된 액세스 제어 및 암호화 메커니즘이 필요합니다. 또한 은행은 기존 은행 규정과는 다른 엄격한 요건을 부과하는 일반 데이터 보호 규정(GDPR)과 같은 데이터 보호 법률의 환경을 탐색해야 합니다. MongoDB는 이러한 보안 및 개인정보 보호 문제를 효과적으로 해결하기 위한 다양한 솔루션을 제공합니다. Queryable Encryption 는 MongoDB 내에서 암호화된 데이터를 관리하는 메커니즘을 제공하여 타사 제공업체와 공유할 때에도 민감한 정보를 안전하게 유지합니다. MongoDB의 포괄적인 암호화 기능은 미사용 데이터와 전송 중인 데이터에 적용되어 데이터 라이프사이클 내내 데이터를 보호합니다. 금융 기관은 MongoDB의 유연한 스키마를 통해 데이터 공유 동의를 관리하기 위한 다양한 데이터 요구 사항을 파악하고 여러 국가의 사용자 동의를 단일 데이터 저장소로 통합하여 복잡한 데이터 개인정보 보호법 준수를 간소화할 수 있습니다. 또한 MongoDB의 지리적 샤딩 기능은 관련 데이터와 동의 정보를 가장 가까운 클라우드 데이터 센터에 보관하는 동시에 데이터 액세스를 위한 최적의 응답 시간을 제공함으로써 데이터 거주지 관련 법률을 준수할 수 있게 해줍니다. 데이터 개인정보 보호를 더욱 강화하기 위해 MongoDB는 필드 수준 암호화 기술을 제공하여 필드 수준에서 대칭 암호화를 통해 민감한 데이터(예: 개인 식별 정보)를 TPP와 공유할 때도 보호할 수 있습니다. 필드의 무작위 암호화는 보안 계층을 추가하고 암호화된 데이터에 대한 쿼리 작업을 가능하게 합니다. MongoDB의 Queryable Encryption 기술은 보안을 더욱 강화하고 암호화 분석을 방어하여 오픈 뱅킹 에코시스템 내에서 고객 데이터를 안전하게 보호하고 기밀을 유지합니다. 활동 모니터링 오픈 뱅킹 에코시스템에서 은행이 제공하는 수많은 API를 통해 활동 모니터링 및 문제 해결은 강력하고 안전한 인프라를 유지하는 데 있어 매우 중요한 요소입니다. MongoDB는 모니터링 도구와 감사 기능을 통해 활동 모니터링을 간소화합니다. 관리자와 사용자는 세부적인 수준에서 시스템 활동을 추적하고 데이터베이스 시스템 및 애플리케이션 이벤트를 모니터링할 수 있습니다. MongoDB Atlas에는 MongoDB Atlas 서비스를 프로그래밍 방식으로 관리하는 데 사용할 수 있는 API가 있습니다. 예를 들어 Atlas 관리 API를 사용하여 데이터베이스 배포를 만들고 해당 배포에 사용자를 추가하며, 해당 배포를 모니터링하는 등의 작업을 수행할 수 있습니다. 이러한 API는 CI/CD 파이프라인의 자동화와 데이터 플랫폼의 활동 모니터링을 지원하여 개발자와 관리자는 일상적인 작업에서 벗어나 더 많은 비즈니스 가치를 창출하는 데 집중할 수 있습니다. 성능 어드바이저를 포함한 성능 모니터링 도구는 시스템 성능을 측정하고 최적화하여 API가 탁월한 사용자 경험을 제공할 수 있도록 지원합니다. 그림 2: MongoDB Atlas의 활동 모니터링 MongoDB Atlas의 통합 기능인 MongoDB Atlas Charts 는 분석 및 시각화 기능을 제공합니다. 금융 기관은 MongoDB Atlas Charts를 사용하여 비즈니스 인텔리전스 대시보드를 만들 수 있습니다. 따라서 기존 비즈니스 인텔리전스 도구와 관련된 고가의 라이선스가 필요하지 않으므로 더 많은 TPP가 API를 활용할수록 비용 효율성이 높아집니다. 금융 기관은 MongoDB Atlas Charts를 통해 보험 견적 건수, 정책 트랜잭션 수, API 호출량, 성능 메트릭 등 종합적인 비즈니스 원격 분석 데이터를 TPP에 제공할 수 있습니다. 이러한 인사이트를 통해 금융 기관은 오픈 뱅킹 에코시스템에서 데이터 기반 의사 결정을 내리고 운영 효율성을 개선하며 고객 경험을 최적화할 수 있습니다. 그림 3: Atlas Charts 샘플 대시보드 실시간 적시성 오픈 뱅킹은 예측할 수 없는 TPP의 워크로드 속에서 서비스를 제공하고 확장하기 위해 노력하는 금융 기관에게 새로운 과제를 안겨줍니다. 정적 콘텐츠는 문제가 덜하지만, 동적 계정 잔액이나 ESG 조정 신용 점수처럼 실시간 업데이트나 지속적인 스트리밍이 필요한 API는 실시간에 가까운 데이터 전송 기능이 필요합니다. 애플리케이션에서 실시간 변경 또는 변경 사항이 발생하면 즉시 대응할 수 있도록 조직은 집계 프레임워크에 기반한 MongoDB Change Streams 을 활용하여 단일 collection, 데이터베이스 또는 전체 배포의 데이터 변경에 대응할 수 있습니다. 이 기능은 MongoDB의 실시간 데이터, 이벤트 처리 및 분석 기능을 더욱 향상시킵니다. MongoDB는 이벤트 중심 아키텍처를 위한 Kafka 커넥터, Spark 를 통한 스트리밍을 위한 Spark 커넥터 등 데이터 스트리밍을 지원하는 다양한 메커니즘을 제공합니다. 이러한 솔루션을 통해 금융 기관은 오픈 뱅킹 파트너의 실시간 데이터 요구 사항을 효과적으로 충족하여 원활한 통합과 실시간 데이터 전달을 통해 고객 경험을 개선할 수 있습니다. 결론 MongoDB의 기술적 역량은 오픈 뱅킹 여정을 시작하는 금융 기관의 핵심 원동력으로 자리매김하고 있습니다. 동적 환경 관리와 예측 불가능한 워크로드 수용부터 확장성, 가용성, 보안 및 개인정보 보호 보장에 이르기까지, MongoDB는 오픈 뱅킹의 과제를 효과적으로 해결할 수 있는 포괄적인 도구와 기능을 제공합니다. 금융 기관은 기본 인프라로 MongoDB를 사용하여 끊임없이 진화하는 오픈 뱅킹 환경을 자신 있게 탐색하고 혁신적인 솔루션을 제공하며 뱅킹의 미래를 주도할 수 있습니다. 금융 기관은 MongoDB를 도입하여 오픈 뱅킹의 잠재력을 최대한 활용하고 협업과 디지털 혁신의 시대에 탁월한 고객 경험을 제공할 수 있습니다. MongoDB를 오픈 뱅킹 인프라에 활용하는 방법에 대해 자세히 알아보려면 아래 리소스를 살펴보세요. 오픈 뱅킹 패널 토론: 변화하는 데이터 및 API 표준의 세계에서 MongoDB, Celent, Icon Solutions 및 AWS를 통해 은행의 미래를 대비하세요. 데이터 메시로 오픈 뱅킹을 촉진하는 방법 금융 서비스 허브

June 6, 2023

Analyse de l'Open Banking avec MongoDB : défis techniques et solutions

Merci à Ainhoa Múgica pour sa contribution à cette publication. À l'origine d'une vague disruptive dans le secteur bancaire, l'open banking (ou open finance), comme le terme l'indique, a contraint les institutions financières (banques, assureurs, fintechs, entreprises et même organismes gouvernementaux) à entrer dans une nouvelle ère de transparence, de collaboration et d'innovation. Ce changement de paradigme exige des banques qu'elles partagent ouvertement les données des clients avec des fournisseurs tiers (TPP), ce qui favorise une meilleure expérience client et encourage le développement de solutions fintech innovantes en combinant les « meilleurs produits et services ». En 2020, 24,7 millions de personnes dans le monde utilisaient des services d'open banking, un chiffre qui devrait atteindre 132,2 millions d'ici 2024. Cette tendance croissante avive la concurrence, stimule l'innovation et favorise les partenariats entre les banques classiques et les entreprises fintech agiles. Dans cet environnement en pleine mutation, MongoDB, l'une des principales plateformes de données pour développeurs, joue un rôle essentiel dans le soutien de l'open banking en fournissant une infrastructure sécurisée, évolutive et flexible pour la gestion et la protection des données partagées des clients. En exploitant la puissance de la technologie MongoDB, les institutions financières peuvent réduire les coûts, améliorer l'expérience client et atténuer les risques potentiels associés au partage généralisé des données clients grâce à une conformité réglementaire stricte. Figure 1 : un exemple d'architecture d'open banking L'essence de l'open banking/finance consiste à tirer parti de protocoles d'échange de données communs pour partager des données et des services financiers avec des tiers. Dans ce blog, nous allons nous intéresser aux défis techniques et aux solutions de l'open banking du point de vue des données et des services de données et explorer comment MongoDB permet aux institutions financières de surmonter ces obstacles et de révéler tout le potentiel de cet écosystème ouvert. Environnements et normes dynamiques Alors que les normes d'open banking continuent d'évoluer, les institutions financières doivent rester flexibles pour répondre à l'évolution des réglementations et des demandes du secteur. Les relational databases classiques ont souvent du mal à suivre le rythme des exigences dynamiques de l'open banking en raison de leurs schémas rigides difficiles à modifier et à gérer dans le temps. Dans les pays qui ne disposent pas de cadres d'open banking normalisés, les banques et les fournisseurs tiers sont confrontés au défi de développer plusieurs versions d'API pour s'intégrer à différentes institutions, ce qui crée de la complexité et entrave l'interopérabilité. Heureusement, des normes ou des recommandations sur l'open banking (par exemple, Europe, Singapour, Indonésie, Hong Kong, Australie, etc.) exigent ou recommandent généralement que les API ouvertes soient de type RESTful et prennent en charge le format de données JSON, ce qui crée une base pour l'échange de données communes. MongoDB relève ces défis en offrant une plateforme de données flexible pour les développeurs qui prend en charge nativement le format de données JSON, simplifie la modélisation des données et permet aux développeurs de modifier les schémas de manière flexible. Grâce à des fonctionnalités telles que l'API de données MongoDB les développeurs peuvent réduire les efforts de développement et de maintenance en exposant facilement les données selon un code simplifié. La fonctionnalité Stable API garantit la compatibilité lors des mises à niveau de la base de données, en évitant les ruptures de code et en assurant une transition parfaite. En outre, MongoDB offre des fonctionnalités qui améliorent la productivité, telles que la recherche plein texte , la visualisation des données , la fédération des données , la synchronisation de mobile database et d'autres services applicatifs qui permettent aux développeurs d'accélérer la mise sur le marché. Grâce aux capacités de MongoDB, les institutions financières et les fournisseurs tiers peuvent évoluer plus efficacement dans l'environnement changeant de l'open banking, favoriser la collaboration et fournir des solutions innovantes aux clients. Natwest est un exemple de client qui tire parti de la gestion native des données JSON et de la flexibilité de MongoDB. Natwest est une grande banque de détail et commerciale du Royaume-Uni, basée à Londres, en Angleterre. La banque est passée de zéro à 900 millions d'appels d'API par mois en l'espace de quelques années, à mesure que l'adoption de l'open banking se développe et devrait être multipliée par 10 dans les années à venir. Lors d'un événement MongoDB le 15 novembre 2022, Jonathan Haggarty, responsable de la technologie « Bank of APIs » de Natwest, à savoir un écosystème d'API qui met les services de la banque de détail à la disposition de ses partenaires, a expliqué dans sa présentation «  Driving Customer Value using API Data » que l'écosystème d'API croissant de Natwest lui permettait de « transférer un tas de données JSON dans MongoDB [ce qui facilite] le transfert d'informations simples à relativement complexes ». De plus, il est plus facile de masquer les informations relatives aux utilisateurs grâce au masquage des données pour protéger la vie privée des clients. Natwest est en mesure de mettre à la disposition de ses partenaires, via son écosystème d'API, des informations sur les données clients, par exemple « où se situent les clients dans le spectre du e-commerce », le « meilleur moment [pour les détaillants] pour proposer des réductions », ainsi que des informations sur les « clients les plus précieux ». Les données sont utilisées pour la résolution de problèmes, l'analyse et la compréhension, ainsi que pour la création de rapports. Performance Dans l'environnement dynamique de l'open banking, il est essentiel de répondre aux demandes imprévisibles de performance, d'évolutivité et de disponibilité. L'efficacité des applications et l'expérience client globale dépendent fortement de la réactivité des API. Toutefois, la mise en place d'une plateforme d'open banking devient complexe lorsqu'il s'agit d'accueillir des fournisseurs tiers dont les exigences commerciales et techniques ne sont pas communiquées. Sans une gestion minutieuse, cela peut entraîner des problèmes de performance imprévus et une hausse des coûts. Les services d'open banking exigent des performances élevées des API, quel que soit le volume de travail. OBIE recommande un TTLB (time to last byte) moyen de 750 ms par réponse de point de terminaison pour toutes les invitations de paiement (à l'exception des paiements sur fichier) et les API d'information sur les comptes. La conformité avec les accords de niveau de service (SLA) réglementaires dans certaines juridictions rend la tâche encore plus complexe. Les architectures et les bases de données héritées ont souvent du mal à répondre à ces critères exigeants, ce qui nécessite des modifications importantes pour garantir l'évolutivité et des performances optimales. C'est là que MongoDB entre en jeu. MongoDB est conçu pour offrir des performances exceptionnelles grâce à son moteur de stockage WiredTiger et à ses capacités de compression. En outre, MongoDB Atlas améliore les performances grâce à ses suggestions intelligentes d'index et de schémas, à la hiérarchisation automatique des données et à l'isolation de la charge de travail pour l'analyse. Temenos, un fournisseur renommé d'applications pour les services financiers, illustre parfaitement ses capacités en obtenant des performances et une efficacité remarquables en matière de traitement des volumes de transactions grâce à MongoDB Atlas. L'entreprise a récemment réalisé un benchmark avec MongoDB Atlas et Microsoft Azure et a traité avec succès un nombre incroyable de 200 millions de prêts financiers intégrés et 100 millions de comptes de détail à une vitesse record de 150 000 transactions par seconde . Cela démontre la puissance et l'évolutivité de MongoDB avec des performances inégalées pour permettre aux institutions financières de relever efficacement les défis posés par l'open banking. MongoDB garantit des performances, une évolutivité et une disponibilité exceptionnelles pour répondre aux exigences en constante évolution du secteur. Évolutivité La mise en place d'une plateforme au service des fournisseurs tiers, qui peuvent ne pas divulguer leurs usages commerciaux et leurs exigences techniques/de performance, peut entraîner des problèmes de performance et de coût imprévisibles si elle n'est pas gérée avec attention. Par exemple, une banque de Singapour a été confrontée à un problème où ses API ouvertes ont connu des pics de charge et des pannes tous les mercredis. Après enquête, elle a découvert que l'un des fournisseurs tiers menait une campagne promotionnelle tous les mercredis, ce qui entraînait un afflux d'appels d'API qui submergeait l'infrastructure de la banque. Il est essentiel de disposer d'une solution évolutive capable de répondre à des charges de travail imprévisibles, en plus de satisfaire aux exigences de performance d'un certain volume de transactions connu. L'architecture flexible et les caractéristiques d'évolutivité de MongoDB répondent efficacement à ces préoccupations. Grâce à son modèle de données distribuées basé sur des documents, MongoDB permet une mise à l'échelle transparente, à la fois verticalement et horizontalement. En s'appuyant sur le sharding , les données peuvent être réparties sur plusieurs nœuds, ce qui garantit une utilisation efficace des ressources et permet au système de gérer des volumes de transactions élevés sans compromettre les performances. La capacité d'auto-sharding de MongoDB permet une mise à l'échelle dynamique au fur et à mesure que la charge de travail augmente, offrant ainsi aux institutions financières la flexibilité nécessaire pour s'adapter à l'évolution de la demande et garantissant une infrastructure d'open banking fluide et évolutive. Disponibilité Dans le domaine de l’open banking, la disponibilité devient un défi crucial. Avec le recours accru aux services bancaires par des fournisseurs tiers (TPP), il devient plus complexe de garantir une disponibilité constante. Auparavant, les banques pouvaient interrompre certains services pendant les heures creuses pour en assurer la maintenance. Toutefois, comme les TPP offrent des services 24 heures sur 24 et 7 jours sur 7, tout temps d'arrêt devient inacceptable. Les banques sont donc davantage contraintes de maintenir une disponibilité constante pour les services d'API ouvertes, même pendant les fenêtres de maintenance planifiées ou lors d'événements imprévus. MongoDB Atlas, le service mondial de base de données cloud entièrement géré, répond efficacement à ces défis en matière de disponibilité. Grâce à ses capacités de cluster multi-nœuds et de DBaaS multi-cloud, MongoDB Atlas garantit une haute disponibilité et une tolérance aux pannes. Il offre la flexibilité de fonctionner sur plusieurs grands fournisseurs cloud, ce qui permet aux banques de minimiser le risque de concentration et d'atteindre une plus grande disponibilité grâce à un cluster distribué sur différentes plateformes cloud. Les mécanismes robustes de réplication et de basculement fournis par MongoDB Atlas garantissent un service ininterrompu et permettent aux institutions financières de fournir des API d'open banking fiables et toujours disponibles à leurs clients et TPP. Sécurité et confidentialité La sécurité des données et la gestion du consentement sont des préoccupations majeures pour les banques qui pratiquent l'open banking. L'exposition des mécanismes d'authentification et d'autorisation à des fournisseurs tiers soulève des problèmes de sécurité et introduit des complexités techniques en matière de protection des données. Les banques ont besoin d'un contrôle d'accès précis et de mécanismes de chiffrement pour protéger les données partagées, y compris la gestion du consentement pour le partage des données à un niveau granulaire. En outre, les banques doivent évoluer dans un environnement soumis à des lois sur la confidentialité des données, comme le Règlement général sur la protection des données (GDPR), qui impose des exigences strictes distinctes des réglementations bancaires classiques. MongoDB propose une série de solutions pour relever efficacement ces défis en matière de sécurité et de protection de la vie privée. Queryable Encryption fournit un mécanisme de gestion des données chiffrées au sein de MongoDB, garantissant que les informations sensibles restent sécurisées, même lorsqu'elles sont partagées avec des fournisseurs tiers. Les fonctions de chiffrement complètes de MongoDB couvrent les données au repos et les données en transit, protégeant ainsi les données tout au long de leur cycle de vie. Le schéma flexible de MongoDB permet aux institutions financières de répondre à diverses exigences en matière de données pour gérer le consentement au partage des données et unifier le consentement des utilisateurs de différents pays dans un seul entrepôt de données, ce qui simplifie la conformité avec les lois complexes sur la confidentialité des données. En outre, les capacités de geo-sharding de MongoDB permettent de respecter les lois sur la résidence des données en garantissant que les données pertinentes et les informations de consentement restent dans le centre de données cloud le plus proche tout en fournissant des temps de réponse optimaux pour accéder aux données. Pour améliorer encore la confidentialité des données, MongoDB propose des techniques de chiffrement au niveau du champ , permettant un chiffrement symétrique à ce niveau afin de protéger les données sensibles (par exemple, les informations personnelles identifiables), même lorsqu'elles sont partagées avec des TPP. Le chiffrement aléatoire des champs ajoute un niveau de sécurité supplémentaire et permet d'effectuer des opérations de requête sur les données chiffrées. La technique de chiffrement interrogeable de MongoDB renforce encore la sécurité et protège contre la cryptanalyse, garantissant que les données des clients restent protégées et confidentielles au sein de l'écosystème d'open banking. Suivi des activités Avec les nombreuses API proposées par les banques dans l'écosystème d'open banking, le suivi des activités et le dépannage deviennent des aspects indispensables au maintien d'une infrastructure fiable et sécurisée. MongoDB simplifie le suivi des activités grâce à ses outils de suivi et à ses capacités d'audit. Les administrateurs et les utilisateurs peuvent suivre l'activité du système à un niveau granulaire, en surveillant les événements du système de base de données et de l'application. MongoDB Atlas dispose d'API administratives que l'on peut utiliser pour gérer le service Atlas de manière programmatique. Par exemple, on peut utiliser l'API administrative d'Atlas pour créer des déploiements de bases de données, ajouter des utilisateurs à ces déploiements, surveiller ces déploiements, etc. Ces API peuvent contribuer à l'automatisation des pipelines CI/CD ainsi qu'à la surveillance des activités sur la plateforme de données, ce qui permet aux développeurs et aux administrateurs de se décharger de ces tâches banales et de se concentrer sur la création d'une plus grande valeur commerciale. Les outils de surveillance des performances, y compris le conseiller en performances, permettent d'évaluer et d'optimiser les performances du système, en veillant à ce que les API offrent des expériences exceptionnelles aux utilisateurs. Figure 2 : Suivi de l’activité sur MongoDB Atlas MongoDB Atlas Charts , une fonction intégrée de MongoDB Atlas, offre des capacités d'analyse et de visualisation. Les institutions financières peuvent créer des tableaux de bord de veille stratégique à l'aide de MongoDB Atlas Charts. Cela élimine la nécessité d'une licence coûteuse associée aux outils classiques de veille stratégique, ce qui rend l'outil rentable à mesure que de plus en plus de TPP utilisent les API. Avec MongoDB Atlas Charts, les institutions financières peuvent offrir aux TPP des données de télémétrie commerciale complètes, telles que le nombre de devis d'assurance, les transactions de contrats, les volumes d'appels d'API et les indicateurs de performance. Ces informations permettent aux institutions financières de prendre des décisions basées sur des données, d'améliorer l'efficacité opérationnelle et d'optimiser l'expérience client dans l'écosystème d'open banking. Figure 3 : Exemple de tableau de bord Atlas Charts Informations en temps réel Les services d'open banking posent de nouveaux défis aux institutions financières qui s'efforcent de fournir des services et de s'adapter aux charges de travail imprévisibles des TPP. Si les contenus statiques posent moins de difficultés, les API nécessitant des mises à jour en temps réel ou des flux continus, comme les soldes de comptes dynamiques ou les scores de solvabilité ajustés par l'ESG, exigent des capacités de fourniture de données en temps quasi réel. Pour permettre aux applications de réagir immédiatement aux modifications en temps réel ou au fur et à mesure qu'elles se produisent, les entreprises peuvent exploiter MongoDB Change Streams qui sont basés sur son cadre d'agrégation pour réagir aux modifications de données dans une seule collection, une base de données ou même un déploiement entier. Cette capacité améliore encore les capacités d'analyse et de traitement des données et des événements en temps réel de MongoDB. MongoDB propose plusieurs mécanismes pour prendre en charge le streaming de données, notamment un connecteur Kafka pour les architectures pilotées par les événements et un connecteur Spark pour le streaming avec Spark. Ces solutions permettent aux institutions financières de répondre efficacement aux besoins en données en temps réel de leurs partenaires d'open banking, en permettant une intégration transparente et la fourniture de données en temps réel pour améliorer l'expérience client. Conclusion Les capacités techniques de MongoDB en font un outil essentiel pour les institutions financières qui s'engagent dans la voie de l'open banking. Qu'il s'agisse de gérer des environnements dynamiques, de s'adapter à des charges de travail imprévisibles ou de garantir l'évolutivité, la disponibilité, la sécurité et la confidentialité, MongoDB offre un ensemble complet d'outils et de fonctionnalités pour relever efficacement les défis de l'open banking. Avec MongoDB comme infrastructure sous-jacente, les institutions financières peuvent évoluer en toute confiance dans l'environnement en constante évolution de l'open banking, en fournissant des solutions innovantes et en guidant les banques de demain. L'adoption de MongoDB permet aux institutions financières de révéler tout le potentiel de l'open banking et de fournir des expériences client exceptionnelles à l'ère de la collaboration et de la transformation numérique. Si vous souhaitez en savoir plus sur la façon dont vous pouvez tirer parti de MongoDB pour votre infrastructure d'open banking, jetez un coup d'œil aux ressources ci-dessous : Table ronde sur l'open banking : préparez votre banque à affronter l'évolution des données et des normes d'API avec MongoDB, Celent, Icon Solutions et AWS Comment un maillage de données facilite les opérations d'open banking Hub de services financiers

June 6, 2023

Dissecando o open banking com o MongoDB: desafios técnicos e soluções

Obrigado a Ainhoa Múgica pelas contribuições para este post. Ao desencadear uma onda disruptiva no setor bancário, o open banking (ou open finance), como o termo indica, obrigou as instituições financeiras (bancos, seguradoras, fintechs, empresas e até mesmo órgãos governamentais) a adotar uma nova era de transparência, colaboração e inovação. Essa mudança de paradigma exige que os bancos compartilhem abertamente os dados do cliente com provedores terceirizados (TPPs), impulsionando experiências aprimoradas do cliente e promovendo o desenvolvimento de soluções inovadoras de fintech com a combinação dos melhores produtos e serviços. Em 2020, 24,7 milhões de pessoas em todo o mundo usavam serviços bancários abertos, um número que deve chegar a 132,2 milhões até 2024. Essa tendência crescente fomenta a concorrência, estimula a inovação e promove parcerias entre bancos tradicionais e empresas ágeis de fintech. Nesse cenário transformador, o MongoDB, uma das principais plataformas de dados para desenvolvedores, desempenha um papel fundamental no suporte ao open banking, fornecendo uma infraestrutura segura, dimensionável e flexível para gerenciar e proteger os dados compartilhados dos clientes. Ao aproveitar o poder da tecnologia do MongoDB, as instituições financeiras podem reduzir custos, melhorar as experiências dos clientes e mitigar os riscos potenciais associados ao compartilhamento generalizado de dados de clientes por meio de uma conformidade regulatória rigorosa. Figura 1: exemplo de arquitetura de open banking A essência do open banking/finance é usar protocolos comuns de troca de dados para compartilhar dados e serviços financeiros com terceiros. Neste blog, vamos nos aprofundar nos desafios técnicos e nas soluções do open banking a partir de uma perspectiva de dados e serviços de dados e explorar como o MongoDB capacita as instituições financeiras para superar os obstáculos e desbloquear todo o potencial desse ecossistema aberto. Ambientes e padrões dinâmicos Como os padrões de open banking continuam evoluindo, as instituições financeiras precisam permanecer adaptáveis para atender às mudanças nas regulamentações e nas demandas do setor. Os relational databases tradicionais muitas vezes lutam para acompanhar os requisitos dinâmicos do open banking devido a seus esquemas rígidos, que são difíceis de alterar e gerenciar ao longo do tempo. Em países sem estruturas padronizadas de open banking, bancos e provedores terceirizados enfrentam o desafio de desenvolver múltiplas versões de API para integração com diferentes instituições, o que gera complexidade e dificulta a interoperabilidade. Felizmente, os padrões ou diretrizes de open banking (por exemplo, como encontramos na Europa, Singapura, Indonésia, Hong Kong, Austrália etc.) geralmente exigem ou recomendam que as APIs abertas sejam RESTful e suportem o formato de dados JSON, estabelecendo uma base para a troca de dados comum. O MongoDB aborda esses desafios oferecendo uma plataforma de dados flexível para desenvolvedores que suporta nativamente o formato de dados JSON, simplifica a modelagem de dados e permite alterações flexíveis de esquema para os desenvolvedores. Com recursos como MongoDB Data API os desenvolvedores podem reduzir os esforços de desenvolvimento e manutenção expondo facilmente os dados com pouco código. O recurso Stable API garante compatibilidade durante atualizações de banco de dados, evitando quebras de código e proporcionando uma transição perfeita. Além disso, o MongoDB oferece recursos que aumentam a produtividade, como pesquisa de texto completo , visualização de dados , federação de dados , sincronização de mobile database e outros serviços de aplicativos , permitindo que os desenvolvedores acelerem o tempo de lançamento no mercado. Com os recursos do MongoDB, as instituições financeiras e os provedores terceirizados podem navegar de forma mais eficaz no cenário dinâmico do open banking, promover a colaboração e fornecer soluções inovadoras aos clientes. Um exemplo de cliente que aproveita o gerenciamento e a flexibilidade de dados JSON nativos do MongoDB é o Natwest. O Natwest é um importante banco varejista e comercial do Reino Unido, com sede em Londres, Inglaterra. O banco passou de zero para 900 milhões de chamadas de API por mês em poucos anos devido ao crescimento da adesão ao open banking; espera-se que esse número cresça 10 vezes nos próximos anos. Em um evento do MongoDB em 15 de novembro de 2022, Jonathan Haggarty, chefe de tecnologia do "banco de APIs" da Natwest – um ecossistema de API que leva os serviços do banco de varejo aos parceiros – compartilhou em sua apresentação " Driving Customer Value using API Data " ("Como gerar valor para o cliente usando dados de API", em tradução livre) que o crescente ecossistema de API da Natwest permite "mandar um monte de dados JSON para o MongoDB, o que facilita a transformação de informações simples em complexas" e também descomplica a ofuscação detalhes do usuário com mascaramento de dados para assegurar a privacidade do cliente. O Natwest pode revelar insights de dados de clientes para parceiros por meio de seu ecossistema de API, por exemplo, “onde os clientes estão no espectro do comércio eletrônico”, o “melhor momento [para os varejistas] promoverem descontos”, bem como insights sobre “clientes mais valiosos”. Os dados podem ser usados para resolução de problemas; análises e insights; e elaboração de relatórios. Desempenho No cenário dinâmico do open banking, é fundamental atender às demandas imprevisíveis de desempenho, escalabilidade e disponibilidade. A eficiência dos aplicativos e a experiência geral do cliente dependem muito da capacidade de resposta das APIs. No entanto, a criação de uma plataforma open banking fica mais complexa quando é necessário acomodar provedores terceirizados com requisitos comerciais e técnicos não revelados. Sem um gerenciamento cuidadoso, isso pode levar a problemas imprevistos de desempenho e aumento de custos. O open banking exige alto desempenho das APIs em todos os tipos de volumes de carga de trabalho. A OBIE recomenda um TTLB (tempo até o último byte) médio de 750 ms por resposta de endpoint para todos os convites de pagamento (exceto pagamentos de arquivo) e APIs de informações da conta. A conformidade com os acordos de nível de serviço regulamentares em determinadas jurisdições aumenta ainda mais a complexidade. As arquiteturas e os bancos de dados legados geralmente têm dificuldades para atender a esses critérios exigentes, necessitando de mudanças extensas para garantir a escalabilidade e o desempenho ideal. É aí que o MongoDB entra em ação. O MongoDB foi desenvolvido especificamente para oferecer um desempenho excepcional com seu mecanismo de armazenamento WiredTiger e seus recursos de compactação. Além disso, o MongoDB Atlas melhora o desempenho seguindo suas sugestões inteligentes de índice e esquema, hierarquização automática de dados e isolamento de carga de trabalho para análise. Uma excelente exemplo de seus recursos é demonstrado pela Temenos, um renomado provedor de aplicativos de serviços financeiros, que alcançou desempenho e eficiência notáveis no processamento de grandes volumes de transações com o MongoDB Atlas. Eles executaram recentemente um benchmark com o MongoDB Atlas e o Microsoft Azure e processaram 200 milhões de empréstimos financeiros incorporados e 100 milhões de contas de varejo a uma velocidade recorde 150.000 transações por segundo . Isso mostra o poder e a escalabilidade do MongoDB, que oferece desempenho incomparável para capacitar as instituições financeiras a lidar com os desafios impostos pelo open banking. O MongoDB garante desempenho, escalabilidade e disponibilidade excepcionais para atender às demandas em constante evolução do setor. Escalabilidade A criação de uma plataforma para atender aos TPPs, que nem sempre divulgam seus usos comerciais e requisitos técnicos ou de desempenho, pode apresentar problemas imprevisíveis de desempenho e custo quando não é gerenciada com cuidado. Por exemplo, um banco em Singapura enfrentou um problema de picos de carga e falhas nas suas Open APIs todas as quartas-feiras. Após a investigação, eles descobriram que um dos TPPs realizava uma campanha promocional toda quarta-feira, resultando em um aumento de chamadas de API que sobrecarregaram a infraestrutura do banco. Além de atender aos requisitos de desempenho de um determinado volume conhecido de transações, uma solução dimensionável pode funcionar com cargas de trabalho imprevisíveis. A arquitetura flexível e os recursos de escalabilidade do MongoDB abordam essas preocupações de forma eficaz. Com seu modelo de dados distribuído baseado em documentos, o MongoDB permite dimensionamento contínuo tanto vertical quanto horizontalmente. Utilizando a fragmentação , os dados podem ser distribuídos em vários nós, o que garante uma utilização eficiente dos recursos e possibilita que o sistema lide com altos volumes de transações sem comprometer o desempenho. O recurso de fragmentação automática do MongoDB permite o dimensionamento dinâmico à medida que a carga de trabalho cresce, fornecendo às instituições financeiras a flexibilidade de se adaptar às demandas em constante mudança e garantindo uma infraestrutura de open banking estável e expansível. Disponibilidade No domínio do open banking, a disponibilidade é um desafio crítico. Com a crescente dependência de serviços bancários por parte dos TPPs, é cada vez mais complexo garantir uma disponibilidade consistente. Antigamente os bancos podiam interromper determinados serviços fora dos horários de pico para manutenção. No entanto, como os TPPs oferecem experiências 24 horas por dia, qualquer tempo de inatividade é inaceitável. Isso coloca mais pressão sobre os bancos para manterem disponibilidade constante para serviços de Open API, mesmo durante períodos de manutenção planejados ou eventos imprevistos. O MongoDB Atlas, o serviço de banco de dados em nuvem global totalmente gerenciado, aborda esses desafios de disponibilidade de forma eficaz. Com seus recursos de cluster de vários nós e DBaaS em várias nuvens, o MongoDB Atlas garante alta disponibilidade e tolerância a falhas. Ele oferece a flexibilidade de executar em vários provedores de nuvem líderes, permitindo que os bancos minimizem o risco de concentração e alcancem maior disponibilidade com um cluster distribuído em diferentes plataformas de nuvem. Os mecanismos robustos de replicação e failover fornecidos pelo MongoDB Atlas garantem um serviço ininterrupto e ajudam as instituições financeiras a fornecer APIs de open banking confiáveis e sempre disponíveis para seus clientes e TPPs. Segurança e privacidade A segurança de dados e a gestão de consentimento são preocupações fundamentais para os bancos que participam do open banking. A exposição de mecanismos de autenticação e autorização a provedores externos aumenta as preocupações de segurança e introduz complexidades técnicas em relação à proteção de dados. Os bancos exigem controle de acesso e mecanismos de criptografia refinados para proteger os dados compartilhados, incluindo a gestão do consentimento de compartilhamento de dados em nível granular. Além disso, os bancos precisam navegar pelo cenário das leis de privacidade de dados, como o Regulamento Geral de Proteção de Dados (GDPR), que impõe requisitos rigorosos diferentes das normas bancárias tradicionais. O MongoDB disponibiliza uma variedade de soluções para enfrentar esses desafios de segurança e privacidade de forma eficaz. O Queryable Encryption fornece um mecanismo para gerenciar dados criptografados dentro do MongoDB, garantindo que informações confidenciais permaneçam seguras mesmo quando compartilhadas com provedores de terceiros. Os recursos extensos de criptografia do MongoDB abrangem dados em repouso e em trânsito, protegendo-os durante todo o ciclo de vida. O esquema flexível do MongoDB permite que as instituições financeiras capturem diversos requisitos de dados para gerenciar o consentimento de compartilhamento de dados e unificar o consentimento do usuário de diferentes países em um único armazenamento de dados, simplificando a conformidade com as complexas leis de privacidade de dados. Além disso, os recursos de geo-sharding do MongoDB permitem a conformidade com as leis de residência de dados, pois asseguram que os dados relevantes e as informações de consentimento permaneçam no data center em cloud mais próximo e ofereçam tempos de resposta ideais para o acesso aos dados. Para melhorar ainda mais a privacidade dos dados, o MongoDB oferece técnicas de criptografia simétrica dos campos , o que viabiliza a proteção de dados confidenciais (por exemplo, informações pessoais identificáveis) mesmo quando compartilhados com TPPs. A criptografia aleatória de campos adiciona uma camada adicional de segurança e permite operações de consulta nos dados criptografados. A técnica Queryable Encryption do MongoDB reforça ainda mais a segurança e protege contra a criptoanálise, garantindo que os dados dos clientes permaneçam protegidos e confidenciais no ecossistema do open banking. Monitoramento de atividades Com inúmeras APIs oferecidas pelos bancos no ecossistema do open banking, o monitoramento de atividades e a solução de problemas se tornam aspectos críticos da manutenção de uma infraestrutura robusta e segura. O MongoDB simplifica o monitoramento de atividades com ferramentas específicas e recursos de auditoria. Os administradores e usuários podem acompanhar a atividade do sistema em um nível granular, monitorando o sistema de banco de dados e os eventos do aplicativo. O MongoDB Atlas tem APIs de administração , que podem ser usadas para gerenciar programaticamente o serviço Atlas. Por exemplo, é possível usar a API de Administração do Atlas para criar implantações de banco de dados, adicionar usuários a elas, monitorá-las e muito mais. Essas API podem ajudar na automação de pipelines de CI/CD, bem como no monitoramento das atividades na plataforma de dados. Isso permite que desenvolvedores e administradores se livrem desse esforço mundano e se concentrem em gerar mais valor comercial. As ferramentas de monitoramento de desempenho, incluindo o consultor de desempenho, ajudam a medir e otimizar o desempenho do sistema, garantindo que o site API ofereça experiências excepcionais aos usuários. Figura 2: monitoramento de atividades no MongoDB Atlas O MongoDB Atlas Charts , um recurso integrado do MongoDB Atlas, oferece ferramentas de análise e visualização. As instituições financeiras podem criar painéis de inteligência de negócios usando o MongoDB Atlas Charts. Isso elimina o custo elevado de licenciamento das ferramentas tradicionais de business intelligence, tornando-os ainda mais econômicos à medida que os TPPs adotam as APIs. Com o MongoDB Atlas Charts, as instituições financeiras podem oferecer dados abrangentes de telemetria comercial aos TPPs, como o número de cotações de seguros, transações de apólices, volumes de chamadas de API e métricas de desempenho. Esses insights capacitam as instituições financeiras a tomar decisões baseadas em dados, melhorar a eficiência operacional e otimizar a experiência do cliente no ecossistema do open banking. Figura 3: exemplo de painel do Atlas Charts Operações em tempo real O open banking apresenta novos desafios para as instituições financeiras na jornada para atender e crescer em meio às cargas de trabalho imprevisíveis dos TPPs. Embora o conteúdo estático represente menos dificuldades, as APIs que exigem atualizações em tempo real ou streaming contínuo, como saldos dinâmicos de contas ou pontuações de crédito com ajuste de ESG, precisam de ferramentas que obtenham dados em tempo quase real. Para permitir que a aplicação reaja imediatamente às alterações em tempo real ou à medida que elas ocorrem, as organizações podem usar os change streams do MongoDB baseados na estrutura de agregação para responder às alterações de dados em uma única collection, banco de dados ou até mesmo uma implantação inteira. Esse recurso aprimora ainda mais as ferramentas de análise e processamento de dados e eventos em tempo real do MongoDB. O MongoDB oferece vários mecanismos para suportar o streaming de dados, incluindo um conector Kafka para arquitetura orientada a eventos e um conector Spark para streaming com Spark. Essas soluções capacitam as instituições financeiras a atender às necessidades de dados em tempo real de seus parceiros de open banking de forma eficaz, aperfeiçoando a integração e a entrega de dados em tempo real para gerar experiências de cliente ainda melhores. Conclusão As capacidades técnicas do MongoDB o posicionam como um facilitador fundamental para as instituições financeiras que embarcam em sua jornada de open banking. O MongoDB fornece um conjunto abrangente de ferramentas e recursos para enfrentar os desafios do open banking com eficiência, como gerenciamento de ambientes dinâmicos, acomodação de cargas de trabalho imprevisíveis e garantia de escalabilidade, disponibilidade, segurança e privacidade Com o MongoDB como infraestrutura subjacente, as instituições financeiras podem navegar pelo cenário dinâmico do open banking com confiança e fornecer soluções inovadoras para impulsionar o futuro dos serviços bancários. A adoção do MongoDB capacita as instituições financeiras a desbloquear todo o potencial do open banking e a oferecer experiências excepcionais aos clientes nesta era de colaboração e transformação digital. Se quiser saber mais sobre como usar o MongoDB na sua infraestrutura de open banking, confira os recursos abaixo: Painel de discussão sobre open banking: conte com MongoDB, Celent, Icon Solutions e AWS para preparar seu banco para o futuro em um mundo dinâmico de dados e padrões de API Como uma malha de dados facilita o open banking Centro de serviços financeiros

June 6, 2023

Analizzare l'open banking con MongoDB: sfide tecniche e soluzioni

Si ringrazia Ainhoa Múgica per il suo contributo a questo post. Come indica il termine, l'open banking (o finanza aperta), che ha scatenato una vera e propria rivoluzione nel settore bancario, ha costretto gli istituti finanziari (banche, compagnie assicurative, fintech, aziende e perfino enti governativi) ad accogliere una nuova era di trasparenza, collaborazione e innovazione. Questo cambiamento di paradigma richiede che le banche condividano apertamente i dati dei clienti con fornitori di terze parti (TPP), creando esperienze del cliente migliorate e promuovendo lo sviluppo di soluzioni fintech innovative attraverso la combinazione dei prodotti e servizi migliori a disposizione. A tutto il 2020, 24,7 milioni di persone in tutto il mondo utilizzava servizi di open banking, un numero che, si prevede, aumenterà fino a 132,2 milioni entro il 2024. Questa tendenza in aumento alimenta la competizione, stimola l'innovazione e promuove le partnership fra banche tradizionali e aziende di fintech agili. In questo panorama trasformativo, MongoDB, una piattaforma di dati per sviluppatori leader del settore, gioca un ruolo fondamentale nel supportare l'open banking con un'infrastruttura sicura, scalabile e flessibile per gestire e proteggere i dati condivisi dei clienti. Sfruttando la potenza della tecnologia di MongoDB, gli istituti finanziari possono abbattere i costi, migliorare le esperienze del cliente e mitigare i potenziali rischi associati alla condivisione diffusa dei dati dei clienti attraverso una rigorosa conformità normativa. Figura 1: Un esempio di architettura di open banking L'essenza dell'open banking (o finanza aperta) sta nello sfruttamento di protocolli di scambio dei dati comuni per condividere i dati e i servizi finanziari con terze parti. In questo post, approfondiremo le sfide tecniche e le soluzioni dell'open banking da una prospettiva di dati e servizi di dati, ed esploreremo come MongoDB permette agli istituti finanziari di superare questi ostacoli e sbloccare il pieno potenziale di questo ecosistema aperto. Ambienti e standard dinamici Con l'evoluzione continua degli standard relativi all'open banking, gli istituti finanziari devono essere pronti ad adattarsi ai cambiamenti delle normative e alle richieste del settore. I database relazionali tradizionali spesso faticano a tenere il passo con i requisiti dinamici dell'open banking a causa dei loro rigidi schemi, difficili da modificare e gestire nel tempo. Nei paesi senza framework bancari aperti standardizzati, le banche e i fornitori di terze parti si trovano ai dover sviluppare più versioni delle API per integrarsi con diverse istituzioni, creando complessità e ostacoli all'interoperabilità. Fortunatamente, le linee guida e gli standard di banking aperti (come quelli di Europa, Singapore, Indonesia, Hong Kong, Australia, ecc.) hanno generalmente richiesto o consigliato che le API aperte siano RESTful e supportino il formato JSON dei dati, che crea una base per lo scambio comune. MongoDB affronta queste sfide offrendo una piattaforma di dati per sviluppatori flessibile che supporta in modo nativo il formato di dati JSON, semplifica la modellazione dei dati e consente agli sviluppatori di modificare lo schema in modo flessibile. Grazie a funzionalità come MongoDB Data API gli sviluppatori possono ridurre gli sforzi di sviluppo e manutenzione, esponendo facilmente i dati in modo low-code. La funzionalità Stable API garantisce la compatibilità durante gli aggiornamenti del database, prevenendo interruzioni del codice e fornendo una transizione senza ostacoli. Inoltre, MongoDB offre funzionalità che aumentano la produttività, come la ricerca full-text , la visualizzazione e la federazione dei dati , la sincronizzazione dei database mobili e altri servizi di app che consentono agli sviluppatori di accelerare il time-to-market. Grazie alle funzionalità di MongoDB, gli istituti finanziari e i fornitori di terze parti possono orientarsi in modo più efficace nel mutevole panorama dell'open banking, promuovere la collaborazione e fornire soluzioni innovative ai clienti. Un esempio di cliente che sfrutta la gestione e la flessibilità dei dati JSON nativi di MongoDB è Natwest, una delle principali banche retail e commerciali del Regno Unito con sede a Londra, Inghilterra. La banca è passata da zero a 900 milioni di chiamate API al mese nel giro di pochi anni, mentre l'adozione dell'open banking, che si prevede aumenterà di 10 volte nei prossimi anni, è in crescita continua. In occasione di un evento MongoDB tenutosi il 15 novembre 2022, Jonathan Haggarty, responsabile della tecnologia "Bank of APIs" di Natwest (un ecosistema di API che porta i servizi retail della banca ai partner), ha condiviso una presentazione intitolata " Driving Customer Value using API Data ", in cui spiegava che l'ecosistema di API in crescita di Natwest permette consente di "spingere moltissimi dati JSON in MongoDB, il che che semplifica il passaggio da informazioni semplici a informazioni molto più complesse" e rende anche più facile offuscare i dettagli degli utenti attraverso il mascheramento dei dati a scopi di privacy. Natwest ora può fornire ai partner informazioni sui dati dei clienti tramite il suo ecosistema API, ad esempio "dove si trovano i clienti nello spettro dell'e-commerce", il "momento migliore per i rivenditori per applicare sconti" e informazioni sui "clienti di maggior valore", con l'utilizzo dei dati per la risoluzione dei problemi, analytics, insight e report. Prestazioni Nel panorama dinamico dell'open banking, soddisfare le esigenze imprevedibili di performance, scalabilità e disponibilità è fondamentale. L'efficienza delle applicazioni e l'esperienza complessiva del cliente dipendono fortemente dalla reattività delle API. Tuttavia, la costruzione di una piattaforma di open banking si complica quando si devono accogliere fornitori terzi con requisiti tecnici e commerciali non rivelati. Senza una gestione attenta, questo può portare a problemi di prestazioni imprevisti e ad un aumento dei costi. L'open banking richiede prestazioni elevate delle API con workload di tutti i tipi di volume. OBIE consiglia un TTLB medio (time to last byte) di 750 ms per risposta all'endpoint per tutti gli inviti di pagamento (eccetto i pagamenti di file) e le API di informazioni sull'account. Il rispetto degli accordi normativi sul livello di servizio (SLA) in alcune giurisdizioni aumenta ulteriormente la complessità. Le architetture e i database legacy spesso faticano a soddisfare questi criteri così severi, rendendo necessarie modifiche estese per garantire scalabilità e prestazioni ottimali. È qui che entra in gioco MongoDB. MongoDB è stato creato appositamente per offrire prestazioni eccezionali con il motore di archiviazione WiredTiger e le sue funzionalità di compressione. Inoltre, MongoDB Atlas migliora le prestazioni in base ai suggerimenti intelligenti relativi a indici e schemi, al livello automatico dei dati e all'isolamento del workload per l'analytics. Un'ottima dimostrazione delle sue capacità è il caso di Temenos, un rinomato fornitore di applicazioni per i servizi finanziari che ha raggiunto performance ed efficienza notevoli nell'elaborazione dei volumi di transazioni sfruttando MongoDB Atlas. Di recente hanno eseguito un benchmark con MongoDB Atlas e Microsoft Azure, riuscendo a elaborare ben 200 milioni di prestiti finanziari incorporati e 100 milioni di conti al dettaglio con un record di 150.000 transazioni al secondo . Tutto questo dimostra la potenza e la scalabilità di MongoDB con prestazioni senza precedenti, per consentire agli istituti finanziari di affrontare efficacemente le sfide dell'open banking. MongoDB garantisce prestazioni, scalabilità e disponibilità eccezionali per soddisfare le esigenze in continua evoluzione del settore. Scalabilità Se non gestita con attenzione, la creazione di una piattaforma al servizio dei TPP, che potrebbero non voler rivelare i propri usi aziendali e i requisiti tecnici/di prestazioni, può introdurre problemi di performance e costi imprevedibili. Per esempio, una banca di Singapore ha dovuto affrontare un problema per cui le sue API aperte subivano picchi di carico e arresti anomali ogni mercoledì. Dopo un'indagine, hanno scoperto che uno dei TPP organizzava una campagna promozionale ogni mercoledì, provocando un'ondata di chiamate API che travolgevano l'infrastruttura della banca. È fondamentale quindi adottare una soluzione scalabile in grado di funzionare con carichi di lavoro imprevedibili, oltre che di soddisfare i requisiti di performance di un determinato volume noto di transazioni. L'architettura flessibile e le funzionalità di scalabilità di MongoDB risolvono questi problemi in modo efficace. Con il suo modello di dati distribuito basato su documenti, MongoDB consente un ridimensionamento continuo sia verticale che orizzontale. Sfruttando il partizionamento orizzontale , i dati possono essere distribuiti su più nodi, garantendo un utilizzo efficiente delle risorse e consentendo al sistema di gestire elevati volumi di transazioni senza compromettere le prestazioni. La capacità di auto-partizionamento di MongoDB consente di scalare in modo dinamico in base alla crescita del carico di lavoro, offrendo agli istituti finanziari la flessibilità di cui hanno bisogno per adattarsi alle mutevoli esigenze e garantendo un'infrastruttura bancaria aperta fluida e scalabile. Disponibilità Nel regno dell'open banking, la disponibilità diventa una sfida fondamentale. Con il crescente ricorso ai servizi bancari da parte di fornitori di terze parti (TPP), garantire una disponibilità costante diventa sempre più complesso. In precedenza, le banche potevano sospendere alcuni servizi durante le ore non di punta per scopi di manutenzione. Tuttavia, con i TPP che offrono esperienze 24 ore su 24, 7 giorni su 7, qualsiasi tempo di inattività è inaccettabile. Ciò comporta una maggiore pressione sulle banche, che devono mantenere una disponibilità costante dei servizi Open API anche durante le finestre di manutenzione programmata o gli eventi imprevisti. MongoDB Atlas, il servizio di database cloud globale completamente gestito, affronta efficacemente queste sfide di disponibilità. Con il suo cluster multi-nodo e le funzionalità DBaaS multi-cloud, MongoDB Atlas garantisce un'elevata disponibilità e tolleranza ai guasti. Offre la flessibilità necessaria per funzionare su più provider cloud leader, consentendo alle banche di ridurre al minimo il rischio di concentrazione e ottenere una maggiore disponibilità attraverso un cluster distribuito su diverse piattaforme cloud. I robusti meccanismi di replica e failover forniti da MongoDB Atlas garantiscono un servizio ininterrotto e consentono agli istituti finanziari di fornire API open banking affidabili e sempre disponibili ai propri clienti e ai TPP. Sicurezza e privacy La sicurezza dei dati e la gestione del consenso sono questioni fondamentali per le banche che partecipano all'open banking. L'esposizione dei meccanismi di autenticazione e autorizzazione a fornitori terzi solleva preoccupazioni relative alla sicurezza e introduce complessità tecniche per riguardo alla la protezione dei dati. Le banche necessitano di meccanismi di controllo dell'accesso e di crittografia granulari per tutelare i dati condivisi, compresa la gestione del consenso alla condivisione dei dati a livello granulare. Inoltre, le banche devono orientarsi nel panorama delle leggi sulla privacy dei dati, fra cui il Regolamento generale sulla protezione dei dati (GDPR), che impongono requisiti rigorosi diversi dalle tradizionali normative bancarie. MongoDB offre una gamma di soluzioni per affrontare efficacemente queste sfide di sicurezza e privacy. Queryable Encryption fornisce un meccanismo per la gestione di dati crittografati all'interno di MongoDB, garantendo la sicurezza delle informazioni sensibili anche se condivise con provider di terze parti. Le funzionalità di crittografia complete di MongoDB coprono i dati inattivi e i dati in transito, proteggendo i dati durante tutto il loro ciclo di vita. Lo schema flessibile di MongoDB consente alle istituzioni finanziarie di acquisire diversi requisiti di dati per gestire il consenso alla condivisione dei dati e di unificare il consenso degli utenti da diversi paesi in un unico data store, semplificando la conformità alle complesse leggi in materia di privacy dei dati. Inoltre, le funzionalità di geo-partizionamento di MongoDB consentono la conformità alle leggi sulla residenza dei dati garantendo che i dati pertinenti e le informazioni di consenso rimangano nel data center cloud più vicino, fornendo tempi di risposta ottimali per l'accesso ai dati. Per migliorare ulteriormente la privacy dei dati, MongoDB offre tecniche di crittografia a livello di appezzamento , consentendo la crittografia simmetrica a livello di campo per proteggere i dati sensibili (ad esempio le informazioni di identificazione personale) anche quando vengono condivisi con TPP. La crittografia casuale dei campi aggiunge un ulteriore livello di sicurezza e consente le operazioni di query sui dati crittografati. La tecnologia Queryable Encryption di MongoDB rafforza ulteriormente la sicurezza e difende dalla crittografia, garantendo che i dati dei clienti rimangano protetti e riservati all'interno dell'ecosistema di open banking. Monitoraggio delle attività Con numerose API offerte dalle banche nell'ecosistema open banking, il monitoraggio delle attività e la risoluzione dei problemi diventano aspetti critici per mantenere un'infrastruttura solida e sicura. MongoDB semplifica il monitoraggio delle attività attraverso i suoi strumenti dedicati e le sue funzionalità di controllo. Amministratori e utenti possono monitorare l'attività del sistema a livello granulare, controllando i sistemi di database e gli eventi delle applicazioni. MongoDB Atlas dispone di API di amministrazione da utilizzare per gestire in modo programmatico il service MongoDB Atlas. Ad esempio, è possibile utilizzare l'API di amministrazione di Atlas per creare distribuzioni di database, aggiungervi utenti, monitorarle e altro ancora. Queste API aiutano con l'automazione delle pipeline CI/CD e il monitoraggio delle attività sulla piattaforma di dati, consentendo agli sviluppatori e agli amministratori di liberarsi da questo lavoro banale e di concentrarsi sulla generazione di maggior valore aziendale. Gli strumenti di monitoraggio delle prestazioni, incluso il performance advisor, aiutano a valutare e ottimizzare le prestazioni del sistema, assicurando che le API offrano esperienze utente eccezionali. Figura 2: Monitoraggio delle attività su MongoDB Atlas MongoDB Atlas Charts , una funzionalità integrata di MongoDB Atlas, offre funzionalità di analisi e visualizzazione. Gli istituti finanziari possono creare dashboard di business intelligence utilizzando MongoDB Atlas Charts. In questo modo si elimina la necessità di costose licenze associate agli strumenti di business intelligence tradizionali, rendendola conveniente man mano che più TPP utilizzano le API. Con MongoDB Atlas Charts, gli istituti finanziari possono offrire dati di telemetria aziendale completi ai TPP, ad esempio il numero di preventivi assicurativi, le transazioni delle polizze, i volumi delle chiamate API e le metriche delle prestazioni. Questi insight consentono agli istituti finanziari di prendere decisioni basate sui dati, migliorare l'efficienza operativa e ottimizzare l'esperienza del cliente nell'ecosistema dell'open banking. Figura 3: Dashboard di esempio di Atlas Charts In tempo reale L'open banking introduce nuove sfide per gli istituti finanziari che vogliono servire e scalare in mezzo ai carichi di lavoro imprevedibili dei TPP. Mentre i contenuti statici pongono meno difficoltà, le API che richiedono aggiornamenti in tempo reale o streaming continuo, come i saldi dinamici dei conti o i punteggi di credito adeguati ai criteri ESG, richiedono funzionalità per la fornitura di dati quasi in tempo reale. Per consentire alle applicazioni di reagire immediatamente ai cambiamenti in tempo reale o alle modifiche non appena si verificano, le organizzazioni possono sfruttare MongoDB Change Streams , basati sul suo framework di aggregazione , per reagire alle modifiche dei dati in una singola collection, un database o un'intera distribuzione. Questa funzionalità migliora ulteriormente le capacità di elaborazione e analisi dei dati e degli eventi in tempo reale di MongoDB. MongoDB offre diversi meccanismi per supportare lo streaming di dati, tra cui un connettore Kafka per l'architettura basata sugli eventi e un connettore Spark per lo streaming con Spark. Queste soluzioni permettono agli istituti finanziari di soddisfare efficacemente le esigenze di dati in tempo reale dei loro partner di open banking, consentendo un'integrazione perfetta e la fornitura di dati in tempo reale per migliorare l'esperienza dei clienti. Conclusione Le capacità tecniche di MongoDB lo rendono un facilitatore chiave per gli istituti finanziari che intraprendono il loro percorso di open banking. Dalla gestione di ambienti dinamici a quella di carichi di lavoro imprevedibili, fino ad arrivare alla garanzia di scalabilità, disponibilità, sicurezza e privacy, MongoDB offre un set completo di strumenti e funzionalità per affrontare efficacemente le sfide dell'open banking. Con MongoDB come infrastruttura sottostante, gli istituti finanziari possono navigare con sicurezza nel mutevole panorama dell'open banking, fornendo soluzioni innovative e guidando il futuro del settore bancario. L'adozione di MongoDB consente agli istituti finanziari di sfruttare tutto il potenziale dell'open banking e offrire esperienze del cliente in quest'era di collaborazione e trasformazione digitale. Se desideri saperne di più su come sfruttare MongoDB per la tua infrastruttura di open banking, dai un'occhiata a queste risorse: Tavola rotonda sull'open banking: rendi la tua banca a prova di futuro in un mondo di dati e standard API in continua evoluzione con MongoDB, Celent, Icon Solutions e AWS In che modo un data mesh facilita l'open banking Hub dei servizi finanziari

June 6, 2023

Analizando la banca abierta con MongoDB: Desafíos técnicos y soluciones

Gracias a Ainhoa Múgica por sus contribuciones a esta publicación. Al desencadenar una ola disruptiva en la industria bancaria, la banca abierta (o finanzas abiertas), como el término indica, ha obligado a las instituciones financieras (bancos, aseguradoras, fintechs, corporaciones e incluso organismos gubernamentales) a abrazar una nueva era de transparencia, colaboración, e innovación. Este cambio de paradigma requiere que los bancos compartan abiertamente los datos de los clientes con proveedores externos (TPP), impulsando la experiencia del cliente y fomentando el desarrollo de soluciones innovadoras de tecnología financiera mediante la combinación de los productos y servicios “mejores de su clase”. En 2020, 24,7 millones de personas en todo el mundo utilizaban servicios de banca abierta, cifra que se pronostica que alcance 132,2 millones para 2024. Esta tendencia en alza alimenta la competencia, impulsa la innovación y fomenta las asociaciones entre los bancos tradicionales y las empresas ágiles de tecnología financiera. En este panorama transformador, MongoDB, una plataforma líder de datos para desarrolladores, desempeña un papel vital para apoyar la banca abierta al proporcionar una infraestructura segura, escalable y flexible para administrar y proteger los datos compartidos de los clientes. Al aprovechar la potencia de la tecnología de MongoDB, las instituciones financieras pueden reducir los costos, mejorar la experiencia del cliente y mitigar los riesgos potenciales asociados con el intercambio generalizado de datos de los clientes mediante el estricto cumplimiento regulatorio. Figura 1: Un ejemplo de arquitectura de banca abierta La esencia de la banca o las finanzas abiertas consiste en aprovechar los protocolos comunes de intercambio de datos para compartir datos y servicios financieros con terceros. En este blog, profundizaremos en los desafíos técnicos y las soluciones de la banca abierta desde una perspectiva de datos y servicios, y exploraremos cómo MongoDB empodera a las instituciones financieras para superar estos obstáculos y liberar todo el potencial de este ecosistema abierto. Entornos y estándares dinámicos A medida que los estándares de banca abierta continúan evolucionando, las instituciones financieras deben seguir adaptándose para cumplir con las cambiantes regulaciones y demandas de la industria. Las relational databases tradicionales a menudo tienen dificultades para mantenerse al día con los requisitos dinámicos de la banca abierta debido a sus esquemas rígidos que son difíciles de cambiar y administrar con el tiempo. En países que no cuentan con marcos estandarizados de banca abierta, los bancos y los proveedores externos se enfrentan al desafío de desarrollar múltiples versiones de API para integrarse con diferentes instituciones, lo que crea complejidad y dificulta la interoperabilidad. Afortunadamente, las normas o directrices de banca abierta (p. ej., Europa, Singapur, Indonesia, Hong Kong, Australia, etc.) generalmente han requerido o recomendado que las API abiertas sean RESTful y admitan el formato de datos JSON, lo que crea una base para el intercambio común de datos. MongoDB aborda estos desafíos con una plataforma de datos flexible para desarrolladores que admite de forma nativa el formato de datos JSON, simplifica el modelado de datos y permite cambios flexibles de esquemas para desarrolladores. Con características como la API de Datos de MongoDB los desarrolladores pueden reducir los esfuerzos de desarrollo y mantenimiento al exponer datos de manera sencilla mediante un enfoque de código bajo. La característica de API estable garantiza la compatibilidad durante las actualizaciones de bases de datos, evitando roturas de código y proporcionando una transición fluida. Además, MongoDB ofrece características que mejoran la productividad, como búsqueda de texto completo , visualización de datos , federación de datos , sincronización de mobile database y otros servicios de aplicaciones , lo que permite a los desarrolladores acelerar el tiempo de comercialización. Con las capacidades de MongoDB, las instituciones financieras y los proveedores externos pueden navegar el cambiante panorama de la banca abierta de manera más efectiva, fomentar la colaboración y ofrecer soluciones innovadoras a los clientes. Un ejemplo de un cliente que aprovecha la flexibilidad y la gestión de datos JSON nativa de MongoDB es Natwest. Natwest es un importante banco minorista y comercial del Reino Unido con sede en Londres, Inglaterra. El banco ha pasado de cero a 900 millones de llamadas a la API al mes en pocos años, a medida que crece la aceptación de la banca abierta y se espera que se multiplique por 10 en los próximos años. En un evento de MongoDB el 15 de noviembre de 2022, Jonathan Haggarty, director de Tecnología del “Banco de API” de Natwest (un ecosistema de API que pone los servicios del banco minorista a disposición de los socios) compartió en su presentación titulada Driving Customer Value using API Data (Impulsar el valor del cliente utilizando datos de API) que el creciente ecosistema de API de Natwest le permite “introducir un montón de datos JSON en MongoDB [lo que facilita] pasar de información simple a bastante compleja” y también facilita ofuscar los detalles del usuario a través del enmascaramiento de datos para la privacidad del cliente. Natwest puede ofrecer a sus socios, a través de su ecosistema de API, información sobre los datos de los clientes, por ejemplo, “dónde se encuentran los clientes en el espectro del comercio electrónico”, el “mejor momento para que los minoristas ofrezcan descuentos”, así como información sobre los “clientes más valiosos”; utilizando datos para la resolución de problemas, análisis e información, y generación de informes. Rendimiento En el dinámico panorama de la banca abierta, es crucial satisfacer las demandas impredecibles de rendimiento, escalabilidad y disponibilidad. La eficiencia de las aplicaciones y la experiencia general del cliente dependen fuertemente de la capacidad de respuesta de las API. Sin embargo, construir una plataforma de banca abierta se vuelve complicado cuando se acomoda a proveedores externos con requisitos comerciales y técnicos no divulgados. Sin una gestión cuidadosa, esto puede generar problemas de rendimiento imprevistos y mayores costos. La banca abierta exige un alto rendimiento de las API en todo tipo de volúmenes de carga de trabajo. OBIE recomienda un TTLB promedio (tiempo hasta el último byte) de 750 ms por respuesta de terminal para todas las invitaciones de pago (excepto pagos de archivos) y API de información de cuenta. El cumplimiento de los acuerdos de nivel de servicio regulatorio (SLA) en ciertas jurisdicciones aumenta aún más la complejidad. Las arquitecturas y bases de datos heredadas a menudo tienen dificultades para cumplir con estos criterios exigentes, lo que requiere grandes cambios para garantizar la escalabilidad y un rendimiento óptimo. Ahí es donde entra en juego MongoDB. MongoDB está diseñado específicamente para ofrecer un rendimiento excepcional con su motor de almacenamiento WiredTiger y sus capacidades de compresión. Además, MongoDB Atlas mejora el rendimiento siguiendo sus sugerencias inteligentes de índice y esquema, organización automática de datos en niveles y aislamiento de cargas de trabajo para análisis. Un ejemplo destacado de sus capacidades lo demuestra Temenos, un reconocido proveedor de aplicaciones de servicios financieros, al lograr un rendimiento y una eficiencia de procesamiento de volumen de transacciones notables con MongoDB Atlas. Recientemente ejecutaron una evaluación comparativa con MongoDB Atlas y Microsoft Azure, y procesaron con éxito la asombrosa cifra de 200 millones de préstamos financieros integrados y 100 millones de cuentas minoristas a una velocidad récord de 150 000 transacciones por segundo . Esto muestra el poder y la escalabilidad de MongoDB con un rendimiento incomparable para capacitar a las instituciones financieras para enfrentar de manera efectiva los desafíos que plantea la banca abierta. MongoDB garantiza performance, escalabilidad y disponibilidad excepcionales para satisfacer las demandas cambiantes de la industria. Escalabilidad Construir una plataforma para brindar servicio a los TPP, que pueden no revelar sus usos comerciales y requisitos técnicos y de rendimiento, puede introducir problemas impredecibles de rendimiento y costos si no se gestionan con cuidado. Por ejemplo, un banco de Singapur se enfrentó a un problema en el que sus API abiertas experimentaban picos de carga y caídas todos los miércoles. Tras una investigación, descubrieron que uno de los TPP ejecutaba una campaña promocional todos los miércoles, lo que provocaba una oleada de llamadas a la API que desbordaba la infraestructura del banco. Además de cumplir los requisitos de rendimiento de un determinado volumen conocido de transacciones, es fundamental disponer de una solución escalable que pueda funcionar con cargas de trabajo impredecibles. La arquitectura flexible y las características de escalabilidad de MongoDB abordan estas preocupaciones de manera efectiva. Con su modelo de datos distribuido basado en documentos, MongoDB permite un escalamiento fluido tanto vertical como horizontalmente. Al aprovechar la fragmentación , los datos se pueden distribuir en múltiples nodos, lo que garantiza una utilización eficiente de los recursos y permite que el sistema trate grandes volúmenes de transacciones sin comprometer el rendimiento. La capacidad de fragmentación automática de MongoDB permite un escalamiento dinámico a medida que crece la carga de trabajo, lo que brinda a las instituciones financieras la flexibilidad para adaptarse a las demandas cambiantes y garantiza una infraestructura de banca abierta fluida y escalable. Disponibilidad En el ámbito de la banca abierta, la disponibilidad se convierte en un desafío crítico. Con una mayor dependencia de los servicios bancarios por parte de proveedores externos (TPP), garantizar una disponibilidad constante se vuelve más complejo. Anteriormente, los bancos podían cerrar ciertos servicios por mantenimiento durante las horas de menor actividad. Sin embargo, como los TPP ofrecen experiencias 24x7, cualquier tiempo de inactividad es inaceptable. Esto ejerce una mayor presión sobre los bancos para mantener una disponibilidad constante para los servicios de API abierta, incluso durante las ventanas de mantenimiento planificadas o eventos imprevistos. MongoDB Atlas, el servicio global de base de datos en cloud totalmente gestionado, aborda estos desafíos de disponibilidad con eficacia. Con sus capacidades de clúster multinodo y DBaaS multicloud, MongoDB Atlas garantiza una alta disponibilidad y tolerancia ante fallos. Ofrece la flexibilidad de ejecutarse en múltiples proveedores de cloud líderes, lo que permite a los bancos minimizar el riesgo de concentración y lograr una mayor disponibilidad a través de un clúster distribuido en diferentes plataformas de cloud. Los sólidos mecanismos de replicación y conmutación por error que ofrece MongoDB Atlas garantizan un servicio ininterrumpido y permiten a las instituciones financieras ofrecer API de banca abierta fiables y siempre disponibles a sus clientes y TPP. Seguridad y privacidad La seguridad de los datos y la gestión del consentimiento son preocupaciones primordiales para los bancos que participan en la banca abierta. La exposición de los mecanismos de autenticación y autorización a proveedores externos plantea problemas de seguridad e introduce complejidades técnicas en relación con la protección de datos. Los bancos requieren mecanismos detallados de control de acceso y cifrado para salvaguardar los datos compartidos, incluida la gestión del consentimiento para compartir datos a nivel granular. Además, los bancos deben navegar por el panorama de las leyes de privacidad de datos como el Reglamento General de Protección de Datos (GDPR), que imponen requisitos estrictos distintos de las regulaciones bancarias tradicionales. MongoDB ofrece una gama de soluciones para abordar estos desafíos de seguridad y privacidad de manera efectiva. Queryable Encryption proporciona un mecanismo para administrar datos cifrados dentro de MongoDB, lo que garantiza que la información confidencial permanezca segura incluso cuando se comparte con proveedores externos. Las características de cifrado integrales de MongoDB cubren los datos en reposo y los datos en tránsito, por lo que se protegen los datos a lo largo de su ciclo de vida. El esquema flexible de MongoDB permite a las instituciones financieras capturar diversos requisitos de datos para gestionar el consentimiento de intercambio de datos y unificar el consentimiento de los usuarios de diferentes países en un único almacén de datos, lo que simplifica el cumplimiento de las complejas leyes de privacidad de datos. Además, las capacidades de geofragmentación de MongoDB permiten el cumplimiento de las leyes de residencia de datos al garantizar que los datos y la información de consentimiento relevantes permanezcan en el centro de datos en cloud más cercano, al tiempo que proporcionan tiempos de respuesta óptimos para acceder a los datos. Para mejorar aún más la privacidad de los datos, MongoDB ofrece técnicas de cifrado a nivel de campo , lo que permite usar cifrado simétrico a nivel de campo para proteger los datos confidenciales (p. ej., información personal identificable) incluso cuando se comparten con TPP. El cifrado aleatorio de los campos agrega una capa adicional de seguridad y permite realizar operaciones de consulta en los datos cifrados. La técnica Queryable Encryption de MongoDB fortalece aún más la seguridad y protege contra el criptoanálisis, lo que garantiza que los datos de los clientes permanezcan protegidos y confidenciales dentro del ecosistema de banca abierta. Monitoreo de actividades Con las numerosas API ofrecidas por los bancos en el ecosistema de banca abierta, el monitoreo de la actividad y la resolución de problemas se convierten en aspectos críticos para mantener una infraestructura sólida y segura. MongoDB simplifica el seguimiento de la actividad a través de sus herramientas de seguimiento y capacidades de auditoría. Los administradores y usuarios pueden rastrear la actividad del sistema a nivel granular, monitoreando el sistema de base de datos y los eventos de las aplicaciones. MongoDB Atlas tiene API de administración , que se pueden usar para gestionar programáticamente el servicio de Atlas. Por ejemplo, se puede utilizar la API de administración de Atlas para crear implementaciones de bases de datos, agregarles usuarios, monitorearlas y más. Estas API pueden ayudar con la automatización de los pipelines de CI/CD, así como con el monitoreo de las actividades en la plataforma de datos, lo que permite a los desarrolladores y administradores liberarse de este esfuerzo mundano y enfocarse en generar más valor comercial. Las herramientas de monitoreo del rendimiento, incluido el asesor de desempeño, ayudan a medir y optimizar el rendimiento del sistema, garantizando que las API brinden experiencias de usuario excepcionales. Figura 2: Monitoreo de actividades en MongoDB Atlas MongoDB Atlas Charts , una característica integrada de MongoDB Atlas, ofrece capacidades de análisis y visualización. Las instituciones financieras pueden crear paneles de inteligencia de negocio con MongoDB Atlas Charts. Esto elimina la necesidad de pagar por las costosas licencias asociadas con las herramientas tradicionales de inteligencia de negocio, lo que lo vuelve más rentable a medida que más TPP usan las API. Con MongoDB Atlas Charts, las instituciones financieras pueden ofrecer datos completos de telemetría empresarial a los TPP, como la cantidad de cotizaciones de seguros, las transacciones de pólizas, los volúmenes de llamadas a la API y las métricas de rendimiento. Esta información permite a las instituciones financieras tomar decisiones basadas en datos, mejorar la eficiencia operativa y optimizar la experiencia del cliente en el ecosistema de banca abierta. Figura 3: Panel de muestra de Atlas Charts Funcionamiento en tiempo real La banca abierta presenta nuevos desafíos para las instituciones financieras a medida que se esfuerzan por servir y escalar en medio de cargas de trabajo impredecibles de TPP. Si bien el contenido estático presenta menos dificultades, las API que requieren actualizaciones en tiempo real o transmisión continua, como saldos dinámicos de cuentas o calificaciones de crédito ajustadas a ESG, exigen capacidades para entregar datos casi en tiempo real. Para permitir que las aplicaciones reaccionen inmediatamente a cambios en tiempo real o a medida que ocurren, las organizaciones pueden aprovechar MongoDB Change Streams que se basan en su marco de agregación para reaccionar a los cambios en los datos en una sola colección, una base de datos o incluso una implementación completa. Esta capacidad mejora aún más las capacidades de procesamiento y análisis de eventos y datos en tiempo real de MongoDB. MongoDB ofrece varios mecanismos para admitir la transmisión de datos, incluido un conector de Kafka para la arquitectura basada en eventos y un conector de Spark para la transmisión con Spark. Estas soluciones permiten a las instituciones financieras satisfacer las necesidades de datos en tiempo real de sus socios de banca abierta de manera efectiva, lo que permite una integración fluida y la entrega de datos en tiempo real para mejorar las experiencias de los clientes. Conclusión Las capacidades técnicas de MongoDB lo posicionan como un facilitador clave para las instituciones financieras que se embarcan en su recorrido hacia la banca abierta. Desde gestionar entornos dinámicos y adaptar cargas de trabajo impredecibles hasta garantizar la escalabilidad, disponibilidad, seguridad y privacidad, MongoDB ofrece un conjunto completo de herramientas y características para abordar los desafíos de la banca abierta de manera eficaz. Al tener MongoDB como su infraestructura subyacente, las instituciones financieras pueden navegar el cambiante panorama de la banca abierta con confianza, y ofrecer soluciones innovadoras e impulsar el futuro de las operaciones bancarias. Adoptar MongoDB empodera a las instituciones financieras para liberar todo el potencial de la banca abierta y brindar experiencias excepcionales a los clientes en esta era de colaboración y transformación digital. Si desea obtener más información sobre cómo puede aprovechar MongoDB para su infraestructura de banca abierta, eche un vistazo a los siguientes recursos: Panel de discusión sobre banca abierta: Asegure el futuro de su banco en un mundo de cambiantes estándares de datos y API con MongoDB, Celent, Icon Solutions y AWS Cómo una malla de datos facilita la banca abierta Centro de servicios financieros

June 6, 2023

Analyse von Open Banking mit MongoDB: Technische Herausforderungen und deren Lösungen

Danke an Ainhoa Múgica für ihre Beiträge zu diesem Artikel. Open Banking (oder Open Finance) hat eine bahnbrechende Welle im Bankensektor ausgelöst und zwingt die Finanzinstitute (Banken, Versicherer, Fintechs, Konzerne und sogar Regierungsbehörden), sich auf eine neue Ära der Transparenz, Zusammenarbeit und Innovation einzulassen. Dieser Paradigmenwechsel erfordert, dass Banken Kundendaten offen mit Drittanbietern (TPPs) austauschen, um das Kundenerlebnis zu verbessern und die Entwicklung innovativer Fintech-Lösungen zu fördern, indem „Best-of-Breed“-Produkte und -Dienstleistungen kombiniert werden. 2020 nutzten weltweit 24,7 Millionen Menschen Open-Banking-Dienste. Diese Zahl wird bis 2024 voraussichtlich auf 132,2 Millionen ansteigen. Dieser wachsende Trend treibt den Wettbewerb voran, spornt zu Innovationen an und begünstigt Partnerschaften zwischen traditionellen Banken und agilen Fintech-Unternehmen. In einer sich derartig wandelnden Landschaft spielt die führende Entwickler-Datenplattform MongoDB eine wichtige Rolle bei der Unterstützung von Open Banking. Hierzu stellt das Unternehmen eine sichere, skalierbare und flexible Infrastruktur für die Verwaltung und den Schutz gemeinsamer Kundendaten bereit. Durch Nutzung der leistungsstarken MongoDB-Technologie können Finanzinstitute ihre Kosten senken, das Kundenerlebnis verbessern und die potenziellen Risiken, die mit der weit verbreiteten Weitergabe von Kundendaten verbunden sind, durch strikte Einhaltung gesetzlicher Vorschriften mindern. Abbildung 1: Beispiel für eine Open-Banking-Architektur Beim Open Banking/Finance geht es im Wesentlichen darum, gemeinsame Datenaustauschprotokolle zu nutzen, um Finanzdaten und -dienste mit Dritten auszutauschen. In diesem Blog werden wir uns mit den technischen Herausforderungen und Lösungen von Open Banking in Bezug auf Daten und Datendienste befassen und untersuchen, wie MongoDB Finanzinstituten dabei hilft, diese Hindernisse zu überwinden und das volle Potenzial dieses offenen Ökosystems zu erschließen. Dynamische Umgebungen und Standards Da sich Open-Banking-Standards ständig weiterentwickeln, müssen Finanzinstitute anpassungsfähig bleiben, sodass sie den veränderlichen Vorschriften und Branchenanforderungen gerecht werden. Herkömmliche relationale Datenbanken können aufgrund ihrer starren Schemata, die sich auf Dauer nur schwer ändern und verwalten lassen, oft nicht mit den dynamischen Anforderungen von Open Banking Schritt halten. In Ländern ohne standardisierte Open-Banking-Frameworks stehen Banken und Drittanbieter vor der Herausforderung, mehrere API-Versionen zu entwickeln, die sich in die verschiedenen Institutionen integrieren lassen müssen. Dies führt zu Komplexität und behindert die Interoperabilität. Glücklicherweise verlangen oder empfehlen Open-Banking-Standards oder -Richtlinien (z. B. in Europa, Singapur, Indonesien, Hongkong, Australien usw.) generell, dass es sich bei offenen APIs um RESTful APIs handelt und dass diese das JSON-Datenformat unterstützen, wodurch eine Grundlage für den gemeinsamen Datenaustausch entsteht. MongoDB begegnet diesen Herausforderungen, indem es eine flexible Entwicklerdatenplattform bietet , die das JSON-Datenformat nativ unterstützt, die Datenmodellierung vereinfacht und flexible Schemaänderungen für Entwickler ermöglicht. Mit Funktionen wie der MongoDB-Daten-API und der können Entwickler den Entwicklungs- und Wartungsaufwand reduzieren, indem sie Daten mit wenig Programmieraufwand zugänglich machen. Die Stable-API -Funktion gewährleistet die Kompatibilität bei Datenbank-Upgrades, verhindert Code-Beschädigungen und sorgt für einen nahtlosen Übergang. Darüber hinaus bietet MongoDB produktivitätssteigernde Funktionen wie Volltextsuche , Datenvisualisierung , Data Federation , mobile Datenbank-Synchronisierung und sonstige App-Dienste , mit denen Entwickler die Dauer bis zur Vermarktung verkürzen können. Mit den Funktionen von MongoDB können Finanzinstitute und Drittanbieter die sich verändernde Open-Banking-Landschaft effektiver bewältigen, die Zusammenarbeit fördern und ihren Kunden innovative Lösungen anbieten. Ein Beispiel für einen Kunden, der das native JSON-Datenmanagement und die Flexibilität von MongoDB nutzt, ist Natwest. Natwest ist eine große Einzelhandels- und Handelsbank in Großbritannien mit Sitz in London, England. Die Bank hat sich innerhalb von Jahren von null auf 900 Millionen API-Aufrufe pro Monat gewandelt, da Open Banking wächst und sich in den kommenden Jahren noch um das 10-Fache steigern wird. Bei einem MongoDB-Event am 15. November 2022 hat Jonathan Haggarty, Leiter der „Bank of APIs“-Technologie von Natwest, – einem API-Ökosystem, das die Services der Einzelhandelsbank an Partner weitergibt –, in seiner Präsentation „ Den Kunden-Mehrwert mit API-Daten steigern “ erläutert, dass das wachsende API-Ökosystem von Natwest es ermöglicht hat, „einige JSON-Daten nach MongoDB zu verschieben [was es erleichtert], von einfachen auf ziemlich komplexe Informationen umzustellen“ und die Benutzerdetails durch Datenmaskierung im Kunden-Datenschutz viel einfacher zu verschleiern. Natwest ist in der Lage, über sein API-Ökosystem Einblicke in Kundendaten für Partner bereitzustellen, z. B., „wo Kunden im E-Commerce-Spektrum tätig sind“, die „beste Zeit [für Einzelhändler], um Rabatte zu bieten“ sowie Einblicke in „die wichtigsten Kunden“ – wobei Daten zur Problemlösung, für Analysen und Erkenntnisse sowie für Berichte verwendet werden. Leistung In der dynamischen Landschaft des Open Banking ist es von entscheidender Bedeutung, die unvorhersehbaren Anforderungen an Leistung, Skalierbarkeit und Verfügbarkeit zu erfüllen. Die Effizienz der Anwendungen und das gesamte Kundenerlebnis hängen stark von der Reaktionsfähigkeit von APIs ab. Der Aufbau einer Open-Banking-Plattform wird jedoch kompliziert, wenn Drittanbieter beauftragt werden, denen die geschäftlichen und technischen Anforderungen nicht bekannt sind. Ohne sorgfältiges Management kann dies zu unvorhergesehenen Leistungsproblemen und erhöhten Kosten führen. Open Banking erfordert für die unterschiedlichen Workload-Mengen APIs mit hoher Leistung. OBIE empfiehlt für alle Zahlungsaufforderungen (mit Ausnahme von Mehrfachzahlungen) und Kontoinformations-APIs eine durchschnittliche Time to Last Byte (TTLB) von 750 ms pro Endpunktantwort. Die Compliance mit regulatorischen Service Level Agreements (SLAs) in bestimmten Rechtsordnungen erhöht die Komplexität zusätzlich. Veraltete Architekturen und Datenbanken haben oft das Problem, dass sie diese anspruchsvollen Kriterien nicht erfüllen können und erfordern umfangreiche Änderungen, um Skalierbarkeit und optimale Leistung zu gewährleisten. Hier kommt MongoDB ins Spiel. MongoDB wurde speziell entwickelt, um mit seiner WiredTiger-Speicher-Engine und seinen Komprimierungsfunktionen außergewöhnliche Leistungen zu bieten. Darüber hinaus verbessert MongoDB Atlas die Leistung aufgrund seiner intelligenten Index- und Schemavorschläge, aufgrund der automatischen Datenkontingentierung und aufgrund der Workload-Isolierung für Analysen. Ein gutes Beispiel für seine Fähigkeiten ist Temenos, ein renommierter Anbieter für Finanzdienstleistungsanwendungen, der durch MongoDB Atlas bemerkenswerte Leistung und Effizienz bei der Verarbeitung eines großen Transaktionsvolumens erzielen konnte. Das Unternehmen hat vor Kurzem ein Benchmarking mit MongoDB Atlas und Microsoft Azure durchgeführt und erfolgreich unglaubliche 200 Millionen eingebettete Finanzkredite und 100 Millionen Einzelhandelskonten mit rekordverdächtigen 150.000 Transaktionen pro Sekunde verarbeitet . Dies zeugt von der beispiellosen Leistungsfähigkeit und Skalierbarkeit von MongoDB, mit der Finanzinstitute die Herausforderungen des Open Banking effektiv bewältigen können. MongoDB gewährleistet herausragende Leistung, Skalierbarkeit und Verfügbarkeit, um den sich ständig ändernden Anforderungen der Branche gerecht zu werden. Skalierbarkeit Der Aufbau einer Plattform für Drittanbieter (TTPs), die den betrieblichen Verwendungszweck und die technischen/Leistungsanforderungen ggf. nicht offenlegen, kann bei unbedachter Vorgehensweise zu unvorhersehbaren Leistungs- und Kostenproblemen führen. Eine Bank in Singapur sah sich beispielsweise mit dem Problem konfrontiert, dass ihre Open APIs jeden Mittwoch Spitzenlasten und Abstürze erlebten. Nach einer Untersuchung stellte man fest, dass einer der Drittanbieter jeden Mittwoch eine Werbekampagne durchführte, was zu einer Flut von API-Aufrufen führte und die Infrastruktur der Bank überlastete. Eine skalierbare Lösung, die auch unter unvorhersehbaren Workloads funktioniert, ist von entscheidender Bedeutung, da sie nicht nur die Leistungsanforderungen eines bestimmten bekannten Transaktionsvolumens erfüllt. Die flexiblen Architektur- und Skalierbarkeitsfunktionen von MongoDB beheben eine solche Situation effektiv. Mit seinem verteilten, dokumentenbasierten Datenmodell ermöglicht MongoDB eine nahtlose Skalierung sowohl in vertikaler als auch horizontaler Richtung. Durch Einsatz der Sharding -Funktion können Daten auf mehrere Knoten verteilt werden, wodurch eine effiziente Ressourcennutzung gewährleistet und das System in die Lage versetzt wird, hohe Transaktionsvolumina ohne Leistungseinbußen zu bewältigen. Die Auto-Sharding-Funktion von MongoDB ermöglicht die dynamische Skalierung bei steigendem Workload und bietet Finanzinstituten die Flexibilität, sich an wechselnde Anforderungen anzupassen und eine reibungslose und skalierbare Open-Banking-Infrastruktur zu gewährleisten. Verfügbarkeit Im Bereich Open Banking ist die Verfügbarkeit eine kritische Herausforderung geworden. Mit zunehmender Abhängigkeit von Bankdienstleistungen durch Drittanbieter (TPPs) wird die Gewährleistung einer gleichbleibend guten Verfügbarkeit immer schwieriger. Bisher konnten Banken bestimmte Dienste außerhalb der Spitzenzeiten für Wartungsarbeiten herunterfahren. Da TPPs jedoch 24/7-Erlebnisse bieten, sind Ausfallzeiten inakzeptabel. Dies erhöht den Druck auf Banken, die Verfügbarkeit von Open-API-Diensten auch während geplanter Wartungsfenster oder unvorhergesehener Ereignisse konstant aufrechtzuerhalten. MongoDB Atlas, der vollständig verwaltete globale Cloud-Datenbankdienst, löst das Problem der Verfügbarkeit effektiv. Mit seinen Funktionen aus Mehrknoten-Clustern und Multi-Cloud-DBaaS gewährleistet MongoDB Atlas eine hohe Verfügbarkeit und Fehlertoleranz. Dies bietet die Flexibilität, auf mehreren führenden Cloud-Anbietern zu laufen, damit Banken das Konzentrationsrisiko senken und durch einen über verschiedene Cloud-Plattformen verteilten Cluster eine höhere Verfügbarkeit erreichen. Die robusten Replikations - und Failover-Mechanismen von MongoDB Atlas garantieren einen unterbrechungsfreien Service und ermöglichen es Finanzinstituten, ihren Kunden und TPPs zuverlässige und stets verfügbare Open-Banking-APIs bereitzustellen. Sicherheit und Datenschutz Datensicherheit und Einwilligungsmanagement sind für Banken, die am Open Banking teilnehmen, von größter Bedeutung. Die Offenlegung von Authentifizierungs- und Autorisierungsmechanismen gegenüber Drittanbietern wirft Sicherheitsbedenken auf und führt zu technischen Komplikationen in Datenschutzangelegenheiten. Banken benötigen eine fein abgestufte Zugangskontrolle sowie Verschlüsselungsmechanismen, um die gemeinsam genutzten Daten zu schützen. Hierunter fällt auch, die Einwilligung zur gemeinsamen Nutzung von Daten auf detailliertester Ebene zu verwalten. Darüber hinaus müssen sich Banken in der Landschaft von Datenschutzgesetzen wie beispielsweise der Datenschutz-Grundverordnung (DSGVO) auskennen, deren strenge Anforderungen sich von den traditionellen Bankvorschriften unterscheiden. MongoDB hält eine Reihe von Lösungen parat , die auf diese Sicherheits- und Datenschutzherausforderungen effektiv eingehen. Queryable Encryption bietet einen Mechanismus zur Verwaltung verschlüsselter Daten in MongoDB, der sicherstellt, dass vertrauliche Informationen auch dann sicher bleiben, wenn sie an Drittanbieter weitergegeben werden. Die umfassenden Verschlüsselungsfunktionen von MongoDB decken ruhende und übertragene Daten ab und schützen Daten während ihres gesamten Lebenszyklus. Das flexible Schema von MongoDB ermöglicht es Finanzinstituten, unterschiedliche Datenanforderungen zur Verwaltung der Datenfreigabe-Einwilligung zu erfassen und die Benutzereinwilligung aus verschiedenen Ländern in einem einzigen Datenspeicher zu vereinen, was die Einhaltung komplexer Datenschutzgesetze vereinfacht. Darüber hinaus ermöglichen die Geo-Sharding -Funktionen von MongoDB die Einhaltung von Gesetzen zur Datenresidenz, indem sie sicherstellen, dass relevante Daten und Einwilligungsinformationen im nächstgelegenen Cloud-Datenzentrum verbleiben und gleichzeitig optimale Reaktionszeiten für den Datenzugang bieten. Um den Datenschutz weiter zu verbessern, bietet MongoDB Verschlüsselungstechniken auf Feldebene an, die eine symmetrische Verschlüsselung auf Feldebene ermöglichen. Damit ist es möglich, sensible Daten (z. B. personenbezogene Daten) auch dann zu schützen, wenn sie an TPPs weitergeleitet werden. Die Verschlüsselung von Feldern nach dem Zufallsprinzip bietet eine zusätzliche Sicherheitsebene und ermöglicht Abfrageoperationen zu den verschlüsselten Daten. Die Queryable Encryption-Technik von MongoDB erhöht die Sicherheit weiter und schützt vor Kryptoanalysen, wodurch sichergestellt wird, dass Kundendaten innerhalb des Open-Banking-Ökosystems geschützt werden und vertraulich bleiben. Aktivitätsüberwachung Angesichts der zahlreichen APIs, die von den Banken im Open-Banking-Ökosystem angeboten werden, gestalten sich die Überwachung der Aktivitäten und die Fehlerbehebung als entscheidende Aspekte, um eine robuste und sichere Infrastruktur aufrechtzuerhalten. MongoDB vereinfacht durch seine Überwachungstools und Prüffunktionen die Aktivitätsüberwachung. Administratoren und Benutzer können die Systemaktivität auf einer detaillierten Ebene verfolgen und Ereignisse im Datenbanksystem und in den Anwendungen überwachen. MongoDB Atlas verfügt über Administration APIs , mit denen Sie den Atlas-Service programmgesteuert verwalten können. Die Atlas Administration APIs lassen sich unter anderem dazu verwenden, Datenbanken bereitzustellen, Benutzer zu diesen Bereitstellungen hinzuzufügen oder diese Bereitstellungen zu überwachen. Diese APIs können bei der Automatisierung von CI-/CD-Pipelines sowie bei der Überwachung der Aktivitäten auf der Datenplattform helfen, sodass Entwickler und Administratoren von dieser monotonen Arbeit befreit werden und sich auf die Generierung von mehr Geschäftswert konzentrieren können. Leistungsüberwachungstools einschließlich des Leistungsberaters helfen bei der Messung und Optimierung der Systemleistung und stellen sicher, dass APIs außergewöhnliche Benutzererlebnisse bieten. Abbildung 2: Aktivitätsüberwachung auf MongoDB Atlas MongoDB Atlas Charts , eine integrierte Funktion von MongoDB Atlas, bietet Analyse- und Visualisierungsfunktionen. Finanzinstitute können mit MongoDB Atlas Charts Business-Intelligence-Dashboards erstellen. Dadurch entfällt die Notwendigkeit einer teuren Lizenzierung, wie sie bei herkömmlichen Business-Intelligence-Tools erforderlich ist, und macht die Nutzung der APIs kostengünstig, da diese von immer mehr TPPs genutzt werden. Mit MongoDB Atlas Charts können Finanzinstitute TPPs umfassende Telemetriedaten zur Verfügung stellen, z. B. die Anzahl der Versicherungsangebote, Policen-Transaktionen, API-Aufrufe und Leistungskennzahlen. Diese Erkenntnisse ermöglichen es den Finanzinstituten, datengestützte Entscheidungen zu treffen, die betriebliche Effizienz zu steigern und das Kundenerlebnis im Open-Banking-Ökosystem zu optimieren. Abbildung 3: Dashboard-Beispiel für Atlas Charts Echtzeitigkeit Open Banking stellt Finanzinstitute vor neue Herausforderungen, wenn diese versuchen, inmitten von unvorhersehbaren Workloads durch Drittanbieter ihre Kunden zu bedienen und ihre Systeme zu skalieren. Während statische Inhalte weniger Schwierigkeiten bereiten, erfordern APIs, die Echtzeit-Updates oder kontinuierliches Streaming voraussetzen – wie z. B. dynamische Kontostände oder ESG-angepasste Kreditbewertungen – die Fähigkeit, Daten nahezu in Echtzeit bereitzustellen. Damit Anwendungen sofort auf Echtzeit- oder auftretende Änderungen reagieren, können Unternehmen MongoDB Change Streams nutzen, die auf dem Aggregationsframework von MongoDB basieren. Hierdurch kann auf Datenänderungen in einer einzelnen Collection, einer Datenbank oder sogar einer gesamten Bereitstellung reagiert werden. Diese Funktion verbessert die Fähigkeiten von MongoDB, Echtzeitdaten und Ereignisse zu verarbeiten und zu analysieren. MongoDB bietet mehrere Mechanismen zur Unterstützung des Daten-Streamings, unter anderem einen Kafka-Connector für ereignisgesteuerte Architektur und einen Spark-Connector für das Streaming über Spark. Diese Lösungen ermöglichen es Finanzinstituten, die Echtzeit-Datenanforderungen ihrer Open-Banking-Partner effektiv zu erfüllen, für eine nahtlose Integration und Echtzeit-Datenbereitstellung zu sorgen und ein verbessertes Kundenerlebnis zu schaffen. Fazit Aufgrund seiner technischen Fähigkeiten ist MongoDB ein wichtiger Wegbereiter für Finanzinstitute, die ihre Open-Banking-Reise antreten wollen. Von der Verwaltung dynamischer Umgebungen und der Bewältigung unvorhersehbarer Workloads bis hin zur Gewährleistung von Skalierbarkeit, Verfügbarkeit, Sicherheit und Datenschutz bietet MongoDB eine umfassende Reihe von Tools und Funktionen, um die Herausforderungen des Open Banking effektiv zu meistern. Mit MongoDB als zugrundeliegender Infrastruktur können Finanzinstitute mit Zuversicht in der sich ständig weiterentwickelnden Open-Banking-Landschaft navigieren, innovative Lösungen anbieten und die Zukunft des Bankwesens vorantreiben. Durch den Einsatz von MongoDB können Finanzinstitute das volle Potenzial von Open Banking ausschöpfen und ihren Kunden im Zeitalter der Zusammenarbeit und des digitalen Wandels außergewöhnliche Erlebnisse bieten. Wenn Sie mehr darüber erfahren möchten, wie Sie MongoDB für Ihre Open-Banking-Infrastruktur nutzen können, werfen Sie einen Blick auf die folgenden Ressourcen: Podiumsdiskussion zum Thema Open Banking: Zukunftssicherheit für Ihre Bank in einer Welt der sich verändernden Daten und API-Standards; mit MongoDB, Celent, Icon Solutions und AWS So vereinfacht ein Datennetz das Open Banking Finanzdienstleistungszentrale

June 6, 2023

Dissecting Open Banking with MongoDB: Technical Challenges and Solutions

This post is also available in: Deutsch , Français , Español , Português , Italiano , 한국어 , 简体中文 . Thank you to Ainhoa Múgica for her contributions to this post. Unleashing a disruptive wave in the banking industry, open banking (or open finance), as the term indicates, has compelled financial institutions (banks, insurers, fintechs, corporates, and even government bodies) to embrace a new era of transparency, collaboration, and innovation. This paradigm shift requires banks to openly share customer data with third-party providers (TPPs), driving enhanced customer experiences and fostering the development of innovative fintech solutions by combining ‘best-of-breed’ products and services. As of 2020, 24.7 million individuals worldwide used open banking services, a number that is forecast to reach 132.2 million by 2024. This rising trend fuels competition, spurs innovation, and fosters partnerships between traditional banks and agile fintech companies. In this transformative landscape, MongoDB, a leading developer data platform, is vital in supporting open banking by providing a secure, scalable, and flexible infrastructure for managing and protecting shared customer data. By harnessing the power of MongoDB's technology, financial institutions can lower costs, improve customer experiences, and mitigate the potential risks associated with the widespread sharing of customer data through strict regulatory compliance. Figure 1: Example of an open banking architecture The essence of open banking/finance is about leveraging common data exchange protocols to share financial data and services with 3rd parties. In this blog, we will dive into the technical challenges and solutions of open banking from a data and data services perspective and explore how MongoDB empowers financial institutions to overcome these obstacles and unlock the full potential of this open ecosystem. Dynamic environments and standards As open banking standards evolve, financial institutions must remain adaptable to meet changing regulations and industry demands. Traditional relational databases often struggle to keep pace with the dynamic requirements of open banking due to their rigid schemas that are difficult to change and manage over time. In countries without standardized open banking frameworks, banks and third-party providers face the challenge of developing multiple versions of APIs to integrate with different institutions, creating complexity and hindering interoperability. Fortunately, open banking standards or guidelines (eg. Europe, Singapore, Indonesia, Hong Kong, Australia, etc.) have generally required or recommended that the open APIs be RESTful and support JSON data format, which creates a basis for common data exchange. MongoDB addresses these challenges by offering a flexible developer data platform that natively supports JSON data format, simplifies data modeling, and enables flexible schema changes for developers. With MongoDB’s wide range of idiomatic drivers and libraries , developers can easily access MongoDB using their own programming language. The Stable API feature ensures compatibility during database upgrades, preventing code breaks and providing a seamless transition. Additionally, MongoDB provides productivity-boosting features like full-text search , vector search , data visualization , and data federation to empower developers with a rich suite of capabilities unified on a single data platform. This enables financial institutions and third-party providers to roll out new features more rapidly and capture opportunities in the changing open banking landscape more effectively and timely. An example of a client who leverages MongoDB’s native JSON data management and flexibility is Natwest. Natwest is a major retail and commercial bank in the United Kingdom-based in London, England. The bank has moved from zero to 900 million API calls per month within years as open banking uptake grows and is expected to grow ten times in the coming years. At a MongoDB event on 15 Nov 2022, Jonathan Haggarty, Natwest’s Head of “Bank of APIs” Technology – an API ecosystem that brings the retail bank’s services to partners – shared in his presentation titled Driving Customer Value using API Data that Natwest’s growing API ecosystem lets it “push a bunch of JSON data into MongoDB [which makes it] “easy to go from simple to quite complex information" and also makes it easier to obfuscate user details through data masking for customer privacy. Natwest is enabled to surface customer data insights for partners via its API ecosystem, for example “where customers are on the e-commerce spectrum,” the “best time [for retailers] to push discounts” as well insights on “most valuable customers” – with data being used for problem-solving; analytics and insight; and reporting. Performance In the dynamic landscape of open banking, meeting the unpredictable demands for performance, scalability, and availability is crucial. The efficiency of applications and the overall customer experience heavily rely on the responsiveness of APIs. However, building an open banking platform becomes intricate when accommodating third-party providers with undisclosed business and technical requirements. Without careful management, this can lead to unforeseen performance issues and increased costs. Open banking demands the APIs to perform well under all kinds of workload volumes. OBIE recommends an average TTLB (time to last byte) of 750 ms per endpoint response for all payment invitations (except file payments) and account information APIs. Compliance with regulatory service level agreements (SLAs) in certain jurisdictions further adds to the complexity. Legacy architectures and databases often struggle to meet this demanding criteria, necessitating extensive changes to ensure scalability and optimal performance. That's where MongoDB comes into play. MongoDB is purpose-built to deliver exceptional performance with its WiredTiger storage engine and compression capabilities. Additionally, MongoDB Atlas improves performance by following its intelligent index and schema suggestions, automatic data tiering, and workload isolation for analytics. One prime illustration of its capabilities is demonstrated by Temenos, a renowned financial services application provider, achieving remarkable transaction volume processing performance and efficiency by leveraging MongoDB Atlas. They recently ran a benchmark with MongoDB Atlas and Microsoft Azure and successfully processed an astounding 200 million embedded finance loans and 100 million retail accounts at a record-breaking 150,000 transactions per second . This showcases the power and scalability of MongoDB with unparalleled performance to empower financial institutions to effectively tackle the challenges posed by open banking. MongoDB ensures outstanding performance, scalability, and availability to meet the ever-evolving demands of the industry. Scalability Building a platform to serve TPPs, who may not disclose their business usages and technical/performance requirements, can introduce unpredictable performance and cost issues if not managed carefully. For instance, a bank in Singapore faced an issue where their Open APIs experienced peak loads and crashes every Wednesday. After investigation, they discovered that one of the TPPs ran a promotional campaign every Wednesday, resulting in a surge of API calls that overwhelmed the bank's infrastructure. A scalable solution that can perform under unpredictable workloads is critical, besides meeting the performance requirements of a certain known volume of transactions. MongoDB's flexible architecture and scalability features address these concerns effectively. With its distributed document-based data model, MongoDB allows for seamless scaling both vertically and horizontally. By leveraging sharding , data can be distributed across multiple nodes, ensuring efficient resource utilization and enabling the system to handle high transaction volumes without compromising performance. MongoDB's auto-sharding capability enables dynamic scaling as the workload grows, providing financial institutions with the flexibility to adapt to changing demands and ensuring a smooth and scalable open banking infrastructure. Availability In the realm of open banking, availability becomes a critical challenge. With increased reliance on banking services by third-party providers (TPPs), ensuring consistent availability becomes more complex. Previously, banks could bring down maintenance services during off-peak hours. However, with TPPs offering 24x7 experiences, any downtime is unacceptable. This places greater pressure on banks to maintain constant availability for Open API services, even during planned maintenance windows or unforeseen events. MongoDB Atlas, the fully managed global cloud database service, addresses these availability challenges effectively. With its multi-node cluster and multi-cloud DBaaS capabilities, MongoDB Atlas ensures high availability and fault tolerance. It offers the flexibility to run on multiple leading cloud providers, allowing banks to minimize concentration risk and achieve higher availability through a distributed cluster across different cloud platforms. The robust replication and failover mechanisms provided by MongoDB Atlas guarantee uninterrupted service and enable financial institutions to provide reliable and always available open banking APIs to their customers and TPPs. Security and privacy Data security and consent management are paramount concerns for banks participating in open banking. The exposure of authentication and authorization mechanisms to third-party providers raises security concerns and introduces technical complexities regarding data protection. Banks require fine-grained access control and encryption mechanisms to safeguard shared data, including managing data-sharing consent at a granular level. Furthermore, banks must navigate the landscape of data privacy laws like the General Data Protection Regulation (GDPR), which imposes strict requirements distinct from traditional banking regulations. MongoDB offers a range of solutions to address these security and privacy challenges effectively. Queryable Encryption provides a mechanism for managing encrypted data within MongoDB, ensuring sensitive information remains secure even when shared with third-party providers. MongoDB's comprehensive encryption features cover data-at-rest and data-in-transit, protecting data throughout its lifecycle. MongoDB's flexible schema allows financial institutions to capture diverse data requirements for managing data sharing consent and unify user consent from different countries into a single data store, simplifying compliance with complex data privacy laws. Additionally, MongoDB's geo-sharding capabilities enable compliance with data residency laws by ensuring relevant data and consent information remain in the closest cloud data center while providing optimal response times for accessing data. To enhance data privacy further, MongoDB offers field-level encryption techniques, enabling symmetric encryption at the field level to protect sensitive data (e.g., personally identifiable information) even when shared with TPPs. The random encryption of fields adds an additional layer of security and enables query operations on the encrypted data. MongoDB's Queryable Encryption technique further strengthens security and defends against cryptanalysis, ensuring that customer data remains protected and confidential within the open banking ecosystem. Activity monitoring With numerous APIs offered by banks in the open banking ecosystem, activity monitoring and troubleshooting become critical aspects of maintaining a robust and secure infrastructure. MongoDB simplifies activity monitoring through its monitoring tools and auditing capabilities. Administrators and users can track system activity at a granular level, monitoring database system and application events. MongoDB Atlas has Administration APIs , which one can use to programmatically manage the Atlas service. For example, one can use the Atlas Administration API to create database deployments, add users to those deployments, monitor those deployments, and more. These APIs can help with the automation of CI/CD pipelines and monitoring the activities on the data platform enabling developers and administrators to be freed of this mundane effort and focus on generating more business value. Performance monitoring tools, including the performance advisor, help gauge and optimize system performance, ensuring that APIs deliver exceptional user experiences. Figure 2: Activity Monitoring on MongoDB Atlas MongoDB Atlas Charts , an integrated feature of MongoDB Atlas, offers analytics and visualization capabilities. Financial institutions can create business intelligence dashboards using MongoDB Atlas Charts. This eliminates the need for expensive licensing associated with traditional business intelligence tools, making it cost-effective as more TPPs utilize the APIs. With MongoDB Atlas Charts, financial institutions can offer comprehensive business telemetry data to TPPs, such as the number of insurance quotations, policy transactions, API call volumes, and performance metrics. These insights empower financial institutions to make data-driven decisions, improve operational efficiency, and optimize the customer experience in the open banking ecosystem. Figure 3: Atlas Charts Sample Dashboard Real-Timeliness Open banking introduces new challenges for financial institutions as they strive to serve and scale amidst unpredictable workloads from TPPs. While static content poses fewer difficulties, APIs requiring real-time updates or continuous streaming, such as dynamic account balances or ESG-adjusted credit scores, demand capabilities for near-real-time data delivery. To enable applications to immediately react to real-time changes or changes as they occur, organizations can leverage MongoDB Change Streams that are based on its aggregation framework to react to data changes in a single collection, a database, or even an entire deployment. This capability further enhances MongoDB’s real-time data and event processing and analytics capabilities. MongoDB offers multiple mechanisms to support data streaming, including a Kafka connector for event-driven architecture and a Spark connector for streaming with Spark. These solutions empower financial institutions to meet the real-time data needs of their open banking partners effectively, enabling seamless integration and real-time data delivery for enhanced customer experiences. MongoDB has also released Atlas Stream Processing , the MongoDB-native way to process streaming data, transforming the way developers build modern applications. Developers can now use the document model and the MongoDB aggregation framework to process rich and complex streams of data from platforms such as Apache Kafka. This unlocks powerful opportunities to continuously process streaming data (e.g., aggregate, filter, route, alert, and emit) and materialize results into Atlas or back into the streaming platform for consumption by other systems such as the Open Banking system for providing customers and transaction data updated in real-time. Conclusion MongoDB's technical capabilities position it as a key enabler for financial institutions embarking on their open banking journey. From managing dynamic environments and accommodating unpredictable workloads to ensuring scalability, availability, security, and privacy, MongoDB provides a comprehensive set of tools and features to address the challenges of open banking effectively. With MongoDB as the underlying infrastructure, financial institutions can navigate the ever-evolving open banking landscape with confidence, delivering innovative solutions, and driving the future of banking. Embracing MongoDB empowers financial institutions to unlock the full potential of open banking and provide exceptional customer experiences in this era of collaboration and digital transformation. If you would like to learn more about how you can leverage MongoDB for your open banking infrastructure, take a look at the below resources: Open banking panel discussion: future-proof your bank in a world of changing data and API standards with MongoDB, Celent, Icon Solutions, and AWS How a data mesh facilitates open banking Financial services hub

June 6, 2023

4 Ways MongoDB Solves Healthcare's Interoperability Puzzle

Picture this: You're on a road trip, driving across the country, taking in the beautiful scenery, and enjoying the freedom of the open road. But suddenly, the journey comes to a screeching halt as you fall seriously ill and need emergency surgery. The local hospital rushes you into the operating room, but how will they know what medications you're allergic to, or what conditions you've been treated for in the past? Figure 1: Before and after interoperability In a perfect world, the hospital staff would have access to all of your medical records, seamlessly integrated into one interoperable electronic health record (EHR) system. This would enable them to quickly and accurately treat you as seen in Figure 1. Unfortunately, the reality is that data is often siloed, fragmented, and difficult to access, making it nearly impossible for healthcare providers to get a complete picture of their patients' health. That’s where interoperability comes in, enabling seamless integration of data from different sources and formats, allowing healthcare providers with easy access to the information they need, even between different health providers. And at the heart of solving the interoperability challenge is MongoDB, the ideal solution for building a truly interoperable data repository. In this blog post, we'll explore four ways why MongoDB stands out from all others in the interoperability software space. We'll show you how our unique capabilities make us the fundamental missing piece in the interoperability puzzle for healthcare. Let’s get started! 1. Document flexibility MongoDB's document data model is perfect for managing healthcare data. It allows you to work with the data in JSON format, eliminating the need to flatten or transform it into a string. This simplifies the implementation of common interoperability standards for clinical and terminology data, such as HL7 FHIR and openEHR, as well as SNOMED and LOINC - because all of these standards also support JSON. The document model also supports nested and hierarchical data structures, making it easier to represent complex clinical data with varying levels of detail and granularity. MongoDB's document model also provides flexibility in managing healthcare data, allowing for dynamic and self-describing schemas. With no need to pre-define the schema, fields can vary from document to document and can be modified at any time without requiring disruptive schema migrations. This makes it easy for healthcare providers to add or update information to clinical documents, such as when new interoperability standards are released, ensuring that healthcare data is kept accurate and up-to-date without requiring database reconfiguration or downtime. 2. Scalability Dealing with large healthcare datasets can be challenging for traditional relational database systems, but MongoDB's horizontal scaling feature offers a solution. With horizontal scaling, healthcare providers can easily distribute their data across multiple servers and cloud providers (AWS, GCP, and Azure), resulting in increased processing power and faster query times. It also results in more cost-efficient storage as growing vertically is more expensive than growing horizontally. This feature allows healthcare providers to scale their systems seamlessly as their data volumes grow while maintaining performance and reliability. While MongoDB’s reliability is ensured through its replication architecture, where each database replica set consists of three nodes that provide fault tolerance and automatic failover in the event of node failure. Horizontal scaling also improves reliability by adding more servers or nodes to the system, reducing the risk of a single point of failure. 3. Performance When it comes to healthcare data, query performance can make all the difference in delivering timely and accurate care. And that’s another aspect where MongoDB shines. MongoDB holds data in a format that is optimized for storage and retrieval, allowing it to quickly and efficiently read and write data. MongoDB’s advanced querying capabilities, backed by compound and wildcard indexes, make it a standout solution for healthcare applications. MongoDB Atlas’ Search, using Apache Lucene indexing, also enables efficient querying across vast data sets, handling complex queries with multiple fields. This is especially useful for Clinical Data Repositories (CDRs), which permit almost unlimited querying flexibility. Atlas Search indexing also allows for advanced search features enabling medical professionals to quickly and accurately access the information they need from any device. 4. Security Figure 2: Fine-grained access control The security of sensitive clinical data is paramount in the healthcare industry. That’s why MongoDB provides an array of robust security features, including fine-grained access control and auditing as seen in Figure 2. With Client-Side-Field-Level Encryption (CS-FLE) and Queryable Encryption, MongoDB is the only data platform that allows the processing of randomly encrypted patient data, providing the highest level of data security, with minimal impact on performance. Additionally, MongoDB Atlas supports VPC peering and private links that permit secure connections to healthcare applications, wherever they are hosted. By implementing strong security measures from the start, organizations can ensure privacy by design. Partner ecosystem MongoDB is the only non-relational database and modern data platform that directly collaborates with clinical data repository (CDR) vendors like Smile, Exafluence, Better, Firely, and others. While some vendors offer MongoDB as an alternative to a relational database, others have built their solutions exclusively on MongoDB, one for example is Kodjin FHIR server. MongoDB has extended its capabilities to integrate with AWS FHIR Works, enabling healthcare providers and payers to deploy a FHIR server with MongoDB Atlas through the AWS Marketplace. With MongoDB's unique approach to data storage and retrieval and its ability to work with CDR vendors, millions of patients worldwide are already benefiting from its use. Beyond interoperability with MongoDB Access to complete medical records is often limited by data silos and fragmentation, leaving healthcare providers with an incomplete picture of their patients' health. That's where MongoDB's interoperability solution comes in as the missing puzzle piece the healthcare industry needs. With MongoDB's unmatched document flexibility, scalability, performance, and security features, healthcare providers can access accurate and up-to-date patient information in real-time. But MongoDB's solution goes beyond that. Radical interoperability with MongoDB means that healthcare providers own the data layer and are thus able to leverage any usages from the stored data, and connect to any existing applications or APIs. They're free to work with any healthcare data standard, including custom schemas, and leverage the data for use cases beyond storage and interoperability. The future of healthcare is here, and with MongoDB leading the way, we can expect to see more innovative solutions that put patients first. If you're interested in learning more about radical interoperability with MongoDB, check out our brochure .

May 18, 2023