Dissecando o open banking com o MongoDB: desafios técnicos e soluções

Obrigado a Ainhoa Múgica pelas contribuições para este post.

Ao desencadear uma onda disruptiva no setor bancário, o open banking (ou open finance), como o termo indica, obrigou as instituições financeiras (bancos, seguradoras, fintechs, empresas e até mesmo órgãos governamentais) a adotar uma nova era de transparência, colaboração e inovação. Essa mudança de paradigma exige que os bancos compartilhem abertamente os dados do cliente com provedores terceirizados (TPPs), impulsionando experiências aprimoradas do cliente e promovendo o desenvolvimento de soluções inovadoras de fintech com a combinação dos melhores produtos e serviços. Em 2020, 24,7 milhões de pessoas em todo o mundo usavam serviços bancários abertos, um número que deve chegar a 132,2 milhões até 2024. Essa tendência crescente fomenta a concorrência, estimula a inovação e promove parcerias entre bancos tradicionais e empresas ágeis de fintech. Nesse cenário transformador, o MongoDB, uma das principais plataformas de dados para desenvolvedores, desempenha um papel fundamental no suporte ao open banking, fornecendo uma infraestrutura segura, dimensionável e flexível para gerenciar e proteger os dados compartilhados dos clientes. Ao aproveitar o poder da tecnologia do MongoDB, as instituições financeiras podem reduzir custos, melhorar as experiências dos clientes e mitigar os riscos potenciais associados ao compartilhamento generalizado de dados de clientes por meio de uma conformidade regulatória rigorosa.

A essência do open banking/finance é usar protocolos comuns de troca de dados para compartilhar dados e serviços financeiros com terceiros. Neste blog, vamos nos aprofundar nos desafios técnicos e nas soluções do open banking a partir de uma perspectiva de dados e serviços de dados e explorar como o MongoDB capacita as instituições financeiras para superar os obstáculos e desbloquear todo o potencial desse ecossistema aberto.

Ambientes e padrões dinâmicos

Como os padrões de open banking continuam evoluindo, as instituições financeiras precisam permanecer adaptáveis para atender às mudanças nas regulamentações e nas demandas do setor. Os relational databases tradicionais muitas vezes lutam para acompanhar os requisitos dinâmicos do open banking devido a seus esquemas rígidos, que são difíceis de alterar e gerenciar ao longo do tempo. Em países sem estruturas padronizadas de open banking, bancos e provedores terceirizados enfrentam o desafio de desenvolver múltiplas versões de API para integração com diferentes instituições, o que gera complexidade e dificulta a interoperabilidade. Felizmente, os padrões ou diretrizes de open banking (por exemplo, como encontramos na Europa, Singapura, Indonésia, Hong Kong, Austrália etc.) geralmente exigem ou recomendam que as APIs abertas sejam RESTful e suportem o formato de dados JSON, estabelecendo uma base para a troca de dados comum.

O MongoDB aborda esses desafios oferecendo uma plataforma de dados flexível para desenvolvedores que suporta nativamente o formato de dados JSON, simplifica a modelagem de dados e permite alterações flexíveis de esquema para os desenvolvedores. Com recursos como MongoDB Data API os desenvolvedores podem reduzir os esforços de desenvolvimento e manutenção expondo facilmente os dados com pouco código. O recurso Stable API garante compatibilidade durante atualizações de banco de dados, evitando quebras de código e proporcionando uma transição perfeita. Além disso, o MongoDB oferece recursos que aumentam a produtividade, como pesquisa de texto completo, visualização de dados, federação de dados, sincronização de mobile database e outros serviços de aplicativos, permitindo que os desenvolvedores acelerem o tempo de lançamento no mercado. Com os recursos do MongoDB, as instituições financeiras e os provedores terceirizados podem navegar de forma mais eficaz no cenário dinâmico do open banking, promover a colaboração e fornecer soluções inovadoras aos clientes.

Um exemplo de cliente que aproveita o gerenciamento e a flexibilidade de dados JSON nativos do MongoDB é o Natwest. O Natwest é um importante banco varejista e comercial do Reino Unido, com sede em Londres, Inglaterra. O banco passou de zero para 900 milhões de chamadas de API por mês em poucos anos devido ao crescimento da adesão ao open banking; espera-se que esse número cresça 10 vezes nos próximos anos. Em um evento do MongoDB em 15 de novembro de 2022, Jonathan Haggarty, chefe de tecnologia do "banco de APIs" da Natwest – um ecossistema de API que leva os serviços do banco de varejo aos parceiros – compartilhou em sua apresentação "Driving Customer Value using API Data" ("Como gerar valor para o cliente usando dados de API", em tradução livre) que o crescente ecossistema de API da Natwest permite "mandar um monte de dados JSON para o MongoDB, o que facilita a transformação de informações simples em complexas" e também descomplica a ofuscação detalhes do usuário com mascaramento de dados para assegurar a privacidade do cliente. O Natwest pode revelar insights de dados de clientes para parceiros por meio de seu ecossistema de API, por exemplo, “onde os clientes estão no espectro do comércio eletrônico”, o “melhor momento [para os varejistas] promoverem descontos”, bem como insights sobre “clientes mais valiosos”. Os dados podem ser usados para resolução de problemas; análises e insights; e elaboração de relatórios.

Desempenho

No cenário dinâmico do open banking, é fundamental atender às demandas imprevisíveis de desempenho, escalabilidade e disponibilidade. A eficiência dos aplicativos e a experiência geral do cliente dependem muito da capacidade de resposta das APIs. No entanto, a criação de uma plataforma open banking fica mais complexa quando é necessário acomodar provedores terceirizados com requisitos comerciais e técnicos não revelados. Sem um gerenciamento cuidadoso, isso pode levar a problemas imprevistos de desempenho e aumento de custos. O open banking exige alto desempenho das APIs em todos os tipos de volumes de carga de trabalho. A OBIE recomenda um TTLB (tempo até o último byte) médio de 750 ms por resposta de endpoint para todos os convites de pagamento (exceto pagamentos de arquivo) e APIs de informações da conta. A conformidade com os acordos de nível de serviço regulamentares em determinadas jurisdições aumenta ainda mais a complexidade. As arquiteturas e os bancos de dados legados geralmente têm dificuldades para atender a esses critérios exigentes, necessitando de mudanças extensas para garantir a escalabilidade e o desempenho ideal.

É aí que o MongoDB entra em ação. O MongoDB foi desenvolvido especificamente para oferecer um desempenho excepcional com seu mecanismo de armazenamento WiredTiger e seus recursos de compactação. Além disso, o MongoDB Atlas melhora o desempenho seguindo suas sugestões inteligentes de índice e esquema, hierarquização automática de dados e isolamento de carga de trabalho para análise. Uma excelente exemplo de seus recursos é demonstrado pela Temenos, um renomado provedor de aplicativos de serviços financeiros, que alcançou desempenho e eficiência notáveis no processamento de grandes volumes de transações com o MongoDB Atlas. Eles executaram recentemente um benchmark com o MongoDB Atlas e o Microsoft Azure e processaram 200 milhões de empréstimos financeiros incorporados e 100 milhões de contas de varejo a uma velocidade recorde 150.000 transações por segundo. Isso mostra o poder e a escalabilidade do MongoDB, que oferece desempenho incomparável para capacitar as instituições financeiras a lidar com os desafios impostos pelo open banking. O MongoDB garante desempenho, escalabilidade e disponibilidade excepcionais para atender às demandas em constante evolução do setor.

Escalabilidade

A criação de uma plataforma para atender aos TPPs, que nem sempre divulgam seus usos comerciais e requisitos técnicos ou de desempenho, pode apresentar problemas imprevisíveis de desempenho e custo quando não é gerenciada com cuidado. Por exemplo, um banco em Singapura enfrentou um problema de picos de carga e falhas nas suas Open APIs todas as quartas-feiras. Após a investigação, eles descobriram que um dos TPPs realizava uma campanha promocional toda quarta-feira, resultando em um aumento de chamadas de API que sobrecarregaram a infraestrutura do banco. Além de atender aos requisitos de desempenho de um determinado volume conhecido de transações, uma solução dimensionável pode funcionar com cargas de trabalho imprevisíveis.

A arquitetura flexível e os recursos de escalabilidade do MongoDB abordam essas preocupações de forma eficaz. Com seu modelo de dados distribuído baseado em documentos, o MongoDB permite dimensionamento contínuo tanto vertical quanto horizontalmente. Utilizando a fragmentação, os dados podem ser distribuídos em vários nós, o que garante uma utilização eficiente dos recursos e possibilita que o sistema lide com altos volumes de transações sem comprometer o desempenho. O recurso de fragmentação automática do MongoDB permite o dimensionamento dinâmico à medida que a carga de trabalho cresce, fornecendo às instituições financeiras a flexibilidade de se adaptar às demandas em constante mudança e garantindo uma infraestrutura de open banking estável e expansível.

Disponibilidade

No domínio do open banking, a disponibilidade é um desafio crítico. Com a crescente dependência de serviços bancários por parte dos TPPs, é cada vez mais complexo garantir uma disponibilidade consistente. Antigamente os bancos podiam interromper determinados serviços fora dos horários de pico para manutenção. No entanto, como os TPPs oferecem experiências 24 horas por dia, qualquer tempo de inatividade é inaceitável. Isso coloca mais pressão sobre os bancos para manterem disponibilidade constante para serviços de Open API, mesmo durante períodos de manutenção planejados ou eventos imprevistos.

O MongoDB Atlas, o serviço de banco de dados em nuvem global totalmente gerenciado, aborda esses desafios de disponibilidade de forma eficaz. Com seus recursos de cluster de vários nós e DBaaS em várias nuvens, o MongoDB Atlas garante alta disponibilidade e tolerância a falhas. Ele oferece a flexibilidade de executar em vários provedores de nuvem líderes, permitindo que os bancos minimizem o risco de concentração e alcancem maior disponibilidade com um cluster distribuído em diferentes plataformas de nuvem. Os mecanismos robustos de replicação e failover fornecidos pelo MongoDB Atlas garantem um serviço ininterrupto e ajudam as instituições financeiras a fornecer APIs de open banking confiáveis e sempre disponíveis para seus clientes e TPPs.

Segurança e privacidade

A segurança de dados e a gestão de consentimento são preocupações fundamentais para os bancos que participam do open banking. A exposição de mecanismos de autenticação e autorização a provedores externos aumenta as preocupações de segurança e introduz complexidades técnicas em relação à proteção de dados. Os bancos exigem controle de acesso e mecanismos de criptografia refinados para proteger os dados compartilhados, incluindo a gestão do consentimento de compartilhamento de dados em nível granular. Além disso, os bancos precisam navegar pelo cenário das leis de privacidade de dados, como o Regulamento Geral de Proteção de Dados (GDPR), que impõe requisitos rigorosos diferentes das normas bancárias tradicionais.

O MongoDB disponibiliza uma variedade de soluções para enfrentar esses desafios de segurança e privacidade de forma eficaz. O Queryable Encryption fornece um mecanismo para gerenciar dados criptografados dentro do MongoDB, garantindo que informações confidenciais permaneçam seguras mesmo quando compartilhadas com provedores de terceiros. Os recursos extensos de criptografia do MongoDB abrangem dados em repouso e em trânsito, protegendo-os durante todo o ciclo de vida. O esquema flexível do MongoDB permite que as instituições financeiras capturem diversos requisitos de dados para gerenciar o consentimento de compartilhamento de dados e unificar o consentimento do usuário de diferentes países em um único armazenamento de dados, simplificando a conformidade com as complexas leis de privacidade de dados. Além disso, os recursos de geo-sharding do MongoDB permitem a conformidade com as leis de residência de dados, pois asseguram que os dados relevantes e as informações de consentimento permaneçam no data center em cloud mais próximo e ofereçam tempos de resposta ideais para o acesso aos dados.

Para melhorar ainda mais a privacidade dos dados, o MongoDB oferece técnicas de criptografia simétrica dos campos, o que viabiliza a proteção de dados confidenciais (por exemplo, informações pessoais identificáveis) mesmo quando compartilhados com TPPs. A criptografia aleatória de campos adiciona uma camada adicional de segurança e permite operações de consulta nos dados criptografados. A técnica Queryable Encryption do MongoDB reforça ainda mais a segurança e protege contra a criptoanálise, garantindo que os dados dos clientes permaneçam protegidos e confidenciais no ecossistema do open banking.

Monitoramento de atividades

Com inúmeras APIs oferecidas pelos bancos no ecossistema do open banking, o monitoramento de atividades e a solução de problemas se tornam aspectos críticos da manutenção de uma infraestrutura robusta e segura. O MongoDB simplifica o monitoramento de atividades com ferramentas específicas e recursos de auditoria. Os administradores e usuários podem acompanhar a atividade do sistema em um nível granular, monitorando o sistema de banco de dados e os eventos do aplicativo.

O MongoDB Atlas tem APIs de administração, que podem ser usadas para gerenciar programaticamente o serviço Atlas. Por exemplo, é possível usar a API de Administração do Atlas para criar implantações de banco de dados, adicionar usuários a elas, monitorá-las e muito mais. Essas API podem ajudar na automação de pipelines de CI/CD, bem como no monitoramento das atividades na plataforma de dados. Isso permite que desenvolvedores e administradores se livrem desse esforço mundano e se concentrem em gerar mais valor comercial. As ferramentas de monitoramento de desempenho, incluindo o consultor de desempenho, ajudam a medir e otimizar o desempenho do sistema, garantindo que o site API ofereça experiências excepcionais aos usuários.

O MongoDB Atlas Charts, um recurso integrado do MongoDB Atlas, oferece ferramentas de análise e visualização. As instituições financeiras podem criar painéis de inteligência de negócios usando o MongoDB Atlas Charts. Isso elimina o custo elevado de licenciamento das ferramentas tradicionais de business intelligence, tornando-os ainda mais econômicos à medida que os TPPs adotam as APIs. Com o MongoDB Atlas Charts, as instituições financeiras podem oferecer dados abrangentes de telemetria comercial aos TPPs, como o número de cotações de seguros, transações de apólices, volumes de chamadas de API e métricas de desempenho. Esses insights capacitam as instituições financeiras a tomar decisões baseadas em dados, melhorar a eficiência operacional e otimizar a experiência do cliente no ecossistema do open banking.

Operações em tempo real

O open banking apresenta novos desafios para as instituições financeiras na jornada para atender e crescer em meio às cargas de trabalho imprevisíveis dos TPPs. Embora o conteúdo estático represente menos dificuldades, as APIs que exigem atualizações em tempo real ou streaming contínuo, como saldos dinâmicos de contas ou pontuações de crédito com ajuste de ESG, precisam de ferramentas que obtenham dados em tempo quase real.

Para permitir que a aplicação reaja imediatamente às alterações em tempo real ou à medida que elas ocorrem, as organizações podem usar os change streams do MongoDB baseados na estrutura de agregação para responder às alterações de dados em uma única collection, banco de dados ou até mesmo uma implantação inteira. Esse recurso aprimora ainda mais as ferramentas de análise e processamento de dados e eventos em tempo real do MongoDB.

O MongoDB oferece vários mecanismos para suportar o streaming de dados, incluindo um conector Kafka para arquitetura orientada a eventos e um conector Spark para streaming com Spark. Essas soluções capacitam as instituições financeiras a atender às necessidades de dados em tempo real de seus parceiros de open banking de forma eficaz, aperfeiçoando a integração e a entrega de dados em tempo real para gerar experiências de cliente ainda melhores.

Conclusão

As capacidades técnicas do MongoDB o posicionam como um facilitador fundamental para as instituições financeiras que embarcam em sua jornada de open banking. O MongoDB fornece um conjunto abrangente de ferramentas e recursos para enfrentar os desafios do open banking com eficiência, como gerenciamento de ambientes dinâmicos, acomodação de cargas de trabalho imprevisíveis e garantia de escalabilidade, disponibilidade, segurança e privacidade Com o MongoDB como infraestrutura subjacente, as instituições financeiras podem navegar pelo cenário dinâmico do open banking com confiança e fornecer soluções inovadoras para impulsionar o futuro dos serviços bancários. A adoção do MongoDB capacita as instituições financeiras a desbloquear todo o potencial do open banking e a oferecer experiências excepcionais aos clientes nesta era de colaboração e transformação digital.