Tata Digital Harmonizes a Variety of Data, Powered by MongoDB Atlas

MongoDB
July 19, 2023

Tata Digital was founded in March 2019 as the newest company under India’s Tata Group. Tata Digital is the business’s digital backbone and unites all its consumer companies under one umbrella offering consumers a One Tata experience.

At a MongoDB Day in Mumbai in 2023, Pavan Podila, Tata Digital’s Chief Architect, spoke about how they are “rewiring the digital circuitry of their ecosystem” with support from MongoDB's developer data platform.

Rising to new heights with a super app

Tata has many consumer brands, such as IHCL (Taj Hotels), AirAsia India, Westside, Croma, Tata CliQ, BigBasket, Tata 1MG to name a few. Tata Neu is a super-app bringing all these brands together.

“We’re building a common digital platform so that each brand doesn’t have to reinvent itself, and they come together under one super-app, one common consumer experience,” Pavan said. “That’s Tata Neu.”

Pavan continued by presenting three use cases where MongoDB is used extensively.

NeuPass

NeuPass is a loyalty program – for everything from groceries and electronics to fashion and payments, health and fitness to flights and hotels – accessed through the Tata Neu app.

Each of the Tata consumer brands formerly had their own loyalty program that could cause loyal customers to be fragmented across group companies. To make the customers’ experience and their rewards more seamless, NeuPass combines the loyalty program of all the brands under one unique name. With NeuPass, consumers can purchase from any brand and earn points called NeuCoins, which can be used for purchases across brands. NeuPass has over 75 million members and continues to grow.

Adding to the complexity, loyalty programs have tiers based on member spending habits. For example, AirAsia India has Aviator, Explorer, Highflyer and Jetsetter levels.

Each loyalty program has unique attributes – tiers, benefits, rules, constraints – requiring storage for a complex document structure.

MongoDB has enabled the creation of one unique way of storing data from all the programs. In discussing this, Pavan said, “We have homogenized all of these – normalized the subscriptions across the entire brand range to have one unique way of storing them. So now we know which brand you’re talking to, how this brand should be treated in terms of transactions, and so on.”

PIM - Product information management

One of the big challenges with the Tata Neu ecosystem is the range of brands and products with different hierarchies.

In explaining the challenge, Pavan said, “When we try to combine everything with a product catalog or common unified store, it creates a challenge for the consumer. The question becomes, ‘How do you present this information?’ If you have a single app focused on electronics, you have a clear way of presenting information. But if you have 40 different brands, each with its own way of representing information, there’s no common way of representing anything. So it becomes challenging as an experience layer idea as well.”

MongoDB has played a key role in creating a unified product catalog.

“We have more than 10 million SKU (stock keeping units) across multiple brands,” Pavan noted. “We've seen advanced data structures for our products, and it's likely they will become even more intricate as we grow. We have made extensive use of the MongoDB Aggregation pipeline to arrange and manage our data – We've also used MongoDB's native time series functionality because inventory is a time-bound data structure as it changes."

Offer engine

Offer Engine has been around in various forms since around 2015. It’s a pivotal part of the app that manages 40 plus brands. It generates different offers and promotions according to the product purchased.

The amount of complexity of the data for creating offers leads to challenges.

“If you look at Big Basket, Croma or our other brands, we are pumping out tons of offers daily across India,” Pavan said. The number of offers in the pipeline daily is massive. We must somehow combine all the factors and present them in ways with fast user response times when we show them the payments page. Constraints, rules and policies determine how and to whom the offer should be applied.”

Pavan noted that there are many collections and documents within Offer Engine. At the time of the presentation, it was 405 million documents and was growing daily. Across the businesses, they send out between 50,000 and 250,000 offers each day. With so much churn and cross-cloud data transmission, there are very complex data structures.

“You can imagine the kind of collections we have in terms of organizing data, sharding, replication and aggregation in this situation,” Pavan said. “MongoDB helps us get there much faster.”

← Previous

Lleva al siguiente nivel tu estrategia de fijación de precios con MongoDB y Databricks

La implantación de soluciones de análisis en tiempo real con el stack tecnológico adecuado puede tener beneficios transformadores. Los minoristas quieren hacer crecer su marca o mejorar la experiencia del cliente con Value Based Pricing, sin dejar de ser competitivos y rentables. A pesar de las expectativas empresariales de construir operaciones cada vez más "data driven" en aras de la eficiencia, las empresas suelen fracasar en ese empeño , y en el centro de ello se encuentran los esfuerzos por realizar analítica en tiempo real. En este blog, exploraremos la arquitectura de la Figura 1 y elaboraremos las ventajas de integrar MongoDB Atlas y Databricks como un emparejamiento perfecto para las estrategias de fijación de precios utilizando IA en tiempo real. La solución que describiremos integra conceptos de la arquitectura Event Driven en la parte de generación e ingesta de datos, orquestación de procesos ETL en tiempo real, machine learning y microservicios. ¡Vamos a empezar! Figure 1: Arquitectura simplificada de una solución para generación de precios en tiempo real Reduce la fricción con flexibilidad La complejidad de los datos de precios para un minorista con una línea de productos extensa y diversa aumenta debido a factores como las campañas estacionales, la expansión global y la introducción de nuevos productos. El seguimiento y el análisis de los precios históricos y las ofertas de productos se vuelven más difíciles a medida que evolucionan durante el año. Las soluciones analíticas creadas en torno a arquitecturas basadas en eventos intentan explicar lo que está ocurriendo en un sistema o aplicación específica en función de cualquier suceso significativo, como el comportamiento de los usuarios, las actualizaciones de datos, las alertas del sistema o las lecturas de sensores, por ejemplo. Decidir qué eventos son cruciales para comprender a sus clientes e instrumentar su modelo de negocio en torno a ellos es cuando las cosas empiezan a complicarse. Especialmente cuando se trata de instrumentar los modelos de datos utilizando sistemas tradicionales de gestión de bases de datos relacionales y su desventaja cuando se trata de emparejar esa estructura de datos tabular con aplicaciones orientadas a objetos. La incapacidad de un minorista para adaptar su modelo de datos al comportamiento del cliente se traduce rápidamente en fricciones en las operaciones y como consecuencia, en una presencia más débil en el mercado. Por ejemplo, estrategias de precios deficientes en comparación con competidores por la falta de información sobre los precios históricos y cómo estos varían entre la gama de productos. Figure 2: Un modelo de datos inflexible es un limitante de la innovación Esa fricción es contagiosa a lo largo de toda la cadena de valor de una organización, afectando la capa semántica del negocio (un puente entre las estructuras de datos técnicas y el entendimiento de éstas por parte de los usuarios de la capa de negocio), generando inconsistencias en los datos, aumentando el tiempo necesario para generar valor analítico y, en definitiva, erosionando la cultura de datos de la organización. La capacidad del modelo conceptual de tu empresa de adaptarse a un comportamiento de usuario que está en constante cambio ayuda a reducir esa fricción significativamente, ya que su flexibilidad permitiría un modelado de datos más intuitivo de los eventos del mundo real. Para sus retos de estrategias de precios en tiempo real, el document model de MongoDB Atlas, con sus capacidades de embedding y referencia extendida se convierte en la herramienta perfecta para ello, ya que permite un desarrollo de funcionalidades más rápido, un crecimiento de ventas, implementación de operaciones testeadas y la capacidad de retención del talento digital en tu empresa como consecuencia. La combinación de queries de alto rendimiento y la escalabilidad horizontal dotan de robustez a cualquier solución donde se necesite lidiar con altas cargas de clickstream como por lo general suelen tener los sitios de ecommerce y aún así ser capaz de responder con funcionalidades en tiempo real basadas en datos. Su facilidad de integración con otras plataformas gracias a sus capacidades de generación de APIs y diferentes drivers lo hace una solución perfecta sobre la cual construir tanto la capa operacional como la de inteligencia, donde además se evitará vendor lock-in y los científicos de datos podrán aprovechar fácilmente los diferentes frameworks para trabajar con datos nuevos y de calidad. Además, los principios de “distribución por defecto”, siguiendo un conjunto de mejores prácticas garantizan que tu base de datos operacional podrá con la carga de trabajo necesaria. Del ¿Qué? al ¿Cómo? La capa de inteligencia Para desbloquear crecimiento relevante en el mercado y además hacerlo a escala tus esfuerzos de analítica tienen que evolucionar de sólo entender lo que está pasando a través de analizar los datos históricos , hacia entender por qué los eventos de tu capa operacional están sucediendo e incluso intentar predecirlos. Para una solución de precios dinámicos, los retailers necesitarían ganar acceso a puntos de datos históricos de precios para sus líneas de productos y modelarlos a través de procesos ETL (Earn, Transform, Load) para alimentar modelos de aprendizaje automático. Este proceso es por lo general complicado y frágil cuando se usan data warehouses tradicionales, a menudo incurriendo en duplicación de datos haciendo todo más costoso y difícil de manejar. Figure 3: Fricción reducida gracias a la integración fluida de las diferentes capas de datos La ventaja de usar MongoDB Atlas como tu base de datos operacional, es que a través de las Aggregation Pipelines puedes dar forma a tus datos de la manera que tenga más sentido para tu contexto, y luego, a través de MongoDB App Services , puedes instrumentar Tiggers y funciones serverless para simplificar toda la orquestación y poder consumir los datos en Databricks usando el connector Spark de MongoDB Atlas . Databricks proporciona una manera dinámica de trabajar con tus modelos de analítica avanzada, escribiendo código en python en notebooks alojados en sus clusters. Puedes sacar ventaja de su integración con MLFlow para registrar experimentos que luego pueden ser convertidos en modelos y eventualmente desplegados en un endpoint. De esta manera transformar tus datos e integrar tu capa operacional, a través de conectores y llamadas API con triggers y funciones, con tu capa de inteligencia para hacer aprendizaje automático, puedes construir fácilmente una solución de precios dinámicos que te permitiría generar crecimiento en el mercado para tu organización, desde el núcleo operacional hasta la capa semántica actuando como un puente entre los aspectos técnicos del almacenamiento de datos y los requerimientos de negocio del análisis de datos. Descubre nuevas oportunidades de crecimiento Diseñar una solución analítica en tiempo real con MongoDB Atlas y Databricks no sólo es la forma más rápida de desbloquear las capacidades de tu equipo para idear estrategias de fijación de precios, sino que también establece la piedra angular para construir reglas automatizadas para soluciones más complejas. Otras formas de automatizar tu aplicación con insights impulsados por la IA podrían ser: optimizar su presupuesto de marketing mix mediante la elasticidad del precio de cada producto, añadir otra capa analítica de datos de segmentación de clientes para lograr precios dinámicos personalizados u optimizar tu cadena de suministro con previsiones de ventas en tiempo real. Aprovechando MongoDB Charts o el MongoDB BI Connector , puede alimentar sus cuadros de mando empresariales, convirtiendo esa capa semántica del modelo de negocio en el punto central para la alineación de sus equipos. Bases para el crecimiento Los sitios de comercio electrónico modernos liberan el poder de la analítica en tiempo real y la automatización para crear mejores experiencias para los clientes y un enfoque más profundo de la analítica de clientes, desbloqueando el poder del aprendizaje automático para descubrir tendencias en los datos de comportamiento, convirtiendo eficazmente a las empresas en máquinas de crecimiento automatizadas. Si quieres descubrir cómo construir una solución sencilla de precios dinámicos integrando MongoDB Atlas y Databricks asegúrate de leer esta guía .

July 12, 2023
Next →

MongoDB Database Observability: Integrating with Monitoring Tools

This post is the final in a three-part series on leveraging database observability. Welcome back to our series on Leveraging Database Observability! Our previous post showcased a real-world use case highlighting how MongoDB Atlas’s observability tools effectively tackle database performance challenges. Whether you’re a developer, DBA, or DevOps engineer, our mission is to empower you to harness the full potential of your data through our observability suite . Integrating Atlas metrics with your central enterprise observability tools can simplify your operations. By seamlessly working with popular observability tools, our approach helps teams streamline workflows and enhance visibility across systems. Integrating MongoDB Atlas with third-party monitoring tools MongoDB’s developer data platform combines all essential data services for building modern applications within a unified experience. Our purpose-built observability tools for Atlas environments offer automatic monitoring and optimization, guiding diagnostics tailored specifically for MongoDB. Additionally, we extend Atlas metrics into your existing enterprise observability stack, enabling seamless integration without replacing your current tools. This creates a consolidated, single-pane view that unifies Atlas telemetry with other tech and application metrics, ensuring comprehensive visibility into both database and full-stack performance. This integration empowers you to monitor, receive alerts, and make data-driven decisions within your existing workflows, driving greater efficiency. Below is a quick guide to modifying integration settings through the Atlas UI and the popular integrations we support: Navigate to the Project Integrations page in Atlas. Choose the organization and project you want to configure from the navigation bar. On the Project Integrations page, select the third-party services you’d like to integrate. Configure the chosen services with the required API keys and regions. Critical integrations for your observability platform With Atlas’s Datadog and Prometheus integrations, you can send critical MongoDB metrics to these platforms, empowering detailed, real-time monitoring. Through Datadog , you can track database operation counts, query efficiency, and resource usage, ideal for pinpointing bottlenecks and managing resources. Similarly, Prometheus enables you to monitor essential metrics like query times, connection rates, and memory usage, supporting flexible tracking of database health and performance. Both integrations facilitate proactive detection of issues, alert configuration for resource thresholds, and a cohesive view of Atlas data when visualized in Grafana. Atlas’s integration with PagerDuty streamlines incident management by sending metrics like performance alerts, billing anomalies, and security events directly to PagerDuty. This integration records incidents automatically, notifies teams upon alerts, and supports two-way syncing, ensuring resolved alerts in Atlas are reflected in PagerDuty. It enables efficient incident response and resource allocation to maintain system stability. With Atlas integrations for Microsoft Teams and Slack, you can route key metrics—such as query latency, disk usage, and throughput—to these channels for timely updates. Teams can use these insights for real-time performance monitoring, incident response, and collaboration. Notifications through these platforms ensure your team stays informed on database performance, storage health, and user activity changes as they occur. Use case: Centralized observability with MongoDB Atlas, Datadog, and Slack Let’s walk through a hypothetical scenario for ShopSmart, an e-commerce company that leverages MongoDB Atlas to manage its product catalog and customer data. As traffic surges, the DevOps team faces challenges in monitoring application performance and database health effectively. To tackle these challenges, the team leverages MongoDB Atlas’ integration with Datadog and Slack, creating a powerful observability ecosystem. Integrating MongoDB Atlas with Datadog: The team pushes key MongoDB Atlas metrics into Datadog, such as query performance, connection counts, and Atlas Vector Search metrics. With Datadog, they can visualize these metrics and correlate overall MongoDB performance with their other applications. Out-of-the-box monitors and dedicated dashboards allow the team to track metrics like throughput, average read/write latency, and current connections. This visibility helps pinpoint bottlenecks in real time, ensuring optimal database performance and improving overall application responsiveness. Setting up alerts in Datadog: The team configures alerts for critical metrics like high query latency and increased error rates. When thresholds are breached, Datadog instantly notifies the team. This proactive approach allows the team to address potential performance issues before they impact customers. Integrating Datadog with Slack: To ensure fast communication, alerts are sent directly to the dedicated Slack channel, “ShopSmart-Alerts.” This integration fosters seamless collaboration, enabling the team to discuss and resolve issues in real-time. With these integrations, ShopSmart’s engineering team can monitor performance quickly and address issues efficiently. The unified observability approach enhances operational efficiency, improves the customer experience, and supports ShopSmart’s competitive edge in the e-commerce industry. By leveraging MongoDB Atlas, Datadog, and Slack, the team ensures scalable performance and drives continuous innovation. Conclusion MongoDB Atlas empowers developers and organizations to achieve unparalleled observability and control over their database environments. By seamlessly integrating with central enterprise observability tools, Atlas enhances your ability to monitor performance metrics and ensures you can do so within your existing workflows. This means you can focus on building modern applications confidently, knowing you have the insights and alerts necessary to maintain optimal performance. Embrace the power of MongoDB Atlas and transform your approach to database management—because your applications can thrive when your data is observable. And that wraps up our Leveraging Database Observability series! We hope you learned something new and found value in these discussions. Sign up for MongoDB Atlas , our cloud database service, to see database observability in action. To dive deeper and expand your knowledge, check out this learning byte for more insights on the MongoDB observability suite and how it can enhance your database performance.

November 14, 2024