Atlas Stream Processing ahora está en vista previa pública.

Clark Gates-George and Joe Niemiec
February 13, 2024

Hoy, nos complace anunciar que Atlas Stream Processing ya está en versión preliminar pública. La vista previa pública abre el acceso a cualquier desarrollador en Atlas interesado en probarlo. Obtenga más información en nuestros docs o comienza hoy mismo.

Escuche el podcast de MongoDB para obtener más información sobre la versión preliminar pública de Atlas Stream Processing del jefe de productos de transmisión, Kenny Gorman.

A los desarrolladores les encanta la flexibilidad y facilidad de uso del modelo de documentos, junto con la API de consultas, que les permite trabajar con datos como código. Con Atlas Stream Processing, trasladamos estos mismos principios fundamentales al procesamiento de flujos. Anunciado por primera vez en .local NYC 2023, Atlas Stream Processing está redefiniendo la experiencia de agregar y enriquecer flujos de datos de transmisiones de alta velocidad y que cambian con rapidez, y unificando cómo trabajar con datos en movimiento y en reposo.

¿Cómo usan el producto los desarrolladores hasta ahora? ¿Y qué aprendimos?

Durante la vista previa privada, vimos que miles de equipos de desarrollo solicitan acceso y recopilamos comentarios útiles de cientos de equipos comprometidos. Entre los casos de uso se incluyen los siguientes:

Una aerolínea líder mundial que utiliza agregaciones complejas para procesar rápidamente los datos de mantenimiento y operaciones, lo que garantiza la puntualidad de los vuelos para sus miles de clientes diarios
Un gran fabricante de equipos de energía que utilizan Atlas Stream Processing para permitir el monitoreo continuo de datos de bombas de alto volumen para evitar interrupciones y optimizar sus rendimientos
Un innovador proveedor de SaaS empresarial que aprovecha las capacidades de procesamiento enriquecidas en Atlas Stream Processing para ofrecer alertas oportunas y contextuales en el producto para impulsar una mejor interacción con el producto

Estos son solo algunos de los muchos ejemplos de casos de uso que vemos en todas las industrias para Atlas Stream Processing. Más allá de los casos de uso que ya vimos, los desarrolladores nos dan toneladas de información sobre lo que les gustaría que agregáramos a Atlas Stream Processing en el futuro.

Además de permitir el procesamiento continuo de los datos en las bases de datos de Atlas a través de change stream, fue impactante ver a los desarrolladores utilizar Atlas Stream Processing con sus datos de Kafka alojados por socios valiosos como Confluent, Amazon MSK, Azure Event Hubs y Redpanda. Nuestro objetivo con las capacidades de la plataforma de datos para desarrolladores siempre es lograr una mejor experiencia en todas las tecnologías clave en las que confían los desarrolladores.

¿Qué hay de nuevo en la vista previa pública?

Eso nos trae a las novedades. Y a medida que escalamos a más equipos, expandimos la funcionalidad para incluir los comentarios más solicitados recopilados en nuestra vista previa privada. De los muchos comentarios recibidos, surgieron tres temas comunes:

Cómo refinar la experiencia del desarrollador
Ampliar las características y funcionalidades avanzadas, y
Mejorar las operaciones y la seguridad

Cómo refinar la experiencia del desarrollador

En la vista previa privada, establecimos el núcleo de la experiencia del desarrollador esencial para hacer de Atlas Stream Processing una solución natural para los equipos de desarrollo. Y en la vista previa pública, publicamos esto haciendo 2 mejoras adicionales:

Integración de VS Code
El complemento MongoDB VS Code agregó soporte para conectarse a instancias de procesamiento de flujo. Para los desarrolladores que ya utilizan el complemento, esto permite a los equipos crear y gestionar procesadores en un entorno de desarrollo familiar. ¡Pase menos tiempo cambiando entre herramientas y más tiempo creando sus aplicaciones!
Capacidades mejoradas de cola de mensajes fallidos (DLQ)
La compatibilidad con DLQ es un elemento clave para un potente procesamiento de transmisiones y, en vista previa pública, estamos expandiendo las capacidades de DLQ en Atlas Stream Processing. Los mensajes de la cola de letras muertas ahora se mostrarán al ejecutar tuberías con sp.proceso() y al ejecutar .muestra() en procesadores en ejecución, lo que permite una experiencia de desarrollo más optimizada que no requiere configurar una collection objetivo para actuar como DLQ.

Ampliación de características y funcionalidades avanzadas

Atlas Stream Processing ya admitía muchos de los operadores de agregación clave con los que los desarrolladores están familiarizados en la API de consulta utilizada con datos en reposo, y agregaba potentes funciones de ventanas y la capacidad de fusionar y emitir datos fácilmente a la base de datos Atlas o a un tema Kafka. La vista previa pública agregará aún más funcionalidades exigidas por los equipos más avanzados que confían en el procesamiento de stream para ofrecer experiencias de cliente:

$lookup
Los desarrolladores ahora pueden enriquecer los documentos que se procesan en un procesador de transmisión con datos del Atlas cluster remoto, y realizar uniones con campos del documento y la collection de destino.
change stream antes y después de la creación de imágenes
Muchos desarrolladores están utilizando Atlas Stream Processing para procesar continuamente datos en bases de datos Atlas como fuente a través de change streams. Mejoramos el $source de change stream en vista previa pública con asistencia técnica para imágenes previas y posteriores. Esto permite casos de uso comunes en los que los desarrolladores necesitan calcular deltas entre campos en documentos, así como casos de uso que requieren acceso al contenido completo de un documento eliminado.
Enrutamiento condicional con expresiones dinámicas en las etapas de fusión y emisión
El enrutamiento condicional permite a los desarrolladores utilizar el valor de los campos de los documentos que se procesan en Atlas Stream Processing para enviar dinámicamente mensajes específicos a diferentes collections de Atlas o temas de Kafka. Las etapas $merge y $emit ahora también admiten el uso de expresiones dinámicas. Esto permite utilizar la API de consultas para casos de uso que requieren la capacidad de bifurcar mensajes a diferentes collections o temas, según sea necesario.
Tiempos de espera de transmisión inactiva
Las reproducciones sin avanzar en las marcas de agua debido a la falta de datos entrantes ahora se pueden configurar para cerrar después de un período de tiempo que emita los resultados de las ventanas. Esto puede ser fundamental para las fuentes de transmisión que tienen flujos de datos inconsistentes.

Mejorar las operaciones y la seguridad

Por último, invertimos mucho en los últimos meses en mejorar otros aspectos operativos y de seguridad de Atlas Stream Processing. Entre los aspectos destacados se incluyen los siguientes:

Punto de control
Atlas Stream Processing ahora realiza puntos de control para guardar el estado durante el procesamiento. Los procesadores de flujos son procesos en ejecución continua, por lo que, ya sea por un problema de datos o por un fallo de la infraestructura, requieren un mecanismo de recuperación inteligente. Los puntos de control facilitan la reanudación de sus procesadores de transmisión desde cualquier lugar donde los datos dejaron de recopilarse y procesarse.
Asistencia técnica para proveedores de Terraform
El soporte para la creación de Conexiones e Instancias de Procesamiento de Transmisión (SPI) ahora está disponible con Terraform. Esto permite crear la infraestructura como código para implementaciones repetibles.
Funciones de seguridad
Atlas Stream Processing agregó una función a nivel de proyecto, que otorga a los usuarios los permisos necesarios para realizar sus tareas de procesamiento de transmisiones. Los procesadores de transmisiones pueden ejecutarse bajo el contexto de una función específica, lo que permite una configuración de mínimos privilegios.
Asistencia técnica del grupo de consumidores de Kafka
Los procesadores de transmisión en Atlas Stream Processing ahora usan grupos de consumidores Kafka para el seguimiento compensatorio. Esto permite a los usuarios cambiar fácilmente la posición del procesador en la transmisión de operaciones y controlar fácilmente el posible retraso del procesador.

Una nota final sobre las novedades es que, en la vista previa pública, comenzaremos a cobrar por Atlas Stream Processing, utilizando precios promocionales hasta nuestra versión de disponibilidad general. Puede obtener más información sobre los precios de Atlas Stream Processing en nuestra documentación.

Crea tu primer procesador de transmisión hoy

La vista previa pública es un gran avance para nosotros a medida que ampliamos la plataforma de datos para desarrolladores y permitimos más equipos con una solución de procesamiento de transmisiones que simplifica la complejidad operativa de crear aplicaciones reactivas, receptivas y basadas en eventos, al tiempo que también ofrece una mejor experiencia de desarrollador.

¡Estamos ansiosos por ver lo que desarrollas!

Inicia sesión hoy mismo para comenzar u obtener más información sobre Atlas Stream Processing en nuestra documentación, recursos, tutoriales o Learning Byte en MongoDB University.

← Previous

Atlas Stream Processing ist jetzt in der Public Preview verfügbar

Wir freuen uns, heute die Public Preview von Atlas Stream Processing ankündigen zu können. Die Public Preview öffnet den Zugang für alle Entwickler auf Atlas, die es ausprobieren möchten – erfahren Sie mehr in unseren Dokumenten oder starten Sie noch heute. Hören Sie sich den MongoDB-Podcast an, um von Kenny Gorman, dem Leiter der Streaming-Produkte, mehr über die Public Preview von Atlas Stream Processing zu erfahren. Entwickler lieben die Flexibilität und Benutzerfreundlichkeit des Dokumentenmodells, zusammen mit der Query API, die es ihnen ermöglicht, mit Daten wie mit Code zu arbeiten. Mit Atlas Stream Processing bringen wir dieselben Grundprinzipien in das Stream Processing ein. Zuerst angekündigt auf .local NYC 2023 definiert Atlas Stream Processing die Zusammenführung und Anreicherung von Datenströmen mit hoher Geschwindigkeit und sich schnell ändernden Ereignisdaten neu und vereinheitlicht die Arbeit mit Daten in Bewegung und Daten im Ruhezustand. Wie nutzen Entwickler das Produkt bisher? Und was haben wir gelernt? Während der privaten Vorabversion haben Tausende von Entwicklungsteams den Zugriff angefordert, und wir haben nützliches Feedback von Hunderten von engagierten Teams erhalten. Zu den Anwendungsfällen gehören: Ein weltweit führendes Luftfahrtunternehmen, das komplexe Aggregationen zur schnellen Verarbeitung von Wartungs- und Betriebsdaten einsetzt, um pünktliche Flüge für seine Tausenden von täglichen Kunden zu gewährleisten Ein großer Hersteller von Energieanlagen, der Atlas Stream Processing einsetzt, um eine kontinuierliche Überwachung großer Pumpendaten zu ermöglichen, damit Ausfälle vermieden und die Erträge optimiert werden können Ein innovativer SaaS-Anbieter für Unternehmen, der die umfangreichen Verarbeitungsfunktionen von Atlas Stream Processing nutzt, um zeitnahe und kontextbezogene Produktwarnungen zu liefern, die das Engagement für das Produkt verbessern. Dies sind nur einige der vielen Anwendungsbeispiele, die wir in verschiedenen Branchen für Atlas Stream Processing sehen. Neben den Anwendungsfällen, die wir bereits gesehen haben, geben uns die Entwickler zahlreiche Hinweise darauf, was sie sich für die Zukunft von Atlas Stream Processing wünschen. Neben der kontinuierlichen Verarbeitung von Daten in Atlas-Datenbanken durch Change Streams ist es beeindruckend zu sehen, dass Entwickler Atlas Stream Processing mit ihren Kafka-Daten verwenden, die von geschätzten Partnern wie Confluent , Amazon MSK , Azure Event Hubs und Redpanda zusammenarbeiten werden. Unser Ziel mit den Funktionen der Entwicklerdatenplattform ist es immer, eine bessere Erfahrung über die Schlüsseltechnologien hinweg zu schaffen, auf die sich die Entwickler verlassen. Was ist neu beim Public Preview? Das bringt uns zu den Neuerungen. Und da wir immer mehr Teams einbeziehen, erweitern wir die Funktionalität um das am häufigsten gewünschte Feedback, das wir in unserem Private Preview gesammelt haben. Aus den vielen eingegangenen Feedbacks kristallisierten sich drei gemeinsame Themen heraus: Verfeinerung des Entwicklererlebnisses Erweiterung der fortgeschrittenen Features und Funktionen Verbesserung von Betrieb und Sicherheit Verfeinerung des Entwicklererlebnisses Im Private Preview haben wir den Kern der Entwicklererfahrung geschaffen, die notwendig ist, um Atlas Stream Processing zu einer natürlichen Lösung für Entwicklungsteams zu machen. Und in der Public Preview verdoppeln wir dies, indem wir zwei zusätzliche Verbesserungen vornehmen: Integration von VS-Codes Das MongoDB VS Code-Plugin hat Unterstützung für die Verbindung zu Stream Processing Instances hinzugefügt. Für Entwickler, die das Plugin bereits nutzen, können Teams Prozessoren in einer vertrauten Entwicklungsumgebung erstellen und verwalten. Das bedeutet weniger Zeit für den Wechsel zwischen verschiedenen Tools und mehr Zeit für die Entwicklung Ihrer Anwendungen! Verbesserte Funktionen der Dead Letter Queue (DLQ) Die DLQ -Unterstützung ist ein Schlüsselelement für eine leistungsstarke Stream-Verarbeitung und in der Public Preview erweitern wir die DLQ-Funktionen in Atlas Stream Processing. Dead-Letter-Queue-Meldungen werden jetzt selbst angezeigt, wenn Pipelines mit sp.process() ausgeführt werden und wenn .sample() auf laufenden Prozessoren ausgeführt wird. Dies ermöglicht eine optimierte Entwicklungserfahrung, die keine target collection erfordert, um als DLQ zu fungieren. Erweiterung der fortgeschrittenen Features und Funktionen Atlas Stream Processing unterstützte bereits viele der wichtigsten Aggregationsoperatoren, mit denen Entwickler in der Query API vertraut sind, die mit Daten im Ruhezustand verwendet wird, und fügte leistungsstarke Fensterfunktionen und die Möglichkeit hinzu, Daten einfach zusammenzuführen und an die Atlas-Datenbank oder an ein Kafka-Thema zu senden. Der Public Preview bietet noch mehr Funktionen, die von den fortschrittlichsten Teams benötigt werden, die auf Stream Processing angewiesen sind, um Kundenerfahrung zu liefern: $Lookup Entwickler können jetzt Dokumente, die in einem Stream-Prozessor verarbeitet werden, mit Daten aus entfernten Atlas-Clustern anreichern, indem sie Joins gegen Felder aus dem Dokument und der Zielsammlung durchführen. Change Streams vor und nach dem Imaging Viele Entwickler verwenden Atlas Stream Processing, um Daten in Atlas-Datenbanken als Quelle kontinuierlich durch Change Streams zu verarbeiten. Wir haben den Change Stream $source in der Public Preview um die Unterstützung von Vor- und Nachbildern erweitert. Dies ermöglicht häufige Anwendungsfälle, in denen Entwickler Deltas zwischen Feldern in Dokumenten berechnen müssen, sowie Anwendungsfälle, die den Zugriff auf den vollständigen Inhalt eines gelöschten Dokuments erfordern. Bedingtes Routing mit dynamischen Ausdrücken in den Phasen Merge und Emit Mit dem bedingten Routing können Entwickler den Wert von Feldern in Dokumenten verwenden, die in Atlas Stream Processing verarbeitet werden, um bestimmte Nachrichten dynamisch an verschiedene Atlas Collections oder Kafka-Themen zu senden. Die Stufen $merge und $emit unterstützen jetzt auch die Verwendung von dynamischen Ausdrücken. Dies ermöglicht die Verwendung der Abfrage-API für Anwendungsfälle, die die Möglichkeit erfordern, Nachrichten je nach Bedarf in verschiedene Collections oder Themen zu verzweigen. Zeitüberschreitungen bei Leerlauf-Streams Streams, die mangels eingehender Daten nicht mit Wasserzeichen fortschreiten, können jetzt so konfiguriert werden, dass sie sich nach einer gewissen Zeit schließen und die Ergebnisse der Fenster ausgeben. Dies kann bei Streaming-Quellen, die inkonsistente Datenströme aufweisen, entscheidend sein. Verbesserung von Betrieb und Sicherheit Schließlich haben wir in den letzten Monaten stark in die Verbesserung anderer Betriebs- und Sicherheitsaspekte von Atlas Stream Processing investiert. Einige der Highlights sind: Checkpointing Atlas Stream Processing führt jetzt Checkpoints durch, um den Status während der Verarbeitung zu speichern. Stream-Prozessoren sind kontinuierlich laufende Prozesse. Ob aufgrund eines Datenproblems oder eines Ausfalls der Infrastruktur, sie benötigen einen intelligenten Wiederherstellungsmechanismus. Mit Checkpoints können Sie Ihre Stream-Prozessoren ganz einfach an der Stelle wieder aufnehmen, an der die Datenerfassung und -verarbeitung unterbrochen wurde. Unterstützung für Terraform-Anbieter Unterstützung für die Erstellung von Verbindungen und Stream Processing Instances (SPIs) ist jetzt mit Terraform verfügbar. So kann die Infrastruktur als Code für wiederholbare Bereitstellungen erstellt werden. Sicherheitsrollen Atlas Stream Processing hat eine Rolle auf Projektebene hinzugefügt, die den Benutzern gerade genug Rechte gibt, um ihre Stream Processing-Aufgaben zu erfüllen. Stream-Prozessoren können im Kontext einer bestimmten Rolle ausgeführt werden und unterstützen so eine Konfiguration mit geringsten Berechtigungen. Unterstützung für Kafka-Verbrauchergruppen Stream-Prozessoren in Atlas Stream Processing verwenden jetzt Kafka-Konsumentengruppen für die Nachverfolgung von Offsets. So können Sie die Position des Prozessors im Stream für Operationen leicht ändern und eine mögliche Verzögerung des Prozessors leicht überwachen. Eine letzte Anmerkung zu den Neuerungen ist, dass wir in der Public Preview damit beginnen werden, Gebühren für Atlas Stream Processing zu erheben, wobei wir bis zur Veröffentlichung der allgemeinen Verfügbarkeit Aktionspreise verwenden. Mehr über die Preise von Atlas Stream Processing erfahren Sie in unserer Dokumentation. Erstellen Sie noch heute Ihren ersten Stream-Prozessor Der Public Preview ist ein großer Schritt nach vorne für uns, da wir die Entwicklerdatenplattform erweitern und mehr Teams mit einer Stream-Processing-Lösung ausstatten, die die betriebliche Komplexität bei der Entwicklung reaktiver, reaktionsfähiger, ereignisgesteuerter Anwendungen vereinfacht und gleichzeitig eine verbesserte Entwicklererfahrung bietet. Wir können es kaum erwarten zu sehen, was Sie erschaffen! Melden Sie sich noch heute an, um loszulegen oder erfahren Sie mehr über Atlas Stream Processing in unserer Dokumentation , unseren Ressourcen , Tutorials oder Learning Byte auf der MongoDB University.

February 13, 2024

Next →

MongoDB Database Observability: Integrating with Monitoring Tools

This post is the final in a three-part series on leveraging database observability. Welcome back to our series on Leveraging Database Observability! Our previous post showcased a real-world use case highlighting how MongoDB Atlas’s observability tools effectively tackle database performance challenges. Whether you’re a developer, DBA, or DevOps engineer, our mission is to empower you to harness the full potential of your data through our observability suite . Integrating Atlas metrics with your central enterprise observability tools can simplify your operations. By seamlessly working with popular observability tools, our approach helps teams streamline workflows and enhance visibility across systems. Integrating MongoDB Atlas with third-party monitoring tools MongoDB’s developer data platform combines all essential data services for building modern applications within a unified experience. Our purpose-built observability tools for Atlas environments offer automatic monitoring and optimization, guiding diagnostics tailored specifically for MongoDB. Additionally, we extend Atlas metrics into your existing enterprise observability stack, enabling seamless integration without replacing your current tools. This creates a consolidated, single-pane view that unifies Atlas telemetry with other tech and application metrics, ensuring comprehensive visibility into both database and full-stack performance. This integration empowers you to monitor, receive alerts, and make data-driven decisions within your existing workflows, driving greater efficiency. Below is a quick guide to modifying integration settings through the Atlas UI and the popular integrations we support: Navigate to the Project Integrations page in Atlas. Choose the organization and project you want to configure from the navigation bar. On the Project Integrations page, select the third-party services you’d like to integrate. Configure the chosen services with the required API keys and regions. Critical integrations for your observability platform With Atlas’s Datadog and Prometheus integrations, you can send critical MongoDB metrics to these platforms, empowering detailed, real-time monitoring. Through Datadog , you can track database operation counts, query efficiency, and resource usage, ideal for pinpointing bottlenecks and managing resources. Similarly, Prometheus enables you to monitor essential metrics like query times, connection rates, and memory usage, supporting flexible tracking of database health and performance. Both integrations facilitate proactive detection of issues, alert configuration for resource thresholds, and a cohesive view of Atlas data when visualized in Grafana. Atlas’s integration with PagerDuty streamlines incident management by sending metrics like performance alerts, billing anomalies, and security events directly to PagerDuty. This integration records incidents automatically, notifies teams upon alerts, and supports two-way syncing, ensuring resolved alerts in Atlas are reflected in PagerDuty. It enables efficient incident response and resource allocation to maintain system stability. With Atlas integrations for Microsoft Teams and Slack, you can route key metrics—such as query latency, disk usage, and throughput—to these channels for timely updates. Teams can use these insights for real-time performance monitoring, incident response, and collaboration. Notifications through these platforms ensure your team stays informed on database performance, storage health, and user activity changes as they occur. Use case: Centralized observability with MongoDB Atlas, Datadog, and Slack Let’s walk through a hypothetical scenario for ShopSmart, an e-commerce company that leverages MongoDB Atlas to manage its product catalog and customer data. As traffic surges, the DevOps team faces challenges in monitoring application performance and database health effectively. To tackle these challenges, the team leverages MongoDB Atlas’ integration with Datadog and Slack, creating a powerful observability ecosystem. Integrating MongoDB Atlas with Datadog: The team pushes key MongoDB Atlas metrics into Datadog, such as query performance, connection counts, and Atlas Vector Search metrics. With Datadog, they can visualize these metrics and correlate overall MongoDB performance with their other applications. Out-of-the-box monitors and dedicated dashboards allow the team to track metrics like throughput, average read/write latency, and current connections. This visibility helps pinpoint bottlenecks in real time, ensuring optimal database performance and improving overall application responsiveness. Setting up alerts in Datadog: The team configures alerts for critical metrics like high query latency and increased error rates. When thresholds are breached, Datadog instantly notifies the team. This proactive approach allows the team to address potential performance issues before they impact customers. Integrating Datadog with Slack: To ensure fast communication, alerts are sent directly to the dedicated Slack channel, “ShopSmart-Alerts.” This integration fosters seamless collaboration, enabling the team to discuss and resolve issues in real-time. With these integrations, ShopSmart’s engineering team can monitor performance quickly and address issues efficiently. The unified observability approach enhances operational efficiency, improves the customer experience, and supports ShopSmart’s competitive edge in the e-commerce industry. By leveraging MongoDB Atlas, Datadog, and Slack, the team ensures scalable performance and drives continuous innovation. Conclusion MongoDB Atlas empowers developers and organizations to achieve unparalleled observability and control over their database environments. By seamlessly integrating with central enterprise observability tools, Atlas enhances your ability to monitor performance metrics and ensures you can do so within your existing workflows. This means you can focus on building modern applications confidently, knowing you have the insights and alerts necessary to maintain optimal performance. Embrace the power of MongoDB Atlas and transform your approach to database management—because your applications can thrive when your data is observable. And that wraps up our Leveraging Database Observability series! We hope you learned something new and found value in these discussions. Sign up for MongoDB Atlas , our cloud database service, to see database observability in action. To dive deeper and expand your knowledge, check out this learning byte for more insights on the MongoDB observability suite and how it can enhance your database performance.

November 14, 2024