Atlas Stream Processing ist jetzt in der Public Preview verfügbar

Clark Gates-George and Joe Niemiec
February 13, 2024

Wir freuen uns, heute die Public Preview von Atlas Stream Processing ankündigen zu können. Die Public Preview öffnet den Zugang für alle Entwickler auf Atlas, die es ausprobieren möchten – erfahren Sie mehr in unseren Dokumenten oder starten Sie noch heute.

Hören Sie sich den MongoDB-Podcast an, um von Kenny Gorman, dem Leiter der Streaming-Produkte, mehr über die Public Preview von Atlas Stream Processing zu erfahren.

Entwickler lieben die Flexibilität und Benutzerfreundlichkeit des Dokumentenmodells, zusammen mit der Query API, die es ihnen ermöglicht, mit Daten wie mit Code zu arbeiten. Mit Atlas Stream Processing bringen wir dieselben Grundprinzipien in das Stream Processing ein. Zuerst angekündigt auf .local NYC 2023 definiert Atlas Stream Processing die Zusammenführung und Anreicherung von Datenströmen mit hoher Geschwindigkeit und sich schnell ändernden Ereignisdaten neu und vereinheitlicht die Arbeit mit Daten in Bewegung und Daten im Ruhezustand.

Wie nutzen Entwickler das Produkt bisher? Und was haben wir gelernt?

Während der privaten Vorabversion haben Tausende von Entwicklungsteams den Zugriff angefordert, und wir haben nützliches Feedback von Hunderten von engagierten Teams erhalten. Zu den Anwendungsfällen gehören:

Ein weltweit führendes Luftfahrtunternehmen, das komplexe Aggregationen zur schnellen Verarbeitung von Wartungs- und Betriebsdaten einsetzt, um pünktliche Flüge für seine Tausenden von täglichen Kunden zu gewährleisten
Ein großer Hersteller von Energieanlagen, der Atlas Stream Processing einsetzt, um eine kontinuierliche Überwachung großer Pumpendaten zu ermöglichen, damit Ausfälle vermieden und die Erträge optimiert werden können
Ein innovativer SaaS-Anbieter für Unternehmen, der die umfangreichen Verarbeitungsfunktionen von Atlas Stream Processing nutzt, um zeitnahe und kontextbezogene Produktwarnungen zu liefern, die das Engagement für das Produkt verbessern.

Dies sind nur einige der vielen Anwendungsbeispiele, die wir in verschiedenen Branchen für Atlas Stream Processing sehen. Neben den Anwendungsfällen, die wir bereits gesehen haben, geben uns die Entwickler zahlreiche Hinweise darauf, was sie sich für die Zukunft von Atlas Stream Processing wünschen.

Neben der kontinuierlichen Verarbeitung von Daten in Atlas-Datenbanken durch Change Streams ist es beeindruckend zu sehen, dass Entwickler Atlas Stream Processing mit ihren Kafka-Daten verwenden, die von geschätzten Partnern wie Confluent, Amazon MSK, Azure Event Hubs und Redpanda zusammenarbeiten werden. Unser Ziel mit den Funktionen der Entwicklerdatenplattform ist es immer, eine bessere Erfahrung über die Schlüsseltechnologien hinweg zu schaffen, auf die sich die Entwickler verlassen.

Was ist neu beim Public Preview?

Das bringt uns zu den Neuerungen. Und da wir immer mehr Teams einbeziehen, erweitern wir die Funktionalität um das am häufigsten gewünschte Feedback, das wir in unserem Private Preview gesammelt haben. Aus den vielen eingegangenen Feedbacks kristallisierten sich drei gemeinsame Themen heraus:

Verfeinerung des Entwicklererlebnisses
Erweiterung der fortgeschrittenen Features und Funktionen
Verbesserung von Betrieb und Sicherheit

Verfeinerung des Entwicklererlebnisses

Im Private Preview haben wir den Kern der Entwicklererfahrung geschaffen, die notwendig ist, um Atlas Stream Processing zu einer natürlichen Lösung für Entwicklungsteams zu machen. Und in der Public Preview verdoppeln wir dies, indem wir zwei zusätzliche Verbesserungen vornehmen:

Integration von VS-Codes
Das MongoDB VS Code-Plugin hat Unterstützung für die Verbindung zu Stream Processing Instances hinzugefügt. Für Entwickler, die das Plugin bereits nutzen, können Teams Prozessoren in einer vertrauten Entwicklungsumgebung erstellen und verwalten. Das bedeutet weniger Zeit für den Wechsel zwischen verschiedenen Tools und mehr Zeit für die Entwicklung Ihrer Anwendungen!
Verbesserte Funktionen der Dead Letter Queue (DLQ)
Die DLQ-Unterstützung ist ein Schlüsselelement für eine leistungsstarke Stream-Verarbeitung und in der Public Preview erweitern wir die DLQ-Funktionen in Atlas Stream Processing. Dead-Letter-Queue-Meldungen werden jetzt selbst angezeigt, wenn Pipelines mit sp.process() ausgeführt werden und wenn .sample() auf laufenden Prozessoren ausgeführt wird. Dies ermöglicht eine optimierte Entwicklungserfahrung, die keine target collection erfordert, um als DLQ zu fungieren.

Erweiterung der fortgeschrittenen Features und Funktionen

Atlas Stream Processing unterstützte bereits viele der wichtigsten Aggregationsoperatoren, mit denen Entwickler in der Query API vertraut sind, die mit Daten im Ruhezustand verwendet wird, und fügte leistungsstarke Fensterfunktionen und die Möglichkeit hinzu, Daten einfach zusammenzuführen und an die Atlas-Datenbank oder an ein Kafka-Thema zu senden. Der Public Preview bietet noch mehr Funktionen, die von den fortschrittlichsten Teams benötigt werden, die auf Stream Processing angewiesen sind, um Kundenerfahrung zu liefern:

$Lookup
Entwickler können jetzt Dokumente, die in einem Stream-Prozessor verarbeitet werden, mit Daten aus entfernten Atlas-Clustern anreichern, indem sie Joins gegen Felder aus dem Dokument und der Zielsammlung durchführen.
Change Streams vor und nach dem Imaging
Viele Entwickler verwenden Atlas Stream Processing, um Daten in Atlas-Datenbanken als Quelle kontinuierlich durch Change Streams zu verarbeiten. Wir haben den Change Stream $source in der Public Preview um die Unterstützung von Vor- und Nachbildern erweitert. Dies ermöglicht häufige Anwendungsfälle, in denen Entwickler Deltas zwischen Feldern in Dokumenten berechnen müssen, sowie Anwendungsfälle, die den Zugriff auf den vollständigen Inhalt eines gelöschten Dokuments erfordern.
Bedingtes Routing mit dynamischen Ausdrücken in den Phasen Merge und Emit
Mit dem bedingten Routing können Entwickler den Wert von Feldern in Dokumenten verwenden, die in Atlas Stream Processing verarbeitet werden, um bestimmte Nachrichten dynamisch an verschiedene Atlas Collections oder Kafka-Themen zu senden. Die Stufen $merge und $emit unterstützen jetzt auch die Verwendung von dynamischen Ausdrücken. Dies ermöglicht die Verwendung der Abfrage-API für Anwendungsfälle, die die Möglichkeit erfordern, Nachrichten je nach Bedarf in verschiedene Collections oder Themen zu verzweigen.
Zeitüberschreitungen bei Leerlauf-Streams
Streams, die mangels eingehender Daten nicht mit Wasserzeichen fortschreiten, können jetzt so konfiguriert werden, dass sie sich nach einer gewissen Zeit schließen und die Ergebnisse der Fenster ausgeben. Dies kann bei Streaming-Quellen, die inkonsistente Datenströme aufweisen, entscheidend sein.

Verbesserung von Betrieb und Sicherheit

Schließlich haben wir in den letzten Monaten stark in die Verbesserung anderer Betriebs- und Sicherheitsaspekte von Atlas Stream Processing investiert. Einige der Highlights sind:

Checkpointing
Atlas Stream Processing führt jetzt Checkpoints durch, um den Status während der Verarbeitung zu speichern. Stream-Prozessoren sind kontinuierlich laufende Prozesse. Ob aufgrund eines Datenproblems oder eines Ausfalls der Infrastruktur, sie benötigen einen intelligenten Wiederherstellungsmechanismus. Mit Checkpoints können Sie Ihre Stream-Prozessoren ganz einfach an der Stelle wieder aufnehmen, an der die Datenerfassung und -verarbeitung unterbrochen wurde.
Unterstützung für Terraform-Anbieter
Unterstützung für die Erstellung von Verbindungen und Stream Processing Instances (SPIs) ist jetzt mit Terraform verfügbar. So kann die Infrastruktur als Code für wiederholbare Bereitstellungen erstellt werden.
Sicherheitsrollen
Atlas Stream Processing hat eine Rolle auf Projektebene hinzugefügt, die den Benutzern gerade genug Rechte gibt, um ihre Stream Processing-Aufgaben zu erfüllen. Stream-Prozessoren können im Kontext einer bestimmten Rolle ausgeführt werden und unterstützen so eine Konfiguration mit geringsten Berechtigungen.
Unterstützung für Kafka-Verbrauchergruppen
Stream-Prozessoren in Atlas Stream Processing verwenden jetzt Kafka-Konsumentengruppen für die Nachverfolgung von Offsets. So können Sie die Position des Prozessors im Stream für Operationen leicht ändern und eine mögliche Verzögerung des Prozessors leicht überwachen.

Eine letzte Anmerkung zu den Neuerungen ist, dass wir in der Public Preview damit beginnen werden, Gebühren für Atlas Stream Processing zu erheben, wobei wir bis zur Veröffentlichung der allgemeinen Verfügbarkeit Aktionspreise verwenden. Mehr über die Preise von Atlas Stream Processing erfahren Sie in unserer Dokumentation.

Erstellen Sie noch heute Ihren ersten Stream-Prozessor

Der Public Preview ist ein großer Schritt nach vorne für uns, da wir die Entwicklerdatenplattform erweitern und mehr Teams mit einer Stream-Processing-Lösung ausstatten, die die betriebliche Komplexität bei der Entwicklung reaktiver, reaktionsfähiger, ereignisgesteuerter Anwendungen vereinfacht und gleichzeitig eine verbesserte Entwicklererfahrung bietet.

Wir können es kaum erwarten zu sehen, was Sie erschaffen!

Melden Sie sich noch heute an, um loszulegen oder erfahren Sie mehr über Atlas Stream Processing in unserer Dokumentation, unseren Ressourcen, Tutorials oder Learning Byte auf der MongoDB University.

← Previous

Atlas Stream Processing è ora disponibile in anteprima pubblica

Oggi siamo lieti di annunciare che Atlas Stream Processing è ora disponibile in anteprima pubblica. L'anteprima pubblica apre l'accesso a qualsiasi sviluppatore di Atlas interessato a provarla: per saperne di più, consulta i nostri documenti o inizia subito. Ascolta il podcast di MongoDB per conoscere l'anteprima pubblica di Atlas Stream Processing dal Responsabile di Streaming Products, Kenny Gorman. Gli sviluppatori apprezzano la flessibilità e la facilità d'uso del modello di documento, insieme all'API query, che consente loro di lavorare con i dati come codice. Con Atlas Stream Processing, stiamo introducendo questi stessi principi fondamentali nell'elaborazione del flusso. Annunciato per la prima volta su .local NYC 2023 , Atlas Stream Processing sta ridefinendo l'esperienza di aggregazione e arricchimento di flussi di dati di eventi ad alta velocità e in rapida evoluzione, unificando le modalità di lavoro con i dati in movimento e a riposo. Come stanno utilizzando il prodotto gli sviluppatori finora? E cosa abbiamo imparato? Durante l'anteprima privata, migliaia di team di sviluppo hanno richiesto l'accesso e abbiamo raccolto utili feedback da centinaia di team coinvolti. I casi d'uso includono: Un aereo di linea leader a livello mondiale che utilizza aggregazioni complesse per elaborare rapidamente i dati relativi alla manutenzione e alle operazioni, garantendo voli puntuali per migliaia di clienti al giorno Un grande produttore di apparecchiature energetiche che utilizza Atlas Stream Processing per consentire il monitoraggio continuo dei dati delle pompe ad alto volume al fine di evitare interruzioni e ottimizzarne i rendimenti e Un innovativo provider SaaS aziendale che sfrutta le ricche capacità di elaborazione di Atlas Stream Processing per inviare avvisi tempestivi e contestuali all'interno del prodotto al fine di migliorare l'engagement. Questi sono solo alcuni dei numerosi esempi di casi d'uso osservati nei diversi settori per Atlas Stream Processing. Oltre ai casi d'uso già citati, gli sviluppatori ci stanno fornendo moltissime informazioni su funzionalità da aggiungere ad Atlas Stream Processing in futuro. Oltre ad abilitare l'elaborazione continua dei dati nei database Atlas tramite change stream, è stato davvero straordinario vedere gli sviluppatori utilizzare Atlas Stream Processing con i dati Kafka in hosting presso partner di valore come Confluent , Amazon MSK , Azure Event Hub e Redpanda . Il nostro obiettivo con le capacità della piattaforma dati per sviluppatori è sempre quello di migliorare l'esperienza tramite le tecnologie chiave scelte dagli sviluppatori. Quali sono le novità dell'anteprima pubblica? Questo ci porta alle novità. E man mano che scaliamo a più team, stiamo espandendo le funzionalità per includere i feedback più richiesti raccolti nella nostra anteprima privata. Dai numerosi feedback ricevuti, sono emersi tre temi comuni: Perfezionamento dell'esperienza degli sviluppatori Espansione di caratteristiche e funzionalità avanzate e Miglioramento delle operazioni e della sicurezza Perfezionamento dell'esperienza degli sviluppatori Nell'anteprima privata, abbiamo stabilito la base dell'esperienza degli sviluppatori essenziale per rendere Atlas Stream Processing una soluzione naturale per i team di sviluppo. E nell'anteprima pubblica, stiamo ampliando questo aspetto apportando 2 ulteriori miglioramenti: Integrazione di VS Code Il plug-in MongoDB VS Code ha aggiunto il supporto per la connessione alle istanze di elaborazione dei flussi. Per gli sviluppatori che già utilizzano il plugin, ciò consente ai team di creare e gestire gli elaboratori in un ambiente di sviluppo familiare. Meno tempo per passare da uno strumento all'altro e più tempo per creare applicazioni! Funzionalità DLQ (Dead Letter Queue) migliorate Il supporto DLQ è un elemento chiave per l'elaborazione avanzata dei flussi e nell'anteprima pubblica stiamo espandendo le funzionalità DLQ in Atlas Stream Processing. I messaggi della Dead Letter Queue ora si visualizzano durante l'esecuzione di pipeline con sp.process() e durante l'esecuzione di .sample() su elaboratori in esecuzione, consentendo un'esperienza di sviluppo più semplificata che non richiede l'impostazione di una collection che funga da DLQ. Espansione di caratteristiche e funzionalità avanzate Atlas Stream Processing supportava già molti degli operatori di aggregazione chiave noti agli sviluppatori nell'API Query utilizzata con i dati inattivi e ha aggiunto potenti capacità di windowing e la possibilità di unire ed emettere facilmente dati nel database Atlas o in un argomento Kafka. L'anteprima pubblica aggiungerà ancora più funzionalità richieste dai team più avanzati che si affidano all'elaborazione dei flussi per offrire esperienza del cliente: fase di $lookup Gli sviluppatori possono ora arricchire i documenti che vengono elaborati in un elaboratore di flusso con i dati provenienti da cluster Atlas remoti, eseguendo unioni sui campi del documento e della collection target. Flussi di modifica pre e post-imaging Molti sviluppatori utilizzano Atlas Stream Processing per elaborare in modo costante i dati nei database Atlas come fonte tramite change stream. Abbiamo migliorato il change stream $source nell'anteprima pubblica con il supporto per le immagini pre e post-. Ciò consente i casi d'uso comuni in cui gli sviluppatori devono calcolare le delta tra i campi nei documenti e i casi d'uso che richiedono l'accesso a tutti i contenuti di un documento eliminato. Instradamento condizionale con espressioni dinamiche nelle fasi di unione ed emissione L'instradamento condizionale consente agli sviluppatori di utilizzare il valore dei campi nei documenti in fase di elaborazione in Atlas Stream Processing per inviare dinamicamente messaggi specifici a diverse collection Atlas o argomenti Kafka. Anche le fasi $merge e $emit supportano ora l'uso di espressioni dinamiche. In questo modo è possibile utilizzare l'API Query per i casi d'uso che richiedono la possibilità di eseguire il fork dei messaggi in collection o argomenti diversi in base alle esigenze. Timeout flussi inattivo I flussi senza filigrane di avanzamento a causa della mancanza di dati in ingresso possono ora essere configurati per chiudersi dopo un periodo di tempo emettendo i risultati delle finestre. Questo può essere fondamentale per le origini di flussi che hanno flussi di dati incoerenti. Miglioramento delle operazioni e della sicurezza Infine, negli ultimi mesi abbiamo investito molto nel miglioramento di altri aspetti operativi e di sicurezza di Atlas Stream Processing. Alcuni dei punti salienti includono: Esecuzione di checkpoint Atlas Stream Processing ora esegue checkpoint per salvare lo stato durante l'elaborazione. Gli elaboratori di flusso sono processi in continua esecuzione, pertanto, che si tratti di un problema di dati o di un guasto dell'infrastruttura, richiedono un meccanismo di ripristino intelligente. I checkpoint consentono di riprendere facilmente gli elaboratori di flusso dal punto in cui si è interrotta la raccolta e l'elaborazione dei dati. Supporto del provider Terraform Il supporto per la creazione di connessioni e istanze di elaborazione dei flussi (SPI) è ora disponibile con Terraform. Ciò consente di creare l'infrastruttura come codice per distribuzioni ripetibili. Ruoli di sicurezza Atlas Stream Processing ha aggiunto un ruolo a livello di progetto, dando agli utenti le autorizzazioni necessarie per eseguire le attività di elaborazione del flusso. Gli elaboratori di flusso possono essere eseguiti nel contesto di un ruolo specifico, supportando una configurazione con privilegi minimi. Supporto del gruppo di consumatori Kafka Gli elaboratori di flusso in Atlas Stream Processing ora utilizzano i gruppi di consumatori Kafka per il monitoraggio degli offset. Ciò consente agli utenti di modificare facilmente la posizione dell'elaboratore nel flusso per le operazioni e di monitorare facilmente eventuali ritardi dell'elaboratore. Un'ultima nota sulle novità è che nell'anteprima pubblica inizieremo ad addebitare i costi per Atlas Stream Processing, con prezzi promozionali fino alla release della disponibilità generale. Puoi scoprire di più sui prezzi di Atlas Stream Processing nella nostra documentazione. Sviluppa oggi stesso il tuo primo elaboratore di flusso L'anteprima pubblica è un enorme passo avanti per noi, in quanto espandiamo la piattaforma di dati per sviluppatori e consentiamo a un maggior numero di team di disporre di una soluzione di elaborazione dei flussi che semplifica la complessità operativa della creazione di applicazioni reattive, responsive e guidate dagli eventi, offrendo al contempo una migliore esperienza per gli sviluppatori. Non vediamo l'ora di scoprire cosa svilupperai! Accedi oggi per iniziare o scopri di più su Atlas Stream Processing nella nostra documentazione , nelle risorse , nei tutorial o nel Learning Byte su MongoDB University.

February 13, 2024

Next →

MongoDB Database Observability: Integrating with Monitoring Tools

This post is the final in a three-part series on leveraging database observability. Welcome back to our series on Leveraging Database Observability! Our previous post showcased a real-world use case highlighting how MongoDB Atlas’s observability tools effectively tackle database performance challenges. Whether you’re a developer, DBA, or DevOps engineer, our mission is to empower you to harness the full potential of your data through our observability suite . Integrating Atlas metrics with your central enterprise observability tools can simplify your operations. By seamlessly working with popular observability tools, our approach helps teams streamline workflows and enhance visibility across systems. Integrating MongoDB Atlas with third-party monitoring tools MongoDB’s developer data platform combines all essential data services for building modern applications within a unified experience. Our purpose-built observability tools for Atlas environments offer automatic monitoring and optimization, guiding diagnostics tailored specifically for MongoDB. Additionally, we extend Atlas metrics into your existing enterprise observability stack, enabling seamless integration without replacing your current tools. This creates a consolidated, single-pane view that unifies Atlas telemetry with other tech and application metrics, ensuring comprehensive visibility into both database and full-stack performance. This integration empowers you to monitor, receive alerts, and make data-driven decisions within your existing workflows, driving greater efficiency. Below is a quick guide to modifying integration settings through the Atlas UI and the popular integrations we support: Navigate to the Project Integrations page in Atlas. Choose the organization and project you want to configure from the navigation bar. On the Project Integrations page, select the third-party services you’d like to integrate. Configure the chosen services with the required API keys and regions. Critical integrations for your observability platform With Atlas’s Datadog and Prometheus integrations, you can send critical MongoDB metrics to these platforms, empowering detailed, real-time monitoring. Through Datadog , you can track database operation counts, query efficiency, and resource usage, ideal for pinpointing bottlenecks and managing resources. Similarly, Prometheus enables you to monitor essential metrics like query times, connection rates, and memory usage, supporting flexible tracking of database health and performance. Both integrations facilitate proactive detection of issues, alert configuration for resource thresholds, and a cohesive view of Atlas data when visualized in Grafana. Atlas’s integration with PagerDuty streamlines incident management by sending metrics like performance alerts, billing anomalies, and security events directly to PagerDuty. This integration records incidents automatically, notifies teams upon alerts, and supports two-way syncing, ensuring resolved alerts in Atlas are reflected in PagerDuty. It enables efficient incident response and resource allocation to maintain system stability. With Atlas integrations for Microsoft Teams and Slack, you can route key metrics—such as query latency, disk usage, and throughput—to these channels for timely updates. Teams can use these insights for real-time performance monitoring, incident response, and collaboration. Notifications through these platforms ensure your team stays informed on database performance, storage health, and user activity changes as they occur. Use case: Centralized observability with MongoDB Atlas, Datadog, and Slack Let’s walk through a hypothetical scenario for ShopSmart, an e-commerce company that leverages MongoDB Atlas to manage its product catalog and customer data. As traffic surges, the DevOps team faces challenges in monitoring application performance and database health effectively. To tackle these challenges, the team leverages MongoDB Atlas’ integration with Datadog and Slack, creating a powerful observability ecosystem. Integrating MongoDB Atlas with Datadog: The team pushes key MongoDB Atlas metrics into Datadog, such as query performance, connection counts, and Atlas Vector Search metrics. With Datadog, they can visualize these metrics and correlate overall MongoDB performance with their other applications. Out-of-the-box monitors and dedicated dashboards allow the team to track metrics like throughput, average read/write latency, and current connections. This visibility helps pinpoint bottlenecks in real time, ensuring optimal database performance and improving overall application responsiveness. Setting up alerts in Datadog: The team configures alerts for critical metrics like high query latency and increased error rates. When thresholds are breached, Datadog instantly notifies the team. This proactive approach allows the team to address potential performance issues before they impact customers. Integrating Datadog with Slack: To ensure fast communication, alerts are sent directly to the dedicated Slack channel, “ShopSmart-Alerts.” This integration fosters seamless collaboration, enabling the team to discuss and resolve issues in real-time. With these integrations, ShopSmart’s engineering team can monitor performance quickly and address issues efficiently. The unified observability approach enhances operational efficiency, improves the customer experience, and supports ShopSmart’s competitive edge in the e-commerce industry. By leveraging MongoDB Atlas, Datadog, and Slack, the team ensures scalable performance and drives continuous innovation. Conclusion MongoDB Atlas empowers developers and organizations to achieve unparalleled observability and control over their database environments. By seamlessly integrating with central enterprise observability tools, Atlas enhances your ability to monitor performance metrics and ensures you can do so within your existing workflows. This means you can focus on building modern applications confidently, knowing you have the insights and alerts necessary to maintain optimal performance. Embrace the power of MongoDB Atlas and transform your approach to database management—because your applications can thrive when your data is observable. And that wraps up our Leveraging Database Observability series! We hope you learned something new and found value in these discussions. Sign up for MongoDB Atlas , our cloud database service, to see database observability in action. To dive deeper and expand your knowledge, check out this learning byte for more insights on the MongoDB observability suite and how it can enhance your database performance.

November 14, 2024