Atlas Stream Processing 퍼블릭 프리뷰 버전 공개

Clark Gates-George and Joe Niemiec
February 13, 2024 | Updated: February 16, 2024

Atlas Stream Processing의 퍼블릭 프리뷰 버전이 공개됐습니다. Atlas를 사용 중인 개발자라면 누구나 이용 가능하며, 자세한 정보는 홈페이지에서도 확인하실 수 있습니다.

케니 고먼(Kenny Gorman) 스트리밍 제품 부문 총괄의 팟캐스트를 통해 Atlas Stream Processing 퍼블릭 프리뷰에 대한 다양한 내용을 확인해보세요. .

개발자들은 MongoDB Atlas에서 데이터를 코드로 다룰 수 있는 도큐먼트 모델의 유연성과 사용 편의성, 그리고 쿼리 API를 장점으로 꼽습니다. MongoDB는 Atlas Stream Processing을 통해 이러한 장점을 스트림 처리에도 접목하고 있습니다. .local NYC 2023에서 처음 발표된 Atlas Stream Processing은 빠르게 변화하는 데이터의 고속 스트림으로 집계 및 강화하고, 개발자가 이동 중인 데이터와 저장된 데이터로 작업하는 방식을 통합하기 위한 경험을 재정의하고 있습니다.

개발자들은 지금까지 제품을 어떻게 사용하고 있을까요? 저희는 무엇을 배웠을까요?

Atlas Stream Processing의 프라이빗 프리뷰 버전이 공개된 후 수천 개의 개발 팀이 액세스를 요청했습니다.

마케팅 솔루션을 제공하는 어쿠스틱(Acoustic)의 존 리버츠(John Riewerts) 엔지니어링 수석부사장은 "어쿠스틱은 브랜드가 매력적이고 개인화된 고객 경험을 제공할 수 있도록 행동 기반 인사이트를 제공하는 데 집중하고 있다. 이를 위한 플랫폼인 어쿠스틱 커넥트(Acoustic Connect)는 수백만 개에 달하는 마케팅, 행동 및 고객 시그널이 발생하는 즉시 효율적으로 처리하고 관리할 수 있어야 한다. 기존 아틀라스 환경에 익숙한 엔지니어는 아틀라스 스트림 프로세싱을 통해 신규 데이터를 처리함으로써 고객이 실시간 고객 인사이트에 액세스할 수 있도록 지원하고 있다"고 강조했습니다.

이 밖에도 대표적인 사용 사례는 다음과 같습니다.

업계를 선도하는 글로벌 항공사는 복잡한 집계를 사용하여 유지 관리 및 운영 데이터를 신속하게 프로세스하고, 매일 수천 명의 고객에게 정시 비행을 제공합니다.
대형 에너지 장비 제조사는 Atlas Stream Processing으로 대용량 펌프 데이터를 지속적으로 모니터링해 가동 중단을 방지하고 산출량을 최적화합니다.
혁신적인 엔터프라이즈용 SaaS 제공업체는 Atlas Stream Processing의 풍부한 처리 기능을 활용해 상황에 맞는 제품 내 경고를 적시에 제공함으로써 제품 만족도를 높입니다.

위의 기업들은 Atlas Stream Processing을 활용 중인 여러 산업 분야의 수많은 사용 사례 중 일부에 불과합니다. 이 밖에도 MongoDB는 앞으로 기대되는 Atlas Stream Processing의 추가 기능에 대한 개발자들의 다양한 인사이트를 경청하고 있습니다.

Atlas 데이터베이스에서 변경 스트림을 통해 데이터를 지속적으로 처리하는 것 외에도, 개발자들이 Confluent, Amazon MSK, Azure Event Hubs, Redpanda와 같은 파트너 서비스에서 호스팅되는 Kafka 데이터와 함께 Atlas Stream Processing을 사용하고 있다는 점은 주목할만합니다. MongoDB는 개발자가 사용하는 주요 기술 전반에서 더 나은 경험을 제공하는 것을 Atlas의 개발자 데이터 플랫폼 기능의 목표로 삼고 있습니다.

공개 미리보기에는 어떤 새로운 기능이 추가되었나요?

MongoDB는 프라이빗 프리뷰 기간에 가장 많이 제안된 의견을 적극 반영해 한층 확장된 기능을 이번 퍼블릭 프리뷰에 포함했습니다. 수많은 피드백을 분석한 결과, 개발자들이 공통적으로 요구하는 세 가지 개선사항을 확인할 수 있었습니다.

개발자 경험 개선
고급 기능 및 기능 확장
운영 및 보안 개선

개발자 경험 개선

비공개 미리보기에서 저희는 Atlas Stream Processing을 개발자가 가장 선호하는 솔루션으로 만들기 위해 꼭 필요한 개발자 경험의 핵심을 확립했습니다. 공개 미리보기에서는 다음과 같은 2가지 기능을 추가로 강화하여 이 기능을 두 배로 확대했습니다.

VS Code 통합
MongoDB VS Code 플러그인에 Stream Processing Instances 연결에 대한 지원이 추가되었습니다. 이 플러그인을 이미 활용하고 있는 개발자는 친숙한 개발 환경에서 프로세서를 생성하고 관리할 수 있습니다. 도구 사이를 오가는 시간을 줄이고 애플리케이션 구축에 더 많은 시간을 할애하세요.
데드 레터 큐(DLQ) 기능 개선
DLQ 지원은 강력한 스트림 처리의 핵심 요소인 만큼, 공개 미리보기에서는 Atlas Stream Processing의 DLQ 기능을 확장하고 있습니다. 이제 sp.process()로 파이프라인을 실행할 때와 실행 중인 프로세서에서 .sample()을 실행할 때 데드 레터 큐 메시지가 표시되므로, 대상 컬렉션이 DLQ로 작동하도록 설정할 필요가 없어지고 개발 환경이 간소화됩니다.

고급 기능 확장

Atlas Stream Processing은 개발자들이 미사용 데이터에 사용되는 쿼리 API에서 익숙한 주요 집계 연산자 다수를 지원하고 있으며, 강력한 윈도우 기능 및 데이터를 쉽게 병합하여 Atlas 데이터베이스 또는 Kafka 토픽으로 내보낼 수 있는 기능도 추가되었습니다. 공개 미리보기에는 스트림 처리를 활용해 고객 경험을 제공하는 최첨단 팀에 필요한 훨씬 더 많은 기능이 추가됩니다.

$lookup
이제 개발자는 스트림 프로세서에서 처리 중인 문서를 원격 Atlas Clusters의 데이터로 보강하여 문서 및 대상 컬렉션의 필드에 대해 조인을 수행할 수 있습니다.
change stream 사전 및 사후 이미지 처리
많은 개발자가 Atlas 데이터베이스의 데이터를 소스로 하여 change stream에서 지속적으로 처리하기 위해 Atlas Stream Processing을 사용합니다. 공개 미리보기에서는 사전 및 사후 이미지를 지원하여 change stream $source를 개선했습니다. 이를 통해 개발자가 문서 내 필드 간의 델타를 계산해야 하는 일반적인 사용 사례는 물론, 삭제된 문서의 전체 내용에 액세스해야 하는 사용 사례도 활용할 수 있습니다.
병합 및 내보내기 단계의 동적 표현식을 사용한 조건부 라우팅
조건부 라우팅을 사용하면 개발자가 Atlas Stream Processing에서 처리 중인 문서의 필드 값을 사용하여 특정 메시지를 다른 Atlas 컬렉션이나 Kafka 토픽으로 동적으로 전송할 수 있습니다. $merge 및 $emit 단계에서도 이제 동적 표현식 사용이 지원됩니다. 따라서 메시지를 다른 컬렉션이나 토픽으로 포크하는 기능이 필요한 사용 사례에서 쿼리 API를 사용할 수 있습니다.
유휴 스트림 시간 초과
인바운드 데이터 부족으로 인해 상위 워터마크 없이 진행되는 스트림은 일정 시간이 지나면 윈도우 결과를 내보낸 후 닫히도록 구성할 수 있습니다. 이는 특히 데이터 흐름이 일정하지 않은 스트리밍 소스에서 매우 중요한 기능입니다.

운영 및 보안 개선

마지막으로, MongoDB가 지난 몇 달 간 Atlas Stream Processing의 운영 및 보안 측면을 개선하기 위해 투자한 많은 부분 중 몇 가지 주요 사항에 대해 알아보겠습니다.

체크포인트
Atlas Stream Processing은 이제 처리 중 상태 저장을 위한 체크포인트를 수행합니다. 스트림 프로세서는 지속적으로 프로세스를 실행하기 때문에 데이터 문제 또는 인프라 장애, 무엇으로 인한 것이든 지능적인 복구 메커니즘이 필요합니다. 체크포인트를 사용하면 데이터 수집 및 처리가 중단된 곳에서 스트림 프로세서를 쉽게 재개할 수 있습니다.
Terraform 공급자 지원
이제 Terraform에서 연결 및 Stream Processing Instances(SPIs) 생성에 대한 지원이 제공됩니다. 이를 통해 인프라를 반복 가능한 배포를 위한 코드로 작성할 수 있습니다.
보안 역할
Atlas Stream Processing에는 프로젝트 수준 역할이 추가되었으며, 사용자가 스트림 처리 작업을 수행하기 위해 필요한 권한만 부여합니다. 스트림 프로세서는 특정 역할의 컨텍스트에서 실행될 수 있으며 최소 권한 구성을 지원합니다.
인증
Atlas Stream Processing의 인증 기능을 통해 SPI 내 인증 시도 및 작업을 감사하고, 보안 관련 이벤트에 대한 인사이트를 얻을 수 있습니다.
Kafka 소비자 그룹 지원
Atlas Stream Processing의 스트림 프로세서는 이제 오프셋 추적을 위해 Kafka 소비자 그룹을 사용합니다. 이는 사용자가 운영용 스트림에서 프로세서의 위치를 쉽게 변경하고 잠재적인 프로세서 지연을 쉽게 모니터링할 수 있게 해줍니다.

공개 미리보기의 새로운 기능 중에서 마지막으로 소개할 내용은 Atlas Stream Processing이 일반 출시되기 전까지 프로모션 가격을 사용하여 비용을 청구하기 시작한다는 것입니다. Atlas Stream Processing 요금에 대한 자세한 내용은 문서에서 확인하실 수 있습니다.

지금 바로 첫 번째 스트림 프로세서를 구축하세요

공개 미리보기는 개발자 데이터 플랫폼을 확장하고, 반응형, 이벤트 중심 애플리케이션 구축의 운영 복잡성을 단순화하는 동시에 향상된 개발자 경험을 제공하는 스트림 처리 솔루션을 통해 더 많은 팀이 개발자 데이터 플랫폼을 확장하도록 지원합니다.

Atlas Stream Processing을 통한 여러분의 멋진 빌드를 기대합니다!

지금 바로 로그인하여 시작하거나 문서, 리소스, 튜토리얼 또는 MongoDB University의 Learning Byte에서 Atlas Stream Processing에 대해 자세히 알아보세요.

← Previous

O Atlas Stream Processing está agora em pré-visualização pública

Hoje temos o prazer de anunciar que o Atlas Stream Processing está em pré-visualização pública. A pré-visualização pública abre o acesso a qualquer desenvolvedor do Atlas interessado em experimentá-la. Saiba mais em nossos documentos ou comece hoje mesmo. Ouça o MongoDB Podcast para saber mais sobre a pré-visualização pública do Atlas Stream Processing nas palavras do Chefe de Produtos de Streaming, Kenny Gorman. Os desenvolvedores adoram a flexibilidade e facilidade de uso do modelo de documento, juntamente com a API de consulta, que permite trabalhar com dados como código. Com o Atlas Stream Processing, estamos trazendo estes mesmos princípios fundamentais para o processamento de stream. Revelado na .local NYC 2023 , o Atlas Stream Processing está redefinindo a experiência de agregar e enriquecer streams de alta velocidade, alterar rapidamente os dados de evento e unificar os métodos de trabalho com dados em movimento e em repouso. Como os desenvolvedores estão usando o produto? E o que aprendemos? Durante a pré-visualização privada, milhares de equipes de desenvolvimento solicitaram acesso, e centenas de equipes engajadas compartilharam feedback útil. Os casos de uso incluem: Uma companhia aérea líder global que usa agregações complexas para processar rapidamente dados de manutenção e operações, garantindo voos pontuais para seus milhares de clientes diários; Um grande fabricante de equipamentos de energia usa o Atlas Stream Processing para permitir o monitoramento contínuo de dados de bomba de alto volume para evitar interrupções e otimizar seus rendimentos; e Um provedor SaaS corporativo inovador que aproveita os recursos avançados de processamento do Atlas Stream Processing para fornecer alertas no produto oportunos e contextuais para melhorar o envolvimento com o produto. Estes são apenas alguns dos muitos exemplos de casos de uso do Atlas Stream Processing que observamos em diferentes indústrias. Além dos casos de uso que já vimos, os desenvolvedores estão compartilhando vários insights sobre as novidades que querem ter no Atlas Stream Processing algum dia. Além de permitir o processamento contínuo de dados em bancos de dados Atlas através de change streams, foi impactante ver os desenvolvedores usarem o Atlas Stream Processing com seus dados Kafka hospedados por parceiros importantes, como Confluent , Amazon MSK , Azure Event Hubs e Redpanda . Nosso objetivo com os recursos da plataforma de dados do desenvolvedor é sempre proporcionar uma melhor experiência com as principais tecnologias usadas no desenvolvimento. Quais são as novidades da pré-visualização pública? E agora vamos falar as novidades. Agora que temos mais equipes no projeto, fizemos o possível para adicionar os recursos mais solicitados na pré-visualização pública. Dos muitos comentários recebidos, surgiram três temas comuns: Refinamento da experiência do desenvolvedor; Expansão de recursos e funcionalidades avançadas; e Melhoria das operações e da segurança. Refinamento da experiência do desenvolvedor; Na pré-visualização privada, estabelecemos o alicerce da experiência do desenvolvedor para tornar o Atlas Stream Processing uma solução natural para equipes de desenvolvimento. E, na pré-visualização pública, resolvemos fortalecer ainda mais esse aspecto com duas melhorias: Integração com o VS Code O plug-in MongoDB VS Code adicionou suporte para conexão com instâncias de processamento de stream. Para desenvolvedores que já utilizam o plug-in, isso permite que as equipes criem e gerenciem processadores em um ambiente de desenvolvimento familiar. Assim, você perde menos tempo alternando entre ferramentas e fica com mais tempo para desenvolver seus aplicativos! Recursos aprimorados de Dead Letter Queue (DLQ) O suporte a DLQ é um elemento-chave para um processamento de stream potente e, na pré-visualização pública, estamos expandindo os recursos de DLQ no Atlas Stream Processing. As mensagens da Dead Letter Queue agora serão exibidas ao executar pipelines com sp.process() e ao executar .sample() nos processadores em execução, permitindo uma experiência de desenvolvimento mais simplificada que não exige a configuração de uma coleção-alvo para atuar como DLQ. Expansão de recursos e funcionalidades avançadas O Atlas Stream Processing já dava suporte a muitos dos principais operadores de agregação, com os quais os desenvolvedores estão familiarizados na API de consulta usada com dados em repouso, e agora tem recursos avançados de janelas e a capacidade de mesclar e emitir dados facilmente para o banco de dados Atlas ou para um tópico Kafka. A pré-visualização pública adicionará ainda mais funcionalidades exigidas pelas equipes mais avançadas que dependem do processamento em stream para proporcionar experiências ao cliente: $lookup Agora os desenvolvedores podem enriquecer documentos sendo processados em um processador de stream com dados de Clusters remotos do Atlas, realizando uniões em campos do documento e da collection de destino. Change streams pré e pós-imagens Muitos desenvolvedores utilizam o Atlas Stream Processing para processar continuamente dados nos bancos de dados do Atlas como uma fonte através de streams de mudança. Aprimoramos o change stream $source na pré-visualização pública com suporte para pré e pós-imagens. Isso permite casos de uso comuns em que os desenvolvedores precisam calcular deltas entre campos em documentos, bem como casos de uso que exigem acesso ao conteúdo completo de um documento excluído. Roteamento condicional com expressões dinâmicas em estágios de mesclagem e emissão O roteamento condicional permite aos desenvolvedores utilizar o valor dos campos em documentos sendo processados no Atlas Stream Processing para enviar mensagens específicas dinamicamente para diferentes collections do Atlas ou tópicos do Kafka. Os estágios $merge e $emit também agora suportam o uso de expressões dinâmicas. Isso torna possível usar a API de consulta para casos de uso que exigem a capacidade de encaminhar mensagens para diferentes collections ou tópicos conforme necessário. Tempo limite de stream ocioso Streams sem encaminhamento de marcas d'água devido à falta de dados de entrada agora podem ser configurados para serem fechados após um período emitindo os resultados das janelas. Isso pode ser fundamental para as fontes de streaming que têm streams inconsistentes de dados. Melhoria das operações e da segurança. Por fim, investimos fortemente nos últimos meses na melhoria de outros aspectos operacionais e de segurança do Atlas Stream Processing. Alguns dos destaques incluem: Ponto de verificação O Atlas Stream Processing agora executa pontos de controle para salvar o estado durante o processamento. Os processadores de streams são processos em execução contínua, então eles exigem um mecanismo de recuperação inteligente, seja devido a um problema de dados, seja devido a uma falha de infraestrutura. Os pontos de controle facilitam a retomada dos seus processadores de stream do ponto onde os dados pararam de ser coletados e processados. Suporte ao provedor Terraform O suporte para a criação de Conexões e Instâncias de Processamento de Stream (SPIs) agora está disponível com Terraform. Isso permite que a infraestrutura seja criada como código para implantações repetíveis. Funções de segurança O Atlas Stream Processing adicionou uma função de nível de projeto, dando aos usuários permissão necessária para executar suas tarefas de processamento de stream. Processadores de stream podem ser executados sob o contexto de uma função específica com uma configuração de privilégio mínimo. Suporte ao grupo de consumidores Kafka Os processadores de stream no Atlas Stream Processing agora usam grupos de consumidores Kafka para rastreamento de deslocamento. Isso permite que os usuários alterem com facilidade a posição do processador no stream para operações e monitorem sem esforço possíveis atrasos no processador. Uma nota final sobre as novidades é que, na pré-visualização pública, começaremos a implementar preços promocionais no Atlas Stream Processing até o lançamento geral. Para saber mais sobre os preços do Atlas Stream Processing, consulte a documentação. Crie seu primeiro processador de stream hoje A pré-visualização pública é um grande passo para nós. Expandimos a plataforma de dados do desenvolvedor e levamos a mais equipes uma solução de processamento de stream que simplifica a complexidade operacional da criação de aplicativos reativos, responsivos e orientados a eventos, ao mesmo tempo em que oferecemos uma experiência aprimorada ao desenvolvedor. Mal podemos esperar para ver suas criações! Faça login hoje mesmo para começar ou saber mais sobre o Atlas Stream Processing em nossa documentação , recursos , tutoriais ou Learning Byte na MongoDB University.

February 13, 2024

Next →

MongoDB Database Observability: Integrating with Monitoring Tools

This post is the final in a three-part series on leveraging database observability. Welcome back to our series on Leveraging Database Observability! Our previous post showcased a real-world use case highlighting how MongoDB Atlas’s observability tools effectively tackle database performance challenges. Whether you’re a developer, DBA, or DevOps engineer, our mission is to empower you to harness the full potential of your data through our observability suite . Integrating Atlas metrics with your central enterprise observability tools can simplify your operations. By seamlessly working with popular observability tools, our approach helps teams streamline workflows and enhance visibility across systems. Integrating MongoDB Atlas with third-party monitoring tools MongoDB’s developer data platform combines all essential data services for building modern applications within a unified experience. Our purpose-built observability tools for Atlas environments offer automatic monitoring and optimization, guiding diagnostics tailored specifically for MongoDB. Additionally, we extend Atlas metrics into your existing enterprise observability stack, enabling seamless integration without replacing your current tools. This creates a consolidated, single-pane view that unifies Atlas telemetry with other tech and application metrics, ensuring comprehensive visibility into both database and full-stack performance. This integration empowers you to monitor, receive alerts, and make data-driven decisions within your existing workflows, driving greater efficiency. Below is a quick guide to modifying integration settings through the Atlas UI and the popular integrations we support: Navigate to the Project Integrations page in Atlas. Choose the organization and project you want to configure from the navigation bar. On the Project Integrations page, select the third-party services you’d like to integrate. Configure the chosen services with the required API keys and regions. Critical integrations for your observability platform With Atlas’s Datadog and Prometheus integrations, you can send critical MongoDB metrics to these platforms, empowering detailed, real-time monitoring. Through Datadog , you can track database operation counts, query efficiency, and resource usage, ideal for pinpointing bottlenecks and managing resources. Similarly, Prometheus enables you to monitor essential metrics like query times, connection rates, and memory usage, supporting flexible tracking of database health and performance. Both integrations facilitate proactive detection of issues, alert configuration for resource thresholds, and a cohesive view of Atlas data when visualized in Grafana. Atlas’s integration with PagerDuty streamlines incident management by sending metrics like performance alerts, billing anomalies, and security events directly to PagerDuty. This integration records incidents automatically, notifies teams upon alerts, and supports two-way syncing, ensuring resolved alerts in Atlas are reflected in PagerDuty. It enables efficient incident response and resource allocation to maintain system stability. With Atlas integrations for Microsoft Teams and Slack, you can route key metrics—such as query latency, disk usage, and throughput—to these channels for timely updates. Teams can use these insights for real-time performance monitoring, incident response, and collaboration. Notifications through these platforms ensure your team stays informed on database performance, storage health, and user activity changes as they occur. Use case: Centralized observability with MongoDB Atlas, Datadog, and Slack Let’s walk through a hypothetical scenario for ShopSmart, an e-commerce company that leverages MongoDB Atlas to manage its product catalog and customer data. As traffic surges, the DevOps team faces challenges in monitoring application performance and database health effectively. To tackle these challenges, the team leverages MongoDB Atlas’ integration with Datadog and Slack, creating a powerful observability ecosystem. Integrating MongoDB Atlas with Datadog: The team pushes key MongoDB Atlas metrics into Datadog, such as query performance, connection counts, and Atlas Vector Search metrics. With Datadog, they can visualize these metrics and correlate overall MongoDB performance with their other applications. Out-of-the-box monitors and dedicated dashboards allow the team to track metrics like throughput, average read/write latency, and current connections. This visibility helps pinpoint bottlenecks in real time, ensuring optimal database performance and improving overall application responsiveness. Setting up alerts in Datadog: The team configures alerts for critical metrics like high query latency and increased error rates. When thresholds are breached, Datadog instantly notifies the team. This proactive approach allows the team to address potential performance issues before they impact customers. Integrating Datadog with Slack: To ensure fast communication, alerts are sent directly to the dedicated Slack channel, “ShopSmart-Alerts.” This integration fosters seamless collaboration, enabling the team to discuss and resolve issues in real-time. With these integrations, ShopSmart’s engineering team can monitor performance quickly and address issues efficiently. The unified observability approach enhances operational efficiency, improves the customer experience, and supports ShopSmart’s competitive edge in the e-commerce industry. By leveraging MongoDB Atlas, Datadog, and Slack, the team ensures scalable performance and drives continuous innovation. Conclusion MongoDB Atlas empowers developers and organizations to achieve unparalleled observability and control over their database environments. By seamlessly integrating with central enterprise observability tools, Atlas enhances your ability to monitor performance metrics and ensures you can do so within your existing workflows. This means you can focus on building modern applications confidently, knowing you have the insights and alerts necessary to maintain optimal performance. Embrace the power of MongoDB Atlas and transform your approach to database management—because your applications can thrive when your data is observable. And that wraps up our Leveraging Database Observability series! We hope you learned something new and found value in these discussions. Sign up for MongoDB Atlas , our cloud database service, to see database observability in action. To dive deeper and expand your knowledge, check out this learning byte for more insights on the MongoDB observability suite and how it can enhance your database performance.

November 14, 2024