Vector Search 및 전용 검색 노드: 현재 일반 공개

Elliott Gluck
December 4, 2023 | Updated: February 2, 2024

드디어 Atlas Vector Search와 검색 노드의 일반 공개(GA) 릴리스를 통해 Atlas 플랫폼의 가치를 업그레이드하는 다음 단계를 준비할 수 있게 되어 기쁘게 생각합니다.

공개 프리뷰에서 Atlas Vector Search와 Search Nodes가 포함된 전용 인프라를 발표한 이후, 벡터에 최적화된 검색 노드를 사용한 추가 워크로드에 대한 기대와 수요가 계속되고 있습니다. 이 새로운 수준의 확장성과 성능 덕분에 워크로드를 격리하고 벡터 검색 사용 사례에 대한 리소스를 보다 잘 최적화할 수 있습니다.

Atlas Vector Search를 사용하면 개발자는 모든 데이터 유형에 대해 시맨틱 검색 및 생성형 AI를 기반으로 하는 지능형 애플리케이션을 구축할 수 있습니다. Atlas Vector Search는 사용자가 무엇을 찾고 있는지 모르는 경우에도 관련성 높은 결과를 제공하는 문제를 해결하고, 머신 러닝 모델을 사용하여 거의 모든 유형의 데이터에 대해 유사한 결과를 찾아냅니다. Retool의 AI 현황 보고서에 따르면 Atlas Vector Search는 공개 프리뷰 버전이 발표된 지 불과 5개월 만에 이미 가장 높은 개발자 순 추천지수(NPS)를 받았으며, 다른 사람에게 솔루션을 추천할 가능성을 측정하는 지표로 두 번째로 널리 사용되는 벡터 데이터베이스가 되었습니다.

MongoDB로 AI 기반 앱을 구축하는 방법에 대해 자세히 알아보려면 AI 리소스 페이지를 참조하세요.

차세대 애플리케이션을 구축하기 위해 Atlas Vector Search를 사용하는 두 가지 주요 사용 사례가 있습니다.

  1. 시맨틱 검색: 의미 유사성을 기반으로 비정형 데이터에서 관련 결과를 검색 및 찾기

  2. 검색 증강 생성(RAG): 자체 실시간 데이터 피드를 통해 LLM의 놀라운 추론 기능을 강화하여 비즈니스의 특정 요구에 맞게 맞춤화된 GenAI 앱 구축

Atlas Vector Search는 정형 또는 비정형 데이터에 관계없이 데이터의 잠재력을 최대한 활용하여 AI 및 LLM의 인기도와 사용량 증가를 통해 중요한 비즈니스 과제를 해결합니다. 이는 Vector Search가 유연한 문서 데이터 모델과 일관된 단일 경험을 제공하는 통합 API로 시작되는 MongoDB Atlas 개발자 데이터 플랫폼의 일부이기 때문에 가능합니다. Atlas Vector Search에서 최대한의 가치를 실현할 수 있도록 지원하기 위해, 개발자가 선호하는 LLM 또는 프레임워크로 빌드할 수 있도록 견고한 AI 통합 에코시스템을 구축했습니다.

Atlas Vector Search에 대해 자세히 알아보려면 짧은 비디오를 시청하거나 튜토리얼을 확인해보세요.

Atlas Vector Search는 새로운 검색 노드 전용 아키텍처를 활용하므로 특정 워크로드 요구사항에 적합한 수준의 리소스를 보다 잘 최적화할 수 있습니다. 검색 노드는 Atlas Search 및 Vector Search 워크로드를 위한 전용 인프라를 제공하여 컴퓨팅 리소스를 최적화하고 데이터베이스와는 별개로 검색 요구 사항을 완전히 확장할 수 있습니다. 검색 노드는 향상된 성능을 대규모로 제공하여 워크로드 격리, 더 높은 가용성, 리소스 사용을 보다 잘 최적화하는 기능을 제공합니다. 검색 노드의 동시 쿼리를 활용하여 일부 사용자의 워크로드에 대한 쿼리 시간이 60% 더 빨라진 경우도 있었습니다.

공개 프리뷰 버전에서 제공했던 연산량이 많은 검색 노드 외에도, 이번 GA 릴리스에는 프로덕션 환경에서 Vector Search에 가장 적합한 메모리 최적화된 낮은 CPU 옵션이 포함되어 있습니다. 따라서 리소스 경합이나 그로 인한 서비스 중단 가능성(이전에는 데이터베이스와 검색이 동일한 인프라를 공유했기 때문에 발생)은 이제 과거의 일이 되었습니다.

"우리는 이것을 Atlas Search와 Vector Search 모두에 대한 아키텍처의 차세대 발전으로 보고 MongoDB 개발자 데이터 플랫폼이 제공하는 가치를 더욱 향상시킵니다. 현재 검색 노드는 AWS 단일 리전 클러스터에서 사용할 수 있으며(Google Cloud 및 Azure는 곧 제공 예정), 고객은 Google Cloud 및 Microsoft Azure의 공유 인프라를 계속 사용할 수 있습니다."

검색 노드를 활성화하는 방법에 대한 단계를 보려면 초기 발표 블로그 게시물을 읽어보거나 튜토리얼을 확인해보세요.

이 두 기능 모두 현재 프로덕션 환경에서 사용할 수 있습니다. 여러분이 어떤 제품을 만들지 정말 기대됩니다. 궁금한 점이 있으면 문의해 주세요.

Both of these features are available today for production usage. We can’t wait to see what you build, and please reach out to us with any questions.

← Previous

Vector Search e nodi di ricerca vettoriale dedicati: ora in General Availability

Siamo entusiasti di compiere un ulteriore passo avanti nel potenziare ulteriormente la piattaforma Atlas con il rilascio (GA) sia di Atlas Vector Search che di Search Nodes. Da quando abbiamo annunciato Atlas Vector Search e l'infrastruttura dedicata con Search Nodes in public preview, abbiamo riscontrato un costante interesse e una richiesta di carichi di lavoro aggiuntivi che utilizzano nodi di ricerca ottimizzati per vettori. Questo nuovo livello di scalabilità e prestazioni garantisce l'isolamento del carico di lavoro e la capacità di ottimizzare meglio le risorse per i casi d'uso della ricerca vettoriale. Atlas Vector Search consente agli sviluppatori di creare applicazioni intelligenti basate sulla ricerca semantica e sull'AI generativa su qualsiasi tipo di dati. Atlas Vector Search risolve la sfida di fornire risultati pertinenti anche quando gli utenti non sanno cosa stanno cercando e utilizza modelli di apprendimento automatico per trovare risultati simili per quasi tutti i tipi di dati. A soli cinque mesi dall'annuncio della public preview, Atlas Vector Search ha già ricevuto il più alto net promoter score (NPS) degli sviluppatori - una misura della probabilità che qualcuno raccomandi una soluzione a qualcun altro - ed è il secondo database vettoriale più utilizzato, secondo il rapporto State of AI di Retool . Consulta la nostra pagina delle risorse sull'intelligenza artificiale per saperne di più sulla creazione di app basate sull'intelligenza artificiale con MongoDB. Due sono gli use case per la creazione di applicazioni di nuova generazione con Atlas Vector Search: Ricerca semantica: ricerca di risultati rilevanti da dati non strutturati in base alla somiglianza semantica Retrieval augmented generation (RAG): aumenta le incredibili capacità dei LLM con feed di dati personali in tempo reale per creare app GenAI personalizzate in base alle esigenze della tua azienda. Atlas Vector Search sblocca tutto il potenziale dei tuoi dati, sia strutturati che non strutturati, sfruttando l'aumento della popolarità e dell'utilizzo dell'intelligenza artificiale e LLM per risolvere le problematiche aziendali più critiche. Questo è possibile perché Vector Search fa parte della developer data platform MongoDB Atlas, che inizia con il nostro data model doc flessibile e l'API unificata che offre un'esperienza coerente. Per assicurarti di ottenere il massimo valore da Atlas Vector Search, abbiamo coltivato un solido ecosistema di integrazioni con l'intelligenza artificiale, che consente agli sviluppatori di utilizzare i loro LLM o framework preferiti. Per saperne di più su Atlas Vector Search, guarda questo breve video o passa direttamente al tutorial . Atlas Vector Search sfrutta anche la nostra nuova architettura di Search Nodes dedicata, che consente una migliore ottimizzazione del giusto livello di risorse per le esigenze di carichi di lavoro specifici. I nodi di ricerca forniscono un'infrastruttura dedicata ai carichi di lavoro di Atlas Search e Vector Search , consentendo di ottimizzare le risorse di calcolo e di scalare completamente le esigenze di ricerca indipendentemente dal database. I nodi di ricerca offrono migliori prestazioni su scala, garantendo l'isolamento dei carichi di lavoro, una maggiore disponibilità e la possibilità di ottimizzare l'uso delle risorse. In alcuni casi abbiamo riscontrato tempi di query più rapidi del 60% per i carichi di lavoro di alcuni utenti, grazie alla query simultanea nei nodi di ricerca. Oltre ai nodi di ricerca più pesanti dal punto di vista del calcolo che abbiamo fornito in public preview, questa release GA include un'opzione ottimizzata per la memoria a bassa CPU che è ottimale per vector Search in produzione. In questo modo la contesa delle risorse e la possibilità di un'interruzione del servizio (dovuta al fatto che il database e la ricerca condividono la stessa infrastruttura) non sono più un problema. "Riteniamo che questa sia la prossima evoluzione della nostra architettura sia per Atlas Search che per Vector Search, e che aumenti il valore offerto dalla developer data platform MongoDB. Al momento i nodi di ricerca sono disponibili su cluster AWS a singola regione (con Google Cloud e Azure in arrivo), mentre i clienti possono continuare a utilizzare l'infrastruttura condivisa di Google Cloud e Microsoft Azure." Leggi il nostro blog post per scoprire come attivare i nodi di ricerca oggi stesso, oppure passa direttamente al tutorial . Entrambe le funzionalità sono disponibili da oggi per l'uso in produzione. Siamo ansiosi di ammirare le tue creazioni e ti invitiamo a contattarci per qualsiasi domanda.

December 4, 2023
Next →

AI-Powered Call Centers: A New Era of Customer Service

Customer satisfaction is critical for insurance companies. Studies have shown that companies with superior customer experiences consistently outperform their peers. In fact, McKinsey found that life and property/casualty insurers with superior customer experiences saw a significant 20% and 65% increase in Total Shareholder Return , respectively, over five years. A satisfied customer is a loyal customer. They are 80% more likely to renew their policies, directly contributing to sustainable growth. However, one major challenge faced by many insurance companies is the inefficiency of their call centers. Agents often struggle to quickly locate and deliver accurate information to customers, leading to frustration and dissatisfaction. This article explores how Dataworkz and MongoDB can transform call center operations. By converting call recordings into searchable vectors (numerical representations of data points in a multi-dimensional space), businesses can quickly access relevant information and improve customer service. We'll dig into how the integration of Amazon Transcribe, Cohere, and MongoDB Atlas Vector Search—as well as Dataworkz's RAG-as-a-service platform— is achieving this transformation. From call recordings to vectors: A data-driven approach Customer service interactions are goldmines of valuable insights. By analyzing call recordings, we can identify successful resolution strategies and uncover frequently asked questions. In turn, by making this information—which is often buried in audio files— accessible to agents, they can give customers faster and more accurate assistance. However, the vast volume and unstructured nature of these audio files make it challenging to extract actionable information efficiently. To address this challenge, we propose a pipeline that leverages AI and analytics to transform raw audio recordings into vectors as shown in Figure 1: Storage of raw audio files: Past call recordings are stored in their original audio format Processing of the audio files with AI and analytics services (such as Amazon Transcribe Call Analytics ): speech-to-text conversion, summarization of content, and vectorization Storage of vectors and metadata: The generated vectors and associated metadata (e.g., call timestamps, agent information) are stored in an operational data store Figure 1: Customer service call insight extraction and vectorization flow Once the data is stored in vector format within the operational data store, it becomes accessible for real-time applications. This data can be consumed directly through vector search or integrated into a retrieval-augmented generation (RAG) architecture, a technique that combines the capabilities of large language models (LLMs) with external knowledge sources to generate more accurate and informative outputs. Introducing Dataworkz: Simplifying RAG implementation Building RAG pipelines can be cumbersome and time-consuming for developers who must learn yet another stack of technologies. Especially in this initial phase, where companies want to experiment and move fast, it is essential to leverage tools that allow us to abstract complexity and don’t require deep knowledge of each component in order to experiment with and realize the benefits of RAG quickly. Dataworkz offers a powerful and composable RAG-as-a-service platform that streamlines the process of building RAG applications for enterprises. To operationalize RAG effectively, organizations need to master five key capabilities: ETL for LLMs: Dataworkz connects with diverse data sources and formats, transforming the data to make it ready for consumption by generative AI applications. Indexing: The platform breaks down data into smaller chunks and creates embeddings that capture semantics, storing them in a vector database. Retrieval: Dataworkz ensures the retrieval of accurate information in response to user queries, a critical part of the RAG process. Synthesis: The retrieved information is then used to build the context for a foundational model, generating responses grounded in reality. Monitoring: With many moving parts in the RAG system, Dataworkz provides robust monitoring capabilities essential for production use cases. Dataworkz's intuitive point-and-click interface (as seen in Video 1) simplifies RAG implementation, allowing enterprises to quickly operationalize AI applications. The platform offers flexibility and choice in data connectors, embedding models, vector stores, and language models. Additionally, tools like A/B testing ensure the quality and reliability of generated responses. This combination of ease of use, optionality, and quality assurance is a key tenet of Dataworkz's "RAG as a Service" offering. Diving deeper: System architecture and functionalities Now that we’ve looked at the components of the pre-processing pipeline, let’s explore the proposed real-time system architecture in detail. It comprises the following modules and functions (see Figure 2): Amazon Transcribe , which receives the audio coming from the customer’s phone and converts it into text. Cohere ’s embedding model, served through Amazon Bedrock , vectorizes the text coming from Transcribe. MongoDB Atlas Vector Search receives the query vector and returns a document that contains the most semantically similar FAQ in the database. Figure 2: System architecture and modules Here are a couple of FAQs we used for the demo: Q: “Can you explain the different types of coverage available for my home insurance?” A: “Home insurance typically includes coverage for the structure of your home, your personal belongings, liability protection, and additional living expenses in case you need to temporarily relocate. I can provide more detailed information on each type if you'd like.” Q: “What is the process for adding a new driver to my auto insurance policy?" A: “To add a new driver to your auto insurance policy, I'll need some details about the driver, such as their name, date of birth, and driver's license number. We can add them to your policy over the phone, or you can do it through our online portal.” Note that the question is reported just for reference, and it’s not used for retrieval. The actual question is provided by the user through the voice interface and then matched in real-time with the answers in the database using Vector Search. This information is finally presented to the customer service operator in text form (see Fig. 3). The proposed architecture is simple but very powerful, easy to implement, and effective. Moreover, it can serve as a foundation for more advanced use cases that require complex interactions, such as agentic workflows , and iterative and multi-step processes that combine LLMs and hybrid search to complete sophisticated tasks. Figure 3: App interface, displaying what has been asked by the customer (left) and how the information is presented to the customer service operator (right) This solution not only impacts human operator workflows but can also underpin chatbots and voicebots, enabling them to provide more relevant and contextual customer responses. Building a better future for customer service By seamlessly integrating analytical and operational data streams, insurance companies can significantly enhance both operational efficiency and customer satisfaction. Our system empowers businesses to optimize staffing, accelerate inquiry resolution, and deliver superior customer service through data-driven, real-time insights. To embark on your own customer service transformation, explore our GitHub repository and take advantage of the Dataworkz free tier .

November 27, 2024