100 dias de IA, dia 18: desenvolvendo um RAG usando o kernel semântico da Microsoft

A geração aumentada de recuperação (RAG) é uma das aplicações mais comuns que está sendo desenvolvida usando diferentes LLMs. Já exploramos anteriormente como desenvolver um RAG usando langchain . Neste post iremos criar um RAG utilizando o Kernel Semântico da Microsoft .

Para acompanhar, você precisará da API Open AI.

Etapa 1: inicializar o kernel semântico

A primeira etapa é inicializar o kernel semântico e dizer ao kernel que queremos usar a conclusão de bate-papo do Open AI e o modelo de incorporação do Open AI que usaremos mais tarde para criar embeddings. Também diremos ao kernel que queremos usar um armazenamento de memória que será o Chroma DB no nosso caso. Observe que também estamos instruindo o Kernel que esse armazenamento de memória precisa ser persistente.

 kernel = sk.Kernel() kernel.add_text_completion_service("openai", OpenAIChatCompletion("gpt-4",api_key)) kernel.add_text_embedding_generation_service("openai-embedding", OpenAITextEmbedding("text-embedding-ada-002", api_key)) # chrome db kernel.register_memory_store(memory_store=ChromaMemoryStore(persist_directory='mymemories2')) print("Made two new services attached to the kernel and made a Chroma memory store that's persistent.")

Passo 2 – Criar Incorporações

Neste exemplo, estamos criando um RAG que pode responder perguntas sobre uma análise SWOT que criamos para uma pizzaria. Então, para fazer isso, pegamos a análise SWOT e obtemos os embeddings para eles e armazenamos os embeddings correspondentes em uma coleção chamada “SWOT” no armazenamento de dados persistente que criamos na última etapa.

 strength_questions = ["What unique recipes or ingredients does the pizza shop use?","What are the skills and experience of the staff?","Does the pizza shop have a strong reputation in the local area?","Are there any unique features of the shop or its location that attract customers?", "Does the pizza shop have a strong reputation in the local area?", "Are there any unique features of the shop or its location that attract customers?"] weakness_questions = ["What are the operational challenges of the pizza shop? (eg, slow service, high staff turnover)","Are there financial constraints that limit growth or improvements?","Are there any gaps in the product offering?","Are there customer complaints or negative reviews that need to be addressed?"] opportunities_questions = ["Is there potential for new products or services (eg, catering, delivery)?","Are there under-served customer segments or market areas?","Can new technologies or systems enhance the business operations?","Are there partnerships or local events that can be leveraged for marketing?"] threats_questions = ["Who are the major competitors and what are they offering?","Are there potential negative impacts due to changes in the local area (eg, construction, closure of nearby businesses)?","Are there economic or industry trends that could impact the business negatively (eg, increased ingredient costs)?","Is there any risk due to changes in regulations or legislation (eg, health and safety, employment)?"] strengths = [ "Unique garlic pizza recipe that wins top awards","Owner trained in Sicily at some of the best pizzerias","Strong local reputation","Prime location on university campus" ] weaknesses = [ "High staff turnover","Floods in the area damaged the seating areas that are in need of repair","Absence of popular calzones from menu","Negative reviews from younger demographic for lack of hip ingredients" ] opportunities = [ "Untapped catering potential","Growing local tech startup community","Unexplored online presence and order capabilities","Upcoming annual food fair" ] threats = [ "Competition from cheaper pizza businesses nearby","There's nearby street construction that will impact foot traffic","Rising cost of cheese will increase the cost of pizzas","No immediate local regulatory changes but it's election season" ] print("✅ SWOT analysis for the pizza shop is resident in native memory") memoryCollectionName = "SWOT" # lets put these in memory / vector store async def run_storeinmemory_async(): for i in range(len(strengths)): await kernel.memory.save_information_async(memoryCollectionName, id=f"strength-{i}", text=f"Internal business strength (S in SWOT) that makes customers happy and satisfied Q&A: Q: {strength_questions[i]} A: {strengths[i]}") for i in range(len(weaknesses)): await kernel.memory.save_information_async(memoryCollectionName, id=f"weakness-{i}", text=f"Internal business weakness (W in SWOT) that makes customers unhappy and dissatisfied Q&A: Q: {weakness_questions[i]} A: {weaknesses[i]}") for i in range(len(opportunities)): await kernel.memory.save_information_async(memoryCollectionName, id=f"opportunity-{i}", text=f"External opportunity (O in SWOT) for the business to gain entirely new customers Q&A: Q: {opportunities_questions[i]} A: {opportunities[i]}") for i in range(len(threats)): await kernel.memory.save_information_async(memoryCollectionName, id=f"threat-{i}", text=f"External threat (T in SWOT) to the business that impacts its survival Q&A: Q: {threats_questions[i]} A: {threats[i]}") asyncio.run(run_storeinmemory_async()) print("😶‍🌫️ Embeddings for SWOT have been generated and stored in vector db")

Passo 3 – Faça sua pergunta

Agora que temos a incorporação de nossos dados armazenados no armazenamento de vetores do Chrome, podemos fazer perguntas relacionadas ao negócio de pizza e obter uma resposta.

 #ask questions on swot potential_question = "What are the easiest ways to make more money?" counter = 0 async def run_askquestions_async(): memories = await kernel.memory.search_async(memoryCollectionName, potential_question, limit=5, min_relevance_score=0.5) display(f"### ❓ Potential question: {potential_question}") for memory in memories: if counter == 0: related_memory = memory.text counter += 1 print(f" > 🧲 Similarity result {counter}:\n >> ID: {memory.id}\n Text: {memory.text} Relevance: {memory.relevance}\n") asyncio.run(run_askquestions_async())

Esta é uma versão bastante simplificada de como um RAG pode ser criado usando o Kernel Semântico. A escolha de estrutura mais popular para construir agora usando LLMs é langchain e já vimos como construir um RAG usando langchain. Embora Langchain seja mais popular à medida que vemos cada vez mais empresas construindo ferramentas, haverá ferramentas mais sofisticadas por aí e descobri que o Kernel Semântico tem alguns recursos especiais que o fazem se destacar.

É isso no dia 18 de 100 dias de IA.

Escrevo um boletim informativo chamado Above Average, onde falo sobre os insights de segunda ordem por trás de tudo o que está acontecendo nas grandes tecnologias. Se você trabalha com tecnologia e não quer ser mediano, inscreva-se .

Siga-me no Twitter , LinkedIn ou HackerNoon para obter as atualizações mais recentes sobre 100 dias de IA ou adicione esta página aos favoritos . Se você trabalha com tecnologia, pode estar interessado em ingressar na minha comunidade de profissionais de tecnologia aqui .