paint-brush
现在让 ChatGPT 处理您的客户支持还为时过早经过@lucamicheli
1,552 讀數
1,552 讀數

现在让 ChatGPT 处理您的客户支持还为时过早

经过 Luca Micheli6m2023/03/30
Read on Terminal Reader

太長; 讀書

如果您正在寻找一种完全自动化客户服务工作的方法,请坚持使用我,因为我将与您分享我们如何训练 ChatGPT 自动回复我们的客户。
featured image - 现在让 ChatGPT 处理您的客户支持还为时过早
Luca Micheli HackerNoon profile picture

如果您正在寻找一种完全自动化客户服务工作的方法,请坚持使用我,因为我将与您分享我们如何训练 ChatGPT 自动回复我们的客户。


让我们开始吧!

如何训练 ChatGPT 回复您的客户服务?

首先,我们需要一个真实来源来教 ChatGPT 如何回答用户问题,所以我们考虑了两种方法:


  • 使用知识库

  • 在我们的支持下使用对话


第一个是最可靠的事实来源,第二个可能非常具体,必须更好地组织起来,为 ChatGPT 提供实际和有用的上下文。


我们的第一个尝试是将所有知识库文章提取到一个索引中,然后使用该索引找到答案。


我们使用的 Python 代码非常简单。


它有两个功能,一个是将知识库(从CSV文件)添加到索引中,第二个是从本地json加载索引并提出问题。


它使用OpenAI API带有 CSV 导入器的 llama 索引来创建索引。


 from llama_index import GPTSimpleVectorIndex, download_loader from langchain.agents import initialize_agent, Tool from langchain.llms import OpenAI import openai from pathlib import Path def addKB(): SimpleCSVReader = download_loader("SimpleCSVReader") loader = SimpleCSVReader() documents = loader.load_data(file=Path('./kb.csv')) index = GPTSimpleVectorIndex(documents) index.save_to_disk('index.json') def query(question): index = GPTSimpleVectorIndex.load_from_disk('index.json') response = index.query(question) print(response)


首先,我们运行 addKB() 来读取 CSV 文件,然后我们开始使用查询来查看它是否准备好回复客户服务。

ChatGPT 准备好处理客户服务了吗?

让我们开始检查 ChatGPT 在真实案例中对人类的表现如何。


在 Customerly,我们为 B2B SaaS 提供客户支持、营销自动化和客户满意度工具。


为客户找到正确的答案可能很棘手,所以我很好奇这将如何转化为我们。

#1 问题:产品相关


问:如何发送电子邮件?


现在有人会要求澄清,因为用户可能想要发送不同类型的电子邮件,这可能是电子邮件营销活动、自动邮件或 one2one。


在这种情况下,chatGPT 抓住机会回答了如何向其客户发送聊天记录。


完全没用。客户会对这个答复不满意。


CSAT☆☆☆☆☆


#2 问题:技术信息

问:如何将聊天图标从某些像素的边框移开?


为了这篇文章,我需要这段代码,所以我问 ChatGPT 如何将聊天图标从一些像素的边框上移开,得到的回复很搞笑。


我们有一段代码,您可以将其添加到您的聊天实现中,以将其从页面边框移开。这不是我期待的答案🤣🤌


CSAT☆☆☆☆☆


#3 问题:定价

问:Customerly 有 9 个队友要花多少钱?


这是一个售前问题,因此关键是不要将可能的客户赶走并报告不准确的信息。


而这一次,是对的!


此交互的成本是 4310 个 LLM 令牌和 12 个嵌入令牌。


CSAT⭐️⭐️⭐️⭐️⭐️


#4 问题:可能是什么问题?

这是一个真实的用户报告了 Customerly 的问题,我很好奇它会如何回应。


这是客户寻求特定帮助的最坏情况。


这是用户问的:


问:“我试图从用户的个人资料页面向公司添加新属性。当我添加它并单击“创建属性”时,没有任何反应。首先,我假设问题是由一个已经存在的同名属性引起的(我在“设置”>“受众”>“公司属性”区域中创建了它)。尽管如此,在用户区再次创建它之前,我使用了可用的搜索功能,但找不到我之前创建的那个。可能是什么问题呢? 🤔”


回复有点相关,然后完全无关。


它根本没有解决客户的问题,并且给出了混合的答复,提到财产的状态(在良好的轨道上),然后提到文章的状态(完全偏离轨道)。


CSAT☆☆☆☆☆


#5 问题:定价常见问题解答


问:什么是互动?


这可能是一个与我们基于交互的定价模型相关的问题,并且很容易回答。


干得好,ChatGPT。


此交互的成本 3701 个 LLM 令牌和 4 个嵌入令牌。


CSAT⭐️⭐️⭐️⭐️⭐️



#6 问题:实际的售前问题!

这是我们从领导那里收到的一个问题,它非常详细,我想知道它如何回答。


问:嘿!我想知道你是否可以给我一个粗略的估价。我们的用例:

– 42 名特工

– 产品导览

– 聊天机器人

– 帮助中心,为用户和访客提供 200 多篇文章

– 每月达到的人数:11k+


如果没有大的销售电话,我需要一个粗略的参考来进行比较;)”


它选择了正确的企业计划,但没有计算超过 27 个代理人的额外费用;它只是与包含的代理商分担了 249 美元的费用。


很好,但绝对不是正确答案。


CSAT⭐️⭐️☆☆☆


#7 问题:入职问题

用户想与他们的客户共享链接以进行聊天。


答案是完全不相关的,应该建议转到项目设置,然后是常规设置。


同样,它是混合的东西,并向客户提供了错误的信息。


CSAT ☆☆ ☆☆☆



#8 问题:超出范围的功能

是时候看看它如何回答超出范围的售前问题了。


这是真正的问题,是的,有错别字🤪


我正在寻找可以与我的新约会/内容共享网站一起使用的插件。仅限登录用户,这仅显示为帮助聊天


我不会这样回答,但它足够准确。


CSAT⭐️⭐️⭐️ ☆☆



#9 问题:多个问题和不同的选择


问:您好,我已经配置了聊天服务并且运行良好,是否有桌面通知选项或其他形式?是否只能通过网站上的收件箱聊天?


与通知相关的第一个答案很好,但后来它发明了声音的定制??


第二个问题得到了很好的回答,但随后它开始添加以某种方式无关的预定消息。


此交互的成本为 4322 个 LLM 令牌和 37 个嵌入令牌。


CSAT⭐️⭐️⭐️⭐️

结论

考虑到索引嵌入和九个查询,此过程的 OpenAI API 成本为 1.79 美元。自动处理所有这些工单绝对是一个很好的成本。


但是你在这里交易什么?客户满意度。


当以这种方式回答预售问题时,您可能每年损失数千美元。当顾客按照你的错误指示去做时,你认为他们会有什么感受?


你浪费了他们的时间。他们几乎失去了满足感,现在他们正在考虑与您的竞争对手合作。


我们相信 ChatGPT 将塑造客户支持的未来,但我们还远未让它为您处理所有支持查询。


在接下来的几周内,我们将尝试根据客户查询和座席回复来训练一个复杂的模型,看看它是否会提高性能。


您会让 ChatGPT 以一小部分费用回答您的客户服务吗?让我知道!


Twitter @ilucamicheli上用你的想法标记我。


待续…


也发布在这里