paint-brush
我如何赚到 100 万美元并将其用于创建 AI 翻译器经过@alexeir
487 讀數
487 讀數

我如何赚到 100 万美元并将其用于创建 AI 翻译器

经过 Aliaksei Rudak2022/06/22
Read on Terminal Reader
Read this story w/o Javascript

太長; 讀書

我个人的故事是,一个人在移动应用上赚了 1000000 美元,然后用它来创建一个基于 AI 的新机器翻译系统。用少量资源创建复杂的深度技术产品的漫长而艰难的道路。

Companies Mentioned

Mention Thumbnail
Mention Thumbnail
featured image - 我如何赚到 100 万美元并将其用于创建 AI 翻译器
Aliaksei Rudak HackerNoon profile picture

这一切是如何开始的

10 年前,我是一名软件工程师,后来辞掉了这份工作,开始了自己的项目。为了省点额外的钱,我去了一个小家乡,在那里我曾经在一个学生网站上工作,会计软件和手机游戏同时工作。没有商业经验会导致一些创收问题,因此所有项目都必须关闭。我又回到首都找工作了。这个故事重复了几次。


当我再次破产时,我面临着一场全面的经济危机。我找不到工作,感觉很糟糕。用清醒的眼光看世界是一个很好的理由。我不得不诚实地承认,我不知道为我的业务选择什么利基市场。做你喜欢的项目似乎是一种无处可去的方式。


我唯一能做的就是创建移动应用程序。在科技公司的几年工作让我获得了一些有用的经验,所以我决定制作完全不同的应用程序(游戏、音乐、艺术、健康、生活方式、语言)并测试市场需求。准备好的资产集和代码库可以简单地创建各种主题的应用程序:2d 游戏、GPS 跟踪器、简单的实用程序等。其中大多数有几张图片、2 个按钮和一个功能。但这足以测试这个想法和货币化模型。例如,一个正在运行的应用程序会跟踪人的速度、距离和燃烧的卡路里。而已。购买股票图形和源代码重用帮助我在 2 年内创建了数百个简单的应用程序。


起初,这些应用程序是免费的。然后我添加了广告和应用内购买,并选择了关键词和明亮的图标。用户开始下载我的应用程序。一些应用的利润不同:翻译、卡车导航、音乐模拟器(钢琴、鼓、吉他和弦、演奏者),以及简单的休闲游戏。


然后我注意到,在短短一个月内,翻译者的下载量就超过了 100 万次,在排名类别中排名第 100 位。世界上有数百种语言,人们为每种语言输入一个查询。事实证明,这个利基市场很有希望。

后来使用 Google API 创建了大约 40 个简单的翻译器。每 100 万个字符花了我 20 美元。然后出现了改进版的应用程序,其中包括广告、应用内购买和语音翻译。


我赚了足够的钱搬到大城市买房子。到那时,我总共有 50-70 个翻译应用程序和 500 万次下载。用户增长增加了付费 Google Translate API 的成本。因此企业盈利能力严重下降。付费用户一次翻译 1K 个字符的块,这迫使我们限制他们的请求。当他们面临这个翻译限制时,他们留下了差评并获得了退款。 70%的收入支付了我们的开支。由于翻译量很大,这项业务前景不佳。为了弥补费用,有必要在应用程序中添加广告;这总是让用户感到害怕。这就是为什么我们需要我们的 API 进行翻译。


除了谷歌,还有几家公司提供云 API 进行翻译。我准备为他们的 40 种语言的技术许可证支付 3 万美元,以便在本地部署。这将允许我以固定价格无限次翻译,并在我的服务器上为任意数量的用户提供服务。但作为回应,我得到的金额比预期的要高几倍。它太贵了。我决定重新创造他们的翻译技术。


我求助于拥有一家外包公司的朋友。 2016年底,他给我分配了一个团队。我希望在外包的基础上在六个月内解决问题,而不是依赖谷歌的 API。


在去我的翻译的路上

工作已经开始。 2016 年,我们发现了几个开源项目——Apertium、Joshua 和 Moses。这是一种适用于简单文本的统计机器翻译。有 3 到 40 人支持这些项目。后来很明显,我们需要强大的服务器和昂贵的高质量数据集。即使我们为其中一个翻译对在硬件和质量数据集上花钱后,质量仍有很多不足之处。



从技术上讲,它并没有归结为“下载数据集并训练”方案来创建翻译器。事实证明,有一百万个我们甚至没有意识到的细微差别。我们尝试了更多资源,但没有取得好的结果。尽管如此,工作仍在继续,自由职业者加入了公司。


2017 年 3 月,我们发现了一个名为 OpenNMT 的开源项目。该项目刚刚启动并提供基于新技术——神经网络的翻译。


因此,OpenNMT 做出了一个大胆的举动:他们分享了他们在开源方面的发展,以便像我这样的爱好者可以参与这项工作。他们创建了一个论坛,他们的专家开始免费帮助新人。也带来了不错的回报:创业公司和翻译方面的科学作品开始出现,因为每个人都可以在此基础上进行实验。


即使每个人都有处理大型数据集的计算能力,寻找 NLP(自然语言处理)专家的问题在市场上也很尖锐。在 2017 年,这个话题的发展远没有图像和视频处理那么发达。更少的数据集、科学论文、专家、框架等。能够从 NLP 研究论文中建立业务并关闭任何本地利基市场的人就更少了。像谷歌这样的顶级公司和较小的公司都需要在同类公司中获得竞争优势。


这可能看起来很奇怪,但为了竞争,他们决定在市场上增加新的参与者。为了让他们出现在那里——你需要让市场变得有吸引力。进入门槛仍然很高,对语言处理技术(语音助手、聊天机器人、翻译、语音识别、分析等)的需求增长很快最大的增长。他们乐于收购 NLP 初创公司来巩固自己的地位。


毕竟,即使你掌握了所有的数据集和算法——这并不意味着你会成为一个高质量的翻译器或另一个 NLP 领域的初创公司。即使你这样做了,也远不是你获得了一大块市场蛋糕的事实。因此,您需要帮助,如果有人成功,请购买或合并。


为了快速处理翻译实验并停止从控制台运行测试,我们创建了一个仪表板,让我们能够完成所有任务,从准备和过滤数据到部署翻译测试。在下图中:右侧是正在训练模型的任务和 GPU 服务器列表。中间是神经网络的参数,下面是用于训练的数据集。


继续工作

2018 年,我花时间解决欧洲主要语言的高质量翻译问题。我以为我还需要六个月的时间才能解决所有问题。我的资源有限,只有少数人参与数据科学任务。有必要快速行动。似乎问题的解决方案很简单。我对翻译质量不满意。


我注意到我们的社区开始讨论一种新的神经网络架构——Transformer。大家都争先恐后地基于这个 Transformer 模型训练神经网络,并开始改用 Python(Tensorflow)而不是旧的 Lua(Torch)。我也决定试试。


我们还采用了新的分词器,对文本进行了预处理,并开始以不同的方式过滤和标记数据,否则在翻译后处理文本以纠正错误。 10K 小时的规则奏效了:实现目标的步骤很多,并且在某个时候,我意识到翻译质量已经足以在 API 中用于我的应用程序。每次更改都增加了 2-4% 的质量,这对于人们继续使用产品而不是使用竞争对手的解决方案的临界质量来说是不够的。


然后我们开始连接各种工具,使我们能够进一步提高翻译质量:命名实体识别、音译、特定词典、纠正单词错误的系统。经过5个月的努力,一些语言的质量变得更好,人们开始抱怨少了。这是一个转折点。您已经可以出售该软件,并且由于您拥有用于翻译的 API,因此可以大大降低成本。您可以增加销售额或用户数量,因为您唯一的支出是计算能力。


为了训练神经网络,我需要一台好的计算机。但是我们省了钱。我们租用了 20 台普通电脑(每台都配备了 GTX1080 显卡),同时通过 Lingvanex 控制面板对它们进行了 20 次简单测试。每次考试都用了一周,时间很长。为了获得更好的质量,您必须使用需要更多资源的其他参数运行。我们需要一台机器上的云计算和更多显卡。我们决定租用 Amazon 8 GPU V100 x 4 的云服务。它速度快但非常昂贵。我们在晚上开始测试,早上收到了 1200 美元的账单。当时,除了它之外,强大的 GPU 服务器的出租选择很少。我不得不放弃这个想法并寻找更便宜的选择。也许尝试创建我自己的?


我们开始与团队协商,决定可以用几块强大的 GPU 制作一台计算机,价格高达 10K 美元,这将解决我们的问题并在一个月内获得回报。两周后,一切准备就绪。


2019年初,我终于在家里组装了这台电脑,开始进行很多测试,不用担心我需要为云服务支付什么费用。我开始注意到根据 BLEU 指标,英语-西班牙语翻译接近谷歌翻译。电脑整夜嗡嗡作响,无法入睡。有必要确保控制台中没有错误。早上,我进行了一个测试,翻译了 100 个长度从 1 到 100 个单词的句子,结果发现它的翻译效果很好,包括长句。这个夜晚改变了一切。我看到了隧道尽头的曙光,意识到我可以达到良好的翻译质量。


科学论文

通过移动翻译应用程序赚钱,我决定提高它们的质量,并为 Android、Mac OS 和 Windows 桌面制作一个版本。我希望当我拥有我的翻译 API 时,我将完成应用程序开发以进入其他市场。但竞争对手走得更远。需要一些核心功能和特性。


我决定做的第一件事是为无法访问互联网的移动应用程序进行离线语音翻译。这是个人问题。例如,您去德国,只将德语包下载到您的手机 (100 MB),然后将英语翻译成德语,反之亦然。国外的互联网访问可能是一个问题。 Wifi 通常不可用、速度慢或无法使用。当时,在 2017 年,有成千上万的高质量翻译应用程序需要互联网连接才能使用 Google API。我们面临的挑战是使神经模型紧凑,以便能够在手机上快速运行并进行高质量的翻译。


我在西班牙找到了在机器翻译项目方面有丰富经验的人。大约 3 个月的时间,我们共同在减少翻译的神经网络模型大小领域进行了研究,达到每种语言 100 MB,然后在手机上运行。

必须减小大小,以便在字典的特定大小(例如,30,000 个单词)中嵌入尽可能多的选项来翻译不同长度和主题的单词。


后来,我们的研究成果公开并于 2018 年 5 月在阿利坎特(西班牙)的欧洲机器翻译协会进行了展示,其中一名团队成员获得了博士学位。在上面。


在会议上,很多人想购买产品,但只准备了一种语言对(英语 - 西班牙语)。手机神经元的离线翻译于 2018 年 3 月准备就绪,并且可以在夏天之前用所有其他语言进行翻译。但是我没有足够的时间和金钱。我不得不暂停这个功能。一年后,我回到它并完成了它。


后来除了翻译文字、语音和图片之外,我们还决定添加带有文字记录的电话翻译,这是竞争对手所没有的。我们知道,不同国家/地区的人们经常使用手机或固定电话来呼叫支持。对于您呼叫的人,无需安装该应用程序。这个功能需要大量的时间和费用,所以我们把它放在一个单独的应用程序中。这就是我们推出电话翻译器的方式。


还添加了带翻译的语音聊天。当导游会说他们的语言并且每个游客都会听翻译时,这对旅游团体很有用。最后——翻译手机或电脑上的大文件。


公司注册

该项目已经发展壮大。应用程序不仅出现在移动平台上,还出现在计算机、可穿戴设备、即时通讯、浏览器和语音助手上。除了翻译文本之外,还创建了语音、图片、文件、网站和电话的翻译。最初,我计划让我的翻译 API 仅用于我的应用程序。但后来我决定把它提供给每个人。


在那之前,我作为一个人独自管理所有事情,雇用人员外包。但是产品的复杂性和任务的数量开始迅速增长,很明显,您需要委派职能并迅速雇用人员到您自己办公室的团队中。我打电话给一个朋友,他辞掉了工作,决定在 2017 年 3 月成立 Lingvanex 公司。


直到 2020 年,我们的重点是移动翻译应用程序。最近,针对移动应用程序的 Appstore Search Optimization (ASO) 更改了其算法。苹果应用商店中没有购买付费安装的关键词已经失效。付费流量的用户获取变得非常昂贵。尽管如此,它还是帮助我获得了 4000 万次下载并赚取了第一百万美元。


2020年底,我们决定进军B2B市场。我们认为任何国际业务都需要翻译功能。您支持的语言越多,您获得的收入就越多。


五年来,我收到了数千个问题“为什么 Lingvanex 比 Google 更好”。我试图给出不同的答案,但现在我试着简单地回答——数据隐私、功能、价格、支持服务。如果您需要翻译大量数据或需要隐私,请使用 Lingvanex Translator。


今天,我们提供了三种翻译选项:Cloud API、SDK 和我们的旗舰产品——翻译服务器。


Cloud API -通过我们的 API 翻译文本和网站比 Google 便宜 4 倍(每百万字符 5 美元)。价格对于大量数据至关重要。我们支持与 Google 相同的 REST API 格式,因此很容易迁移。


翻译 SDK -如果您需要为您的应用添加离线翻译功能,这是最佳选择。我们支持 iOS、Android、Mac OS 和 Windows 平台和 110 种语言。每种语言只有 70MB,使用 200MB RAM。


本地翻译服务器-文本、文件、音频和 HTML 的无限安全和超快速翻译。它可以离线工作,每天可以翻译数十亿个字符。此外,服务器可以进行 19 种语言的音频转录。它作为 Ubuntu 的 docker 镜像提供。价格从每月 200 美元起,取决于多种语言。


概括

多年来,我从移动应用程序中获得了大约 100 万美元的收入,并将大部分利润用于创建自己的翻译系统。您可以访问我们的 网站测试翻译质量并进一步了解我们的产品。


要获得免费产品演示或提问,请随时通过电子邮件与我联系 [email protected]


也在这里发布