第102章 BPE算法完成！（2/2）

閔欣柔靦腆的笑了起来。

不过吴辰看她笑了半天，也不见她动手改代码，於是提醒道：“改啊。”

“啊，是您看著我改吗？”

閔欣柔有些吃惊。

“不然呢，难道我帮你改？”

吴辰奇怪的反问。

“呃，好————”

閔欣柔扭捏著靠近了一点，然后在吴辰的注视下敲起了键盘。

不过她好像有点走神，一个简单的vocab.items（）写了好几次没运行成功。

“认真点。”

吴辰把手敲了敲她的脑袋。

被教训的閔欣柔缩了缩脖子。

不过看到吴辰认真的眼神，她也终於收敛思绪，开始认真思考了起来。

这一次，她改代码的效率明显提升了不少。

两个小时后，代码终於被改好了。

最终的代码是这样：

怀著激动的心情，閔欣柔运行了程序。

她並没有直接对5000条数据进行分词，因为那会花几十个小时。

所以她先用100条数据进行了测试。

在程序运行的几分钟里，閔欣柔感觉异常的紧张。

虽然吴辰教过她许多理论知识，但这还是第一次手把手的教她实际写代码。

这种感觉很奇妙。

所以一定要成功呀————

少女在內心祈祷著。

等程序终於运行完成后，她忐忑的点开了生成的分词文件。

成功了！

这一次，程序分词后的文件终於不是满屏单字和黏连的碎片了，而是规整的子词序列！

就像这样：

閔欣柔忍不住小小的欢呼了一声。

与此同时，系统也发来了一条提示。

【人工智慧：1级（30%—&gt：50%）】

这一次，就连吴辰也忍不住笑了起来。

完成bpe算法，竟然一次性提升了20%的进度！

这样的话，他只要完成transformer架构的设计，那就能晋升人工智慧2级了！

而等他这个月拿到科大讯飞和搜狗他们的数据，再加上自己马上可以生產的专用显卡的话————

那gpt—1级別的人工智慧大语言模型，在2008年底的时候就有望完成！

虽然当年openai完成这一步的时候没引起什么反响，但吴辰却有自己的计划。

已经足够顛覆某些行业了！

“乾的不错！”

想到閔欣柔替自己省了两个月的时间，吴辰忍不住高兴的拍了拍她的脑袋瓜子。

“唔————谢谢老师。”

閔欣柔也很开心。

不过她还是道：“老师，现在只是小规模的测试，完整的分词表还没做好呢，而且5000条帖子的数据不一定够呢！”

“已经很不错了，等讯飞他们把数据送过来就行，剩下的时间你继续完善bpe算法，到时候直接就可以用了。”

吴辰不在意道。

对他来说，这种没有太多技术含量的工作交给別人就好。

他要全力以赴的完成transformer架构的开发了。

閔欣柔並不知道他的打算，不过她只要能帮吴辰完成工作就很开心了。

两人开心了一会儿后，吴辰想起一件事。

“这个成果足够写一篇论文了，等待程序运行的时候你可以学习一下怎么写论文。”

“我可以吗？”

閔欣柔愣了一下。

抱歉今天更新晚了，主要是为了那几张截图写代码花了太久的时间。

>