揭秘字节技术探索：从推荐系统到大模型时代

11月24日，在第五届字节跳动奖学金颁奖典礼上，技术副总裁杨震原分享了他对公司技术探索的深刻见解。

据他透露，2014年，字节跳动创始人张一鸣找到他，并表达了用大规模机器学习系统搭建推荐系统的愿景，以应对图片、文字、视频等多媒体形式的推荐需求。这个前瞻性的想法吸引了杨震原，他因此加入了当时尚属小公司的字节跳动。

杨震原提到，在2022年11月30日ChatGPT问世之前，字节跳动团队已在2021年关注到大语言模型。当时，一位同事训练出大语言模型，但团队认为其“暂无实用价值”。杨震原幽默地表示：“我们当时还是很有先见之明的。”

自2022年起，公司开始在这个方向投入大量资源，并已经取得了一系列成果。例如，豆包已成为中国最流行的AI对话助手，而火山引擎的大模型服务也获得了客户的广泛认可。根据IDC的报告，火山引擎在中国MaaS市场位居首位。

2014年：大规模机器学习与推荐系统

从万亿级别特征规模开始

张一鸣最初找到杨震原时，提出了用大规模机器学习系统构建推荐系统的想法。杨震原分享了他们在2014年面临的挑战和决策，包括系统建模、存储和计算、以及算法优化等方面。

在优化算法方面，他们尝试了多种方法，包括SGD-FTRL和CDN优化器。尽管CDN项目最终未能成功，但团队成员后来转到了机器学习的其他方向，并承担了重要业务。

2020年：科学计算的探索

从薛定谔方程到拓扑绝缘体

在2019年底到2020年期间，团队讨论了AI在未来社会中的潜在价值。他们意识到，只有大规模有价值的数据才能产生有价值的模型和算法。除了线上世界，现实世界和科学计算也被视为重要领域。

在量子计算方面，他们使用了神经网络量子蒙特卡洛方法（NNQMC），并成功应用于固体体系和二维转角材料的研究。

分子动力学：从GPU加速到分子模拟

在分子动力学方面，他们通过GPU加速DFT计算，并开发了Bamboo-MLFF和ByteFF两类分子动力学力场，用于分子和固体体系的性质预测。

2021年：PICO——XR的探索

从清晰度到MR技术

字节跳动在XR领域也进行了大量探索。他们通过收购Pico团队，并在清晰度、MR技术和交互方面取得了显著进展。

在清晰度方面，他们与供应商合作开发了MicroOLED技术，并在MR技术上取得了重大突破。

自研芯片：为XR赋能

为了应对XR设备的处理瓶颈，他们自研了一颗头显专用的消费电子芯片，并在今年进入量产阶段。

2023年：大模型的时代

在ChatGPT问世后，字节跳动的团队在2021年曾有机会提前关注到大语言模型。尽管最初的尝试未能取得显著成果，但公司在去年开始大力投入。

如今，他们的成果包括豆包、火山引擎的大模型服务等。他们还建设了大规模稳定训练系统MegaSacle，并在模型结构和自研服务器方面进行了探索。