首富从AI浪潮开始 第207节

　　他不回美国了。

　　决定之后，他和公司的CEO打了一个视频电话，说明了他的想法。

　　CEO在视频那边沉默了好久，最后连挽留的话都没有说，只是祝福他的父亲赶紧好起来，如果将来他想回来随时欢迎。

　　江松然注意到，这个当初和他一起在车库创业，合作了好几年的白人老头红了眼眶。

　　然后又拜托在美国的朋友打理一下房子，留意一下卖房的经纪。

　　从接到母亲电话的那一刻起，他的生活好像被从中间分成了两段。

　　前半段是他疯狂努力证明自己，想让父母骄傲的人生。

　　后半段是什么，他还不知道。

　　江松然在等着母亲来和他换班。

　　江松然无聊的刷着新闻，刷到一篇新闻——

　　《算力国产化，是未来五年最大的变量》。

　　看到这个标题江松然久违的在心里笑了一下。

　　这些媒体估计都不知道自己在说什么。

　　算力国产化，国家级战略资源，这话当然谁都会说。

　　但是对于像他这样专门干这一行的人来说，就像是个笑话。

　　无他，门槛太高了。

　　这就像是在说我们应该解决气候问题一样，是句正确的废话。具体要做什么？怎么做？花多少钱？周期多长？代价是什么？没人说的出来。

　　关掉新闻，江松然又在电脑上点开了一个新的页面，arXiv。

　　这是一个免费发布论文的网站，尤其是在AI和计算机系统这个圈子，几乎所有的新研究都会先往上面发布。不用等期刊评审，不用等会议接收，写完了发上去，当天全世界就都能读到。

　　圈里人管这叫“挂上去”。

　　每天早晨刷一遍arXiv，看看自己关注的几个分类底下有没有新东西，是这个圈子里研究人员大部分人的基本习惯。

　　江松然这个习惯保留了十几年，从上学的时候到谷歌再到创业公司。

　　回国陪床这两个多月，工作上的事他已经全放掉了，但每天刷刷arXiv的习惯还保留着。

　　目光快速划过，一篇新发布的论文题目吸引了他的注意力。

　　《On Adapting Memory-Efficient Attention to Non-CUDA Heterogeneous Accelerators: A Single-Operator Case Study》（非CUDA硬件上的注意力算子适配：一个单算子的案例研究）

　　作者只有一个名字，Wenyuan Zhao。

　　江松然在脑子里把这个名字过了一遍，没什么印象。

　　他本来想直接划走。

　　非CUDA适配这种东西arXiv上一搜一大把，大多是国产芯片厂出钱让自家工程师挂名做的样子工程，没什么真东西。

　　但他还是点开了。

　　因为是单作者。

　　非CUDA适配这种活儿，正常挂名至少四五个：硬件厂的人挂、软件团队挂、算法挂、做评测的挂。

　　单作者意味着两种可能，要么是没团队，要么是作者把所有人都压下去了，只给自己署名。

　　这两种可能都挺有意思的，值得看看这篇论文。

　　PDF加载出来。

　　摘要的第一句话是：

　　“本文报告了一款国产的非CUDA加速器上内存高效注意力机制的端到端实现：在单节点8卡配置下，吞吐达到对应cuDNN参考实现的83%，数值误差在2.3e-6以内。”

　　江松然把屏幕字体调大一点，接着往下翻。

　　背景写得简洁，没注水。

　　实现那一节贴了具体的优化方法和代码片段，不是泛泛而谈。

　　评估那一节有完整的对照、不同上下文长度下的吞吐曲线、还把每一项优化的贡献单独拆出来量化。这些是做评估的人最容易偷懒的几个地方，他都没偷懒。

　　最让江松然多看了两遍的，还是局限性那一节。

　　作者自己写道：“本工作只完成了单算子（SDPA），没涉及LayerNorm、Softmax、各类Optimizer等数十个其他算子；没涉及多卡通信库；也没涉及训练场景下的反向传播与混合精度，不构成一套可用的训练栈。”

　　非常诚实，不像是来刷脸的。

　　他又翻上去，看了一下团队，Source Intelligence AI。

　　是个没听过的公司。

　　江松然往后靠在折叠椅上，把眼睛揉了揉。

　　国内居然还真有人在做这种事。

　　这种吃力不讨好的事。

　　做出来发不了顶会，打不响知名度，也融不到资金，做的时候也没人知道你在做什么、做的有多难。

　　最关键是，因为其他的配套都没有，单做一个出来也是真没什么用。

　　这种活儿他熟，谷歌TPU团队的前两年就是这么熬出来的。

　　只不过谷歌当年有几百个工程师。

　　8张卡，一个算子。

　　江松然在心里量了一下，从这里到“能跑一个能用的训练系统”中间还差什么。

　　剩下的几十上百个算子，多卡通信库，分布式训练框架，编译器，容错和检查点。

　　每一项，都是三五十人的工程团队、两到三年的活儿。

　　他在硅谷那家公司就做这套东西，做了五年。

　　如果国内真能有几百个团队，都像这一个一样，安静地做这种没人鼓掌的事。

　　那国产化也未必没有可能。

　　可惜，没有几百个这样的团队。

　　正想着，母亲从外面进来了，一进来就开始唠叨。

　　“松然，累坏了吧，快回去睡会，你在医院陪床的时候也得注意休息，别你爸还没醒过来，自己就先病倒了……”

　　江松然也确实是累坏了。

　　他和母亲交代了几句，稍微收拾了一下，拿上电脑，走出了病房。

　　一路走到住院部一楼，他看到一个瘦高帅气的年轻人站在大门的位置，背着一个双肩包，好像在找人。

　　江松然正看着，正好那个年轻人也看了过来，好像看到了他，冲他笑着点了下头，向他走来。

　　那人的眼神亮的惊人。

　　江松然不确定他是不是冲着自己来的，也回应了一个点头。

第一百九十二章 要不，你请示一下？

　　江松然不太确定这个年轻人是不是找错了人。

　　“你好，请问是江松然博士吗？”

　　年轻人停在他面前两米的位置，没有再往前走，像是在确认，也像是在给他留出拒绝的距离。

　　“我就是，请问你是……？”

　　“韩路一，源智科技。”年轻人伸出手，“打扰了。”

　　江松然和他握了一下手，手劲适中，不紧不松。

　　源智科技，他莫名的有点儿耳熟，但又想不起来在哪听过。

　　“韩——先生。”江松然犹豫了一下怎么称呼眼前的年轻人。

　　他回国的消息这两个月越传越广，找他的人也越来越多，所以他最近已经拒接所有的陌生电话，推荐工作的邮件也基本不看了。

　　到江松然这个级别和履历，已经不是他找工作，而是工作找他了。他不可能每个信息都回复，忙不过来，猎头们和大厂HR们也都理解。

　　但被人找上门来还是头一遭，他好奇这人是怎么找到自己的。

　　“你怎么知道我在这？”江松然直接问了。

　　韩路一指着医院的大门说：“你没有设置朋友圈权限，照片里的床单上印了这家医院的名字。”

　　江松然回想了一下，他记得自己EMO的时候拍过病床，发了朋友圈，但是上面有什么字……他完全想不起来了。

　　但是能从这种细节追到医院来，这人还挺用心的。

　　江松然明白了对方的来意，也不打算纠缠，直接拒绝道：“韩先生，不好意思，最近找我的人比较多，我暂时没有——”

　　话说到一半，他兜里的手机响了。

　　江松然看了一眼来电显示，犹豫了一下，对韩路一说：“不好意思，我接个电话。”

　　韩路一点了点头，说：“您请。”