法师归来，速通地球！ 第36节
相信我，在我这里当完牛马之后，回去你将获得升级，升级成为高级牛马。
当我们的大模型横空出世的时候，阿里、百度、字节会用动辄百万的年薪来挖你们。”
陈曦说完，现场依然鸦雀无声。
领导画饼，听听就好。
“最后大家在这段旅程中，如果不胜任，那么我随时可能把你们退回原籍。好了，准备开始干活吧。”
陈曦说完，径直走向被单独画出来，用玻璃隔开的一间唯一的小办公室。
他身后跟着的那个女生，开始轮流发纸，在每个人的桌子上放上一张纸。
赵元任本以为是工作安排，结果一看，傻眼了：“这是什么？”
“座位安排，请按照这个就坐。”女生清冷的声音如同晴天霹雳。
赵元任定睛一看，他的名字赫然出现在了72号工位上，而那个位置就在陈曦办公室外面。
他再看了眼，马辽，就是坐他旁边那哥们，位置和他在同一排，但被中间两个工位给隔开了。
“马里奥！”赵元任低声哀嚎道。
马辽看完座位安排之后也正在望着他：“公瑾！”
马辽叫马里奥很容易理解，赵元任之所以叫公瑾，这是因为赵元任打王者最喜欢玩周瑜，而马辽则喜欢用孙权。
赵佩璇冷笑道：“王者好玩吗？你们两第一天上班能足足玩十二个小时的王者！还非要蹭完公司的夜宵和班车再回去。不知道的还以为你们为公司鞠躬尽瘁死而后已了呢。
如果不是陈总大气，要我，我早把你们给退货了。”
赵元任呆住了：“你你你...”
“你什么你，连公司WiFi打游戏，你不知道公司的网络是能看到你们上班时间各类app使用时长吗？”
这下彻底焉了。
办公室不大，刚才陈曦开麦骂完之后，办公室格外安静，因此当赵佩璇杀鸡儆猴之后，现场的员工们换座位的速度快了很多。
然后就是赵佩璇坐在门口的位置上，挨个叫人进去。
赵元任心都悬了起来，自己一进去该不会又被骂吧？
“赵元任。”
他怀着惴惴不安的心情走了进去。
陈曦抬头望向他：“赵元任。”
“在！”
“你进入中文语料清晰二组，负责规则清洗和重复数据处理，组长是从搜索部门借调过来的顾彦平，你负责数据管线和去重模块，现在就去找他报道。”
第43章 一二十层楼那么高
陈曦挥了挥手，示意他可以出去了。
“陈总，您不骂我两句吗？”赵元任小心翼翼地说道。
“骂你干嘛？”陈曦反问。
“我昨天打了一天的王者。”赵元任说，他深谙职场规则，一定不要把这件事往后拖，越早曝越好。
“哦没事，我没来的时候没定规则，你这么干很正常，这里昨天打了王者的超过百分之五十，如果算上手机游戏，那就超过百分之九十了。”陈曦说，说完继续挥手。
赵元任转身，走到门口的时候，空气中飘过来一句话：“不过打得最久的就你和马辽两个人。”
赵元任跟兔子似的立马转身立正，就差敬礼了。
只见陈曦头也不抬：“没事，下一位了。”
赵元任哭丧着脸离开，只见马辽在门外等着，他拍了拍对方的肩膀，一副兄弟走好的样子。
马辽进去，出来，脸色一样的难看。
赵元任和他对视了一眼，两人心有灵犀，在微信上发了句：“晚上撸串。”
“走！”马辽回了个走的表情包。
然而事情不如他们所料。
工作内容格外的丰富。
企业微信里，被临时借调到的组织架构里，一个接一个的任务被派发了出来。
赵元任找顾彦平报道之后，回到自己工位上，就发现自己多了三个邮件。
“你负责把这些文本做数据清洗。”正当赵元任还在读邮件内容的时候，顾彦平走到了他身边说道。
赵元任下意识点开链接，发现这个下载链接关联的文本足足50个TB：“这是？”
“来自网页抓取的文本，包括了论坛，百科资料，新闻网站，问答社区等等。
其中有一小部分是AI Lab他们组做过脱敏和授权处理的部分文本数据。
但绝大部分都需要你做一遍清洗。”
赵元任咽了咽口水：“顾组长，不是我不想干，我过去确实也干过大规模文本数据的近似重复检测。
但重复检测只是清洗的一部分工作，一小部分。
再说，过去就我了解的情况，像这么大体积的文本，起码也是一个五人小组一起做。
现在就我一个人？这是不是有点为难我了。”
赵元任的声音越来越低，但意思清晰无比。
“不，不是为难你，你只是清洗50个TB，我要清洗100个，我要处理的数据比你更复杂。”顾彦平淡淡道。
领导以身作则，做的还比你更多，这下你没啥话好讲。
赵元任只好把话咽回去，他转而提起：“那什么时候要做完？”
顾彦平说：“我什么时候做完，你能有T+1的时间。”
他妈的组长还是个股民？难怪语气阴沉，估计最近没少赔。只买基金不买股票的赵元任腹诽道。
“哦对了，你注意看组的公共空间，每天我会把我的经验做上传，包括Boss的一些算法，和应用的注意事项我会上传到我们组的代码仓库里，你注意看。
那会节约你非常多的时间。”
自此，无休止的开始转动了。
赵元任感觉自己就像是一个齿轮一样。
他把文件分块下载，然后打开查看，这才发现这些资料压根不能直接用于训练。
网页里充斥着导航栏，广告，版权声明，推荐链接之类的内容。
另外一篇文章可能被不同的网站转载几十上百次，标题只是稍作修改，内容几乎完全一致，百家号的泛滥导致去重工作是天量。
论坛帖子则有大量无意义的回复。
千禧年的回复，“我顶”、“沙发”、“路过”、“露珠好人”。
再加上中文文本本身的复杂度。
简体繁体异体字混杂，全角半角符号不统一，网页编码错误会把一段正常文字变成乱码。
火星文就不说了。
有些内容看上去是中文，实际上是机器翻译的语句，语法正确，表达方式却格外怪异。
种种问题堆叠在一起，赵元任找不到切入点。
这就好像已经被猫打乱的毛球，所有的线头混在一起，你压根找不到最初的那根线头。
晚上十点，马辽起身，“走？”
赵元任看了眼自己处理后的文本，数据量比上午减少了百分之四十，心想已经够了，但他很快打开公共仓库看了眼，顾彦平的已经清洗完了。
还写了一篇文档给他们看：“数据清洗第一天。”
他下意识道：“算了，马里奥，你先走吧，我再看看。”
“......别指望靠规则去判断内容质量，格式混乱的内容不一定就没有价值，格式标准的内容也可能全是垃圾。
以这篇内容为例，这是标准的垃圾内容...”
接下来是举例，一篇营销软文，前面在讲失眠危害，中间列几个毫无意义的常识，最后开始推销保健品。
“这种格式标准，如果按照我们过去的处理逻辑，那么规则一定会认为它质量很高，然而事实是，这就是垃圾。
因此我们需要专门训练一个分类模型，需要做数据标注。
分类模型，Boss已经写好了，大家可以看看，明天我们需要分出人手来做数据标注。”
赵元任把分类模型读完之后，惊讶于模型的优美简洁，更震惊于后续的工作。
要把全部语料抽样，然后再组织人工进行质量评分，要分成十档。
“走！”他看马辽还没有走，于是保存，关机，起身一气呵成。
“不得不说，老板的代码写的是真优美。”马辽摇头晃脑地吐槽道。
赵元任说：“你没看到这模型暗示的任务量吗？那是会死人的！