第(3/3)页

    “我们团队除了继续在星际2这个项目推进灵境ai之外，我们接下来的新任务就是开发构建一个语言大模型。”罗靖站在会议大屏幕右侧不急不缓地说道：

    “这个模型的核心其实就是‘自注意力机制’，也就是gpt中的t，比方说让ai给一段文字序列中的不同词语标注权重，然后对下文的推测依据权重来进行，这样做的好处就是即便之前很早的信息也能被ai用上，不至于让ai学了之后转头就忘了前面的。”

    “整个的过程是通过自监督完成，也就是ai自我学习完成，在此期间没有我们人类指导，当然也没法指导，没有人能把百渡百科、维基百科或全网的全部内容都熟记下来。”

    这时，与会的一位t5级工程师说道：“头儿，这个预训练pre-trained会不会让灵境gpt呈现出什么都懂，但样样不精通的局面？可以说全面发展反而变得全面平庸，按你之前的描述，让灵境gpt的语言模型变得更大似乎并不能使它更好的遵循用户的意图，甚至不排除会生成一些假的、有害的对人没有帮助的回答。”

    罗靖顿时说道：“好问题。所以要对灵境gpt进行微调，让它生成的答案更有帮助性，在训练阶段就不能用自监督学习的办法了，而是要找人类来给它上课。”

    此话一出，另一位工程师不禁说道：“这……那得多少人？意思是让用户来训练？那算力、维护和运营成本得爆炸，经费能撑得住吗？”

    不用想都知道前期得持续烧钱并且赚不了钱。

    罗靖淡定的说道：“经费问题那是老板该头疼的事情，我们只管搞技术和找老板伸手要钱，找老板要钱这个事情我来做就是了，你们不用管，回归正题……”

    顿了片刻，罗靖按动手里的小遥控器接着说道：“灵境gpt使用人类监督，我已经微调训练了一个初始模型，这个模型靠人类ai训练员提供对话内容。”

    众人暗暗吃惊，不愧是大佬，居然一个人就把初始模型给搞出来了。

    ……


    第(3/3)页