dyp英文缩写是什么意思

机器之心报道

编辑：小舟、蛋酱

这三位程序员，用 BERT 捧走了 50 万人民币的高额奖金。

8 月 3 日，一年一度的腾讯广告算法大赛在深圳腾讯滨海大厦举办。

一直以来，腾讯广告都在不断寻找更为优秀的数据挖掘和机器学习算法。这场备受瞩目的算法盛事，今年已经是第四届。每一年的比赛都会吸引上万人参加，还催生出一个小型算法社区。

最终，由三位年轻程序员组成的 DYG 团队捧走了冠军 7 万美金（近 50 万人民币）的高额大奖。从初赛冠军、复赛冠军，再到最佳答辩，这三位程序员究竟靠的是什么？

DYG 团队由来自武汉大学计算机科学硕士、算法工程师王贺，中山大学 – 微软研究院联合培养博士生郭达雅以及多次荣获国内 NLP 和数据挖掘比赛 TOP 名次的梁少强组成。值得一提的是，前两位选手同时也是 2019 年腾讯广告算法大赛的冠军得主。

bert 在 NLP 能够取得巨大成功的主要原因是预训练，所以在比赛初期 DYG 团队不断尝试将预训练运用到本赛题中。但与 NLP 不同，广告具有稀疏性，使其词表达到七八百万。这就会造成两个问题：第一个问题是这么大的词表很难放入 GPU 中，第二个问题是即使放到 CPU，由于参数过大，也难于训练。针对这些问题，DYG 团队使用了两个阶段的预训练方法对 BERT 进行训练。

预训练：Word2Vector

第一个阶段：使用 word2vec 去预训练广告的 embedding，目标是将类似的广告进行聚类。具体操作如下图所示，DYG 团队首先将用户点击广告序列输入到 embedding 层，然后预测广告 id。