当 Scaling Law 应用于推选场景欧美合集，模子又将怎么发扬？
中科大领路智能宇宙要点施行室陈恩红团队王人集华为诺亚方舟施行室推出推选模子性能定律，初度对模子的性能与模子、数据的限制和质料进行了定量分析。
针对现存使命只可对推选大模子 Scaling Law（扩张定律）作念定性分析的局限性，论文初度尝试对推选大模子性能扩张定律给出明确的定量瞻望。
具体地，相较于传统大模子扩张定律里的数据量办法，接洽推选规模的数据特质提倡了序列数据的质料估量办法，并从模子性能瞻望角度开拔幸免传统扩张定律带来参数增大导致的模子过拟合问题。
最终基于论文发现的推选大模子性能瞻望定律，草率在给定的数据集和模子设立下，灵验瞻望模子的扩张后劲，同期终了模子参数的最优性能设立。
底下具体来看。
提倡推选大模子性能瞻望定律
序列推选系统旨在证明用户昔时的交互记载瞻望下一个推选给用户的物品，以此来捕捉用户的动态偏好。
频年来，跟着营业和互联网场景顶用户数据量的急剧增长，推选系统受到了越来越多的怜惜。可是，为了科罚这些弘大的数据集，商用与学术规模均启动继承更为复杂和弘大的推选模子。
这些模子的高野心条目不仅带来了巨大的设立资本，况兼还使得设立进程中的资源分派和 GPU 使用变得充满挑战。
如上图所示，为了更好地瞻望推选模子在不悯恻况下的性能，研究者们设立了一系列的扩张定律，用于在无需进行大限制施行的情况下评估和瞻望模子后果。
扩张定律领先在大型话语模子中进行探索。举例 Chinchilla 扩张定律的通过模子参数数目和闇练样本的数目来瞻望预闇练蚀本。
可是，将扩张定律应用于推选系统分析面对两大主要挑战：
( 1 ) 与扩张定律中频频考试的模子蚀本办法比拟，推选模子中性能办法（如射中率）更为遑急，由扩张定律导向的增大模子限制天然能使模子蚀本裁减，却会由于模子过拟合问题导致性能出现衰减。
( 2 ) 除了数据的限制以外，推选系统的数据集频频具有结构和互助特质，同期类似序列片断和冗余度较高，这使得数据质料成为影响截止的中枢成分，但在现存的推选模子扩张定律中尚未被充分磋议。
这些挑战使得现存的推选系统扩张定律使命只是给出了一些定性的分析，并不行对模子的精度进行定量瞻望。
为吩咐这些挑战，研究东谈主员提倡了推选大模子性能瞻望定律，初度对模子的性能与模子、数据的限制和质料进行了定量分析。
通过拟合推选模子的舛误性能办法，包括射中率（HR）和归一化扣头积累增益（NDCG），不错定量瞻望模子的层数和物品镶嵌维度对其性能的影响。
此外，为了吩咐数据质料研究成分匮乏的挑战，引入了近似熵（ApEn）四肢评价数据质料的革命性办法，将原有扩张定律中的数据限制替换为数据限制与近似熵之比，并通过表面和施行考据了这一替代的合感性。
研究东谈主员也对提倡的大模子性能瞻望定律进行了应用施行，灵验地瞻望了模子的最优性能参数设立和扩张后劲。
引入近似熵因子
如前所述，研究东谈主员引入了近似熵因子，以进一步增强序列推选系统中的扩张定律。
具体来说欧美合集，近似熵是一种用于量化时辰序列数据的规定性和不可瞻望性的统计测度，其野心表率如下：
起始，关于一个长度为 N 的时辰序列 { � � � � } 以及参数 m（镶嵌维度）和 r（容差），构造 m 维向量� � � �= [ � � � �，� � � �+1，…，� � � �+m-1 ] ，其中� �=1，…，N-m+1 。然后，界说两个向量� � � � 和� � � � 之间的距离为：
接着，关于给定的容差 r ，野心不异性度量：
平均不异性的野心公式为：
最终，近似熵界说为：
在后续对近似熵的野心中，研究东谈主员将容差设定为 r = 0 。这一决定是基于推选物品的特有特质，其中具有不异 ID 的家具可能传达彻底不同的真谛。
总的来说，近似熵值越高，数据的类似率越高。
可是，传统熵频频与数据复制率呈现负议论性。因此，尽管 ApEn 被冠以"熵"的称谓，但其变化趋势与传统熵办法具有相背特质。
为幸免意见浑浊，本研究继承ApEn ′ =1/ApEn 四肢近似熵的最终测度。研究东谈主员进一步引入数据平均最小编码长度四肢最终的数据质料估量办法。
由于类似的序列模式均可用不异的编码表征，从而裁减平均最小编码长度，该办法将保险数据的最小可学常识量、灵验退避类似与无效数据导致的数据量虚高问题。
欧美在线成人研究发挥了最小编码长度有如下的下界保险引理。
假定用户序列不错被建模为一阶非周期性镇定马尔可夫链。淌若用户序列为 S={S � �，� � ∈ U } ，那么通盘序列的最小编码长度之和 |U|L ( C ) 由以下公式给出：
这个下界抒发了在给定的用户序列情况下，最小编码长度应该至少即是序列元素长度总额除以序列的近似熵。这个不等式讹诈了近似熵的意见来提供编码遵守的下界。
于是研究东谈主员将 D ′ = ∑� � ∈ U|S � �| · ApEn ′ ( S ) 代入了原有的扩张定律公式 D。
研究东谈主员进一步发挥能将每一项参数用 1/x+log ( x）的花样以加入衰减项，从而优化性能拟合。他们拟合模子的最终花样为：
其中 N 为模子层数，demb 为镶嵌维度，D ′ = ∑� � ∈ U|S � �| · ApEn ′ ( S ) 为数据质料估量办法，其余均为拟合参数。
施行要领考据施行
研究东谈主员的考据施行方向是考据表面的准确性，主要从两个方面进行：一是其模子是否得当扩张律例，二是使用近似熵（ApEn）和标志数目来评估数据限制的式样是否合适。
他们起始检查模子蚀本弧线与扩张律例的一致性，从图像上可看出内容模子性能相配贴合其发扬定律。
然后，数据参数 D ’加入参数进行一并拟合，以研究其影响成分。不才图中他们拟合的数据参数与 ApEn 的组合呈现出明确的线性干系，这发挥了表面的灵验性。
应用施行
由于性能律例中包含衰减项，使得终了全局最优解成为可能。
在前述拟合分析的基础上，研究东谈主员不才表从全局和给定参数限制篇两个方面讹诈 Performance Law 给出了两个参数最优拟合，均赢得了较好的截止。
同期研究东谈主员也不错在小限制施行上分析拟合参数对模子增大时的进步后劲与全局最优性能进行瞻望。
他们不才表考据了这个应用，在更小的衰减项参数上模子的扩张后劲更大，最优截止更强。
更多细节迎接查阅原论文。
论文流畅 : https://arxiv.org/abs/2412.00430
一键三连「点赞」「转发」「防范心」
迎接在褒贬区留住你的念念法！
— 完 —
学术投稿请于使命日发邮件到：
ai@qbitai.com
标题注明【投稿】，告诉咱们：
你是谁，从哪来，投稿内容
附上论文 / 技俩主页流畅，以及议论式样哦
咱们会（尽量）实时报酬你
� � 点亮星标 � �
科技前沿进展逐日见欧美合集