您现在的位置是:しょうどしまやすのり(小豆島康仪)网 > 焦点
「字少信息量大」,Salesforce、MIT 钻研者手把手教 GPT
しょうどしまやすのり(小豆島康仪)网2025-03-17 09:33:23【焦点】3人已围观
简介经由人类评估试验,钻研者发现,当 GPT-4 将「稿子」改到第三版的时候,「信息密度」以及「语言精辟度」两个因素抵达了一种最佳失调形态。近些年来,自动摘要技术取患了长足的后退,这主要归功于范式的转变
经由人类评估试验,字少T钻钻研者发现,信息当 GPT-4 将「稿子」改到第三版的手把手教时候,「信息密度」以及「语言精辟度」两个因素抵达了一种最佳失调形态 。字少T钻
近些年来,信息自动摘要技术取患了长足的手把手教后退 ,这主要归功于范式的字少T钻转变 —— 从在标注数据集上妨碍有把守微调转变为运用狂语言模子(LLM)妨碍零样本 prompt,好比 GPT-4 。信息不需要格外的手把手教磨炼,详尽的字少T钻 prompt 就能实现对于摘要长度、主题、信息气焰等方面特色的手把手教详尽操作 。
但一个方面每一每一被轻忽:摘要的字少T钻信息密度。从实际上讲,信息作为对于另一个文本的手把手教缩短 ,摘要理当比源文件更密集,也便是搜罗更多的信息 。思考到 LLM 解码的高延迟 ,用更少的字数涵盖更多的信息颇为紧张,特意是对于实时运用而言。
可是,信息量密度是一个凋谢式的下场:假如摘要搜罗的细节缺少,那末至关于不信息量;假如搜罗的信息过多,又不削减总长度,就会变患上难以清晰 。要在牢靠的 token 估算内传递更多信息,就需要将抽象、缩短、融会三者散漫起来。
在最近的一项钻研中,来自 Salesforce 、MIT 等机构的钻研者试图经由收罗人类对于 GPT-4 天生的一组密度越来越高的摘要的偏好来判断这一限度。对于提升 GPT-4 等狂语言模子的「表白能耐」 ,这一措施提供了良多开辟 。

论文链接:https://arxiv.org/pdf/2309.04269.pdf
数据集地址 :https://huggingface.co/datasets/griffin/chain_of_density
详细来说,他们将每一个 token 的平均实体数目作为密度的代表,天生为了一个初始的、实体浓密的摘要,而后在不削减总长度(总长度为 5 倍)的情景下 ,一再识别并融会前一个摘要中缺失的 1-3 个实体,每一个摘要的实体与 token 比例都高于前一个摘要。凭证人类的偏好数据,作者最终判断 ,人类更喜爱简直与人类编写的摘要同样密集的摘要 ,而且比艰深 GPT-4 prompt 天生的摘要更密集 。
总体来说 ,该钻研的贡献搜罗:
开拓一种基于 prompt 的迭代措施 (CoD),使患上摘要的实体密度越来越高;
对于 CNN/《逐日邮报》文章中越来越密集的摘要妨碍家养以及自动评估,以更好地清晰信息量(倾向于更多实体)以及清晰度(倾向于更少的实体)之间的掂量;
开源了 GPT-4 摘要、诠释以及一组 5000 篇未诠释的 CoD 摘要 ,用于评估或者提炼 。

甚么是 CoD
作者拟订了一个繁多的密度链(CoD)Prompt,即天生一个初始摘要,并使着实体密度不断削减。详细来说 ,在一个牢靠的交互次数中,源文本中一组配合的突出实体被识别进去,并在不削减长度的情景下融会到以前的摘要中 。
图 2 展现了 Prompt 以及输入示例。作者不纪律实体的规范,而是将缺属实体界说为:
相关:与主要故事相关;
详细:形貌性的但简洁(5 个字或者更少);
别致 :未出如今以前的摘要中;
忠实 :存在于文章中;
任何中间:位于文章的任何中间 。

作者从 CNN/DailyMail 摘要测试会集随机抽取了 100 篇文章 ,为其天生 CoD 摘要 。为便于参考 ,他们将 CoD 摘要统计数据与人类撰写的要点式参考摘要以及 GPT-4 在艰深 Prompt 下天生的摘要妨碍比力:「写一篇颇为杂乱的文章摘要。请勿逾越 70 个字。」
统计情景
在钻研中,作者从直接统计数据以及直接统计数据两方面妨碍了总结。直接统计数据(token、实体 、实体密度)由 CoD 直接操作 ,而直接统计数据则是密集化的预期副产物 。
直接统计数据。如表 1 所示 ,由于从最后杂乱的摘要中删除了不用要的词语 ,第二步平均削减了 5 个 token(从 72 到 67)的长度。实体密度从 0.089 开始 ,最后低于人类以及 Vanilla GPT-4(0.151 以及 0.122) ,经由 5 步密集化后,最终回升到 0.167。

直接统计。抽象度理当会随着每一步 CoD 的妨碍而削减 ,由于每一削减一个实体 ,摘要就会被一再改写以腾出空间。作者用提取密度来掂量抽象性:提取片断的平均平方长度 (Grusky et al., 2018)。同样,跟着实体被削减到牢靠长度的摘要中 ,意见融会度也应随之干燥削减。作者用与每一个摘要句子对于齐的源句子的平均数目来展现融会度 。在对于齐上 ,作者运用相对于 ROUGE 增益法 (Zhou et al., 2018), ,该措施将源句与目的句对于齐,直到格外句子的相对于 ROUGE 增益再也不为正。他们还估量内容扩散(Content Distribution),也便是摘要内容所源头的文章中位置 ,会爆发变更。
详细来说,作者估量 CoD 摘要最后会展现出强烈的「向导倾向」(Lead Bias),但随后会逐渐开始从文章的中间以及开始引入实体 。为了丈量这一点,他们运用了融会中的对于齐服从,并丈量了所有对于齐源句的平均句子品级。
图 3 证明了这些假如:抽象性随着重写步骤的削减而削减(左侧提取密度较低),融会率回升(中图) ,摘要开始纳入文章中间以及开始的内容(右图)。幽默的是,与人类撰写的摘要以及基线摘要比照,所有 CoD 摘要都更具抽象性。

服从
为了更好地清晰 CoD 摘要的 tradeoff ,作者睁开了一项基于偏好的人类钻研,并运用 GPT-4 妨碍了基于评级的评估 。
人类偏好。详细来说 ,对于同样的 100 篇文章(5 个 step *100 = 总共 500 篇摘要),作者向论文的前四位作者随机揭示了经由「重新创作」的 CoD 摘要以及文章。凭证 Stiennon et al. (2020) 对于「好摘要」的界说,每一位诠释者都给出了自己最喜爱的摘要 。表 2 陈说了各诠释者在 CoD 阶段的第一位患上票情景 ,以及各诠释者的汇总情景。总的来说,61% 的第一位摘要(23.0+22.5+15.5)波及≥3 个致密化步骤 。首选 CoD 步数的中位数位于中间(3),预期步数为 3.06。

凭证 Step 3 摘要的平均密度,可能简陋判断出所有 CoD 候选者的首选实体密度为 ∼ 0.15 。从表 1 中可能看出,这一密度与人类编写的摘要(0.151)相不同,但清晰高于用艰深 GPT-4 Prompt 编写的摘要(0.122) 。
自动怀抱。作为家养评估的填补(如下) ,作者用 GPT-4 从 5 个维度对于 CoD 摘要妨碍评分(1-5 分) :信息量 、品质 、毗邻性 、可归属性以及部份性 。如表 3 所示 ,密集度与信息量相关 ,但有一个限度 ,在步骤 4(4.74)时患上分抵达高峰。

从各维度的平均患上分来看 ,CoD 的第一个以及最后一个步骤患上分最低,而中间三个步骤患上分挨近(分说为 4.7八、4.77 以及 4.76)。
定性合成。摘要的毗邻性 / 可读性与信息量之间存在着清晰的 trade-off。图 4 中揭示了两个 CoD 步骤:一个步骤的摘要因更多细节而患上到改善,另一个步骤的摘要则受到伤害。平均而言,中间 CoD 摘要最能实现这种失调 ,但这种 tradeoff 仍需在尔后的使掷中去准断界说以及量化。

更多论文细节,可参考原论文。

很赞哦!(2)
相关文章
- 英超-切尔西0-2埃弗顿 降至积分榜第12名
- 华为果真硬刚苹果,余承东确认紧张信息
- NBA残缺赛程出炉,老詹创神级记实!怯夫一喜一忧,快船太难了
- 保密使命到位!父亲看到篮协官宣患上悉赵睿生意
- AC米兰意甲赢了9场,看都赢了谁!
- 关注 | 两位“中超故人”将执法中国国奥男足首阶段赛事 比赛不设VAR赵忠祥“一段录音”晚节不保?9年前造就的错误,放现在也很炸裂
- [瞎话板]好好放松一下!施罗德晒与妻子一起推拿完的照片
- 罗马诺:维加实现体检,已经与吉达苍生签定条约
- 赫罗纳主帅:巴萨的逼抢没那么有效,不知道我们是否能赢西甲冠军直播吧2023-12-11 09:35直播吧2023-12-11 09:35
- 突发!日当地震
热门文章
站长推荐
亚冠罚单将至浙江残阵南征墨尔本 莱昂纳多停8场?泰国“流亡女总理”英拉,成了中国名企董事长?你看她的背后是谁
尤文图斯就“假账门”上诉 意大利法庭:重罚是因反复而长期的违法行为林彪叛逃后,周恩来嚎啕大哭,纪登奎上前劝说,他却摆手:你不懂
凌晨2点半,拜仁起航!凯恩将首发:对决金靴,冲击第1球目前票房最高的10部华语电影,你为哪部影片贡献了票房?
原创 泰山队公布亚冠赛程:9月19日客场对阵卡雅,力争开门红
双曲线二号验证火箭实现首次复用飞行环球时报2023-12-11 10:37北京环球时报2023-12-11 10:37北京
女子养生茶留意事变 四季的饮茶原则是甚么?
祝愿尼克斯!美媒爆4换1生意,快船放手一搏,尼克斯处置球队弱项
意甲 | 拉齐奥力克罗马 尤文小胜国米翁帆“强势崛起”,杨振宁18亿财产曝光,大儿子一句话暴露她人品
友情链接
- 张宇Twitter
- 佘诗曼主页
- 伍佰Instagram
- 李玉玺Twitter
- 猫鼠游戏博客
- 徐怀钰微博
- 刘恺威官网
- 古巨基官网
- 白宇官网
- 琅琊榜Facebook
- 斗罗大陆Twitter
- 周星驰Twitter
- 勇敢的心抖音
- 周华健官网
- 辰亦儒抖音
- 小小彬Facebook
- 梅艳芳抖音
- 狩猎抖音
- 聂远博客
- 田馥甄主页
- 快船老板起劲反对于乔治,伦纳德生意到尼克斯最先在磨炼营以前告竣
- Unity 收取“运行费”引夷易近愤,《杀戮尖塔》制作组宣告替换游戏引擎
- 全新雪佛兰开拓者:以强悍实力,抒写雪佛兰SUV品牌精神
- 奔驰新款GLB全系涨价!是真正的勇士吗?德不配位!理应开除军籍的5位明星,移民、穿和服一个比一个过分
- 欧牛耳席冯德莱恩:中国电动汽车重价由于国家津贴
- 湖人签约实现!詹姆斯抉择蓄谋已经久,悍将处境为难,湖人相助强烈
- 美媒列出湖人2023
- 今日中超裁判:唐顺齐法律河南vs申花、顾春含吹梅州vs深足
- 媒体规画三方生意,湖人患上到强力先锋+两次轮,火箭弃将又换队?
- 签约告竣,再见湖人!詹姆斯身旁的绝佳争冠拼图,落叶归根很欠缺