首页>资讯>正文
最大CLIP!LAION发布CLIP的扩增定律
2022-12-23 03:02:33    来源:


(资料图)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

近日,LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律(scaling law),其中最大的CLIP为ViT-H/14,基于LAION-2B数据集训练,可以在ImageNet1K数据集上到78.0%的zero-shot准确度,性能超过OpenAI目前开源的CLIP L/14,和Meta AI的FLIP Huge模型性能相当,但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集,训练框架采用开源的OpenCLIP,所以论文的实验是可以复现的。训练在1520 NVIDIA A100 GPUs上进行,采用PyTorch DDP分布式训练策略,采用混合精度(但是fp16会不稳定,所以采用bf16,或者基于TF32的float32),训练的batch size在 86-88K之间。实验的总体结论是:扩增定律也明显适用CLIP,当扩增模型,训练数据和算力时,模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数:OpenCLIP的模型(基于LAION-2B数据集)在图文检索任务上有较大的扩增系数,而OpenAI CLIP模型(基于私有的WebImageText 400M数据集)在zero-shot分类任务上有较强的扩增系数。这个结论和FLIP的结论比较吻合,这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是:Scaling behavior depends on task type and pre-training dataset。更多内容可见论文:https://arxiv.org/abs/2212.07143

关键词:

最大CLIP!LAION发布CLIP的扩增定律

点蓝色字关注“机器学习算法工程师”设为星标,干货直达!近日,LAION等机构在Reproduciblescalinglawsforcontrastive2022-12-23

世界看点:江苏移动携手中兴通讯完成5G新通话外场兼容性试点

江苏移动携手中兴通讯完成5G新通话外场兼容性试点,近日,中国移动江苏公司(下称江苏移动)在中国移动计划建设部统一指导下,携手中兴通讯在江2022-12-22

一款强大的API接口文档管理工具 环球精选

在团队协作开发项目的时候,接口文档承担着向其他开发人员说明接口相关信息的重要任务,因此,一份清晰而又相近的接口文档至关重要。但是,写2022-12-22

中国联通续签腾讯、京东、阿里、百度,在多领域开展新一轮合作

IT之家12月21日消息,据中国联通官方消息,12月20日,2022中国联通合作伙伴大会拉开帷幕,主峰会上,中国联通与腾讯、京东、阿里、百度4家战略2022-12-21

好的领域模型应该是什么样子?

​好的领域模型应该长什么样子?DDD说,领域模型应该是可以准确表达业务需求的模型。模型和领域模型是两个概念,模型可以是数据模型或服务模型2022-12-21

【聚看点】满易贷逾期5个月影响吗?

网贷逾期一般会上征信,有些借贷机构在用户逾期后一天后就会上报给征信机构,而有些借贷机构则是会在几天后上报给征信机构,因为有些借贷机构可2022-12-21

闰秒终于要取消了!一文详解其来源及影响-世界新视野

导读|第27届国际计量大会宣布最迟不晚于2035年取消引入闰秒,这一消息引起轰动。上一次闰秒产生,对Reddit、Mozilla、FourSquare等都产2022-12-20

快消息!昆船智能董秘回复:公司智能制造等产品可用于助力农产品领域

昆船智能(301311)12月20日在投资者关系平台上答复了投资者关心的问题。2022-12-20

金迪克:12月19日融券卖出金额122.86万元,占当日流出金额的4.72%|全球视讯

同花顺数据中心显示,金迪克12月19日获融资买入567 97万元,占当日买入金额的28 64%,当前融资余额7598 00万元,占流通市值的6 7%,超过历史702022-12-20

新宙邦: 关于可转债转股价格调整的公告-每日看点

证券代码:300037       证券简称:新宙邦         公告编号:2022-131债券代码:123158       债券简称:宙邦转债     2022-12-19

每日聚焦:智动力董秘回复:公司正积极安排送样准备工作

智动力(300686)12月19日在投资者关系平台上答复了投资者关心的问题。2022-12-19

东吴证券:通用激光已处于底部 看好疫情放开背景下需求快速反弹_消息

(原标题:东吴证券:通用激光已处于底部看好疫情放开背景下需求快速反弹)证券时报e公司讯,东吴证券研报认为,短期来看,2021年三季度以来,2022-12-19

中央定调明年财政政策,如何看“加力提效”?-新资讯

罗志恒认为,明年财政政策“加力”并“保持必要的支出强度”,是当前和明年经济形势的需要,是顺应经济形势和经济工作目标的顺势而为。“今年2022-12-18

玉露怎么养才能安全过冬 玉露怎么过冬天

1、玉露要想安全过冬,要在冬季开始降温前就搬到室内养护,并且要将室温控制在10摄氏度以上,还要减少水分,需要停止施肥。2、此外,最好是将2022-12-18

每日快播:国家发改委:猪肉价格退出过度上涨预警区间

国家发改委:猪肉价格退出过度上涨预警区间2022年12月17日10:10人民网2022-12-17

福建扩大跨省异地就医直接结算覆盖范围 做到应扩尽扩

按照合理布局、分步纳入原则,加大异地就医需求量大,流动人口相对集中地区的联网定点扩围力度,做到应扩尽扩。2022-12-16

当前聚焦:科大讯飞:借力新潮“一体两翼”深耕社区营销,拥抱AI学习时代

消费的本质其实一直都没有改变——消费者是通过品牌认知来做出选择的。所以,品牌塑造要打认知战而非流量战。  在“2022中国新潮品牌大会”2022-12-16

环球即时看!A股航空公司晒11月成绩单:三大航国内客座率同比提升 国际航线持续回暖

12月15日晚间,多家上市航空公司披露了2022年11月的业务信息。从诸多数据看,国际业务有回暖迹象,有恢复或新增的国际航线。2022-12-16

世界速递!市领导参加政协委员分组讨论

本报讯1月8日下午,参加市政协七届四次会议的委员们分组讨论政协常委会工作报告和提案工作情况报告。市领导何雄、李刚、郑大文、余广庆、张红2022-12-15

可可爱爱!秦岭6只大熊猫宝宝齐亮相 聚看点

记者近日从秦岭大熊猫研究中心获悉,今年这里共出生了6只大熊猫宝宝,数量为历年最多,其中有四只分别是一对龙凤胎和一对雄性双胞胎。目前6只2022-12-15

中国海防(600764)12月14日主力资金净买入1092.11万元

截至2022年12月14日收盘,中国海防(600764)报收于22 88元,上涨3 76%,换手率1 26%,成交量6 25万手,成交额1 43亿元。12月142022-12-15

醉酒肇事逃逸什么罪名,一般来说会被怎样判刑?

根据刑法第133条的规定:违反交通运输管理法规,因而发生重大事故,致人重伤、死亡或者使公私财产遭受重大损失的,处3年以下有期徒刑或者拘役2022-12-14

教育ETF(513360.SH)涨2.25% 机构认为科教兴国+贴息贷款利好释放 教育信息化迎来发展新机遇

12月14日,教育板块近日继续试探顶部位置,截止发稿,教育ETF(513360 SH)涨2 25%。中信建投(601066)证券认为,科教兴国+贴息贷款利好释放2022-12-14

量子技术去眼袋多少钱 「40岁割眼袋能维持多久」

效果会达到顶峰后,会有一个7-15天的“回落期”,人体在此期间代谢28天。通过手术,手术技术已经成熟。按照2019 12 8的价格,你好,效果60-852022-12-14

全球今日讯!优彩资源:本次募集资金运用于募投项目的特种材料主要是指利用各类原生或再生聚酯柔性生产包含皮芯结构、并列结构等在内的多种复合纤维产品

(原标题:优彩资源:本次募集资金运用于募投项目的特种材料主要是指利用各类原生或再生聚酯柔性生产包含皮芯结构、并列结构等在内的多种复合2022-12-13