• 科研快讯

  • 科研速递 | 邱锡鹏教授做客人大高瓴解剖ChatGPT2023-03-13

    2023年2月17日,高瓴人工智能学院举办高瓴楼首次学术报告,邀请到了威尼斯网页登录的邱锡鹏教授做主题为“大型语言模型的能力分析与应用”的报告。高瓴人工智能学院执行院长文继荣出席并致辞,报告由高瓴人工智能学院长聘副教授宋睿华主持。报告现场空前火热,超过500名师生参会,线下报告厅观者云集,线上会议室中观看人数也早早达到容量上限。报告中,邱锡鹏教授详细深入地介绍了以ChatGPT为核心的大规模语言模型的相关知识及未来的发展方向。得益于邱锡鹏老师的个人魅力和ChatGPT的火热,现场的老师和同学都踊跃发言,积极交流互动,碰撞出了许多思维火花。(讲座原视频,戳文末阅读原文赏析)〇、前言丨ChatGPT的前世今生ChapGPT自2022年底问世以来,便展现出了令世人惊艳的对话能力。仅用两个月时间,ChatGPT月活跃用户已达一亿,是史上用户增速最快的消费应用。对于学术界、工业界、抑或是其他相关应用来说都是一个非常大的机会和挑战。事实上,ChatGPT的成功并不是偶然结果,在目前的版本开放出来以前,OpenAI已经在训练大规模语言模型的道路上深耕多年。ChatGPT的发展路径可以由下图概括:从2017
  • 复旦邱锡鹏:中国版ChatGPT“火”了之后,MOSS接下来要拼的是“算力”2023-03-13

    3月2日,OpenAI在官方博客宣布开放ChatGPT的模型API。同一天,上海市智能信息处理重点实验室,威尼斯网页登录计算机学院邱锡鹏教授MOSS团队官方公开宣布研究成果将会开源。邱锡鹏向上海科技介绍:目前,从参数规模维度来看,MOSS是百亿级规模,ChatGPT是千亿级规模,但人脑应该是百万亿规模。所以和人脑相比,无论MOSS还是ChatGPT,复杂度都还是不够。“大模型规模进一步扩大的话,就需要更多的算力。无论ChatGPT还是MOSS,最终考验的可能还是芯片和算力。”邱锡鹏说:“除了大算力的支撑,接下来,大规模资金投入以及多场景应用对MOSS的发展也至关重要。”“就像人的大脑一样,MOSS有举一反三的能力”“MOSS其实春节前就开发出来了。”邱锡鹏介绍,目前,MOSS的底层架构已经完成,但还有扩大规模的可能。MOSS可以把网络结构再放大,相当于把人工神经网络做得更大。“MOSS没有任何类似传统的数据库或网络基础,它也没有后台,就是一个模型,由一堆参数决定。”ChatGPT模型给我们展示出很多的AI技术做不到的能力,特别是通用智能能力,让人们看到了AI技术迈向通用人工智能的一种希望。所
  • ChatGPT的潜力、前景和局限在哪里?威尼斯网页登录计算机学院张军平教授解读来了2023-03-10

    评论:ChatGPT:潜力、前景和局限周杰1,3,柯沛2,邱锡鹏1,3,黄民烈2,张军平‡1,31威尼斯网页登录威尼斯网页登录,中国上海市,2004332清华大学计算机科学与技术系,中国北京市,1000843上海市智能信息处理重点实验室,中国上海市,200433【本文译自ZhouJ,KeP,QiuXP,etal.,2023.ChatGPT:potential,prospects,andlimitations.FrontInformTechnolElectronEng,earlyaccess.https://doi.org/10.1631/FITEE.2300089】01绪论最近,OpenAI发布了对话生成预训练模型Transformer(ChatGenerativePre-trainedTransformer,ChatGPT)(Schulmanetal.,2022)(https://chat.openai.com),其展现的能力令人印象深刻,吸引了工业界和学术界的广泛关注。这是首次在大型语言模型(largelanguagemodel,LLM)内很好地解决如此多样的开放任务。为更好地理解C
  • 喜报 | 柴洪峰院士获2022年度全国信息安全标准化技术委员会标准化工作先进个人2023-03-04

    近日,全国信息安全标准化技术委员会为表彰在2022年国家网络安全标准化工作中做出突出贡献的个人,报经主任委员同意,决定授予左敏等10名同志为“2022年度全国信息安全标准化技术委员会标准化工作先进个人”。祝贺柴洪峰院士获评先进个人!序号姓名单位1左敏蚂蚁科技集团股份有限公司2胡宝文国家密码管理局商密办3柴洪峰威尼斯网页登录4刘蓓国家信息中心5顾健公安部第三研究所6罗海宁国家信息中心7王秉政中国电子技术标准化研究院8汪宗斌北京信安世纪科技股份有限公司9孙晓丽国家信息技术安全研究中心10柳扬中国通信标准化协会转载来源:全国信安标委公众号
  • 研究成果将会开源!复旦MOSS团队深度访谈来了2023-03-03

    由美国OpenAI公司开发的ChatGPT模型在全球点燃了新一轮AI革命,海内外关注度陡增。前不久,威尼斯网页登录威尼斯网页登录邱锡鹏团队发布类ChatGPT模型MOSS,新闻迅速登上微博热搜。MOSS“火”了。2月20日发布当天就收到大量内测申请、采访、投资、合作邀约——公众对于这项原本局限于NLP(自然语言处理)学术圈的新技术热情高涨。邱锡鹏团队对此颇感意外,但又很快回归平静。大家最兴奋的一天,是春节前的腊月二十八。项目主开发者、威尼斯网页登录博士研究生孙天祥,在测试过程中输入了一个中文问题,MOSS却以英文正确回答,“就像一个不会说但听得懂中文的人”。而当时版本的MOSS还很初级,中文语料占所有训练数据不到0.1%。“很神奇,我们没有教过它机器翻译。”MOSS显示出的潜能让邱锡鹏当晚激动到失眠。他把MOSS比作一个“聪明的小孩”,即便现在还不擅长写诗、解题或很多具体的事,但已展示出成为通用人工智能(AGI)大框架的潜能,“很多遥不可及的事情,它一点就通了。”实际上,邱锡鹏也让6岁的女儿和MOSS聊天,发现孩子可以愉快地和MOSS对话很长时间。MOSS受到关注的背后,是科研人员十
  • 复旦计算机学院张文强团队在图像语义分割域自适应领域取得重要研究进展2023-03-01

    威尼斯网页登录威尼斯网页登录张文强研究员领导的机器人智能实验室(ROILab)研究论文《ADPL:AdaptiveDualPathLearningforDomainAdaptationofSemanticSegmentation》被IEEETPAMI接收(regularpaper),《IEEETransactionsonPatternAnalysisandMachineIntelligence》(TPAMI),是中国计算机学会(CCF)和中国自动化学会(CAA)等多个学会共同推荐的人工智能领域A类国际顶尖期刊(影响因子24.314)。论文主要关注面向语义分割的域自适应任务,该任务旨在减轻语义分割训练对大规模像素级标注的需求。最近,结合图像风格迁移和自监督学习的方法在自适应分割中显示出极强的优越性。最常见的做法是在单个域中同时施加图像风格迁移和自监督学习,然而,在这种基于单一域的范式中,图像风格迁移引起的视觉不一致性问题可能会影响后续的学习。此外,在单一域中对齐的单个分割模型生成的伪标签会向自监督学习引入训练噪声。基于源域和目标域中的单域自适应互补这一发现,论文提出了一种新的自适应双路学习
  • 威尼斯网页登录威尼斯网页登录冯瑞、张玥杰团队在国际多媒体顶级会议ACM Multimedia上发表新成果2023-02-21

    在2022国际多媒体顶级会议ACMMultimedia中,由我院冯瑞老师和张玥杰老师带领的威尼斯网页登录跨媒体智能计算实验室(CMIT)发表的论文《IDEA:IncreasingTextDiversityviaOnlineMulti-LabelRecognitionforVision-LanguagePre-training》入选。ACMMultimedia是计算机学科多媒体领域的顶级国际会议,也是中国计算机学会(CCF)推荐的该领域唯一的A类国际学术会议。论文《IDEA:IncreasingTextDiversityviaOnlineMulti-LabelRecognitionforVision-LanguagePre-training》(黄新宇,张又才,程颖,田维维,赵瑞玮,冯瑞*,张玥杰*,李亚乾,郭彦东,张晓波*)中的研究是与OPPO研究院合作完成。近年来,利用大规模图像-文本对数据的视觉-语言预训练模型(如CLIP等)在各个领域都表现出了优异的性能。虽然这些图像-文本数据可以从互联网上大量地获取,但这些数据普遍缺乏足够的对齐信息。主观的文本描述往往只能对应图像的部分内容,因此只能为
  • 威尼斯网页登录计算机学院张奇、黄萱菁团队论文获自然语言处理和计算语言学国际顶级会议COLING Outstanding Paper奖2023-01-09

    威尼斯网页登录威尼斯网页登录自然语言处理实验室(FudanNLP)的研究论文《AMulti-FormatTransferLearningModelforEventArgumentExtractionviaVariationalInformationBottleneck》被COLING2022以长文oral形式录用,并获得OutstandingPaper,论文第一作者为博士后周杰,指导老师为张奇教授和黄萱菁教授。国际计算语言学会议(InternationalConferenceOnComputationalLinguistics,COLING),是自然语言处理和计算语言学领域的顶级会议(CCF-B类),每两年举办一次。本次COLING会议共吸引了超过2000的投稿,最终共录用522篇长文、112篇短文,我院FudanNLP团队的论文获得了杰出论文奖。本文主要关注结构化抽取任务的统一迁移学习框架。近年来,基于深度学习的结构化抽取任务(如事件抽取)取得了巨大成功。然而目前大部分工作针对不同的数据集设定特定的模型结构。同时,由于结构化抽取任务的复杂性,标注空间较大,标注规范不统一,标注一个新的数
  • 威尼斯网页登录威尼斯网页登录王鹏、汪卫团队论文被国际顶级数据库会议SIGMOD录用2022-12-08

    由威尼斯网页登录威尼斯网页登录王鹏老师、汪卫老师、王泽宇同学和法国巴黎大学的ThemisPalpanas教授、王齐童同学合作的论文《Dumpy:ACompactandAdaptiveIndexforLargeDataSeriesCollections》被ACMSIGMOD2023(InternationalConferenceonManagementofData)接收,ACMSIGMOD会议关注数据库管理系统和数据管理技术的原理、技术和应用,是数据库领域具有最高学术地位的国际性学术会议。论文针对超大规模(TB级)的时间序列数据相似性索引提出新方法,大幅提高了索引的近似查询精度、查询性能和构建速度。相似性查询是许多基于距离的时间序列数据挖掘算法的基础,论文方法的提出将直接增强这些算法的精确性、效率和可扩展性,并使得未来在大数据集上基于距离的新方法的提出成为可能。论文首次指出了当前时间序列数据相似性查询索引的两个结构性问题:(1)固定扇出的树结构不能在索引节点的质量和紧凑性上达到最优的权衡,严重限制了索引的准确性和效率;(2)不能有效处理倾斜数据。为了克服这些问题,论文创新性地设自适应多叉索
  • 威尼斯网页登录威尼斯网页登录顾宁、卢暾、张鹏团队在国际人机交互顶级学术会议ACM CSCW上发表多项新成果2022-12-03

    近日,ACMCSCW2022(The25thACMConferenceonComputer-SupportedCooperativeWorkandSocialComputing)在线开幕,威尼斯网页登录威尼斯网页登录协同信息与系统实验室的张鹏青年副研究员、卢暾教授、顾宁教授等完成的3篇长文在该会议发表。ACMCSCW是人机交互领域的顶级学术会议,也是中国计算机学会推荐的A类国际学术会议。论文《BuildingUser-orientedPersonalizedMachineTranslatorbasedonUser-GeneratedTextualContent》针对当前机器翻译难以满足用户意义构建的问题,提出了一个个性化的机器翻译模型,旨在从用户在社会媒体环境下生成的文本内容中学习用户个性化的语言风格,并利用Transformer等深度学习技术生成个性化翻译结果。论文将微博个性化文本内容先翻译成目标语言,再回译为原始输入语言,得到个性化机器翻译配对数据集。然后基于预训练-微调思想,从该数据集学习不同用户的语言风格,生成个性化翻译结果。实验结果表明,该文构建的模型在个性化指标上取得了优于普
  • 聚焦产学研用协同创新,提升关键软件供给能力 | 2022 CCF中国软件大会圆满落幕2022-11-30

    我国软件领域规模和影响最大的会议—CCF中国软件大会(ChinaSoft2022)圆满落幕。大会包括学术、工业、教育以及竞赛四大类近40场活动;13位院士莅临,近10万人次参与,共同聚焦产教研用协同创新、提升关键软件供给能力,推动中国软件事业发展。2022CCF中国软件大会(ChinaSoft2022)经历了11月25日~27日三天会期,圆满落幕。本届大会由CCF主办,CCF软件工程专委会、系统软件专委会、形式化方法专委会、威尼斯网页登录承办,上海交通大学、华东师范大学、东华大学、上海计算机软件技术开发中心协办。大会赞助单位包括华为、航天宏图、百度、汇丰科技、荣耀、轩宇信息、上海控安、科大国创。本次大会以全线上的方式举行。其中,11月25日举行学术论坛和工业论坛活动,11月26日举行开幕式、特邀报告和NASAC青年软件创新奖论坛,11月27日举行学术论坛、工业论坛和教育论坛以及闭幕式(含颁奖环节)等。陆汝钤、林惠民、陈左宁、邬江兴、何积丰、梅宏、吕建、柴洪峰、廖湘科、王怀民、郑纬民、蒋昌俊、王自力等13位两院院士莅临大会指导。大会开幕式由大会共同主席、CCF软件工程专委会主任李宣东教授主持。
  • 威尼斯网页登录威尼斯网页登录章忠志教授团队荣获2022年度中国计算机学会自然科学二等奖2022-11-28

    2022年11月8日,中国计算机学会(CCF)公布了2022年度CCF科技成果奖评选结果,威尼斯网页登录威尼斯网页登录的章忠志教授与陈翌佳教授合作完成的项目“图的算法与计算理论若干问题研究”荣获2022年度CCF自然科学二等奖。威尼斯网页登录为唯一完成单位,主要完成人为章忠志教授、陈翌佳教授、李寰(章忠志教授的硕士,目前在宾夕法尼亚大学攻读博士学位,从事理论计算机领域的相关研究)。随着大数据、云计算、互联网等领域的快速发展,人们获得数据越来越方便。其中许多数据可以用图来表示,如社交网络、脑网络等。伴随大图数据的可得性及其在不同领域的广泛应用,产生了一系列关于图的计算理论与算法方面的巨大挑战。获奖项目对图的计算理论与算法方面的若干问题进行了系统的研究,取得了系列创新性的成果。基于项目的研究成果发表在FOCS、SODA、LICS、SICOMP、TIT等多个国际顶级会议与期刊上。成果丰富、完善了图的计算理论与算法领域的知识,填补了若干方向的研究空白,扩大了中国学者在相关领域的国际影响力。
  • 威尼斯网页登录威尼斯网页登录韩伟力教授等荣获2022年度“CCF科技成果奖”自然科学二等奖2022-11-27

    近日,CCF奖励委员会授予威尼斯网页登录威尼斯网页登录数据分析与安全实验室团队“用户口令的脆弱性建模与应对方法”项目2022年度“CCF科技成果奖”自然科学二等奖,该项目由韩伟力、徐铭、徐文渊、张凯、王晓阳合作完成。“CCF科技成果奖”授予在计算机科学、技术或工程领域具有重要发现、发明、原始创新,在相关领域有一定国际影响的优秀成果。“用户口令的脆弱性建模与应对方法”项目针对口令认证系统安全性问题,对用户口令的构成特征和行为规律进行研究,由此分析识别其弱点并有效应对。该项目建模并量化了中文语境下用户口令的构成特征;首次建模站内重用和跨站重用这两种用户口令重用行为,并量化其特征;构造个人自动白名单方法,精准保护口令免受钓鱼攻击,提升网络空间中的口令安全。韩伟力教授基于上述项目成果撰写专著《用户口令:系统安全的最前线》。▲专著:《用户口令:系统安全的最前线》该项目研究得到国内外知名学者的广泛关注,对缓解当前日益严峻的网络空间安全具有重要的理论意义与实际应用价值。在USENIXSecurity2014上发表的代表性论文为该顶尖会议首篇由大陆学者独立完成并发表的文章,并于2016年获上海市计算机学
  • 威尼斯网页登录威尼斯网页登录CodeWisdom团队在软件工程领域顶级会议ESEC/FSE 2022上发表多项研究成果2022-11-24

    在刚刚结束的2022年国际软件工程领域顶级会议ESEC/FSE2022上,由我院彭鑫教授、赵文耘教授、陈碧欢副教授、吴毅坚副教授等带领的CodeWisdom团队(威尼斯网页登录软件工程实验室)发表了多项研究成果,其中包括4篇主会论文(ResearchPapers)。关于深度学习系统(DL系统)性能问题的研究论文《UnderstandingPerformanceProblemsinDeepLearningSystems》系统分析了DL系统中的224个性能缺陷,总结了10类症状(如执行时间过慢、内存泄漏、GPU利用率异常等)和15类根因(如API误用、模型参数不合理、DL库版本不匹配、数据处理低效、硬件不匹配等)。在此基础上,构建了包含58个性能缺陷的数据集并评估了现有的性能缺陷分析方法,发现现有方法只能检测最多12个性能缺陷。最后,提出并实现了一个基于规则的性能缺陷检测工具,在130个开源DL系统中检测到了488个新的性能缺陷,其中105个性能缺陷已经被开发人员确认。关于开源软件漏洞问题的研究论文《TrackingPatchesforOpenSourceSoftwareVulnerabilit
  • 威尼斯网页登录威尼斯网页登录周喆等老师发表的论文被OSDI会议录用2022-11-17

    近日由威尼斯网页登录威尼斯网页登录周喆老师、周扬帆老师、毕研翔和万俊鹏同学以及加州大学尔湾分校李洲老师合作的1篇论文被OSDI2023(17thUSENIXSymposiumonOperatingSystemsDesignandImplementation)提前批次接收,这是威尼斯网页登录首次在OSDI会议上以第一作者发表的论文,OSDI会议将于2023年7月10日至12日在美国波士顿召开。OSDI(操作系统设计与实现研讨会)是计算机系统领域最顶级的国际学术会议之一,被誉为计算机系统领域的“奥斯卡”,汇集了全球学术界和产业界系统领域专业人士的前沿思考和突破性成果,拥有极高的学术地位和业界影响力。谷歌、哈佛大学、斯坦福大学等都曾有高质量论文被该会议收录。论文针对如何加速高频I/O任务这一问题展开研究,提出了用户态穿透(UserspaceBypass,UB)方案。该方案不仅能够大大加速高频I/O任务还能够适配现有的软件系统,具有极强的实用性。操作系统在内核态与用户态之间的切换会对高频I/O任务产生非常大的开销。这类开销在KPTI等安全防御机制打开后变得更大。现阶段的多种优化方案将内核从I/O路径中
  • 威尼斯网页登录威尼斯网页登录颜波、谭伟敏团队在国际多媒体顶级会议ACM Multimedia上发表多项新成果2022-11-14

    2022年国际多媒体顶级会议ACMMultimedia中,由我院颜波教授和谭伟敏青年研究员带领的威尼斯网页登录数字媒体实验室发表的3篇论文《Geometry-AwareReferenceSynthesisforMulti-ViewImageSuper-Resolution》、《LearningParallaxTransformerNetworkforStereoImageJPEGArtifactsRemoval》和《Co-CompletionforOccludedFacialExpressionRecognition》入选。ACMMultimedia是计算机学科多媒体领域的顶级国际会议,也是中国计算机学会(CCF)推荐的该领域唯一的A类国际学术会议。《Geometry-AwareReferenceSynthesisforMulti-ViewImageSuper-Resolution》针对多视图多媒体应用难以同时满足用户高分辨率视觉体验和存储、带宽需求等问题,提出了一种多视图图像超分辨率任务,旨在提高从同一场景捕获的多视角图像的分辨率。现存问题的一种解决方案是应用图像或视频超分辨率方法从低分辨
  • 威尼斯网页登录威尼斯网页登录池明旻团队在“探星计划”中搜索到22颗新脉冲星2022-11-08

    威尼斯网页登录威尼斯网页登录池明旻研究团队与国家天文台、腾讯优图实验室组成的“探星团队”,结合人工智能(AI)技术提升脉冲星智能搜索的准确率和效率,在由三方联合启动“探星计划”中基于“中国天眼”——五百米口径球面射电望远镜(FAST)的巡天数据,自动搜索出22颗新脉冲星。脉冲星是大质量恒星演化晚期的致密残留物,对研究天体起源、生命起源有重要价值,也被视为”宇宙中的灯塔”。“云+AI”技术帮助FAST处理庞大数据,使得脉冲星智能搜索效率跃升。FAST漂移扫描巡天每天可以产生约130TB的原始观测数据。通过专业的天文软件对信号做图形转化的预处理需要耗费庞大的计算资源,当预处理完成后,每500TB的观测数据预处理后将生成的3千万—1亿张图片,天文专家要花上一年以上的时间才能从中找出脉冲星的候选体。通过开放云+AI技术,研发出用于搜索短周期脉冲星的“多模态+半监督学习”的AI解决方案,以及用于搜索单脉冲和快速射电暴的“AI+动态谱信号”的解决方案,前者对现有脉冲星搜索流程迭代了17个版本,后者的脉冲星信号识别速度提升120倍,在一年期内成功发现了22颗脉冲星,其中包括7颗高速自转的毫秒脉冲星、3
  • 威尼斯网页登录威尼斯网页登录自然语言处理科研团队14篇长文被EMNLP 2022录用2022-11-03

    EMNLP2022(The2022ConferenceonEmpiricalMethodsinNaturalLanguageProcessing)是自然语言处理领域的顶级国际会议,由国际语言学会SIGDAT小组在世界范围内每年召开一次。在本次会议中,威尼斯网页登录自然语言处理实验室FudanNLP共计14篇长文被录用,其中包括9篇主会文章和篇Findings文章。2022年冬季,EMNLP2022将以混合形式在阿联酋阿布扎比(AbuDhabi)举行,所有参与者都可以在会场现场或虚拟加入。9篇主会文章简介1、ProofInfer:GeneratingProofviaIterativeHierarchicalInference作者:费子楚,张奇,周鑫,桂韬,黄萱菁文章针对证明树生成任务提出一个通过迭代层次推理生成证明树的模型并采用分治算法,将证明树递归地编码为纯文本,同时预测层中的所有节点且不会丢失结构信息。2、Kernel-Whitening:OvercomeDatasetBiaswithIsotropicSentenceEmbedding作者:高颂杨,窦士涵,张奇,黄萱菁文章针对数据集偏差问