训练
平息画师怒火：Stable Diffusion学会在绘画中直接「擦除」侵权概念
Stable Diffusion 学会了「偷天换日」的本领。
探索大语言模型垂直化训练技术和应用-陈运文
内容来源：ChatGPT 及大模型专题研讨会 分享嘉宾：达观数据董事长兼CEO 陈运文博士分享主题：《探索大语言模型垂直化训练技术和应用》 转载自CSDN稿件本文整理自 3月11日 《ChatGPT 及大规模专题研讨会》上，达观数据董事长兼CEO 陈运文博士关于《探索大语言模型垂直化训练技术和应用》的分享，将介绍达观数据在大语言模型应用中的探索与思考。此次分享的主要内容分为 6 块，分别是：参数规模和数据规模的探索垂直领域适应预训练微调技术探索提示工程和垂直优化模型训练加速思路模型功能的垂直效能增强在探索大语言模型
在模型中植入不可检测后门，「外包」AI更易中招
机器学习（ML）正在迎来一个新的时代。
光学算法简化模拟人工智能训练
编辑 | 白菜叶研究人员开发了一系列模拟和其他非常规机器学习系统，期望它们将证明比今天的计算机更节能。但是训练这些人工智能来完成它们的任务一直是一个很大的绊脚石。NTT 设备技术实验室和东京大学的研究人员现在表示，他们已经提出了一种训练算法（NTT 上个月宣布），该算法对让这些系统实现其承诺大有帮助。他们的结果建立在光学模拟计算机上，代表了在获得研究人员长期以来从「非常规」计算机架构中寻求的潜在效率增益方面取得的进展。现代人工智能程序使用一种名为人工神经网络的受生物学启发的架构来执行图像识别或文本生成等任务。控制计
腾讯获国际信息检索领域国际权威比赛两项冠军，展示AI大模型技术实力
近日，信息检索领域国际顶级学术会议WSDM（Web Search and Data Mining）宣布了WSDM CUP 2023竞赛成绩，来自腾讯的研究团队基于大模型预训练、搜索排序以及集成学习等技术上的突破，在无偏排序学习和互联网搜索预训练模型赛道上的两项任务中获得冠军，体现了在该领域的领先技术实力。ACM WSDM（Web Search and Data Mining） 会议是信息检索领域顶级会议之一，由SIGIR、SIGKDD、SIGMOD和SIGWEB四个专委会协调筹办，在互联网搜索、数据挖掘领域享有较高
ChatGPT的前世今生：OpenAI的技术「执拗」与「豪赌」
本文全方位地介绍了 ChatGPT 的能力特征、发展历程以及 OpenAI 一路走来所坚守的技术路线，并对 ChatGPT 出现之后 NLP 领域的范式转换进行了展望，即 ChatGPT 开启「文本生成 + 指令」的范式。
特斯拉前AI总监教你手搓GPT大模型，教学视频已出
「从零开始，用代码直接写。」
速揽2500星，Andrej Karpathy重写了一份minGPT库
时隔两年，GPT的Pytorch训练库minGPT迎来更新！
如何向大模型注入知识？达摩院通义对话模型SPACE系列探索
如何将人类先验知识低成本融入到预训练模型中一直是个难题。达摩院对话智能团队提出了一种基于半监督预训练的新训练方式，将对话领域的少量有标数据和海量无标数据一起进行预训练，从而把标注数据中蕴含的知识注入到预训练模型中去，打造了 SPACE 1/2/3 系列模型。SPACE-1：注入对话策略知识，AAAI 2022 长文录用；SPACE-2：注入对话理解知识，COLING 2022 长文录用，并获 best paper award 推荐；SPACE-3：集对话理解 对话策略 对话生成于一体的模型， SIGIR 2
Creator 面对面 | 大规模预训练模型的新思考：效率和泛化
自 2018 年谷歌推出 BERT（3.4 亿参数）以来，语言模型开始朝着「大」演进。国内外先后出现了参数量高达千亿甚至万亿的语言模型，比如谷歌的 T5（110 亿）、OpnAI 的 GPT-3（1,750 亿）、华为联合鹏城实验室的盘古（Pangu）（2000 亿），智源研究院的 WuDao2.0（1.75 万亿）……
对于这样的大模型，其背后支撑的是巨额的算力要求。那么对于 AI 民主化，降低模型训练门槛和壁垒，同时兼顾性能和表现，在未来模型的训练上又会有怎样的思考呢？
无需训练，自动扩展的视觉Transformer来了
来自德克萨斯大学奥斯汀分校、悉尼科技大学和谷歌的研究者提出了一个无需训练就能自动扩展框架 As-ViT，其能以高效和有原则的方式自动发现和扩展 ViT。
关键点检测项目代码开源了！
作者：闫永强，算法工程师，Datawhale成员 本文通过自建手势数据集，利用YOLOv5s检测，然后通过开源数据集训练squeezenet进行手部关键点预测，最后通过指间的夹角算法来判断具体的手势，并显示出来。文章第四部分为用C 实现整体的ncnn推理（代码较长，可先马后看）一、YOLOV5训练手部检测训练及部署思路类似表情识别，需要将handpose数据集标签改成一类，只检测手部，简化流程，更易上手。此部分数据集来源格物钛 ，具体的效果如图：本教程所用训练环境：系统环境：Ubuntu16.04cuda版本：
阿里开源 支持10万亿模型的自研分布式训练框架EPL(Easy Parallel Library)
最近阿里云机器学习PAI平台和达摩院智能计算实验室一起发布“低碳版”巨模型M6-10T，模型参数已经从万亿跃迁到10万亿，规模远超业界此前发布的万亿级模型，成为当前全球最大的AI预训练模型。
站在2022前展望大模型的未来，周志华、唐杰、杨红霞这些大咖怎么看？
岁末年初之际，让我们回顾大模型的过去，展望大模型的未来。
图神经网络准确预测无机化合物性质，加速固态电池的设计
编辑/绿萝大规模从头计算与结构预测的进步相结合，在无机功能材料的发现中发挥了重要作用。目前，在无机材料的广阔化学空间中，只发现了一小部分。实验和计算研究人员都需要加速探索未知的化学空间。来自美国国家可再生能源实验室（NREL）、科罗拉多矿业学院和伊利诺伊大学的研究人员展示了一种可以准确预测无机化合物性质的机器学习方法。展示了基态（GS）和更高能量结构的平衡训练数据集，对使用通用图神经网络（GNN）架构准确预测总能量的重要性。该研究可加速固态电池的设计。该研究以「Predicting energy and stabi
增大模型依然有用，DeepMind用2800亿参数的Gopher，测试语言系统极限
DeepMind 连发三篇论文，全面阐述大规模语言模型依然在进展之中，能力也在继续增强。近年来，国内外各大 AI 巨头的大规模语言模型（large language model，LLM）一波接着一波，如 OpenAI 的 GPT-3、智源研究院的悟道 2.0 等。大模型已然成为社区势不可挡的发展趋势。然而，当前语言模型存在着一些问题，比如逻辑推理较弱。那么，我们是否可以仅通过添加更多数据和算力的情况下改进这些问题呢？或者，我们已经达到了语言模型相关技术范式的极限？今日，DeepMind「一口气」发表了三篇论文，目的
归一化提高预训练、缓解梯度不匹配，Facebook的模型超越GPT-3
来自 Facebook AI 的研究者提出了 NormFormer，该模型能够更快地达到目标预训练的困惑度，更好地实现预训练困惑度和下游任务性能。
5300亿参数的「威震天-图灵」，微软、英伟达合力造出超大语 言模型
在微软和英伟达的共同努力下， Turing NLG 17B 和 Megatron-LM 模型的继承者诞生了：5300 亿参数，天生强大，它的名字叫做「Megatron-Turing」。