大模型
首个单细胞生物学基础大型语言模型，在超1000万个细胞进行预训练
编辑 | 紫罗生成式预训练模型在自然语言处理（NLP）和计算机视觉等领域取得了显著的成功。文本是由文字组成的，细胞可以用基因来表征。NLP 和单细胞生物学之间的另一个核心相似之处是，用于训练的公开可用的单细胞 RNA 测序（scRNA-seq）数据的规模庞大且不断增长。NLP 模型是否也能理解单细胞生物学的内在逻辑并发展「涌现思维」？近日，来自加拿大多伦多大学和彼得·蒙克心脏中心（Peter Munk Cardiac Centre）的研究人员，通过利用呈指数增长的单细胞测序数据，首次尝试对超过 1000 万个细胞进
三维ImageNet开源！港中深韩晓光团队助力计算机视觉进入三维大数据时代
随着深度学习技术的快速发展，数据驱动的方法已成为计算机视觉领域的核心。在过去的十年里，随着 ImageNet 诞生之后，计算机视觉领域见证了 “从数据中学习” 的范式的兴盛。在 ImageNet 上进行预训练，然后迁移到下游的视觉任务，都能显著提升模型性能，并且已经成为 2D 图像领域的标准化方式。
平息画师怒火：Stable Diffusion学会在绘画中直接「擦除」侵权概念
Stable Diffusion 学会了「偷天换日」的本领。
探索大语言模型垂直化训练技术和应用-陈运文
内容来源：ChatGPT 及大模型专题研讨会 分享嘉宾：达观数据董事长兼CEO 陈运文博士分享主题：《探索大语言模型垂直化训练技术和应用》 转载自CSDN稿件本文整理自 3月11日 《ChatGPT 及大规模专题研讨会》上，达观数据董事长兼CEO 陈运文博士关于《探索大语言模型垂直化训练技术和应用》的分享，将介绍达观数据在大语言模型应用中的探索与思考。此次分享的主要内容分为 6 块，分别是：参数规模和数据规模的探索垂直领域适应预训练微调技术探索提示工程和垂直优化模型训练加速思路模型功能的垂直效能增强在探索大语言模型
在模型中植入不可检测后门，「外包」AI更易中招
机器学习（ML）正在迎来一个新的时代。
还在为玩不了ChatGPT苦恼？这十几个开源平替也能体验智能对话
本文将为大家盘点一下 ChatGPT 的开源平替项目。
光学算法简化模拟人工智能训练
编辑 | 白菜叶研究人员开发了一系列模拟和其他非常规机器学习系统，期望它们将证明比今天的计算机更节能。但是训练这些人工智能来完成它们的任务一直是一个很大的绊脚石。NTT 设备技术实验室和东京大学的研究人员现在表示，他们已经提出了一种训练算法（NTT 上个月宣布），该算法对让这些系统实现其承诺大有帮助。他们的结果建立在光学模拟计算机上，代表了在获得研究人员长期以来从「非常规」计算机架构中寻求的潜在效率增益方面取得的进展。现代人工智能程序使用一种名为人工神经网络的受生物学启发的架构来执行图像识别或文本生成等任务。控制计
腾讯获国际信息检索领域国际权威比赛两项冠军，展示AI大模型技术实力
近日，信息检索领域国际顶级学术会议WSDM（Web Search and Data Mining）宣布了WSDM CUP 2023竞赛成绩，来自腾讯的研究团队基于大模型预训练、搜索排序以及集成学习等技术上的突破，在无偏排序学习和互联网搜索预训练模型赛道上的两项任务中获得冠军，体现了在该领域的领先技术实力。ACM WSDM（Web Search and Data Mining） 会议是信息检索领域顶级会议之一，由SIGIR、SIGKDD、SIGMOD和SIGWEB四个专委会协调筹办，在互联网搜索、数据挖掘领域享有较高
真·ChatGPT平替：无需显卡，MacBook、树莓派就能运行LLaMA
Meta 在上个月末发布了一系列开源大模型 ——LLaMA（Large Language Model Meta AI），参数量从 70 亿到 650 亿不等。由于模型参数量较少，只需单张显卡即可运行，LLaMA 因此被称为 ChatGPT 的平替。发布以来，已有多位开发者尝试在自己的设备上运行 LLaMA 模型，并分享经验。
ChatGPT的前世今生：OpenAI的技术「执拗」与「豪赌」
本文全方位地介绍了 ChatGPT 的能力特征、发展历程以及 OpenAI 一路走来所坚守的技术路线，并对 ChatGPT 出现之后 NLP 领域的范式转换进行了展望，即 ChatGPT 开启「文本生成 + 指令」的范式。
特斯拉前AI总监教你手搓GPT大模型，教学视频已出
「从零开始，用代码直接写。」
速揽2500星，Andrej Karpathy重写了一份minGPT库
时隔两年，GPT的Pytorch训练库minGPT迎来更新！
如何向大模型注入知识？达摩院通义对话模型SPACE系列探索
如何将人类先验知识低成本融入到预训练模型中一直是个难题。达摩院对话智能团队提出了一种基于半监督预训练的新训练方式，将对话领域的少量有标数据和海量无标数据一起进行预训练，从而把标注数据中蕴含的知识注入到预训练模型中去，打造了 SPACE 1/2/3 系列模型。SPACE-1：注入对话策略知识，AAAI 2022 长文录用；SPACE-2：注入对话理解知识，COLING 2022 长文录用，并获 best paper award 推荐；SPACE-3：集对话理解 对话策略 对话生成于一体的模型， SIGIR 2
Creator 面对面 | 大规模预训练模型的新思考：效率和泛化
自 2018 年谷歌推出 BERT（3.4 亿参数）以来，语言模型开始朝着「大」演进。国内外先后出现了参数量高达千亿甚至万亿的语言模型，比如谷歌的 T5（110 亿）、OpnAI 的 GPT-3（1,750 亿）、华为联合鹏城实验室的盘古（Pangu）（2000 亿），智源研究院的 WuDao2.0（1.75 万亿）……
对于这样的大模型，其背后支撑的是巨额的算力要求。那么对于 AI 民主化，降低模型训练门槛和壁垒，同时兼顾性能和表现，在未来模型的训练上又会有怎样的思考呢？
无需训练，自动扩展的视觉Transformer来了
来自德克萨斯大学奥斯汀分校、悉尼科技大学和谷歌的研究者提出了一个无需训练就能自动扩展框架 As-ViT，其能以高效和有原则的方式自动发现和扩展 ViT。
关键点检测项目代码开源了！
作者：闫永强，算法工程师，Datawhale成员 本文通过自建手势数据集，利用YOLOv5s检测，然后通过开源数据集训练squeezenet进行手部关键点预测，最后通过指间的夹角算法来判断具体的手势，并显示出来。文章第四部分为用C 实现整体的ncnn推理（代码较长，可先马后看）一、YOLOV5训练手部检测训练及部署思路类似表情识别，需要将handpose数据集标签改成一类，只检测手部，简化流程，更易上手。此部分数据集来源格物钛 ，具体的效果如图：本教程所用训练环境：系统环境：Ubuntu16.04cuda版本：
阿里开源 支持10万亿模型的自研分布式训练框架EPL(Easy Parallel Library)
最近阿里云机器学习PAI平台和达摩院智能计算实验室一起发布“低碳版”巨模型M6-10T，模型参数已经从万亿跃迁到10万亿，规模远超业界此前发布的万亿级模型，成为当前全球最大的AI预训练模型。
站在2022前展望大模型的未来，周志华、唐杰、杨红霞这些大咖怎么看？
岁末年初之际，让我们回顾大模型的过去，展望大模型的未来。