AIGC宇宙 AIGC宇宙

Token

0 Token 间间隔 100% GPU 利用率，百度百舸 AIAK 大模型推理引擎极限优化 TPS

0 Token 间间隔 100% GPU 利用率，百度百舸 AIAK 大模型推理引擎极限优化 TPS
什么是大模型推理引擎大模型推理引擎是生成式语言模型运转的发动机，是接受客户输入 prompt 和生成返回 response 的枢纽，也是拉起异构硬件，将物理电能转换为人类知识的变形金刚。 大模型推理引擎的基本工作模式可以概括为，接收包括输入 prompt 和采样参数的并发请求，分词并且组装成 batch 输入给引擎，调度 GPU 执行前向推理，处理计算结果并转为词元返回给用户。 和人类大脑处理语言的机制类似，大模型首先会把输入的 prompt 进行统一理解，形成具有记忆能力的上下文。
1/8/2025 8:55:32 AM
LW
AMD 推出自家首款小语言 AI 模型“Llama-135m ”，主打“推测解码”能力可减少 RAM 占用

AMD 推出自家首款小语言 AI 模型“Llama-135m ”，主打“推测解码”能力可减少 RAM 占用
AMD 在 Huggingface 平台公布了自家首款“小语言模型”AMD-Llama-135m，该模型具有推测解码功能，拥有 6700 亿个 token，采用 Apache 2.0 开源许可，AI在线附模型地址如下（点此访问）。据介绍，这款模型主打“推测解码”能力，其基本原理是使用小型草稿模型生成一组候选 token，然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个 token，而不会影响性能，从而显著减少 RAM 占用，实现效率提升。AMD 表示，这款模型在四个 AMD Instinct MI25
9/29/2024 5:08:32 PM
漾仔
《Python机器学习》作者科普长文：从头构建类GPT文本分类器，代码开源

《Python机器学习》作者科普长文：从头构建类GPT文本分类器，代码开源
学起来吧！近日，机器学习研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 又分享了一篇长文，主题为《从头开始构建一个 GPT 风格的 LLM 分类器》。文章展示了如何将预训练的大型语言模型（LLM）转化为强大的文本分类器。AI在线对文章内容进行了不改变原意的编译、整理：为什么要关注分类呢？首先，针对分类任务，对预训练模型进行微调是一个简单有效的 LLM 知识入门方式。其次，文本分类有许多商业应用场景，比如：垃圾邮件检测、情感分析、客户反馈分类、主题分类等等。阅读完本文，你将找到以下
9/28/2024 2:24:00 PM
机器之心
OpenAI o1 非 GPT-4o 直接进化，在成本与性能上妥协

OpenAI o1 非 GPT-4o 直接进化，在成本与性能上妥协
9 月 14 日消息，OpenAI 已经推出了新模型 OpenAI o1 的两大变体 ——o1-preview 与 o1-mini，这两款模型都有许多值得深入探讨的内容。人工智能专家西蒙・威利森（Simon Willison）专门发文，深入剖析了这些新模型背后的设计理念与实现细节，揭示了它们在技术上的独特优势与不足。威利森表示，o1 并不是简单的 GPT-4o 直接升级版，而是在强化“推理”能力的同时，做出了成本与性能上的权衡。1. 训练思维链OpenAI 的声明是一个很好的起点：“我们研发了一系列新型人工智能模型
9/14/2024 10:40:51 PM
小小
大模型智障检测 + 1：Strawberry 有几个 r 纷纷数不清，最新最强 Llama3.1 也傻了

大模型智障检测 + 1：Strawberry 有几个 r 纷纷数不清，最新最强 Llama3.1 也傻了
继分不清 9.11 和 9.9 哪个大以后，大模型又“集体失智”了！数不对单词“Strawberry”中有几个“r”，再次引起一片讨论。GPT-4o 不仅错了还很自信。刚出炉的 Llama-3.1 405B，倒是能在验证中发现问题并改正。比较离谱的是 Claude 3.5 Sonnet，还越改越错了。说起来这并不是最新发现的问题，只是最近新模型接连发布，非常热闹。一个个号称自己数学涨多少分，大家就再次拿出这个问题来试验，结果很是失望。在众多相关讨论的帖子中，还翻出一条马斯克对此现象的评论：好吧，也许 AGI 比我想
7/26/2024 3:00:36 PM
清源
5亿个token之后，我们得出关于GPT的七条宝贵经验

5亿个token之后，我们得出关于GPT的七条宝贵经验
ChatGPT 正确的使用姿势。自 ChatGPT 问世以来，OpenAI 一直被认为是全球生成式大模型的领导者。2023 年 3 月，OpenAI 官方宣布，开发者可以通过 API 将 ChatGPT 和 Whisper 模型集成到他们的应用程序和产品中。在 GPT-4 发布的同时 OpenAI 也开放了其 API。一年过去了，OpenAI 的大模型使用体验究竟如何，行业内的开发者怎么评价？最近，初创公司 Truss 的 CTO Ken Kantzer 发布了一篇题为《Lessons after a half-b
4/19/2024 4:08:00 PM
机器之心
连看好莱坞大片都学会了！贾佳亚团队用2token让大模型卷出新境界

连看好莱坞大片都学会了！贾佳亚团队用2token让大模型卷出新境界
家人们谁懂，连大模型都学会看好莱坞大片了，播放过亿的GTA6预告片大模型还看得津津有味，实在太卷了！而让LLM卷出新境界的办法简单到只有2token——将每一帧编码成2个词即可搞定。等等！这种大道至简的方法有种莫名的熟悉感。不错，又是出自香港中文大学贾佳亚团队。这是贾佳亚团队自8月提出主攻推理分割的LISA多模态大模型、10月发布的70B参数长文本开源大语言模型LongAlpaca和超长文本扩展术LongLoRA后的又一次重磅技术更新。而LongLoRA只需两行代码便可将7B模型的文本长度拓展到100k token
12/12/2023 3:14:00 PM
机器之心
Transformer速查宝典：模型、架构、训练方法的论文都在这里了

Transformer速查宝典：模型、架构、训练方法的论文都在这里了
论文大合集，一篇文章就搞定。
8/14/2023 3:53:00 PM
机器之心
  • 1