《镜子大全》《朝华午拾》分享 http://blog.sciencenet.cn/u/liwei999 曾任红小兵,插队修地球,1991年去国离乡,不知行止。


  • Simon Fraser University,博士

    • 信息科学

    扫一扫,分享此博客主页
音乐盒
还没有设置音乐盒的内容
统计信息

已有 19523403 人来访过

  • 无权查看
GPT作为序列数据的无损压缩器 2025-07-08
预测下一词的自回归大模型GPT早已风靡全球。压缩即智能的说法已经广为人知,但关于其无损压缩的能力貌似一直有争议。GPT压缩到底是无损还是有损呢? 这是一个 ...
(352)次阅读|(0)个评论
与尼克等老友唠大模型压缩理论 2025-07-08
1. 为什么中心节点看起来最“省比特” 在语义压缩框架里,发送端和接收端都共享一个超大的知识库(也就是大语言模型GPT本身)。只要两边都装好了这台“超级预 ...
(344)次阅读|(0)个评论
破除“无损压缩即智能”的迷思 2025-07-08
立委按:这两天跟大模型压缩理论干上了,发现,这里面目前在市面上仍然充满了迷思和误解。要命的是,压缩问题是大模型革命的首要问题,反映了大模型背后的奥秘和 ...
(373)次阅读|(0)个评论
Demystifying the misconception of "Lossless Compression as I 2025-07-08
Demystifying the misconception of "Lossless Compression as Intelligence" Debates on LLM compression theory reveal p ...
(318)次阅读|(0)个评论
要区分GPT训练中的压缩,与拿GPT当压缩器工具 2025-07-07
GPT训练中的压缩,与拿GPT当压缩器工具不是一回事,二者有很大的关联,但不是同一个层面的问题。GPT是无损还是有损压缩的混淆与争论,就是搞错了这个层面和视角 ...
(310)次阅读|(0)个评论
信息论科普:GPT对给定序列无损压缩的最终区间 2025-07-07
可以用GPT无损压缩的算术编码作为例示 一、最终区间的本质:概率宇宙中的精确坐标 想象一个包含所有可能文本序列的宇宙(概率空间): 词汇表 概率分布 ...
(252)次阅读|(0)个评论
信息论科普:香农极限(Shannon Limit) 2025-07-07
香农极限(Shannon Limit)是信息论中最深刻、最优雅的概念之一,由“信息论之父”克劳德·香农(Claude Shannon)在1948年奠基性论文《通信的数学理论》中提出 ...
(295)次阅读|(0)个评论
GPT无损压缩小问答(3):算术编码 2025-07-07
GPT+算术编码是对数据的无损压缩。什么是算术编码?它是怎么工作的? 算术编码:GPT压缩的“比特转换器” 算术编码 (Arithmetic Coding)  是经典的无损 ...
(314)次阅读|(0)个评论
GPT无损压缩小问答(2):为什么说GPT是无损压缩? 2025-07-07
GPT生成还原的不是训练数据的原文,为什么说“GPT压缩是无损压缩”? 常听到这句话,但其实这句话有歧义,不准确。GPT赋能无损压缩到对象不是训练数据,对于训练 ...
(221)次阅读|(0)个评论
GPT无损压缩小问答(1): 高压缩率导致系统脆弱 2025-07-07
压缩率不够高不是更容易还原原文吗?从无损还原角度,我们其实不想模型压缩率“过高”。 这个问题非常犀利,直接点中了无损压缩理论中一个反直觉的关键点,质疑 ...
(288)次阅读|(0)个评论
Yann LeCun 所鼓吹的「世界模型」与GPT+Diffusion有什么不同 2025-06-22
Yann LeCun 所鼓吹的「世界模型」(World Model)是一種旨在模仿人類和動物學習世界咦鞣绞降男屡d AI 概念 。他認為,這條路徑不同於主流的 GPT/Diffusion 模 ...
(650)次阅读|(0)个评论
像素值是“连续变量”,还是工程上的伪装? 2025-06-22
“视觉是连续空间的模拟信号,每个像素点就是一个连续变量。”这是很多计算机视觉教材和模型论文中默认的假设。听起来合理,似乎也和物理世界接轨。但只要稍加 ...
(390)次阅读|(0)个评论
父亲节:老爸 2025-06-22
老爸出身于一个破落的知识分子家庭。那座承载着岁月沧桑的青瓦老宅,宛如一位沉默的老人,见证着家族的兴衰荣辱。墙皮早已剥落,露出内里斑驳的砖石,每 ...
(810)次阅读|(0)个评论
老爸的四则小故事 2025-06-22
1 . 大年三十的急诊 有一年春节,我回老家陪老爸过年。 除夕夜,暖黄色的灯光洒在房间里,一家人围坐在电视机前,春晚的欢声笑语和瓜子嗑开的脆响交织在一 ...
(1034)次阅读|(3)个评论
从0实现并理解GPT 2025-06-04
立委按:鉴于语言大模型GPT的重要性,特此根据AI大神Karpathy的nanoGPT讲座,编纂此科普系列。 你可能已经听说过GPT(Generative Pre-trained Transform ...
(872)次阅读|(0)个评论
大模型科普:探秘莎翁风格的诞生之旅(无代码版) 2025-06-03
立委按:鉴于语言大模型GPT的重要性,特此根据AI大神Karpathy的nanoGPT讲座,编纂此科普系列,计五篇,其中此篇没有代码和数学公式,是最通俗的科普。其他四 ...
(758)次阅读|(0)个评论
LLM的后训练强化学习是怎么工作的 2025-06-02
立委按:LLM的强化学习后训练是当前热点,也是最新思维链(CoT)推理模型范式的红利期。推理强化后的模型在复杂任务的表现上普遍性能提升。强化后训练的新范式正 ...
(1007)次阅读|(0)个评论

查看更多

    无权查看

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2025-7-9 07:42

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部