谷歌Robotics研究科学家:记住5个问题,快速理解ML论文要点
编译:戚路北
编辑:陈彩娴
机器学习领域非常火热,新的模型、技术不断更新非常快,要求我们在平时的工作和学习过程中,会需要去阅读一些论文,跟踪某个领域的最新动态。
但读论文经常会有两种不适的感觉,一谷歌是容易遗忘,二是不能提纲挈领。 遗忘通常是读了后面忘记前面,或者过几日回顾自己读的论文完全不知道是怎么回事。 不能提纲挈领体现在喜欢逐字逐句的阅读,没有侧重点的从全局来学习论文。
那么,我们应该如何阅读机器学习Ro领域的论文?
谷歌 Robotics 研究科学家 Eric Jang 在博客上写了一篇名为“How to Understand ML Papers Quickly”的文章,提到他的学员也经常问他一些大同小异的问题,比如 “arXibov 上的各种论文每天都泛滥成灾,我们又该如何去选择性地阅读?”
他提出,阅读大多数机器学习领域的论文的好处在于,你只需要问五个简单的问题,就能弄清楚论文的逻辑,并能避免很多麻烦,例如难懂的术语,糟糕的数学推导ti…
这五个问题是:
1. 函数逼近器的输入是什么?
例如,只有一个对象居中的224x224x3 RGB 视图。
2. 函数逼近器的输出是什么?
例如,对应于输入长度为1000向量的图像。
通过这种“省略”的方式思考机器学习系统的cs输入和输出,如此一来,你便可以跳过算法术语,并考虑其他领域是否用其他方法实现了同样的目的。我发现这种方法在阅读“元学习”领域的论文时非常有用。
通过将机器学习问题视为一组输入和预期的输出,你可以推断输入是否足以研究预测输出。如果不进行此练习,你可能会随便设置一个机器学习问题,输出可能无法由输入确定。因此便有可能创造一个引发“错误”的机器学习系统。
3. 关于输出的预测是以什么为代价来进行监督的?这个特定目标对世界又有科学什么样的假设?
机器学习模型是通过组合偏置和数据而形成的。有时偏置很强,有时又很弱。为了使模型更好地泛化,你需要添加更多偏差或者添加更多的无偏数据。正如“天下没有免费的午餐”理论所指出的,没有哪一个优秀的模家:型是能轻轻松松做出来的。
举一个例子:许多最优控制算法都假设一个稳定而连续的数据生成过程,即马尔可夫决策过程(MDP)。在MDP中,"状态"和"行动"通过环境的过渡动态确定映射到"下一个状态、反馈以及是否结束"。这记住种结构虽然非常寻常,但可以将损失进行公式化表达,使学习Q值遵循贝尔曼方程。
4. 经过训练后,模型可以从以前闻所未闻的输入/输出中概括出什么?
由于从数据或模型的体系结构中捕获了信息,因此机器学习系统可以很好地泛华5个。近年来,我们看到泛化的水平越来越高,因此在阅读论文时,我会去观察那些令人惊讶的泛化功能以及它们来自何处(数据,偏置或两者兼而有之)。
更好的归纳偏置在该领域存在很多噪音,例如因果推理、符号方法或以对象为中心的表问题示。这些是构建稳健而且可靠的机器学习系统的重要工具,而且我知道分隔结构化数据与模型的偏置界限可能很模糊。话虽如此,但让作者感到困惑的是,为什么有那么多研究人员认为推动机器学习前进的方式是减少学习量并增加硬编码行,快为的量。
我们之所以开展“机器学习”的科研工作,恰恰是因为有些事情我们不知道如何去进行硬编码。作为机器学习研究人员,我们应该将工作重点放在改善学习方法上,而将硬编码和符号方法留给机器硬编码研究人员使用。
5. 结论是速理否可证伪?
那些声称不能证伪的论文不在科学领域之内。
原文链接:https://blog.evjang.com/2021/01/understanding-ml.html
【本文是51CTO专栏机构大数据文摘的解M原创译文,微信公众号“大数据文摘( id: BigDataDigest)”】
(责任编辑:使用教程)
- 谷歌母公司Alphabet将于7月28日发布2021年第二季度财报
- 标签: 禾芯动力 AWE2026 植保无人机P100S 浙江大学
- 使用 Python-on-whales 从 Python 调用 Docker CLI
- 标签: 造车新势力
- 微软推出全新AI形象 Mico,Clippy 回归“变身”人工智能好友
- 标签: 铠侠 NAND闪存 SSD 数据中心
- 标签: 珞石
- 小米投资个人护理美容品牌inFace茵菲斯
- 微软 Edge 新策略:在访问 AI 应用时推介 Copilot
- 前 Oculus 创始人 AI 初创企业 Sesame 融资 2.5 亿美元,智能眼镜 Beta 版现已上线
- 标签: e& Hatem Dowidar Masood Mahmood 电信集团
- Spark性能调优-RDD算子调优篇
- Google宣布Gemini in Chrome正式向Workspace用户全面开放
- 标签: DeepSeek MOE模型 DDoS攻击 服务宕机
- 标签: 普诺威 IC封装基板 MEMS 歌尔微
- 世界上最难的“沙雕”游戏被AI攻破了
- 美国民众对人工智能的担忧超全球水平
- #亚马逊考虑接受狗狗币支付#上热搜 网友:有没有猫猫币
- 云安全日报211102:IBM私有云安全性与合规性解决方案发现重要漏洞,需要尽快升级
- 威胁情报如何成为安全产品“连接器”?腾讯安全行业沙龙落地
- 标签: 值得买科技 什么值得买 星罗创想 日晟星罗 views+
- IBM发布第四季度财报 盘后股价跌近6% views+
- 英国:Facebook等科技巨头若不删非法内容将面临数十亿英镑罚款 views+
- 标签: Intuit OpenAI TurboTax QuickBooks views+
- 云安全日报210325:思科Jabber统一通信解决方案发现任意程序执行漏洞,需要尽快升级 views+
- 标签: 月之暗面 张予彤 杨植麟 Kimi views+
- 云安全日报210518:思科统一通信解决方案发现跨站点脚本漏洞,需要尽快升级 views+
- 开源语音大模型 “Step-Audio 2 mini” 发布!听得清楚、说得自然 views+
- 标签: OpenAI GPT-5.2 Sam Altman 壁街见闻 views+
- 云安全日报210915:Adobe Photoshop图片处理软件发现任意代码执行漏洞,需要尽快升级 views+
