夜间模式暗黑模式
字体
阴影
滤镜
圆角

作者:reku

篇文章

GNN for Source Code Modeling(三)
实际上 GNN 在 Source Code 上的应用和创新还有很多。之前的两篇文章都是关于 GNN 建图以及 GNN 跟其他任务相结合的工作,这篇文章就讲一下对 GNN 本身的创新。 Graph Matching Networks for Learning the Similarity of Graph Structured Objects. IC…
GNN for Source Code Modeling(二)
这篇讲一个基于上一篇的改进工作。 在 Source Code 中,因为程序员的变量命名通常来讲都比较诡异,所以存在着比较严重的 open vocabulary 问题(也叫作 Out of Vocabulary)。比如一个变量名叫做 LianlianInput,因为这个 Lianlian 不在词汇表里面,VARNAMING 的时候就根本不会输出这个 …
GNN for Source Code Modeling(一)
关于 Source Code 的 learning 其实已经有很多工作了,每年的顶会中也有很多这个方面的文章。其实针对 Source Code 的 learning 可以算是 NLP 的一个子领域,因为 Source Code 本身就是就是程序员之间交流的一种语言。因为 Code 是一个结构化数据,存在着语义信息与语法信息,所以相比于自然语言来说,…
AutoTVM 探秘 (三)
对于目前的优化算法来说,依然存在着许多问题。但是后续的工作并不是特别多。首先可以看一下 Reinforcement Learning and Adaptive Sampling for Optimized DNN Compilation, ICML 2019 Workshop RL4RealLife 这篇文章主要谈到的问题是两点:1. 开发一个更有…
AutoTVM 探秘(二)
好了,本篇开始进入正题!内容基本都来自于:Learning to Optimize Tensor Programs. NeurlPS`18 问题定义 上一篇文章讲了 AutoTVM 的大致问题,现在给出数学上面的描述。 首先有一个 \(\mathcal{E}\) 代表所有可能的计算,\(e\in\mathcal{E}\) 就是我们要去优化的计算。对…
AutoTVM 探秘(一)
周末要在实验室搞个类似讲座之类的东西,先在这里写一下讲座内容,理清思路。也是对最近一个月的学习内容做一个总结。 从 TVM 开始 TVM: an automated end-to-end optimizing compiler for deep learning. OSDI`18 AutoTVM 其实是 TVM 的一个组件,那么先要搞清楚 TVM …
CSE 599W: SYSTEMS FOR ML 课程笔记 7-12
各种课程资料请参考上一篇文章 Lecture 7: Automatic Code Generation - TVM Stack 现在深度学习的框架非常多,而这些乱七八糟框架写出来的代码通常又跑在乱七八糟的设备上。这其中最为关键的问题就是:如何让深度学习代码在不同的设备上都跑出最好的效果。 众所周知,如果软件架构出现了什么难以解决的问题,那就加个中间…
CSE 599W: Systems for ML 课程笔记 1-6
课程网站 在头条 AML 实习的时候就觉得这个 AI system 方向非常有趣,但是苦于实验室不是搞这一套的,自己拖延症也非常严重,所以一直在入门的边缘徘徊。但是在今天——研一秋学期考试周的前一周,我决定开始学习 AI system 方向最著名的必学课程,Tianqi Chen 在 UW 开设的 CSE599W。 这个课程其实资料并不是很完善,只…
从 AdaBoost 到 GBDT
集成学习顾名思义,就是把一堆垃圾方法集成起来变成一个牛逼的方法。集成学习主要分为两种思路:Bagging 和 Boosting。Bagging 的话就是一堆独立的垃圾方法,比如随机森林,就是通过不同的采样和不同的特征抽取方法产生一堆独立的决策树,然后把他们的决策进行投票。而 Boosting 则是通过一个垃圾方法来产生下一个垃圾方法,最知名的方法就…
支持向量机的清晰推导
其实是标题党啦... SVM 推导作为最臭名昭著的机器学习面试题,其实我在去年的这个时候准备头条实习面试的期间就已经“背诵”过了,但完全没有理解自己推导的是个什么东西。最近看台大的《机器学习技法》的课程视频,感觉这个 SVM 推导过程讲的非常清晰。最关键的是每一步的 motivation 都讲的非常清楚,正好博客也好久好久好久没有更新了,这里简单重…