张涛周报2017.9.18-9.24

本周主要科研任务为研究、完善增量式概念生成方法。 该方法的主要思想为人类认知的增量式过程。在当前看来,人脑认识事物为一个震荡收敛过程,当收敛至一个不动点时认为当前对事物认知趋于完善。但随着阅历的增加,原有的概念体系必然将不断修正。原有的知识不断更新,新的领域不断拓展。 从结构上,最为简单的增长莫过于原始概念不做修正。这种情况一般出现于已经认知的概念领域。比如,IPhone 8并没有让我对iphone这个概念发生任何概念,无非是在iphone这个概念的外延中加入了一个iphone8对象而已。 其次,对于原有知识的更新过程一般为伴生的增长过程。该过程主要是对现有概念体系的细化或更新。比如,我原本认为手机的屏幕一般为矩形。但iphone X的发布让我知道原来手机屏幕还可以做出刘海。虽然“手机屏幕”这个概念仍然存在,但其内涵中对于其形状的要求已经发生变化。这就是对概念的更新过程。而“苹果式的全面屏”这样的概念对我原有全面屏概念的细化。 最为复杂的情况,当属新领域的拓展。从结构角度看,新领域意味着新的顶层出现。虽然这个对象可能和现有的知识或多或少建立联系,但其终归是新的知识。比如,我看GAN。GAN对于我来说是一个新出现的顶层对象,但当我了解其属性后,发现其与深度学习、概念学习思想基本同源。这就意味着在属性拓扑中这三者是包容关系。所以,我学习GAN时,原来对于深度学习、概念学习的知识会被类比过来使用。也就是说,我是将我原来学会的概念复制给了GAN一份,然后再通过GAN约束,看看哪些需要调整,哪些需要更新。这就是这次对新增顶层对象的处理思路。这个思路其实和迁移学习已经有了相似之处,下一步想必可以发展一下。 总之,新的增量式算法基本思想就是这样。但在设计过程中仍走了很多弯路。好在前面有曹海兰为我奠定的基础,这次有李和合不断的指出问题,让我得以逐渐修改并暂时得以无bug设计(这个过程不就是GAN的对抗式生成吗?同时也是概念学习的趋于不动点?)。本周虽然效率不高,总算还有收获,聊以安慰。 本方向下一步计划: 1. 将算法形式化,并进行相应证明,完成论文写作。 2. 连续数据的层次化表示仍要继续考虑。 ...
Read More

周报 2017.06.05 – 张猛

一、本周工作 1. 把DCGAN,BEGAN中G和D的Loss与训练过程进行可视化,反映出来的训练趋势和实际的生成结果说明模型并不稳定; 2. 关于SR Loss的可视化,由于代码并不是显式,而是调用的第三方库实现,可视化难度大; 3. 把loss过程进行类似滤波形式操作,也就是折线图平滑的思想,可行性有待商榷; 二、下周计划 1. SR的可视化工作结束; 2. 把Loss的滤波工作是否可行进行总结 3. 进度抓紧 ...
Read More

周报 2017.05.22 – 张猛

一、上周工作 1. 通过对之前工作的反思,自我认为: 1)之所以对现在最新论文有些讲解不懂,一个原因是涉及到的概念及数学知识太多,自己功底不够; 另一个原因是对最初的GAN原理可能理解的不够透彻。 2)基于以上原因,本周对之前的DCGAN论文进行了详读,整理,作为小论文的材料。 2. 以前没有跑过WGAN的结果,本周也Down下来了源码,通过调整之后能跑起来,但是依旧碰到内存不够 的原因,目前正在读WGAN的论文,准备之后进行里面网络层的减少,将代码跑起来。 3. BEGAN的问题模型崩溃问题的原因还在寻找,并实时关注作者的动态。 二、下周计划 1. 将2016年重要论文进行总结,作为小论文的材料,同时也对GAN的基本结构和缺陷有一个理论上的理解; 2. BEGAN的问题是一个重要的关键点,要重点解决。 ...
Read More