PI 介绍:
Yubei Chen, 加州大学戴维斯分校电子与计算机工程系助理教授。本科毕业于清华大学电子系,博士师从加州大学伯克利分校计算神经科学专家Bruno Olshausen,博士后师从纽约大学深度学习专家Yann LeCun教授。研究方向为无监督学习与计算神经科学,主要探索人脑及机器学习中无监督学习的基本原理。博士期间获得美国自然科学研究生奖学金,研究工作获得2023年国际表征学习大会(ICLR)杰出论文提名,2020年在硅谷联合创办人工智能公司Aizip.ai。
University of California, Davis 介绍:
Davis是一个大学城,也是美国教育程度最高的地方之一,七万人口中大部分都是教职员工和学生,治安在加州首屈一指。全城大部分地方自行车可达,来到Davis就会发现这里有空间做一些深入而不浮躁的思考,距离硅谷不到两小时的车程,为将来实习和就业提供了得天独厚的条件。夏天可以去Napa酒庄,冬天可以去Lake Tahoe滑雪,向南一小时到达旧金山。可以说Davis是北加州闹中取静的地方。
The Mission of SSL Lab:
SSL Lab有一个大却专注的目标:追寻人脑以及机器学习中无监督学习的基本原理。这个问题有许多研究的角度,在这里举几个问题作为栗子:
- 自然信号空间长什么样子?虽然过去十几年深度学习取得了巨大的工程进展,但我们对自然信号空间的理解依旧非常模糊,我们能否细致的描述信号的结构并构建极简的工程方法呢?回答这个问题也许能否使深度学习由经验的工程学科转向科学。同时,人脑对自然信号的理解也依赖相同的结构,那么也许我们以此可以进一步理解人脑的工作原理。
- 怎样构建世界模型?过去五年里,自监督学习已经从一个小众学科转变为深度学习的最重要范式之一,很多最新的工程系统中 (例如chatGPT,latent Diffusion),自监督学习都已经不可或缺,然而自监督学习目前主要应用于感知表示的构建,我们能否将其拓展到控制以及规划当中,构建世界模型呢?沿着这个问题,我们也许可以参与构建未来具身智能的一个重要基础。
- 能否单纯通过视觉实现类似语言模型中的scaling?大语言模型的进展也极大程度上带动了视觉领域VLM(Vision-Language Models)的进展,但单纯使用视觉还无法实现scaling,视觉相较语言来说信息量巨大,在探索这个问题的过程中应当会产生很多基本的创新,。
如果这些问题能够引起你的共鸣,那么欢迎你申请我的PhD或者联系我合作。
SSL Lab 能为你提供什么:
- 一个相对不功利不浮躁的环境来探索无监督学习的基本问题;
- 相对充裕的计算资源,上百个GPU,虽然没有工业界动辄几千GPU规模的资源,但作为一些基本问题的验证也算够用;
- 定期在UC Berkeley的交流机会以及可以在伯克利做visiting student。因为我在Berkeley也有Joint-affiliation, 所以SSL Lab的同学们可以经常在伯克利交流合作;
- 有兴趣出去实习的同学,我也可以帮助介绍工业界实习机会,比如Meta AI等。
SSL Lab 需要怎样的小伙伴:
- 对无监督学习中的基本问题有很强的兴趣
- 研究问题有毅力,能够坚持克服研究过程中的困难
- 优秀的工程能力和一定的理论基础
PHD申请中的一些问题:
- 对于感兴趣的同学,欢迎邮件联系我。发邮件的时候请附上CV,同时简单介绍一下自己。我的邮箱是ybchen@ucdavis.edu
- 如果有什么其他关于申请SSL Lab相关的问题,也欢迎邮件咨询我。
SSL Lab其他的一些合作机会:
- SSL Lab每年暑假都会接收高年级的本科及以上同学参加暑期研究实习
- 有兴趣参与学期中远程实习的同学也可以联系我。