毕业后到2021年结束,收获颇多,也成长了很多,非常感谢giantpancv公众号的各位大神,这些大神各自有非常擅长的领域,都非常值得学习!
总结而言毕业后就是做感知算法相关的工作。这篇文章仅仅用于自我记录,便于今后翻阅回忆。
2020年,主要集中于人脸的工作。
主要是研究RGBD深度图的空洞补全和去躁,在算法的开发过程中,调研过一些深度学习和传统方法,深度学习方法见如下链接:
传统方法是前10年比较流行的各类方法,文档写在了以前公司文档里,没有发布在知乎上,暂时不准备发布于知乎。由于需要用在arm板子上,且限于数据,最后做的传统深度补全算法。
另外还开发了深度人脸完整度算法,用于安卓设备RK3399上。这个时期对c++算法开发,open3d等工具比较熟悉了。
2021年上半年,重点研究了跨摄像头的3d人体跟踪。这需要先对一些店面先进行三维场景建模(real sense之类的RGBD相机进行三维建模),因此首先研究了一些点云处理算法,主要是做了大规模无序点云的地面提取(主要为了点云扭正)。这时候,对PCL、Eigen库等有一些熟悉了。
然后,为了进行人体3d跟踪,需要对相机进行内外参标定。重点做
1.单目RGB图像的自动畸变校正(本质就是基于场景几何信息进行自标定,实际就是根据畸变线抽取算法优化得到畸变参数)。
2.基于消失点的各类自动内参标定算法(本质要求需要图像满足曼哈顿性质,有采样,搜索,高斯球等算法)。
3.自动外参标定算法(主要是2d-3d跨模态线匹配,因而对线段检测算法的传统和深度学习算法均调研了一番,并改进了线段检测算法,加入了过滤和merge算法等,也实现过一个代码未开源的线段merge算法)。
4.利用内外参得到了homography矩阵从而可以求得站在地面上的人的三维坐标(此时可以假定人的身高),从而对人进行跟踪。
期间也做了目标检测,分类的部署。(在公司服务器平台上,用一种通讯服务发出来,可以网页登录使用模型结果。)
2021下半年正式进入机器人行业。
做了人体实例分割的训练+嵌入式部署(snpe框架,高通865板子上的部署)全流程。对深度学习的cpp部署更为熟悉了。
然后重点是做多传感器融合(RGBD,lidar,RGB目标检测)的机器人感知算法,让机器人能够智能感知三维环境下的人体,本质就是如何将2d bbox与点云的后融合算法。
虽然大多数项目都自己写过一些文档,但因为太过于工程,也出于保密原因,无法公开于网上,也就没法好好锤炼语言,这是一大遗憾。
总体而言,这一年多做的都太过于偏重工程了,希望2022年能够更加偏向于一些深度学习算法的工作(2d+3d)。
6 :二十四孝的故事
10 :数学手抄报简单又漂亮(盘点数学史