最近的项目需要用到人脸识别 Landmark 和 face mesh ,调研了市面上主流的 NN 框架:MNN, NCNN, TNN, MediaPipe;
MNN 阿里的,速度快,有个 MNNKit demo ,人脸关键点 106 个,单帧处理耗时在 3-5ms ; TNN 腾讯基于 NCNN 做的速度优化版本,有个 demo ,270+关键点,识别速度,单帧 3-5ms ,缺点关键点有点抖动; MediaPipe:谷歌开源的,有 473 点 face landmark ,在 iOS 平台识别速度 10-15ms 单帧;但安卓平台同配置手机 30-50ms ,CPU 占用也比 MNN 高 2-3 倍;
除了人脸识别,MediaPipe 还带了背景分割,头发分割等,缺点就是刚才说的性能可能有问题。MNN 的化只有一个人脸 106 点识别,没有其他官方 demo 。TNN 有快一年没更新了,所以不准备考虑。
本人刚接触深度学习,还不清楚如何训练模型和框架基础原理。MNN 和 MediaPipe 算是两个资料比较多的框架,准备从这个两个入手, 个人倾向 MediaPipe ,现成的 demo 功能比较多。
OK ,问题:
1
gavin6liu 85 天前
首先来个暴论,AI 领域 Google 的东西最好别碰,所以 MediaPipe 排除。
其次这些都是推理引擎而已,MNN ,NCNN 属于同一类型,TNN 属于基于 NCNN 的二次封装。 另外由于你刚接触这个,只有用一些预训练好的模型和代码,策略就是哪个框架有现有的 Demo 就用哪个。 和 TNN 类似的还有,YY 开源的 VNN ,可以选择。 |
2
devzhaoyou OP @gavin6liu 感谢回复,深度学习不是起源与 Google ,为啥 Google 的最好不碰,网上资料好像还挺多
|
3
gavin6liu 85 天前
|
4
psklf 85 天前
|
5
Cyrix686 85 天前
既然是初学阶段,都可以上手玩玩啊,看看哪个顺手就用哪个
非要选一个,选 MNN 吧 |
6
devzhaoyou OP @Cyrix686 好的 感谢,mnn 个人调研就是性能非常优秀,而且一直在更新,其他能说说推荐原因吗
|
7
keepwalk2020 84 天前
MediaPipe 对硬件要求高,但是效果是相对较好的,高精度模型 google 没有放出来
Yolo 对硬件要求低,甚至可以抛在树莓派上,效果中上吧 dlib 貌似也不错 SPIGA 正在试,对比后才知道效果 油管上有一个视频,对比各种人类识别框架的效果,自己搜了一看便知,楼主有方便发个 QQ 吗,一起讨论,最近也在做这方面的东西 |
8
Avafly 83 天前
MNN 和 ncnn 都有试过部署自己训练的模型. 个人感觉这俩速度都挺快的, ncnn 的好处是有 QQ 群里面可以直接问开发者, MNN 也不错但是用 valgrind 测了一下有内存泄漏.
|
9
devzhaoyou OP @Avafly 好的 感谢,深度学习有什么好的入门资料推荐吗,最好能快速上手动手实践的
|
10
devzhaoyou OP @keepwalk2020 希望交流 206899376
|