麦克雷

标题: 摄影算法相机的那点一二三五 [打印本页]

作者: 艾的民 时间: 2019-2-7 07:25
标题: 摄影算法相机的那点一二三五
一楼 404秒天秒地
下一个时代
神经网络处理之后的1/20S ISO400的0.5lux照片
原图提亮
(, 下载次数: 5)

处理后
(, 下载次数: 14)

然后等楼主有力气了再写。
想到哪写到哪
聊聊cmos 镜头算法摄影超解析这类你们可以先提。
我先去睡一觉。

作者: 艾的民 时间: 2019-2-7 07:26
别睡啊，挂个标题在这怕是一觉醒来贴没了 (, 下载次数: 13)

作者: 艾的民 时间: 2019-2-7 07:26
你这样会删帖的

作者: 艾的民 时间: 2019-2-7 07:26
为什么要好好研究算法
就是因为果子吃shit的前置摄像头 (, 下载次数: 14) (, 下载次数: 14)

作者: 艾的民 时间: 2019-2-7 07:27
这贴直接消失了 (, 下载次数: 13)

作者: 艾的民 时间: 2019-2-7 07:27
哈，你们的老哥回来了。
很好帖子还在。
(, 下载次数: 8)

作者: 艾的民 时间: 2019-2-7 07:28
昨天吧里，啊不对是前天吧里
有人在说IMX600和亲儿子3的事情，我在哪边简单聊了一点
今天就来正经多吹一遍
跟我一起念
算法是正义 404赛神仙
关于计算摄影，长久以来是摄影里的旁门左道，当然是民用级，毕竟工业早就应用了。
过去ISP计算能力低下，功耗爆炸即使能够实现所谓像素拓展也大都都是在电脑上完成的通过各种软件堆栈，实际上相机上真正第一次引入算法摄影技术大约是在2015年。
起源也是则是PENTAX缔造了实用单反的公司，当然现在大家使用对比度对焦也是这家公司开发的。当年这家公司推出了一个新技术叫做超解析
超解析顾名思义，提高图像分辨率
(, 下载次数: 7)
通过4次拍照然后实现任意像素位置都用RGBG采样，这样获得了等效两倍空间分辨率。实战里宾得超解析可以使得分辨率提升30%以上信噪比提升log2 2倍。在2018年宾得推出了新一代的手持超解析，不再依赖SR抖动CMOS，官方说法是使用了所谓的手震产生的震动实现细小的像素区别。不过这段官方翻译极其晦涩，猜测应该是基于陀螺仪，进行了像素对齐这种方法实现不依赖的cmos防抖系统更容易被应用。
当然这是属于一种空域拓展的方法。

作者: 艾的民 时间: 2019-2-7 07:29
心疼老哥帖子没人回 (, 下载次数: 14)

作者: 艾的民 时间: 2019-2-7 07:30
gkd (, 下载次数: 9)

作者: 艾的民 时间: 2019-2-7 07:30
然后说到亲儿子，目前看到的消息相当混乱，总体来说总结几点。
首先可以肯定404的计算应用的非常广泛（这是一句废话）
关于CMOS 我看到的消息还很混乱，有两种说法是一种是传统bayer cmos还有一种是X3 cmos也就是单一像素对应3种RGB

根据谷歌的原话是
We get a red, green, and blue filter behind every pixel just because of the way we shake the lens, so there's no more need to demosaic
我更倾向于解释为利用类似宾得手持超解析的技术使得照片每个像素位置实现了RGB曝光而不需要解马赛克，这样每个像素的色彩信息都说完整的。
不过有技术媒体解释为三层RGB我也很好奇到底是怎么回事。
不过按照谷歌的说法似乎他们并非像宾得那样进行4次对齐而是3次，这样不会多获得一个绿色通道的数据。相对来说分辨率提升会小一点
这样也符合 15次采样的方法总体来说实现5倍单一像素采样，这样提升了log2 5倍信噪比，给了谷歌吹追上佳能APSC的水平（佳能为啥谁都要踩我一脚）。
@恋霜之月我今天爬起来把谷歌的原文又听了一遍感觉应该是我昨天理解的问题被人误导了。

作者: 艾的民 时间: 2019-2-7 07:30
1L是cvpr18的paper，效果不错

作者: 艾的民 时间: 2019-2-7 07:30
说到手持超解析，其实大家也都可以通过自己手机试试，连拍20张左右剔除掉抖动较大的部分，扔进PS里进行堆栈，也能提升分辨率。因为人的抖动也是有一定规律性的。404应该进行相应的像素区域的对齐来拓展了适用范围。否则着实不够看
当然谷歌吹的数字变焦应该基于另一种提升分辨率的方法，也就是移动小于一个像素，这样我们就可以通过抖动拓展像素，从而模拟了一个比现有cmos尺寸更大的虚拟cmos，获得了更高分辨率的图像，大家都知道图片分辨率越高细节越丰富，这样剪裁的时候一样可以获得更好的效果。所以谷歌也说了放大小于1.2倍的时候SUPER RES是不生效的，因为这个时候抖动是没法拓展很多像素的。还不如原话均值硬怼15张

如果说下一个真正能显著提升分辨率的又能提升像素的牌子
我觉得是oppo。因为oppo在mems机构下的cmos防抖技术上获得进步，只要oppo没有技术难题他们随时而可以把相关相机技术直接移植到自家手机上。然后实现各种花式吊打其他牌子的功能。

作者: 艾的民 时间: 2019-2-7 07:30
谷歌的高光压制非常强，诺基亚x7默认与谷歌相机对比发现谷歌的不但曝光更长而且像广告牌这种小目标上的文字清晰可辨，等下发图

作者: 艾的民 时间: 2019-2-7 07:31
还忘记说了一个事情，据可靠情报，谷歌相机这一代的功能不依赖PVC也就是他的ISP可以全安卓移植，至少845应该没问题。所以华为准备好接受第三方相机的冲击了嘛

作者: 艾的民 时间: 2019-2-7 07:32
(, 下载次数: 11) 在宾得吧的时候我记得你有台645来着？

作者: 艾的民 时间: 2019-2-7 07:33
总之吧
pixel3这次的机内算法的表现确实是强极限环境碾压所有机内算法（包括任何手机相机）
但凭理性和摄影经验看待极限环境的表现还没超出我的认知范畴
也就是说我用类似的参数手动包围曝光或单一参数曝光再配合后期也有自信达到类似效果甚至更好也说不定（当然得多试几次来摸索一下它各帧的曝光程序）
谷歌还是把一个很专业的摄影过程无阉割或少阉割的集成在了机内运算里（华为的超夜属于手动包围曝光再hdr合成的大幅阉割版）
所以从原理上来说还没超出我的认知范畴
-
而超出我认知范畴的则是所谓的神经网络
能把单一原片不经过任何合成降噪提升解析力达到那种程度相当于几张照片堆栈合成（具体几张得实际验证一下）
这已经脱离了传统意义的后期
-
但话说回来从pixel3的表现还没超出我的认知范畴看它应用的这个所谓的神经网络到底有多少就是未知数了我觉得是一个大饼现在应用的效果还并没有那么夸张
等什么时候这个大饼实现了那才是算法上真正颠覆传统意义摄影拍摄/后期的时候

作者: 艾的民 时间: 2019-2-7 07:34
(, 下载次数: 21)
这张是诺基亚默认相机，原来楼主加水印之后不知道诺基亚曝光是多少了
(, 下载次数: 12) (, 下载次数: 13)
因为诺基亚拍出来的比较暗，拿默认相机的提高了亮度，这两张用来对比

作者: 艾的民 时间: 2019-2-7 07:34
大佬学习了

作者: 艾的民 时间: 2019-2-7 07:34
(, 下载次数: 12) (, 下载次数: 17)
左边谷歌，右边诺基亚默认

作者: 艾的民 时间: 2019-2-7 07:35
404数码剪裁为什么**，
G9 20mp和80mp滚7次的区别
(, 下载次数: 12)
(, 下载次数: 15)

作者: 艾的民 时间: 2019-2-7 07:36
你这个对比不明显啊 (, 下载次数: 8)
(, 下载次数: 8)
(, 下载次数: 19)

作者: 艾的民 时间: 2019-2-7 07:36
并不清楚谷歌想怎么靠算法赚钱。是统一销售给手机厂家呢，还是直接做第三方相机程序面对消费市场呢？

作者: 艾的民 时间: 2019-2-7 07:37
如果全画幅用上这套算法会怎样 (, 下载次数: 12)

作者: d33421800 时间: 2019-2-7 07:37
(, 下载次数: 13)

作者: 艾的民 时间: 2019-2-7 07:38
我依旧认为手持摇摇乐可以让quad40mp达到原生40mp的效果，即使imx600是四个像素共用一个微透镜

作者: 艾的民 时间: 2019-2-7 07:38
熟悉的id，楼主就是那个宾得死忠粉 (, 下载次数: 4)

作者: 艾的民 时间: 2019-2-7 07:39
我个人最喜欢hdr+的地方，还是它的对曝光时间的充分利用。
传统的hdr因为没帧只裁切了一部分，所以对曝光时间造成了浪费。
imx600的单桢hdr则是对面积造成了浪费。
相比起来谷歌真是个省吃俭用的好孩子（再加上短曝光带来的细节优势）

欢迎光临麦克雷 (https://mavom.cn/)