作者:empty 出版社:empty |
1、给定0-1矩阵,求连通域。2、写一个函数,求灰度图的直方图。3、写一个均值滤波(中值滤波)。4、写出高斯算子, Sobel算子, 拉普拉斯算子等, 以及它们梯度方向上的区别。4.0sobel算子索贝尔算子(Sobel operator) 主要用作边缘检测, 在技术上, 它是一离散性差分算通常,为了提高效率使用不开方的近似值Laplace算子和Sobel算子一样, 属于空间锐化滤波操作.起本质与前面的Spatial数学原理离散函数的导数退化成了差分,一维一阶差分公式和二阶差分公式分别为分别对Laplace算子x, y两个方向的二阶导数进行差分就得到了离散函数的Laplace算子,在一个二维函数f(x,y)中,x,y两个方向的二阶差分分别为,所以Laplace算子的差分形式为V'j(a,)=f(x+1.v)+f(x-1.0)+f(a,y+1)+f(z,y-1)-4/(x,)写成filter mask的形式如下,注意该mask的特点, mask在上下左右四个90度的方向上结果相同, 也就是说在90度方向上无方向性, 为了让该mask在45度的方向上也具有该性质, 对该filtermask进行扩展定义为,
SIFT特征提取的实质子,用来运算图像亮度函数的灰度之近似值,在图像的任何一点使用此算子,将会产生对应的灰度矢量或是其法矢量数学原理Sobel卷积因子为加X A代A:Gx MG yH肆拾式下+G.-图像的每一个像素的横向及纵向灰度值通过以下公式结合4.1拉普拉斯算子Filter操作大同小异, 下面就通过Laplace算子来介绍一下空间锐化滤波, 并对OpenCV中提供的Laplacian函数进行一些说明.5、常用的特征提取方法,5.0SIFT(尺度不变特征变换)
在不同的尺度空间上查找关键点(特征点) , 并计算出关键点的方向, SIFT所查找到的关键点是一些十分突出、不会因光照、仿射变换和噪音等因素而变化的点,如角点、边缘点、暗区的亮点及亮区的暗点等。SIFT特征提取的方法1.构建DOG尺度空间:模拟图像数据的多尺度特征,大尺度抓住概貌特征,小尺度注重细节特征。通过构建高斯金字塔(每一层用不同的参数o做高斯模糊(加权)),保证图像在任何尺度都能有对应的特征点,即保证尺度不变性。2.关键点搜索和定位:确定是否为关键点,需要将该点与同尺度空间不同o值的图像中的相邻点比较,如果该点为max或min, 则为一个特征点。找到所有特征点后, 要去除低对比度和不稳定的边缘效应的点,留下具有代表性的关键点(比如,正方形旋转后变为菱形,如果用边缘做识别,4条边就完全不一样,就会错误;如果用角点识别,则稳定一些)。去除这些点的好处是增强匹配的抗噪能力和稳定性,最后,对离散的点做曲线拟合,得到精确的关键点的位置和尺度信息,3.方向赋值:为了实现旋转不变性,需要根据检测到的关键点的局部图像结构为特征点赋值。具体做法是用梯度方向直方图,在计算直方图时,每个加入直方图的采样点都使用圆形高斯函数进行加权处理, 也就是进行高斯平滑, 这主要是因为SIFT算法只考虑了尺度和旋转不变形,没有考虑仿射不变性。通过高斯平滑,可以使关键点附近的梯度幅值有较大权重,从而部分弥补没考虑仿射不变形产生的特征点不稳定。注意,一个关键点可能具有多个关键方向,这有利于增强图像匹配的鲁棒性。4.关键点描述子的生成:关键点描述子不但包括关键点、还包括关键点周围对其有贡献的像素点。这样可使关键点有更多的不变特性,提高目标匹配效率。在描述子采样区域时,需要考虑旋转后进行双线性插值,防止因旋转图像出现白点,同时,为了保证旋转不变性,要以特征点为中心, 在附近领域内旋转8角, 然后计算采样区域的梯度直方图, 形成n维SIFT特征矢量(如128-SIFT) 。最后, 为了去除光照变化的影响, 需要对特征矢量进行归一化处理
SIFT特征提取的优点1、SIFT特征是图像的局部特征, 其对旋转、尺度缩放、亮度变化保持不变性, 对视角变化、仿射变换、噪声也保持一定程度的稳定性;2、独特性(Distinctiveness) 好, 信息量丰富, 适用于在海量特征数据库中进行快速、准确的匹配:3.多量性, 即使少数的几个物体也可以产生大量的SIFT特征向量, 高速性, 经优化的SIFT匹配算法甚至可以达到实时的要求,4、可扩展性,可以很方便的与其他形式的特征向量进行联合,5、需要较少的经验主义知识,易于开发。
SIFT特征提取的缺点1.实时性不高,因为要不断地要进行下采样和插值等操作,2、有时特征点较少(比如模糊图像);3、对边缘光滑的目标无法准确提取特征(比如边缘平滑的图像,检测出的特征点过少,对同更是无能为力)SIFT特征提取可以解决的问题:类器已经被广泛应用于图像识别中,尤其在行人检测中获得了极大的成功。3.计算图像每个像素的梯度(包括大小和方向),主要是为了捕获轮廓信息,同时进R-CNN系列-Two Stage目标检测算法YOLO、SSD-One Stage目标检测算法目标的自身状态、场景所处的环境和成像器材的成像特性等因素影响图像配准/目标识别跟踪的性能。而SIFT算法在一定程度上可解决目标的旋转、缩放, 平移(RST)图像仿射/投影变换(视点viewpoint)光照影响(illumination目标遮挡(occlusion)杂物场景(clutter)噪声5.1HOG(方向梯度直方图)HOG特征提取的实质通过计算和统计图像局部区域的梯度方向直方图来构成特征, Hog特征结合SVM分
HOG特征提取的方法2、采用Gamma校正法对输入图像进行颜色空间的标准化(归一化) , 目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干4、将图像划分成小cells(例如6*6像素/cell) ;5、统计每个cell的梯度直方图(不同梯度的个数) , 即可形成每个cell的6.将每几个cell组成一个block(例如3*3个cell/block) , 一个block内所有cell的特征descriptor串联起来便得到该block的HOG特征descriptor7、将图像image内的所有block的HOG特征descriptor串联起来就可以得到该image(你要检测的目标) 的HOG特征descriptor了, 这个就是最终的可供分类使6、常用的目标检测方法。7、常用的边缘提取方法,1、灰度化;
边缘检测器使用一个基于高斯模型派生的检测模型,因为未处理图像可能含有噪声,所以开始在原始图像上应用一个高斯滤波器.结果是一个轻度平滑的图像,以至于不至于被单个噪声像素干扰全局重要参数。以一个5×5的高斯滤波模板为例(见公式3-7)对图像A应用高斯滤波可得B,下面对图像的光强梯度统计都基于图B.一幅图像中的边缘可能在方向上各有所异, 所以Canny算法用四个滤波器分别检测图像中的水平、每直和对角线边缘.边缘检测器值返回一个水平方向分量Gx和竖直方向分量Gy,由此边缘梯度和方向即可确定
最邻近元法这是最简单的一种插值方法,不需要计算,在待求象素的四邻象素中,将距离待求象素最近的邻象素灰度赋给待求象素。设i+u,J+U(i,J为正整数,u,U为大于零小于1的小数、下同)为待求象素坐标,则待求象素灰度的值(i+u,j+2)如下图所示:如果(i+u,j+v)落在A区,即u 0.5,U 0.5,則将左上角象素的灰度值赋待求象素,同理,落在B区则赋予右上角的象素灰度值,落在C区则赋予左下角象素的灰度值,落在D区则赋予右下角象素的灰度值,最邻近元法计算量较小,但可能会造成插值生成的图像灰度上的不连续,在灰度变化的地方可能出现明显的锯齿状。双线性内插法双线性内插法是利用待求象素四个邻象素的灰度在两个方向上作线性内插,如下图所示:对于fij+a) 、f(ij) 到f(xj+l) 的灰度变化为线性关系, 则有;同理对于(i+1.j+m则有f(i+1,j+羽=[f(i+1.j+1)-/i+1.)]*v+j(i+1.)从f(ij+川)到f((+1.j+切的灰度变化也为线性关系。由此可推导出待求象素灰度的计算式如下双线性内插法的计算比最邻近点法复杂,计算量较大,但没有灰度不连续的缺点,结果基本令人满意,它具有低通滤波性质.使高频分量受损.图像轮廓可能会有一点模糊。
三次内插法该方法利用三次多项式S(x) 求逼近理论上最佳插值函数sin(x) /x, 其数学表达式为待求像素(x,y)的灰度值由其周围16个灰度值加权内插得到,如下图
9、常用的图像分割算法.灰度值分割法是一种最常用的并行区域技术,它是图像分割中应用数量最多的一类,钢值分割方法实际上是输入图像f到输出图像g的如下变换其中T为阀值,对于物体的图像元素,9(.)=1.对于背景的图像元素g(.j)=0.基于边缘的分割方法基于边缘的分割方法是指通过边缘检测,即检测灰度级或者结构具有突变的地方,确定一个区域的终结,即另一个区域开始的地方。不同的图像灰度不同,边界处一般有明显的边缘,利用此特征可以分割图像,基于小波变换的分割方法基于小波变换的阈值图像分割方法的基本思想是首先由二进小波变换将图像的直方图分解为不同层次的小波系数,然后依据给定的分割准则和小波系数选择阈值门限,最后利用阈值标出图像分割的区域,整个分割过程是从粗到细,由尺度变化来控制.即起始分割由粗略的L2(R)子空间上投影的直方图来实现,如果分割不理想,则利用直方图在精细的子空间上的小波系数逐步细化图像分割。分割算法的计算会与图像尺寸大小呈线性变化.
基于神经网络的分割方法近年来,人工神经网络识别技术已经引起了广泛的关注,并应用于图像分割。基于神经网络的分割方法的基本思想是通过训练多层感知机来得到线性决策函数,然后用决10、写一个图像resize函数(放大和缩小) ,11、彩色图像、灰度图像、二值图像和索引图像区别?(索引图像到底是啥?)
策函数对像素进行分类来达到分割的目的。这种方法需要大量的训练数据。神经网络存在巨量的连接,容易引入空间信息,能较好地解决图像中的噪声和不均匀问题。选择何种网络结构是这种方法要解决的主要问题。彩色图像:每个像素由R、G、B三个分量表示、每个通道取值范围0~255。数据类型灰度图傲:每个像素只有一个采样颜色的图像,这类图像通常显示为从最暗黑色到最亮
二值图像(黑白图像)每个像素点只有两种可能,0和1.0代表黑色,1代表白色,·索引图像.即它的文件结构比较复杂,除了存放图像的二维矩阵外,还包括一个称之为12、深度学习中目标检测的常用方法,异同13、给定摄像头范围和图像大小求分辨率。14、如何检测图片中的汽车,并识别车型,如果有遮挡怎么办?15、数字识别的流程,16、介绍神经网络、SVM、AdaBoost、kNN.(每一个都可能深入问各种细节)17、写梯度下降代码,一般为8位无符号整形。的白色的灰度,数据类型通常为1个二进制位。颜色索引矩阵MAP的二维数组, MAP的大小由存放图像的矩阵元素值域决定, 如矩阵元素值域为[0.255] , 则MAP矩阵的大小为256X 3, 用MAP=[RGB] 表示, MAP中每一行的三个元素分别指定该行对应颜色的红、缘、蓝单色值, MAP中每一行对应图像矩阵像素的一个灰度值, 如某一像素的灰度值为64.则该像素就与MAP中的第64行建立了映射关系, 该像素在屏幕上的实际颜色由第64行的[RGB] 组合决定。也就是说,图像在屏幕上显示时,每一像素的颜色由存放在矩阵中该像素的灰度值作为索引通过检索颜色索引矩阵MAP得到, 索引图像的数据类型一般为8位无符号整形(int 8) , 相应索引矩阵MAP的大小为256X 3, 因此一般索引图像只能同时显示256种颜色,但通过改变索引矩阵,颜色的类型可以调整,索引图像的数据类型也可采用双精度浮点型(double) .索引图像一般用于存放色彩要求比较简单的图像, 如Windows中色彩构成比较简单的壁纸多采用索引图像存放,如果图像的色彩比较复杂,就要用到RGB真彩色图像
18、卷积神经网络与神经网络的区别。以图片为例,神经网络是将图片的所有像素点作为输入然后训练网络模型进行预测,而卷积神经网络则是先通过不同的卷积核对原始图像进行卷积提取特征.然后池化.然后反复这样的操作最后提取能够标识图片特征的像素点,最后将这些能够代表图片特征的像素点作为神经网络的输入进行预测,19、卷积层的作用、pooling层的作用, 全连接层的作用。Ec;1、分类器的作用。对前层的特征进行一个加权和,(卷积层是将数据输入映射到隐层特征空间) 将特征空间通过线性变换映射到样本标记空间(也就是label)2、1*1卷积等价于fc, 跟原feature map一样大小的卷积也等价于fc, 也就是输入是一个5*3*3的feature map, 用一个3x3x 5的卷积去计算就是fc3、全连接层参数元余, 用global average pooling替代。在feature map每个channel上使用gap.然后得到channel个结果, 分别对应相应的类别的confidencescore, 最后输入给soft max。这样做减少参数, 防止过拟合。4、迁移学习中,目标域和源域差别较大,不用fc的网络比用fc的网络效果差5、卷积层本来就是全连接的一种简化形式:不全连接+参数共享,按照局部秋野的启发,把局部之外的弱影响直接抹为零影响,同时还保留了空间位置信息,这样大大减少了参数并且饮得训练变得可控.6、fc利用的是上一层所有输入来计算,抛弃了卷积层不同位置的权值共享。对它来说,输入的不同位置出现同一个pat tem是不等价的, 因此不适合用于输出对于每个位置寻找类似pattern的task, 比如segmentation, edge detection以及end-to-end的object detection等等, 而比较适合用于classification.conv:1.相当于一个特征提取器来提取特征