基于 Matlab 的数字水印技术研究-程序员宅基地

技术标签: matlab  算法  图像处理  

 目:基于 Matlab 的数字水印技术研究

摘要

本设计主要研究基于 Matlab 的数字水印技术。将加密数学引入到数字水印技术中,充分利

用了信号的不可预测性和易于实现等特征。

Matlab 是一种科学计算软件,专门以矩阵的形式处理数据。MATLAB 将高性能的数值计算和可视 化集成在一起,并提供了大量的内置函数,从而被广泛地应用于科学计算、控制系统、信息处理等 领域的分析、仿真和设计工作,而且利用 MATLAB 产品的开放式结构,可以非常容易地对 MATLAB  功能进行扩充,让学者们拥有了一个新的理念、新的思维去分析理解问题。数字水印具有容易生成,

对初始条件敏感以及具有白噪声的统计特性等特点,得到了较好的结果。

数字水印技术已广泛应用于网络通讯,信息安全等领域。本文首先对 Matlab 系统进行分析。理 论分析和计算机仿真完全相符后,分析了基于 Matlab 的算法原理,提出了基于该算法的水印设计方 法,秉承算法的安全性,效率等方面进行了性能分析。最后采用 Matlab 开发工具完成该数字水印算

法的设计,用该算法对实例进行设计仿真。

关键词:MatlabDWT;数字水印;加密

 1   

1.1 研究背景和意义

随着图像、音频、视频等多媒体信息以及Internet的迅速发展,多媒体信息在互联 网上的广泛传播变得及其便利,数据的交换和传输过程变得相对简单。多媒体技术的高 速发展带来方便的同时也带来一系列的问题,如此一来使得版权问题日显突出,数据文 件和作品等等容易在没有授权和许可的情况下被拷贝和传播,盗版者只需经过简单的步 骤就可以盗取与原版一致的文件作品并以此牟利。长此以往,盗版的猖獗将会给我国的 信息产业市场带来极大的负面效应,将极大阻碍该产业的健康发展。

传统多媒体保护技术使用的是密码技术,是一种基于香农理论和密码学理论的技  术。然而这种方法不能完全解决实际问题,一方面是文件加密以后由于不可解行而不利 于多媒体信息的传播,另一方面是攻击者容易注意到被加密过的多媒体信息,并进一步 去破解加密过的多媒体信息。因此,密码学通常用于保护传输中的内容,而无法保护解 密过的信息。

1.2  数字水印技术简介

因此,由于密码学的不完善,我们需要一种更加可靠的技术来解决上述问题。因而 数字水印技术将能满足我们的需求。数字水印技术是将一些标识信息直接嵌入数字载体 当中或是间接表示,且不影响原载体的使用价值,也不容易被探知和再次修改[1]

数字水印技术是信息伪装技术中最重要的内容之一[2] ,它作为加密技术的补充,在 多媒体信息的版权保护与完整性认证方面得到了迅猛的发展。文件拥有者利用数字水印 技术把水印(例如图片、文字、商标、序列号等等)以人无法感知的方式镶嵌入用于传 播的多媒体信息中,以防止一些传统的信息破解方法。

综合众多学者的定义和分析已有的数字水印方案,现给出数字水印的定义:数字水 印是永久镶嵌在其它数据(宿主数据)中具有可鉴别性的数字信号或模式,而且并不影 响宿主数据的可用性。作为数字水印技术基本上应当满足下面几个方面的要求:

(1)安全性:数字水印的信息应是安全的,难以篡改或伪造,同时,应当有较低 的误检测率,当宿主内容发生变法时,数字水印应当发生变化,从而可以检测原始数据 的变更;

(2)隐蔽性:数字水印应是不可知觉的,而且应不影响被保护数据的正常使用;

(3)稳健性:数字水印必须难以被除去,如果只知道部分数字水印信息,那么试 图除去或破坏数字水印将导致严重降质或不可用。同时,数字水印在一般信号处理和几 何变换中应具有稳健性;

(4)水印容量:嵌入的水印信息必须足以表示多媒体内容的创建者或所有者的标 志信息,或购买者的序列号,这样有利于解决版权纠纷,保护数字产权合法拥有者的利 益。

1.3 数字水印技术研究现状

自1993年提出数字水印技术以来,数字水印技术在信息安全和经济建设上取得重要 地位,发展十分迅速。世界各国的科研机构、大学和商业集团都积极的参与或投资参与 数字水印技术的研究。例如美国财政部、美国版权工作组、麻省理工学院、微软公司等 等。

版权保护的应用需求以及理论研究的高速发展,使得数字水印技术得到了广泛的发 展应用。我国的一些研究单位也逐步深入到数字水印技术的系统性研究。

虽然数字水印技术的研究工作刚刚起步,但已有了很大发展。

然而,数字水印技术仍然存在一些问题:缺乏水印系统的基础理论研究,缺乏标准 化问题的研究等等。

作为传统加密系统的有效补充办法,从1993年Caronni正式提出数字水印到现在短 短几年里,无论是在国内还是在国外对数字水印的研究都引起了人们极大的关注。但数 字水印技术的发展还很不成熟,应用也处于初级阶段。在我国,知识产权问题是一个敏 感的话题,只有深入开展数字水印技术的研究,尽快制定我国的版权保护水印标准,才 能使我们在未来可能的国际知识产权纠纷中取得主动权。那么掌握高效的工具,便成为 一个必须解决的问题。本文就针对数字水印本身的特点,使用一种高效的实用工具

——MATLAB.

2 基于Matlab的数字水印产生方案

2.1 传统的数字水印技术方案

传统的数字水印算法主要基于变换域,并采用 DCT 变换,但由于 DCT 变换的频率是 固定的,数字水印算法研究难以扩展,而且在 JPEG2000 中采用的 DWT(离散小波变换) 技术,也使得基于 DCT 变换的数字水印算法难以达到预期效果。(图 2-1

2-1  传统数字水印

例如最低有效位算法[3]:是指一种将水印信息在空间域直接替换多媒体信息最不重 要的位。以图片数据来说,一张图片的每个像素是由多个比特构成的,每个比特对图片 的构成是不相同的。低位含有的能量少,高位含有的能量多,而低位的改变并不会太大 影响图片质量。在进行数字图像处理和图像变换时,图像的低位非常容易改变,攻击者 只需要简单的删除图片低位数据就可将水印信息破坏掉,因此这种水印算法的鲁棒性非 常弱。

2.2 基于 Matlab 的数字水印技术方案

数字水印算法一般可分为两种空域法和频域法,频域法有以下优点:(1)嵌入的 水印信号能量可以分布到空域的所有像素上,有利于保证水印的不可见性;(2)视觉 系统(HVS)的某些特性(如频率的掩蔽特性)可以更方便地结合到水印编码过程中;

(3)频域法可与国际数据压缩标准兼容,从而实现在压缩域(compressed domain)内 的水印编码。所以我们也以频域法为主介绍 MATLAB 在数字水印技术中的使用。

DCT 法:对原始信号做 DCT 的算法,是 Cox 和 Piva 等人提出的 DCT 技术的经典之 作。Cox 利用随机数发生器产生标准正态序列作为水印信息对图像进行整体 DCT 变换后, 选取除去 DC 系数之外部分较低频率系数叠加水印信息;Piva 则修改整幅图像的中频部 分。对原始信号分块后,再作 DCT 的算法。把图像进行 8*8 分块,将一个二进制序列作 为水印放入 DCT 的中频区;或者计算整个图像的 DCT,把一个实数序列嵌入 DCT 的中频 系数上。还有一种 DCT 方法就是把水印信息嵌入到高频系数上,但是采用这种方法,抗 压缩性非常差。

DWT法:利用时域小波变换和频率掩蔽特性结合,实现多分辨率视频水印,把水印 植入灰度图像的小波变换域或者进行Fourier-mellin 域 变换、Fourier 变换等等。将 原始图像进行3级小波分解,得到不同分辨率级下的多个细节子图和一个逼近子图,将 一级小波分解后的各子图分别嵌入原始图像第3级小波分解后的对应子图中,不同的分 组,选取的嵌入系数也不同;最后对嵌入水印后的小波系数进行3级小波重构,得到最 终的嵌入水印图像。(图2-2)

/无水印

 2-2  基于 DWT  的数字水印

 3  基于 Matlab 的数字水印技术研究

3.1  图像的色彩模式

图像的色彩模式是指同一属性下的不同颜色的集合。图像按颜色的不同划分,可分 为彩色图像和灰度图像。其中彩色图像依据不同的适用范围,分别有 RGB 模式、CMYK 模式和 Lab 模式 3 种颜色模式。当把彩色图像的颜色信息去掉后,彩色图像便成为灰度 图。

1 、灰度图像:灰度图像是使用 256 级灰度来表示图像。灰度图像的每个像素有一 个 0(黑色)至 255(白色)之间的亮度值。作为计算机来说,当需要存取 256 个状态 的时候,计算机需要用一个字节,即 8 位来存储每个象素点的灰度信息。这也就是通常 所说的 8 位灰度图。

2、彩色图像:彩色图像的图像模式相比灰度图像来说要多得多,除了最常见的 RGB 颜色模式外还有 Lab 颜色模式、索引颜色模式、CMYK 颜色模式等等。

其中索引颜色模式最多只使用 256 种颜色,在网页上使用比较多的 GIF 格式的图片 用的就是这种颜色模式。CMYK 颜色模式主要是用于打印输出图像,它的颜色方式与 RGB 正好相反,它是一个减色系统。

RGB 颜色模式:GB 模式是一种最基本、也是使用最广泛的颜色模式。它源于有色 光的三原色原理,其中,R(Red)代表红色,G(Green)代表绿色,B(Blue)代表蓝色,如图 1-30 所示。每种颜色都有256 种不同的亮度值,因此RGB 模式从理论上讲有256×256×256 共约 16 兆种颜色,虽然自然界中的颜色远远多于 16 兆种,但是这么多种颜色已经足够 模拟自然界中的各种颜色了。彩色显示器就是利用 RGB 模式,它通过发 3 种不同强 度的红、绿、蓝光束,使荧光屏上的荧光材料产生不同颜色的亮点。

对于数字水印,此处只对灰度图像做讨论。

3.2  基于 Matlab 序列的数字水印

现在有一张图片,将它的灰度值在 MATLAB 中使用 imread 函数读出(如果该图为灰 度图,则函数是一个二维矩阵,如果为彩色图像,则函数是一个三维矩阵,可以将三维 矩阵分成三个二维矩阵处理,方法与灰度图像的一样)。

这里采用的是异或运算:

Wv=Wp Xk v= 1 2 ,……

假设原始的灰度图片是大小为 M×M ,每个像素用sbit 表示,则

X = { x(m, n),0 < m, n < M }

其中,x(m,n)   {0 1 2…… 2s-1}是原始图像在(m, n) 处的灰度值。

假设水印图像是大小为 N×N,每个像素用cbit 表示

W = { w(m, n),0 < m, n < N}

其中,w(m,n)  {0 1 2…… 2c- 1}是水印图像在(m, n) 处的灰度值。

这里我们将混沌密钥 key 作为用户的私钥,在不知道 key 的情况下,盗版者即使提 取出水印信号也无法恢复出水印图像。同时,key 的大小也影响着水印嵌入图像后图像 的失真。

选取嵌入强度 key=0.00225 ,下面,选取原始水印图像 123.BMP(图 3- 1),使用异 或算法进行仿真:原始水印图片 123.BMP(图 3- 1),对该图片进行异或运算,得到加密 后的水印图像 0.BMP(图 3-2),产生的一个加密序列(图 3-3

 3-1  水印

 3-2  异或后的水印

 3-3  逻辑时序序列

把产生的加密序列与原始水印图像进行异或运算,得到一个加密的置乱新水印图像 (图 3-4)。

 3-4 Figure 2

3.3  基于 Matlab 的数字水印嵌入

在得到加密后的水印(图 3-2),利用 Matlab 进行水印嵌入,得到嵌入水印后的图 像,并可以从新图中提取加密后的水印(图 3-5)。

 3-5 Figure 3

3.4 嵌入水印图像与原图的比较

把新图和原图的直方图进行比较

原图直方图(图 3-6):

 3-6  原图直方图

新图直方图(图 3-7):

 3-7  新图直方图

原图与新图的频谱比较(图 3-8):

 3-8  频谱图比较

可以看出,原图与新图在外观上几乎没有区别,但是通过直方图与频谱图的比较两

幅图片是存在区别的。那么我们就需要对一张未知的图片进行检测是否含有水印。

3.5  检测图像中是否含有水印

对一幅未知的图片,我们要对其进行判断是否含有水印,则需要先从该图像中提取 水印,若存在水印,则提取的水印是基于混沌序列加密过的,用该提取的水印与生成的 混沌序列再进行一次异或运算,看是还原出来的水印(图 3-9)是否与原始水印(图 3-1) 一致。

 3-9  还原水印

原图(图 3-10)不含有水印的情况下,还原水印的结果(图 3-11):

 3-10  原图

 3-11  空白图

从一副未知图像(图 3-12)中提取水印(图 3-13)并还原(图 3-14

 3-12  未知图像

 3-13  未知图提取水印

 3-14  未知图还原水印

 4  总结及研究展望

4.1  总结

数字水印技术是近十多年发展起来的一种新的水印技术,其不仅仅在图像水印方 面,甚至在许多多媒体文件例如音频、视频等等上都有广泛的应用。数字水印技术易于 实现等特性使其在多媒体文件加密应用中具有潜在、广泛的应用前景。

本文介绍了基于 logistic 映射的数字水印算法的设计与实现。混沌作为信息加密的 伪随机序列发生器,是可靠的,而且一维混沌系统具有形式简单,产生的混沌时间序列 短等优点,有着广泛的应用前景。

同时还研究了基于 Matlab 平台的数字水印技术的实现方法,用以产生适于图像的 数字水印技术。并 RGB 图像进行了添加数字水印后像素变化的对比研究。虽然本文提出 的数字水印算法具有一定的良好性能,易于实现,但同时也显示出了该设计方法的不足, 离数字水印技术的标准还有一定距离。由于本人能力有限,未能实现水印提取后的无失 真水印还原。加之数字水印技术发展时间短,仍存在有限精度、设计形式单一和安全性 不足等问题。若还需要进一步实现提取后的水印还原,则可考虑加入基于混沌映射的小 波变换域数字水印系统。

4.2  研究展望

数字水印是目前开发的一项最新防伪技术,它是用数码化技术将图像、音频、视频、 文本、网络等目标直接隐藏在静止图像、活动图像或其他数码化传播媒体中的技术,又 被称为图像数码化水印处理技术,拥有广阔的市场应用前景。

眼下,传统的防伪技术已难以应付各类伪造检测,数字水印防伪检测系统的出现则 满足了人们的这一需求。

一些国际标准中已结合了数字水印或者为其预留了空间。SDMI的目标是为音乐的播 放、存储和发布提供一个开放的框架。SDMI规范中规定了多种音频文件格式,并联合加 密和数字水印技。已经颁布的JPEG2000国际标准中,为数字水印预留了空间。即将颁布 的数字视频压缩标准MPEG一4,提供了一个知识产权管理和保护的接口,允许结合包括 水印在内的版权保护技术。

在国内,政府对信息安全产业的发展极为重视。数字水印的研究得到了国家自然科 学基金和“863 ”计划的资助。国内信息隐藏学术研讨会(CIHW)自1999年以来至今已成 功举办了五届,有力地推动了水印技术的研究与发展。去年政府更颁布了《中华人民  共和国电子签名法》,这给水印技术的应用提供了必要的法律依据。

参考文献

[1] 数位水印_百度百科

[2]TEWFIK A H. Digital watermarking[J], IEEE Signal Processing Magazine, 2020 179: 17~88.

[3]Schyndel van RG Tirkel AZ and Osborne CF A digital watermark Int Conf on ImageProcessing 2020(2)86—90 .

[4] Hui Xiang,et al. Digital watermarking systems with chaitic sequences, electronic imaging’99,security and watermarking of

multimedia contents. In: Proceeding of the International Society for Optical Engineering. San Jose,

California,2022,3657:449-457.

[5]P.P.Vadyanathan, Multirate Digital Filters, Filter Banks, Polyphase Network, and Application: A Tutoral, Proc. IEEE, 2019,

Vol.78(1):56-93.

[6]丁玮,闫伟齐,齐东旭;基于Arnold变换的数字图像置乱技术,计算机辅助设计与图形学报,2021 134)。

[7]陈明奇,钮心祈,杨义先.数字水印的研究进展和应用.通信学报,2021,22(5):71-79.

[8]高飞,李兴华.基于混沌序列的位图像加密研究.北京理工大学学报,2015,25

[9]文志强,李陶深,张增芳.一种新的基于混沌序列的图像加密技术.计算机工程,2015,31

[10]李振,基于混沌序列算法的计算机图像加密技术的研究[D],沈阳:沈阳工业大学,2022,26(6):678-682.

附录:

clear all;

%logistic 序列生成算法

figure(1);

an=linspace(3.1,3.99,400);

hold on;box on;axis([min(an),max(an),-1,2]);

N=64*64;

xn=zeros(1,N);

for a=an;

x=rand;

for k=1:N;

x=a*x*(1-x);

xn(k)=x;

b(k,1)=x;

end

plot(a*ones(1,N),xn,'k.','markersize',1);

end

c=reshape(b,64,64);

%二维矩阵调制

for a1=1:64;

for a2=1:64;

if c(a1,a2)>=0.5;

d(a1,a2)=1;

else d(a1,a2)=0;

end;

end;

end

%水印加密

e=imread('c:\new\123.BMP');

e=double(e);

f=bitxor(d,e);%mm=imread('c:\new\0.BMP');nn=double(m m);%h=bitxor(d,mm);

g=bitxor(d,f);

figure(2);

subplot(2,2,1);

imshow(d);title('混沌序列矩阵');

subplot(2,2,2);

imshow(e);title('水印图像');

subplot(2,2,3);

imshow(f);title('混沌加密水印图像');

imwrite(f,'c:\new\0.BMP');

subplot(2,2,4);

imshow(g);title('水印图像恢复');

M=256;

N=64;

[filename1,pathname]=uigetfile('*.*','select the image'); image1=imread(num2str(filename1));

figure(3);subplot(2,2,1);imshow(image1);

title('original image');

subplot(2,2,2);imshow(f);title('original watermark');

%嵌入水印

[ca,ch,cv,cd] = dwt2(image1,'db1');

[cas,chs,cvs,cds] = dwt2(ca,'db1');

for i=1:N

for j=1:N

iff(i,j)==0

a=-1;

else

a=1;

end

Ca(i,j)=cas(i,j)*(1+a*0.03);

end

end

IM= idwt2(Ca,chs,cvs,cds,'db1') ;

subplot(2,2,3);colormap(gray(256));image(markedimage); title('marked image');

imwrite(markedimage,gray(256),'c:\new\watermarked.bm p','bmp');

%提取水印

image1=imread(num2str(filename1));image1=double(imag

e1);

imaged=imread('c:\new\watermarked.bmp');

[ca,ch,cv,cd] = dwt2(image1,'db1');

[cas,chs,cvs,cds]=dwt2(ca,'db1');

[caa,chh,cvv,cdd]=dwt2(imaged,'db1');

[caas,chhs,cvvs,cdds]=dwt2(caa,'db1');

for p=1:N

for q=1:N

a=caas(p,q)/cas(p,q)-1;

if a<0

W(p,q)=0;

else

W(p,q)=255;

end

end

end

subplot(2,2,4);

colormap(gray(256));image(W);title('含水印图像中提取 的水印');

imwrite(W,gray(256),'watermark.bmp','bmp');

%figure(4);

h=bitxor(d,W);figure(7);subplot(2,2,1);imshow(h);

%频谱

pic1= imread('c:\new\3.jpg');

pic2= imread('c:\new\watermarked.BMP');

%pic=rgb2gray(pic);

%pic=rgb2gray(pic);

subplot(2,2,1);

subplot(2,2,3);

imshow(pic1);

imshow(pic2);

title('原图');

title('新图');

pic_fft1=fft2(double(pic1));

pic_fft2=fft2(double(pic2));

pic_fft1=fftshift(pic_fft1);

pic_fft2=fftshift(pic_fft2);

subplot(2,2,2);

subplot(2,2,4);

imshow(log(abs(pic_fft1)), []);

imshow(log(abs(pic_fft2)), []);

title('原图频谱图');

title('新图频谱图'

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/m0_75211241/article/details/135054719

智能推荐

ZOJ 2112 Dynamic Rankings (动态第k大,树状数组套主席树)_动态第k大 树状数组套平衡树-程序员宅基地

文章浏览阅读294次。题目链接:题目大意:询问一个区间的第k大 但是有操作会对某个位置的值进行改变 即动态第k大思路:树状数组套主席树普通主席树装未修改的数据树状数组套主席树装的是修改的数据,即修改操作在树状数组中进行#include #include #include #include #include #include #include #include #include _动态第k大 树状数组套平衡树

oracle声明纪录变量,oracle – 在SQL * Plus中声明绑定变量-程序员宅基地

文章浏览阅读82次。不知道你为什么要使用PL / sql块.您没有使用您声明的ID,最好给它一个与列名称不同的名称以避免混淆.您可以在sql * Plus中声明一个绑定变量,然后选择:var l_test_quote varchar2(80); -- or whatever type/size you needvar l_test_id varchar2(80);declarel_id varchar2(80) :=..._"oracle:sp2-0552: 未声明绑定变量 \"empid\"。"

关于达梦数据库与oracle数据库的迁移_oracle迁移达梦方便吗-程序员宅基地

文章浏览阅读4.3k次,点赞2次,收藏9次。在这里和大家分享一下关于达梦与oracle之间进行数据迁移的注意事项:达梦数据库与oracle的兼容性是很高的,所以这两类数据库之间进行迁移 还是很方便的。首先,初始化实例的时候,将空格填充模式参数设置为零(BLANK_PAD_MODE=0),oracle兼容性参数 (COMPATIBLE_MODE=2)打开。需要注意的是,空格填充模式参数是初始化参数,只能在初始化实例的时候进行设置,这两个参..._oracle迁移达梦方便吗

优质的Unity调用Android交互方案_unity getactivity-程序员宅基地

文章浏览阅读214次。引言最近为了实现Unity与Android之间的通信,在网络上发现了很多种实现方案。有打包Jar的,有打包aar的,有直接拷贝文件的。试了几种方案虽然都能解决需求,但是使用起来给我的感觉并不是很舒服。在各种尝试中,已了解了Unity和Android之间通信的底层原理。该方案为本人结合Java特性所给出,可以减少很多其它方案的一些不明确以及繁琐的步骤。本文适用对象有一定的Unity开发经验,..._unity getactivity

javascript操作正则表达式对象的方法总结-程序员宅基地

文章浏览阅读41次。//正则表达式对象 /* var s = 'good good study day day up '; var r, re; re = new RegExp('study',"g"); //g表示全文搜索 i表示部分大小写 m多行搜索 r = s.match(re); alert(r); //st...

Java 缓冲流介绍_java缓冲流-程序员宅基地

文章浏览阅读906次。不用缓冲流的话,程序是读一个数据,写一个数据,大量占用了CPU,(本来CPU可以一次多处理内容的)处理这样在数据量大的程序中非常影响效率。缓冲流作用是把数据先写入缓冲区,等缓冲区满了,再把数据写到文件里。这样效率就大大提高了。缓冲输入流BufferedInputStream 缓冲输出流BufferedOutputStreamJavaimport java.io.BufferedInputStre_java缓冲流

随便推点

python 获取窗口句柄 模拟 点击按钮,python和pywin32实现窗口查找、遍历和点击-程序员宅基地

文章浏览阅读9.9k次,点赞5次,收藏45次。1.如何利用句柄操作windows窗体首先,获得窗体的句柄 win32api.FindWindows()第二,获得窗体中控件的id号,spy++第三,根据控件的ID获得控件的句柄(hwnd) GetDlgItem(hwnd,loginID)最后,利用控件句柄进行操作python可以通过win32api轻松获取控件的属性值通过标签找到主窗口句柄,然后通过主句柄获取下属控件句柄#-*- codin..._python 获取窗口句柄 模拟 点击按钮

以集群方式运行pyspark_spark.yarn.appmasterenv.pyspark_python-程序员宅基地

文章浏览阅读2.4k次。一、背景说明  单机执行pyspark(python on spark)非常简单,只要在脚本所在服务器上部署个python环境或Anaconda这种集成运行环境,再通过python3命令执行就完了。  而想将python提交到spark集群中运行,则有两种方法,一种是在每个spark结点上部署python环境,在spark低版本与python集成没那么完善的时候,集群结点数又不多的情况下,的确可以这么干(实际上我就这么干过),这种方式比较大的优势是每次执行pyspark任务时,不用分发python环_spark.yarn.appmasterenv.pyspark_python

Android修行手册 - 实现POI上万行的大数据量Excel读写操作,解决内存溢出_android 读取超大excel文件-程序员宅基地

文章浏览阅读1.5k次,点赞15次,收藏11次。搞过POI的都知道,在处理Excel文件时,POI提供了两种模式:用户模式和SAX事件驱动模式。用户模式API丰富使用起来相对简单,但当遇到大文件、大量数据或复杂格式时,可能会导致内存溢出。因此,官方推荐使用SAX事件驱动模式来解析大型Excel文件。开始想解决方法之前,我们要先知道 Excel2003与Excel2007 的区别。_android 读取超大excel文件

cordova通过原生实现自定义功能_cordova 连拍-程序员宅基地

文章浏览阅读1w次。先闲谈说下最近的微信要出的小程序吧,感觉确实很牛逼,革命说不上吧但是也是一个新的大的机遇。不得不承认腾讯有两个相当好的平台,一个是QQ,一个是微信,毕竟人数基数大,任何新的东西都会带来相当多的机会和挑战。那个小程序好像是基于react native,也是一种混合架构。最近整理整理下混合架构的知识,有时间也好好学习去。 好了开始正题吧。 最近研究cordova通过原生_cordova 连拍

DLL加载器-远程线程注入(常规dll注入)_dll注入器-程序员宅基地

文章浏览阅读909次。注入思路先获取到LoadLibrary的函数地址,之后使用CreateRemoteThread加载这段地址即可简单例子:D:\VS项目\Dll3\x64\Debug\Dll3.dllkernel.dll加载的地址在所有进程都是一样的https://zhuanlan.zhihu.com/p/599915628?utm_id=0DLL进程注入dll注入器生成dll-2-1.exe这里注入的exe是notepad++,找到其进程,注入的dll是我cs生成的beacon.dll主要思路是:_dll注入器

Oracle 11g DataGuard 搭建笔记(Windows Server 2016)_oracle创建一个新的dg-程序员宅基地

文章浏览阅读2.9k次,点赞4次,收藏16次。Oracle 11g DataGuard 搭建笔记(Windows Server 2016),Oracle 主从自动同步_oracle创建一个新的dg