分析大文本与图像数据在数据库内部的存储原理。
XML 是文本型的数据交换结构，对于字符类型的文本交换非常的方便，实际工作中我们往往需要通过 XML 将二进制格式的图形图像信息数据进行数据交换。本文从介绍 BASE64 编码的原理入手，通过采用 C 语言编写 DB2 的嵌入存储过程，实现了在数据库内存中将文本格式的图片文件到二进制 BLOB 字段之间的转换，并且就性能优化等提出若干建议，该设计思路和程序可以广泛的应用到图像图形数据在 XML 的存储和转换。
--------------------------------------------------------------------------------
回页首
XML 存储图形图像的基本原理
XML 作为一种非常广泛的数据交换的载体被广泛的应用到了各行各业的数据交换中。对于图形图像数据的转换，需要采用 Base64 编码将二进制格式的图形图像信息转换成文本格式再进行传输。
Base64 编码转换的思想是通过 64 个 ASCII 字符码对二进制数据进行重新编码组合，即将需要转换的数据每三个字节（24 位）为一组，再将这 24 位数据按每组 6 位进行重新划分，在每组的最高 2 位填充 0 最终成一个完整的 8 位字节。如果所要编码的数据的字节数不是 3 的整数倍，需要在最后一组数据填充 1 到 2 个字节的 0 字节。例如：我们对 ABC 进行 BASE64 的编码，ABC 的编码值：A(65), B(66), C(67)。再取二进制 A（01000001）B（01000010）C（01000011）连接起来构成 010000010100001001000011，然后按 6 位为单位分成 4 个数据块并在最高位填充两个 0 后形成 4 个字节的编码后的值（00010000）（00010100）（00001001）（00000011）。再将 4 个字节的数据转换成十进制数为（16）（20）（19）（3）。最后根据 BASE64 给出的 64 个基本字符表，查出对应的 ASCII 码字符（Q）（U）（J）（D）。这里的值实际就是数据在字符表中的索引。
BASE64 字符表：
ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789。
某项目的数据交换采用 XML 的为介质，XML 的结构包括个人基本信息：姓名、性别、相片等信息，其中相片信息是采用经过 BASE64 函数转换后的文本型数据，图像图形信息通过 BASE64 进行数据转换后，形成文本格式的数据类型，再将相应的数据存放到 XML 中，最终形成可供交换的文本型的 XML 数据结构。
XML 的数据结构如下所示：
<?xml version=”1.0” encoding=”UTF-8” ?>
<HeadInfo>
<TotalNum>10<TotalNum>
<TransDate>2007-10-18</TransDate>
</HeadInfo>
<Data>
<Name> 张三 </Name>
<Sex> 男 </Sex>
<Photo>/9j/4AAQSkZJRgABAQAAAQABAAD......</Photo>
<Data>
--------------------------------------------------------------------------------
回页首
相片数据在 DB2 嵌入式 C 程序的实现方法
该项目要求能够在 DB2 数据库中将相片数据存储为二进制 BLOB 格式。我们采用 DATASTAGE 进行 XML 数据加载，将 XML 中的姓名、性别等基本数据项加载到相应的字段，其中文本型的相片数据则加载到 CLOB 字段中，再按照 BASE64 的编码规则进行逆向转码，整个数据流程如下图所示：
图 1. 相片存储流程图
用户的相片每天的更新数据为 30 万条，而且每个相片的平均大于 32KB，为了获得最佳的数据库性能，选择采用 C 存储过程的方式开发了 BASE64 的转换函数。每次函数读取存储在 CLOB 字段的文本格式数据全部存储到内存中，并且通过 decode 函数在内存中进行转码，转码后再存入数据库中。
程序的清单 1 是逐行读取 CLOB 字段，并且调用 decode 函数进行转码；程序的清单 2 是 decode 函数的关键性代码。完整的程序见源代码下载部分。
清单 1. 读入 CLOB，写入 BLOB 字段
EXEC SQL BEGIN DECLARE SECTION;
SQL TYPE IS CLOB(100 K) clobResume; //CLOB 结构体变量
SQL TYPE IS BLOB(100 K) blobResume; //BLOB 结构体变量
sqlint16 bobind;
sqlint16 lobind;
sqlint16 cobind;
sqlint32 idValue;
EXEC SQL END DECLARE SECTION;
int clob2bin(void)
{
// 声明 SQLCA 结构
struct sqlca sqlca;
int charNb;
int lineNb;
long n;
n=0;
// 定义数据库游标
EXEC SQL DECLARE c1 CURSOR WITH HOLD FOR
SELECT czrkxp_a
FROM CZRK_blob for update;
EXEC SQL OPEN c1;
// 活动 CLOB 字段的信息，已经 CLOB 字段的大小
EXEC SQL FETCH c1 INTO :clobResume:cobind;
// 循环读取 CLOB 字段，并且调用 DECODE 转码函数
while (sqlca.sqlcode != 100)
{
if (cobind < 0)
{
printf(“ NULL LOB indicated.\n”);
}
else
{
n++;
decode(); // 文本格式到二进制流的转码函数
printf(“\nCurrent Row =%ld”,n);
// 数据写入 BLOB 字段
EXEC SQL update czrk_blob set czrkxp_blob = :blobResume
where current of c1; ;
// 提交事务
EXEC SQL COMMIT;
}
EXEC SQL FETCH c1 INTO :clobResume:cobind ;
}
// 关闭游标
EXEC SQL CLOSE c1;
EXEC SQL COMMIT;
return 0;
}
清单 2. 文本文件到二进制文件的转换
void decode( void )
{
unsigned char in[4], out[3], v;
int I, len;
long j,k;
j = -1;
k=0;
// 将读入 CLOB 结构体变量的数据进行转换
while( j < clobResume.length){
for( len = 0, I = 0; I < 4 && ( j < clobResume.length ); i++ ) {
v = 0;
while((j < clobResume.length) && v == 0 ) {
j++;
v = (unsigned char) clobResume.data[j];
v = (unsigned char) ((v < 43 || v > 122) ? 0 : cd64[ v – 43 ]);
if( v ) {
v = (unsigned char) ((v == ‘$’) ? 0 : v – 61);
}
}
if( j < clobResume.length ) {
len++;
if( v ) {
in[ I ] = (unsigned char) (v – 1);
}
}
else {
in[i] = 0;
}
}
if( len ) {
decodeblock( in, out );
// 写入到 BLOB 结构体变量中
for( I = 0; I < len – 1; i++ ) {
blobResume.data[k] = out[i];
k++;
}
}
}
blobResume.length= k;
}
--------------------------------------------------------------------------------
回页首
数据的转换效率和优化建议
在 IBM P570 数据库服务器上运行，该程序的运行效率非常高，先后进行了几个数量级的测试，最终平均测试的转换效率为：每 1 万笔数据记录，转换的效率 55 秒，即 182 条 / 秒。值得注意的是，整个转换过程占用 CPU 的量并不特别大，主要的性能瓶颈在磁盘阵列中。
以后可以进一步在以下方面进行调优，确保程序转换的效率更高：
1）采用多进程调用的方式，以获得更高的并发数量；
2）采用每 10 次或者 100 次提交事务的方式，减少访问磁盘的次数；
3）将 CLOB 和 BLOB 分别放置在不同的表空间上，并且将表空间分布在在多个磁盘上，获得最佳的磁盘访问速度。
小心被老师发现 ....
...不白是一个班的....
分析大文本与图像数据在数据库内部的存储原理~
饿饿饿
1、图片在数据库内只占用一个字段，这个字段内只写图片的地址，在调用的时候调用地址就行了。
2、数据库只需要存储HTML（或者是其他标记性的语言）代码（图片则会上传到网站指定目录以文件方式存储）。
分析大文本与图像数据在数据库内部的存储原理。
答：图像数据在数据库内部的存储原理:XML 是文本型的数据交换结构，对于字符类型的文本交换非常的方便，实际工作中我们往往需要通过 XML 将二进制格式的图形图像信息数据进行数据交换。本文从介绍 BASE64 编码的原理入手，通过采用 C 语言编写 DB2 的嵌入存储过程，实现了在数据库内存中将文本格式的图片文件到二...
大文本与图像数据在数据库内部的存储原理
答：3.论文提交要求：论文要求用Word编写，文件名为“学号姓名.doc” ，字体大小统一为小四，中文为宋体，英文及数字用Times New Roman字体样式，段落间距单倍距离，完成后交给各班学委。
在数据库中存储的是什么
答：在数据库中存储的是数据。数据库是一种结构化的数据存储系统，用于收集、存储和管理大量相关数据的集合。数据库使用表格、记录和字段的结构来组织数据，并提供高效的数据存储和访问机制。数据库中存储的数据可以是各种类型和形式的信息，包括但不限于以下内容：1、文本数据：数据库可以存储包括名称、描述、...
博客系统中,带图片的文本是怎样储存在数据库中的?
答：1、图片在数据库内只占用一个字段，这个字段内只写图片的地址，在调用的时候调用地址就行了。2、数据库只需要存储HTML（或者是其他标记性的语言）代码（图片则会上传到网站指定目录以文件方式存储）。
在数据库中存储的是什么?
答：数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。数据库是一个按数据结构来存储和管理数据的计算机软件系统。数据库的概念实际包括两层意思：数据库是一个实体，它是能够合理保管数据的“仓库”，用户在该“仓库”中...
什么是视图以及它在数据库中的作用和优点?
答：视图，作为数据库中的关键构造，是基于查询逻辑构建的虚拟表，它并非物理存在的基础表，而是由多个表或视图的数据汇总而成。其结构和内容源自基础表，但并非直接存储数据，而是通过引用实现数据的展示。本质与特性视图就像一面镜子，反映的是实际表中的数据，但并非独立的数据存储。一旦定义，视图便存储在...
文本文件导入到数据库中的几种方法
答：适合于大型数据库和数据仓库。三、 使用Access工具导入 可以直接在Access里选择‘打开‘文本文件，这样按照向导来导入一个文本文件到Access数据库中，然后使用编程的方法将其导入到最终的目标数据 库中。这种方法虽然烦琐，但是其对系统的软件配置要求相对较低，所以也是有一定的使用范围 ...
...图像、声音、视频、动画等不同的媒体类型数据在计算机是如何存储的...
答：都是以字节码形式存储的。例如图片由多个像素组成，每个像素可以用一个字节来错，其他内容也是同理，有定好数据的格式，就知道怎么解析每个字节了
数据库能不能存放图像或声音?
答：数据库能存放图像或声音。数据库是存放数据的仓库。它的存储空间很大，可以存放百万条、千万条、上亿条数据。但是数据库并不是随意地将数据进行存放，是有一定的规则的，否则查询的效率会很低。当今世界是一个充满着数据的互联网世界，充斥着大量的数据。即这个互联网世界就是数据世界。数据的来源有很多...
java项目,我上传dbf文件,解析文件数据保存到数据库里,数据量太大,速度...
答：= d;}else{ data[i][j] = da;} } } }catch (Exception e){ e.printStackTrace();}finally{ rs = null;} 上面采用的是传统方法进行导出dbf文件，如果大数据量导出时，就要先将文件生成到服务器端，然后从response里拿输入流，将刚生成的文件写到客户端，也就是多一个文件流写入的过程。
