结构化与非结构化数据

—— 摘自知乎 https://zhuanlan.zhihu.com/p/77169865

结构化数据和非结构化数据是大数据的两种类型，这两者之间并不存在真正的冲突。客户如何选择不是基于数据结构，而是基于使用它们的应用程序：关系数据库用于结构化数据，大多数其他类型的应用程序用于非结构化数据。

然而，结构化数据分析的难易程度与非结构化数据的分析难度之间的关系日益紧张。结构化数据分析是一种成熟的过程和技术。非结构化数据分析是一个新兴的行业，在研发方面有很多新的投资，但不是一项成熟的技术。了解两者之间的差异是充分利用这两者的关键，特别是在从Web数据中获益时。

什么是结构化数据

大多数人都熟悉结构化数据的工作原理。结构化数据，可以从名称中看出，是高度组织和整齐格式化的数据。它是可以放入表格和电子表格中的数据类型。它可能不是人们最容易找到的数据类型，但与非结构化数据相比，无疑是两者中人们更容易使用的数据类型。另一方面，计算机可以轻松地搜索它。

结构化数据也被成为定量数据，是能够用数据或统一的结构加以表示的信息，如数字、符号。在项目中，保存和管理这些的数据一般为关系数据库，当使用结构化查询语言或SQL时，计算机程序很容易搜索这些术语。结构化数据具有的明确的关系使得这些数据运用起来十分方便，不过在商业上的可挖掘价值方面就比较差。

典型的结构化数据包括：信用卡号码、日期、财务金额、电话号码、地址、产品名称等。

什么是非结构化数据

非结构化数据本质上是结构化数据之外的一切数据。它不符合任何预定义的模型，因此它存储在非关系数据库中，并使用NoSQL进行查询。它可能是文本的或非文本的，也可能是人为的或机器生成的。简单的说，非结构化数据就是字段可变的的数据。

非结构化数据不是那么容易组织或格式化的。收集，处理和分析非结构化数据也是一项重大挑战。这产生了一些问题，因为非结构化数据构成了网络上绝大多数可用数据，并且它每年都在增长。随着更多信息在网络上可用，并且大部分信息都是非结构化的，找到使用它的方法已成为许多企业的重要战略。更传统的数据分析工具和方法还不足以完成工作。

典型的人为生成的非结构化数据包括：

文本文件：文字处理、电子表格、演示文稿、电子邮件、日志。

电子邮件：电子邮件由于其元数据而具有一些内部结构，我们有时将其称为半结构化。但是，消息字段是非结构化的，传统的分析工具无法解析它。

社交媒体：来自新浪微博、微信、QQ、Facebook，Twitter，LinkedIn等平台的数据。

网站： YouTube，Instagram，照片共享网站。

移动数据：短信、位置等。

通讯：聊天、即时消息、电话录音、协作软件等。

媒体：MP3、数码照片、音频文件、视频文件。

业务应用程序：MS Office文档、生产力应用程序。

典型的机器生成的非结构化数据包括：

卫星图像：天气数据、地形、军事活动。

科学数据：石油和天然气勘探、空间勘探、地震图像、大气数据。

数字监控：监控照片和视频。

传感器数据：交通、天气、海洋传感器。

结构化数据与非结构化数据：有何区别

从上文的解释中，结构化和非结构化数据之间的差异逐渐变得清晰。除了存储在关系数据库和存储非关系数据库之外的明显区别之外，最大的区别在于分析结构化数据与非结构化数据的便利性。针对结构化数据存在成熟的分析工具，但用于挖掘非结构化数据的分析工具正处于萌芽和发展阶段。

并且非结构化数据要比结构化数据多得多。非结构化数据占企业数据的80%以上，并且以每年55%~65%的速度增长。如果没有工具来分析这些海量数据，企业数据的巨大价值都将无法发挥。

随着储存成本的下降，以及新兴技术的发展，行业对非结构化数据的重视程度得到提高。比如物联网、工业4.0、视频直播产生了更多的非结构化数据，而人工智能、机器学习、语义分析、图像识别等技术方向则更需要大量的非结构化数据来开展工作。

                     关系型数据库和非关系型数据库

转载自：简书 https://www.jianshu.com/p/fd7b422d5f93

关系型数据库

关系型数据库：指采用了关系模型来组织数据的数据库。

关系模型指的就是二维表格模型，而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组

织。

关系模型中常用的概念：

关系：一张二维表，每个关系都具有一个关系名，也就是表名

元组：二维表中的一行，在数据库中被称为记录

属性：二维表中的一列，在数据库中被称为字段

域：属性的取值范围，也就是数据库中某一列的取值限制

关键字：一组可以唯一标识元组的属性，数据库中常称为主键，由一个或多个列组成

关系模式：指对关系的描述。其格式为：关系名(属性1，属性2， ... ... ，属性N)，在数据库中成为表结构

关系型数据库的优点：

1.容易理解：二维表结构是非常贴近逻辑世界的一个概念，关系模型相对网状、层次等其他模型来说更容

易理解

2.使用方便：通用的SQL语言使得操作关系型数据库非常方便

3.易于维护：丰富的完整性(实体完整性、参照完整性和用户定义的完整性)大大减低了数据冗余和数据不一

致的概率

关系型数据库存在的问题

1.网站的用户并发性非常高，往往达到每秒上万次读写请求，对于传统关系型数据库来说，硬盘I/O是一个

很大的瓶颈

2.网站每天产生的数据量是巨大的，对于关系型数据库来说，在一张包含海量数据的表中查询，效率是非常

低的

3.在基于web的结构当中，数据库是最难进行横向扩展的，当一个应用系统的用户量和访问量与日俱增的

时候，数据库却没有办法像web server和app server那样简单的通过添加更多的硬件和服务节点来扩展性

能和负载能力。当需要对数据库系统进行升级和扩展时，往往需要停机维护和数据迁移。

4.性能欠佳：在关系型数据库中，导致性能欠佳的最主要原因是多表的关联查询，以及复杂的数据分析类

型的复杂SQL报表查询。为了保证数据库的ACID特性，必须尽量按照其要求的范式进行设计，关系型数据

库中的表都是存储一个格式化的数据结构。

数据库事务必须具备ACID特性，ACID分别是Atomic原子性，Consistency一致性，

Isolation隔离性，Durability持久性。

当今十大主流的关系型数据库

Oracle，Microsoft SQL Server，MySQL，PostgreSQL，DB2，

Microsoft Access， SQLite，Teradata，MariaDB(MySQL的一个分支)，SAP

非关系型数据库

非关系型数据库：指非关系型的，分布式的，且一般不保证遵循ACID原则的数据存储系统。

非关系型数据库结构

非关系型数据库以键值对存储，且结构不固定，每一个元组可以有不一样的字段，每个元组可以根据需要增加一些自己的键值对，不局限于固定的结构，可以减少一些时间和空间的开销。

优点

1.用户可以根据需要去添加自己需要的字段，为了获取用户的不同信息，不像关系型数据库中，要对多表进行关联查询。仅需要根据id取出相应的value就可以完成查询。

2.适用于SNS(Social Networking Services)中，例如facebook，微博。系统的升级，功能的增加，往往意味着数据结构巨大变动，这一点关系型数据库难以应付，需要新的结构化数据存储。由于不可能用一种数据结构化存储应付所有的新的需求，因此，非关系型数据库严格上不是一种数据库，应该是一种数据结构化存储方法的集合。

不足

只适合存储一些较为简单的数据，对于需要进行较复杂查询的数据，关系型数据库显的更为合适。不适合

持久存储海量数据

非关系型数据库的分类

非关系型数据库都是针对某些特定的应用需求出现的，因此，对于该类应用，具有极高的性能。依据结构

化方法以及应用场合的不同，主要分为以下几类：

面向高性能并发读写的key-value数据库：

key-value数据库的主要特点是具有极高的并发读写性能

Key-value数据库是一种以键值对存储数据的一种数据库，类似Java中的map。可以将整个数据库理解为

一个大的map，每个键都会对应一个唯一的值。

主流代表为Redis， Amazon DynamoDB， Memcached，

Microsoft Azure Cosmos DB和Hazelcast

面向海量数据访问的面向文档数据库：

这类数据库的主要特点是在海量的数据中可以快速的查询数据

文档存储通常使用内部表示法，可以直接在应用程序中处理，主要是JSON。JSON文档也可以作为纯文本

存储在键值存储或关系数据库系统中。

主流代表为MongoDB，Amazon DynamoDB，Couchbase，

Microsoft Azure Cosmos DB和CouchDB

面向搜索数据内容的搜索引擎：

搜索引擎是专门用于搜索数据内容的NoSQL数据库管理系统。

主要是用于对海量数据进行近实时的处理和分析处理，可用于机器学习和数据挖掘

主流代表为Elasticsearch，Splunk，Solr，MarkLogic和Sphinx

面向可扩展性的分布式数据库：

这类数据库的主要特点是具有很强的可拓展性

普通的关系型数据库都是以行为单位来存储数据的，擅长以行为单位的读入处理，比如特定条件数据的获

取。因此，关系型数据库也被成为面向行的数据库。相反，面向列的数据库是以列为单位来存储数据的，

擅长以列为单位读入数据。

这类数据库想解决的问题就是传统数据库存在可扩展性上的缺陷，这类数据库可以适应数据量的增加以及

数据结构的变化，将数据存储在记录中，能够容纳大量动态列。由于列名和记录键不是固定的，并且由于

记录可能有数十亿列，因此可扩展性存储可以看作是二维键值存储。

主流代表为Cassandra，HBase，Microsoft Azure Cosmos DB，

Datastax Enterprise和Accumulo

CAP理论

NoSQL的基本需求就是支持分布式存储，严格一致性与可用性需要互相取舍

CAP理论：一个分布式系统不可能同时满足C(一致性)、A(可用性)、P(分区容错性)三个基本需求，并且最

多只能满足其中的两项。对于一个分布式系统来说，分区容错是基本需求，否则不能称之为分布式系统，

因此需要在C和A之间寻求平衡

C(Consistency)一致性

一致性是指更新操作成功并返回客户端完成后，所有节点在同一时间的数据完全一致。与ACID的C完全不同

A(Availability)可用性

可用性是指服务一直可用，而且是正常响应时间。

P(Partition tolerance)分区容错性

分区容错性是指分布式系统在遇到某节点或网络分区故障的时候，仍然能够对外提供满足一致性和可用性

的服务。

关系型与非关系型数据库的比较

1.成本：Nosql数据库简单易部署，基本都是开源软件，不需要像使用Oracle那样花费大量成本购买使用，

相比关系型数据库价格便宜。

2.查询速度：Nosql数据库将数据存储于缓存之中，而且不需要经过SQL层的解析，关系型数据库将数据存

储在硬盘中，自然查询速度远不及Nosql数据库。

3.存储数据的格式：Nosql的存储格式是key,value形式、文档形式、图片形式等等，所以可以存储基础类

型以及对象或者是集合等各种格式，而数据库则只支持基础类型。

4.扩展性：关系型数据库有类似join这样的多表查询机制的限制导致扩展很艰难。Nosql基于键值对，数据

之间没有耦合性，所以非常容易水平扩展。

5.持久存储：Nosql不使用于持久存储，海量数据的持久存储，还是需要关系型数据库

6.数据一致性：非关系型数据库一般强调的是数据最终一致性，不像关系型数据库一样强调数据的强一致

性，从非关系型数据库中读到的有可能还是处于一个中间态的数据，

Nosql不提供对事务的处理。

层次、网状、关系模型

转载自：https://ruoyi.csdn.net/65704eadb94a6948d006d616.html

层次、网状、关系模型都是逻辑上的，它们都是以一定的方式存储在数据库系统中，这是数据库管理系统的功能，是数据库管系统中的物理存储模型。格式化模型层次模型和网状模型统称为格式化模型。格式化模型中数据结构的基本单位是基本层次联系，基本层次联系指的是两个记录以及他们之间的一对多（包括一对一）的联系。它是单记录的操作方式。格式化模型中实体用记录表示，实体的属性对应记录的数据项（或字段），实体之间的联系在

 lxwthinker  ·  2017-11-18 17:12:44 发布

层次、网状、关系模型都是逻辑上的，它们都是以一定的方式存储在数据库系统中，这是数据库管理系统的功能，是数据库管系统中的物理存储模型。

格式化模型

层次模型和网状模型统称为格式化模型。格式化模型中数据结构的基本单位是基本层次联系，基本层次联系指的是两个记录以及他们之间的一对多（包括一对一）的联系。它是单记录的操作方式。
格式化模型中实体用记录表示，实体的属性对应记录的数据项（或字段），实体之间的联系在格式化模型中转成记录之间的两两联系。

一、层次模型

层次模型是数据库系统中最早出现的数据模型，层次数据库系统采用层次模型作为数据的组织方式。它采用树形结构来表示各类实体以及实体间的联系。

1、层次模型的数据结构

满足以下两个条件的基本层次联系的集合为层次模型
1、有且只有一个结点没有双亲结点，这个结点称为根节点；
2、根以外的其他结点有且只有一个双亲结点。

层次数据库系统只能处理一对多的实体联系的原因：在层次模型中，每个结点表示一个记录类型，记录类型之间的联系用结点之间的连线（有向边）表示，这种联系是父子之间的一对多的联系。
以下是一个层次模型的示例，它像一棵倒立的树，结点的双亲是唯一的。同一双亲的子女结点称为兄弟结点，没有子女结点的结点称为叶结点。

层次模型的特点：任何一个给定的记录值只能按其层次路径查看，没有一个子女记录值能够脱离双亲记录值而独立存在。

2、层次模型的数据操纵与完整性约束

层次模型的数据操纵主要有查询、插入、删除和更新，进行插入、删除、更新操作时要满足其完整性约束条件。
插入：如果没有相应的双亲结点值不能插入它的子女结点值。
删除：如果删除双亲结点值，则相应的子女结点值也将同时被删除。

3、层次模型的优缺点

1）优点：数据结构比较简单清晰，数据库的查询效率高，提供了良好的完整性支持。
2）缺点：现实世界中很多联系是非层次性的，它不适用于结点之间具有多对多联系；查询子女结点必须通过双亲结点；由于结构严密，层次命令趋于程序化。

二、网状模型

网状数据模型的典型代表是DBTG（CODASYL）系统。

1、网状模型的数据结构

满足一下两个条件的基本层次联系的集合为网状模型
1、允许一个以上的结点无双亲；
2、一个结点可以有多于一个的双亲。
备注：层次模型实际上是网状模型的一个特例。

以下是网状模型的例子，网状模型中子女结点与双亲结点的联系可以不唯一。

2、网状模型的数据操纵与完整性约束

DBTG在末世数据定义语言中提供了DBTG数据库完整性的若干概念和语句，主要有：
1）支持记录码的概念。唯一标识记录的数据项的集合称为码，例如学生的学号，不允许有两个相同的学号。
2）保证一个联系中双亲记录和子女记录之间是一对多的联系。
3）可以支持双亲记录和子女记录之间的某些约束条件。

3、网状模型的优缺点

1）优点：能够更为直接地描述现实世界，如一个结点可以有多个双亲，结点直接可以有多种联系；具有良好的性能，存取效率较高。
2）缺点：结构比较复杂，随应用环境的扩大，数据库的结构就变得越来越复杂，不利于最终用户掌握；网状模型的DDL、DML复杂，并且要嵌入某一种高级语言（C、COBOL）中，用户不容易掌握和使用；由于记录之间的联系是通过存取路径实现的，应用程序在访问数据时必须选择适当的存取路径，因此用户必须了解系统结构的细节，加重了编写应用程序的负担。

三、关系模型

关系模型是最重要的一种数据模型。

1、关系模型的数据结构

关系模型中的一些术语：

1）关系：一个关系对应通常说的一张表；
2）元组：表中的一行即为一个元组；
3）属性：表中的一列即为一个属性，给每一个属性起一个名称即属性名；
4）码：也称为码键，表中的某个属性组，它可以唯一确定一个元组；
5）域：一组具有相同数据类型的值的集合。属性的取值范围来自某个域；
6）分量：元组中的一个属性值。
7）关系模式：对关系的描述，一搬表示为：关系名（属性1，属性2，…，属性n）

关系模型要求关系必须规范化的，关系必须满足一定的规范条件，这些规范条件中最基本的一条就是，关系的每一个分量必须是一个不可分的数据项，也就是说，不允许表中还有表。

2、关系模型的数据操纵与完整性约束

关系模型的数据操纵主要包括查询、插入、删除和更新数据，它的数据操纵是集合操作，操作对象和操作结果都是关系。
这些操作必须满足关系的完整性约束条件：实体完整性、参照完整性和用户定义的完整性。

3、关系模型的优缺点

1）优点：建立在严格的数学概念的基础上；概念单一，无论实体还是实体之间的联系都是用关系来表示。对数据的检索和更新结构也是关系（也就是我们常说的表）；它的存取路径对用户透明，从而具有更高的独立性、更好的安全保密性，简化了程序员的工作个数据库开发建立的工作。
2）缺点：存取路径的隐蔽导致查询效率不如格式化数据模型。