文章目录一、云原生数据相关原则二、数据预处理1. 缺失值处理2. 异常值处理3. 不一致数据处理三、数据存储1. 存储架构模式2. 存储形式3. 存储管理4. 备份策略四、元数据、标准化与数据质量1. 元数据2. 数据标准化阶段3. 数据质量五、数据模型1. 概念模型信息模型2. 逻辑模型3. 物理模型六、数据资产管理DAM七、数据集成1. 集成方法2. 常用接口技术八、数据挖掘1. 主要任务2. 挖掘流程概览九、数据可视化十、数据脱敏与分类分级1. 数据脱敏原则节选2. 数据分类3. 数据分级示例维度十一、易混淆辨析十二、例题精选十三、考点总结相关推荐一、云原生数据相关原则分布式场景里数据与服务治理一般抓这四项和架构设计联动原则要点服务化限流、降级、熔断基于服务流量利于模块解耦弹性部署规模可随负载伸缩不必固定硬件容量可观测日志/链路/指标可下钻支撑运维与优化韧性依赖故障时仍持续提供服务含容灾、多活等二、数据预处理预处理常采用数据清洗包括数据分析、数据检测、数据修正。1. 缺失值处理方法说明删除缺失值缺失比例小时常用均值填补法按相关属性分组用组均值填补热卡填补法在库中找相似记录填充其他最近邻、贝叶斯等2. 异常值处理方法说明分箱法按近邻分布到各“箱”平滑异常回归法用函数拟合光滑数据检测偏离点3. 不一致数据处理多因格式、编码或录入规则不统一要靠标准化和规则校验兜底。三、数据存储1. 存储架构模式模式要点DAS直连存储SCSI/FC/ATA数据块NAS网络附加存储文件级共享SAN存储区域网络FC SAN / IP SAN闪存固态高性能持久化云存储数据存异地经网络访问2. 存储形式形式特征文件存储文件夹组织文件级访问块存储块级适合数据库等高性能场景对象存储适合海量非结构化数据3. 存储管理功能说明资源调度管理存储资源归属、分配与调度负载均衡管理平衡存储负载避免瓶颈或浪费4. 备份策略策略备份内容恢复特点缺点完全备份每次备份全部数据恢复最简单耗时长、占空间大差分备份相对上次完全备份的变化恢复只需完全最新差分差分包逐渐变大增量备份相对上次备份的变化备份快、省空间恢复链长任一环损坏影响大备份架构演进LAN 备份 → LAN-FREE → SERVER-FREE减轻应用服务器与 LAN 压力。四、元数据、标准化与数据质量1. 元数据元数据是关于数据的数据描述数据的结构、来源、含义与管理信息。2. 数据标准化阶段阶段产出确定数据需求数据需求说明制定数据标准供审查的成套建议批准数据标准审查、修改或封存实施数据标准在各信息系统落地标准化内容含元数据标准、数据元素标准、数据分类与编码标准等。3. 数据质量衡量维度完整性、准确性、一致性、及时性等。数据质量可用数据质量元素描述分定量元素与非定量元素评价过程用于产生和报告质量结果。五、数据模型1. 概念模型信息模型按用户观点抽象客观对象与具体 DBMS 无关。元素说明实体可区分的事物同类型实体组成实体集属性实体特性取值范围为域键唯一标识实例的属性或属性组关联实体间联系一对一、一对多、多对多2. 逻辑模型在概念模型上确定数据结构含层次、网状、关系、面向对象、对象关系等模型。3. 物理模型面向具体 DBMS 的存储与索引设计。六、数据资产管理DAM数据要素要落地通常走数据资源化 → 数据资产化这条路。环节内容数据资产流通数据共享组织内、数据开放向社会、数据交易数据资产运营对数据服务化产品持续运营数据价值评估量化数据资产价值七、数据集成1. 集成方法方法说明联邦数据库/虚拟视图共享视图集成不复制数据复制集成复制全部或部分数据源混合集成简单请求用联邦复杂用复制2. 常用接口技术技术用途ODBC数据库访问 APIJDBCJava 执行 SQLOLE DB / ADO组件化数据访问Web ServicesWSDL 描述、SOAP 传递、UDDI 注册八、数据挖掘1. 主要任务任务说明关联分析发现项间关联规则带置信度分类与预测建立分类模型预测类别聚类分析无标签数据分组组内相近孤立点分析检测偏差与异常点数据总结求和、均值、方差等统计2. 挖掘流程概览确定分析对象 → 数据准备 → 数据挖掘 → 结果解释与评估业务和技术人员要全程配合。九、数据可视化类型特点二维可视化柱状图、折线图等三维可视化可构建计算机模型多维可视化常需降维时态可视化随时间变化的数据序列层次可视化树形结构目录、组织架构网络可视化节点与边关系无固定层次十、数据脱敏与分类分级1. 数据脱敏原则节选脱敏结果可重复满足可测性、模型训练等场景需求2. 数据分类分类由分类对象与分类依据构成是数据保护的基础。3. 数据分级示例维度级别危害程度示例核心数据一般危害、严重危害国家安全等重要数据轻微危害一般数据无危害分级维度还可按敏感程度公开/秘密/机密/绝密、业务影响等划分。十一、易混淆辨析对比项易错点正确口径完全/差分/增量备份恢复步骤记混差分相对完全备份增量相对任意上次备份DAS/NAS/SAN都认为文件共享DAS 直连块NAS 文件级SAN 专用网络块级概念/逻辑/物理模型与 DBMS 关系概念无关 DBMS物理面向具体 DBMS数据共享 vs 开放都认为对外共享偏组织内开放面向社会公众聚类 vs 分类都有标签聚类无标签分类有训练标签十二、例题精选【例1】每次备份仅备份自上次完全备份以来发生变化的数据恢复时需完全备份加最新一次该种备份。这种策略是 。A. 完全备份 B. 差分备份 C. 增量备份 D. 镜像备份答案B差分备份相对上次完全备份增量相对上次任意备份。【例2】下列存储方式中通常通过专用高速网络连接磁盘阵列、以数据块为传输对象的是 。A. DAS B. NAS C. SAN D. 对象存储答案CSAN 为存储区域网络块级访问FC SAN 或 IP SAN。【例3】发现数据库中变量间隐含关联关系并给出置信度属于数据挖掘中的 。A. 聚类分析 B. 关联分析 C. 孤立点分析 D. 数据总结答案B【例4】「元数据」的正确定义是 。A. 数据库中的主数据 B. 关于数据的数据 C. 数据仓库中的事实表 D. 数据挖掘的结果答案B十三、考点总结考点重要程度题型三种备份策略对比P0选择DAS/NAS/SAN 对比P0选择数据预处理三类问题P1选择概念模型元素实体/属性/键/关联P1选择数据标准化四阶段P1选择数据集成方法与 ODBC/JDBCP1选择数据挖掘任务辨析P1选择数据质量维度P2选择/案例数据脱敏与分类分级P2选择云原生四原则P2选择相关推荐软考中项第1章信息化发展核心知识点与备考重点软考中项第2章信息技术发展核心知识点与备考重点 软考中项第6章：数据工程，核心知识点与备考重点
文章目录一、云原生数据相关原则二、数据预处理1. 缺失值处理2. 异常值处理3. 不一致数据处理三、数据存储1. 存储架构模式2. 存储形式3. 存储管理4. 备份策略四、元数据、标准化与数据质量1. 元数据2. 数据标准化阶段3. 数据质量五、数据模型1. 概念模型信息模型2. 逻辑模型3. 物理模型六、数据资产管理DAM七、数据集成1. 集成方法2. 常用接口技术八、数据挖掘1. 主要任务2. 挖掘流程概览九、数据可视化十、数据脱敏与分类分级1. 数据脱敏原则节选2. 数据分类3. 数据分级示例维度十一、易混淆辨析十二、例题精选十三、考点总结相关推荐一、云原生数据相关原则分布式场景里数据与服务治理一般抓这四项和架构设计联动原则要点服务化限流、降级、熔断基于服务流量利于模块解耦弹性部署规模可随负载伸缩不必固定硬件容量可观测日志/链路/指标可下钻支撑运维与优化韧性依赖故障时仍持续提供服务含容灾、多活等二、数据预处理预处理常采用数据清洗包括数据分析、数据检测、数据修正。1. 缺失值处理方法说明删除缺失值缺失比例小时常用均值填补法按相关属性分组用组均值填补热卡填补法在库中找相似记录填充其他最近邻、贝叶斯等2. 异常值处理方法说明分箱法按近邻分布到各“箱”平滑异常回归法用函数拟合光滑数据检测偏离点3. 不一致数据处理多因格式、编码或录入规则不统一要靠标准化和规则校验兜底。三、数据存储1. 存储架构模式模式要点DAS直连存储SCSI/FC/ATA数据块NAS网络附加存储文件级共享SAN存储区域网络FC SAN / IP SAN闪存固态高性能持久化云存储数据存异地经网络访问2. 存储形式形式特征文件存储文件夹组织文件级访问块存储块级适合数据库等高性能场景对象存储适合海量非结构化数据3. 存储管理功能说明资源调度管理存储资源归属、分配与调度负载均衡管理平衡存储负载避免瓶颈或浪费4. 备份策略策略备份内容恢复特点缺点完全备份每次备份全部数据恢复最简单耗时长、占空间大差分备份相对上次完全备份的变化恢复只需完全最新差分差分包逐渐变大增量备份相对上次备份的变化备份快、省空间恢复链长任一环损坏影响大备份架构演进LAN 备份 → LAN-FREE → SERVER-FREE减轻应用服务器与 LAN 压力。四、元数据、标准化与数据质量1. 元数据元数据是关于数据的数据描述数据的结构、来源、含义与管理信息。2. 数据标准化阶段阶段产出确定数据需求数据需求说明制定数据标准供审查的成套建议批准数据标准审查、修改或封存实施数据标准在各信息系统落地标准化内容含元数据标准、数据元素标准、数据分类与编码标准等。3. 数据质量衡量维度完整性、准确性、一致性、及时性等。数据质量可用数据质量元素描述分定量元素与非定量元素评价过程用于产生和报告质量结果。五、数据模型1. 概念模型信息模型按用户观点抽象客观对象与具体 DBMS 无关。元素说明实体可区分的事物同类型实体组成实体集属性实体特性取值范围为域键唯一标识实例的属性或属性组关联实体间联系一对一、一对多、多对多2. 逻辑模型在概念模型上确定数据结构含层次、网状、关系、面向对象、对象关系等模型。3. 物理模型面向具体 DBMS 的存储与索引设计。六、数据资产管理DAM数据要素要落地通常走数据资源化 → 数据资产化这条路。环节内容数据资产流通数据共享组织内、数据开放向社会、数据交易数据资产运营对数据服务化产品持续运营数据价值评估量化数据资产价值七、数据集成1. 集成方法方法说明联邦数据库/虚拟视图共享视图集成不复制数据复制集成复制全部或部分数据源混合集成简单请求用联邦复杂用复制2. 常用接口技术技术用途ODBC数据库访问 APIJDBCJava 执行 SQLOLE DB / ADO组件化数据访问Web ServicesWSDL 描述、SOAP 传递、UDDI 注册八、数据挖掘1. 主要任务任务说明关联分析发现项间关联规则带置信度分类与预测建立分类模型预测类别聚类分析无标签数据分组组内相近孤立点分析检测偏差与异常点数据总结求和、均值、方差等统计2. 挖掘流程概览确定分析对象 → 数据准备 → 数据挖掘 → 结果解释与评估业务和技术人员要全程配合。九、数据可视化类型特点二维可视化柱状图、折线图等三维可视化可构建计算机模型多维可视化常需降维时态可视化随时间变化的数据序列层次可视化树形结构目录、组织架构网络可视化节点与边关系无固定层次十、数据脱敏与分类分级1. 数据脱敏原则节选脱敏结果可重复满足可测性、模型训练等场景需求2. 数据分类分类由分类对象与分类依据构成是数据保护的基础。3. 数据分级示例维度级别危害程度示例核心数据一般危害、严重危害国家安全等重要数据轻微危害一般数据无危害分级维度还可按敏感程度公开/秘密/机密/绝密、业务影响等划分。十一、易混淆辨析对比项易错点正确口径完全/差分/增量备份恢复步骤记混差分相对完全备份增量相对任意上次备份DAS/NAS/SAN都认为文件共享DAS 直连块NAS 文件级SAN 专用网络块级概念/逻辑/物理模型与 DBMS 关系概念无关 DBMS物理面向具体 DBMS数据共享 vs 开放都认为对外共享偏组织内开放面向社会公众聚类 vs 分类都有标签聚类无标签分类有训练标签十二、例题精选【例1】每次备份仅备份自上次完全备份以来发生变化的数据恢复时需完全备份加最新一次该种备份。这种策略是 。A. 完全备份 B. 差分备份 C. 增量备份 D. 镜像备份答案B差分备份相对上次完全备份增量相对上次任意备份。【例2】下列存储方式中通常通过专用高速网络连接磁盘阵列、以数据块为传输对象的是 。A. DAS B. NAS C. SAN D. 对象存储答案CSAN 为存储区域网络块级访问FC SAN 或 IP SAN。【例3】发现数据库中变量间隐含关联关系并给出置信度属于数据挖掘中的 。A. 聚类分析 B. 关联分析 C. 孤立点分析 D. 数据总结答案B【例4】「元数据」的正确定义是 。A. 数据库中的主数据 B. 关于数据的数据 C. 数据仓库中的事实表 D. 数据挖掘的结果答案B十三、考点总结考点重要程度题型三种备份策略对比P0选择DAS/NAS/SAN 对比P0选择数据预处理三类问题P1选择概念模型元素实体/属性/键/关联P1选择数据标准化四阶段P1选择数据集成方法与 ODBC/JDBCP1选择数据挖掘任务辨析P1选择数据质量维度P2选择/案例数据脱敏与分类分级P2选择云原生四原则P2选择相关推荐软考中项第1章信息化发展核心知识点与备考重点软考中项第2章信息技术发展核心知识点与备考重点