大数据开发--01.初步认识了解

03-19 8378阅读 0评论

一.环境准备

1.使用虚拟机构建至少三台linux服务器

2.使用公有云来部署服务器

二.大数据相关概念

大数据是指处理和分析大规模数据集的一系列技术、工具和方法。这些数据集通常涉及海量的数据，包括结构化数据（如关系型数据库中的表格）以及非结构化的数据（如图像、音频或视频文件等）。

大数据的特点之一是规模巨大，可以达到数百TB到PB级别。另一个特点是多样性，不同类型的数据可能需要不同的处理和分析方法。此外，大数据还具有高速增长的趋势，随着互联网的普及和社会化媒体的发展，大量的新数据源不断涌现。

为了有效地处理和分析这些大规模的数据集，大数据技术提供了一系列解决方案。其中一些常见的技术包括：

分布式存储系统：通过将数据分散存储在多个物理位置上，可以提高系统的可靠性、可扩展性和性能。
数据库管理系统（DBMS）：用于组织和管理结构化数据的软件工具，如关系型数据库或NoSQL数据库。
数据挖掘技术：使用统计学、机器学习等方法从大规模数据中提取有价值的信息和模式。
实时分析：通过实时处理和分析大量流式数据来支持决策制定和业务运营。
云计算平台：提供弹性计算资源，可以根据需求动态扩展或缩减系统规模，以满足大数据的处理需求。

三V

Volume（大量）：大数据通常指的是数据量非常庞大，传统数据库管理系统无法有效处理的数据集合。随着互联网的发展和信息化程度的提高，大数据集合的规模越来越大，从几TB到PB、甚至EB级别的数据都很常见。
Variety（多样性）：大数据来源多样，包括结构化数据（如关系型数据库中的表格数据）、半结构化数据（如XML、JSON格式的数据）和非结构化数据（如文本、音频、视频等）。这些不同类型的数据需要以不同的方式来进行处理和分析。
Velocity（高速度）：大数据集的数据产生速度非常快，需要实时或近实时地对数据进行处理和分析。例如，社交媒体平台上的用户生成的数据、传感器产生的数据等都具有高速度的特点。

大数据技术被广泛应用于各个领域，如金融、医疗、零售、制造、互联网等，帮助企业和组织更好地理解市场趋势、用户行为、业务情况等，从而做出更明智的决策和规划。随着大数据技术的不断发展和普及，大数据在推动企业数字化转型和创新方面发挥着越来越重要的作用。

三.分布式存储相关概念

1.概念

分布式存储是一种将数据分散在多个物理位置的计算机系统中的技术。它允许用户从任何地方访问和共享数据，而不必依赖于单一的物理服务器或存储设备。

分布式存储通过使用多台计算机来实现数据冗余、高可用性和可扩展性。每个节点（即一台计算机）都负责存储一部分数据，并与其他节点进行通信以协调数据的更新和访问。这种架构可以提供更高的性能、更好的容错能力和更大的容量，适用于需要处理大量数据的应用程序或系统。

分布式存储通常使用一些常见的技术来实现，如文件系统复制（例如RAID）、网络文件系统（NFS）、对象存储（如Hadoop Distributed File System）和数据库分片等。这些技术可以提供不同的功能和性能特点，以满足不同应用的需求。

在分布式存储中，数据的一致性是关键问题之一。为了确保数据的正确性和可用性，通常使用一些机制来协调节点之间的通信、同步数据更新并解决冲突等问题。常见的解决方案包括基于Paxos算法的分布式一致性协议（如ZooKeeper）和基于Raft算法的分布式一致性协议（如Hazelcast）等。

2.特点
分布式存储系统通常具有以下特点：
1. 冗余和容错：分布式存储系统通常会在多个存储节点上存储数据的多个副本，以确保数据不会丢失。当某个存储节点发生故障时，系统能够继续提供数据访问服务，以保证数据的可靠性。
2. 负载均衡：分布式存储系统会根据数据量和访问量等因素，将存储任务均匀地分配到不同的存储节点上，以确保系统的性能能够得到最大化的利用。
3. 可扩展性：分布式存储系统可以根据需求方便地进行横向扩展，增加存储节点以支持更大规模的数据存储和访问需求。
4. 高性能：通过在多个存储节点上并行地存储和访问数据，分布式存储系统能够提供更快的数据读写速度和响应时间，以满足用户对高性能的需求。
5. 可用性：由于数据被分散存储在多个节点上，即使其中一部分节点发生故障，系统仍然可以继续提供数据访问服务，以确保数据的可用性。
四.大数据常见两种架构

1.去中心化架构



2.中心化架构



五.分布式计算

分布式计算是一种通过将计算任务分解为多个独立的子任务，并将这些子任务分配到不同的计算机节点上进行并行处理的技术。这种技术可以提高系统的性能和可扩展性，适用于大规模数据集或复杂计算问题。

在分布式计算中，通常使用一个主进程来协调各个子进程之间的通信和资源管理。每个子进程负责执行特定的任务，并将结果返回给主进程。通过将任务分解为多个独立的子任务并进行并行处理，可以大大提高系统的性能和吞吐量。

常见的分布式计算框架包括Hadoop、Spark等。这些框架提供了一个统一的编程模型和工具链来管理大规模数据集和执行复杂的计算任务。它们支持多种存储格式（如文件系统、数据库）以及各种计算引擎（如MapReduce、Spark），可以根据需求灵活地选择不同的组件组合。

分布式计算在大数据处理中具有广泛的应用场景。例如，它可以用于大规模数据的存储和管理、数据分析和挖掘、机器学习模型训练等任务。通过将这些任务分解为多个并行执行的任务，可以大大提高系统的性能和吞吐量，从而更好地满足用户的需求。