目录
（三）数据归一化、标准化：在我这个数据预处理的part.2板块
风控建模学习笔记，按照学习情况进行总结，希望各位大佬批评指正，让我这个小白快速进步!!
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
———————————————————————————————————————————
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
六、数据处理的思路及代码
（一）对缺失值的处理：在我这个数据预处理的part.1板块
（二）对异常值的处理：在我这个数据预处理的part.2板块
（三）数据归一化、标准化：在我这个数据预处理的part.2板块
（四）非结构化数据转变
1、什么是非结构化数据
非结构化数据是指没有固定格式或组织方式的数据。这类数据通常不遵循特定的数据模型或结构，因此难以通过传统的数据库管理系统进行存储、查询和管理。与结构化数据（如数据库中的表格数据）相比，非结构化数据更为复杂和多变，常见的非结构化数据类型包括：
（1）文本数据：如电子邮件、报告、文章、社交媒体帖子等。
（2）多媒体数据：如图像、音频、视频文件等。
（3）文档数据：如PDF文件、Word文档、演示文稿等。
（4）传感器数据：如来自物联网设备的原始数据。
（4）通讯记录：如短信、即时消息等。
2、如何处理非结构化数据
（1）数据采集：首先需要收集非结构化数据。这可能涉及从不同的来源和格式中提取数据，例如社交媒体、电子邮件、日志文件、传感器等。
（2）数据存储：非结构化数据通常存储在非关系型数据库（如NoSQL数据库）或专用的数据湖中，这些系统可以处理大量不同格式的数据。
（3）数据预处理：在分析之前，需要对数据进行清洗和预处理，包括：
①数据清洗：去除无关数据、纠正错误、处理缺失值。
②数据转换：将数据转换为统一的格式，以便进一步处理。
③数据标注：对于某些类型的数据（如文本或图像），可能需要人工标注来提供训练数据。
（4）数据分析：使用以下方法分析数据：
①文本分析：使用自然语言处理（NLP）技术来理解文本数据，包括情感分析、主题建模、关键词提取等。
②图像和视频分析：使用计算机视觉技术来识别图像中的对象、场景和行为。语音分析：使用语音识别技术将语音转换为文本，然后进行分析。机器学习：训练模型来识别模式、预测结果或进行分类。
③数据挖掘：从大量非结构化数据中提取有价值的信息和知识。这可能涉及模式识别、关联规则学习、聚类等。
④数据可视化：将分析结果以图表、图形或其他可视化形式展示，以便更容易理解和交流。
3、可以处理非结构化数据的工具
（1）数据存储和管理:
①Hadoop HDFS: 分布式文件存储系统，用于存储大量数据。②Amazon S3: 云存储服务，用于存储和检索大量数据。③Azure Data Lake Storage: 用于大数据分析的高性能、可扩展的存储解决方案。④Google Cloud Storage: 用于在线数据存储和检索的服务。⑤NoSQL数据库: 如MongoDB、Cassandra、Redis等，适合存储非结构化或半结构化数据。
（2）数据处理和转换:
①Apache Spark: 用于大规模数据处理的开源框架，支持批处理和实时数据流处理。②Apache Flink: 用于流处理和批处理的开源平台。③Apache NiFi: 用于自动化系统间的数据流的开源平台。④Dataflow (Google Cloud): 用于构建和运行数据处理流水线的服务。
（3）文本分析和自然语言处理 (NLP):
①Apache Lucene/Solr: 用于全文搜索的库和搜索引擎。②Elasticsearch: 分布式、RESTful搜索和分析引擎。③Google Cloud Natural Language API: 提供文本分析服务，包括情感分析、实体识别等。④Amazon Comprehend: 自然语言处理服务，可以识别文本中的实体、情绪、主题等。
（4）图像和视频分析:
①OpenCV: 开源计算机视觉库。②TensorFlow: 开源的机器学习框架，适用于图像识别和视频分析。③PyTorch: 另一个开源的机器学习库，广泛用于计算机视觉任务。④Google Cloud Vision API: 提供图像识别服务，包括对象检测、文本识别等。
（5）语音分析和识别:
①CMU Sphinx: 开源的语音识别系统。②Kaldi: 开源的语音识别研究工具包。③Google Cloud Speech-to-Text: 将语音转换为文本的服务。④Amazon Transcribe: 自动语音识别服务。
（6）数据挖掘和机器学习:
①scikit-learn: 用于数据挖掘和数据分析的Python库。②R: 统计分析和图形的编程语言和软件环境。③Weka: 数据挖掘的机器学习算法集合。④XGBoost: 提供梯度提升框架的库，用于机器学习任务。
（7）数据可视化:
①Tableau: 数据可视化工具，用于创建交互式图表和仪表板。②Power BI: 由Microsoft开发的业务分析服务，用于数据可视化和报告。③QlikView/Qlik Sense: 数据分析和可视化平台。