首页 > 编程语言 >Python近红外光谱数据分析

Python近红外光谱数据分析

时间:2024-09-29 10:24:05浏览次数:3  
标签:数据分析 近红外 Python ChatGPT4 光谱 神经网络 卷积 ChatGPT

ChatGPT4入门

1、ChatGPT概述(GPT-1、GPT-2、GPT-3、GPT-3.5、GPT-4模型的演变)

2、ChatGPT对话初体验

3、GPT-4与GPT-3.5的区别,以及与国内大语言模型(文心一言、星火等)的区别

4、ChatGPT科研必备插件(Data Interpreter、Wolfram、WebPilot、MixerBox Scholar、ScholarAI、Show Me、AskYourPDF等)

5、定制自己的专属GPTs(制作专属GPTs的两种方式:聊天/配置参数、利用Knowledge上传本地知识库提升专属GPTs性能、利用Actions通过API获取外界信息、专属GPTs的分享)

6、GPT Store简介

图片

ChatGPT4 提示词使用方法

1、ChatGPT Prompt (提示词)使用技巧(为ChatGPT设定身份、明确任务内容、提供任务相关的背景、举一个参考范例、指定返回的答案格式等)

2、常用的ChatGPT提示词模板

3、基于模板的ChatGPT提示词优化

4、利用ChatGPT4 及插件优化提示词

5、通过promptperfect.jina.ai优化提示词

6、利用ChatGPT4 及插件生成提示词

7、ChatGPT4突破Token限制实现接收或输出万字长文(什么是Token?Token数与字符数之间的互相换算、五种方法提交超过Token限制的文本、四种方法让ChatGPT的输出突破Token限制)

8、控制ChatGPT的输出长度(使用修饰语、限定回答的范围、通过上下文限定、限定数量等)

9、利用ChatGPT4 及插件保存喜欢的ChatGPT提示词并一键调用

10、利用ChatGPT4实现网页版游戏的设计、代码自动生成与运行

图片

ChatGPT4助力信息检索与总结

1、传统信息检索方法与技巧总结(Google Scholar、ResearchGate、Sci-Hub、GitHub、关键词检索+同行检索、文献订阅)

2、利用ChatGPT4 及插件实现联网检索文献

3、利用ChatGPT4及插件总结分析文献内容(三句话摘要、子弹式要点摘要、QA摘要、表格摘要、关键词与关键句提取、页面定位、多文档对比、情感分析)

4、利用ChatGPT4 及插件总结Youtube视频内容

图片

ChatGPT4助力论文写作与投稿

1、利用ChatGPT4自动生成论文的总体框架

2、利用ChatGPT4完成论文翻译(指定翻译角色和翻译的领域、给一些背景提示)

3、利用ChatGPT4实现论文语法校正

4、利用ChatGPT4完成段落结构及句子逻辑润色

5、利用ChatGPT4完成论文评审意见的撰写与回复

ChatGPT4助力Python入门

1、Python环境搭建( 下载、安装与版本选择)。

2、如何选择Python编辑器?(IDLE、Notepad++、PyCharm、Jupyter…)

3、Python基础(数据类型和变量、字符串和编码、list和tuple、条件判断、循环、函数的定义与调用等)

4、第三方模块的安装与使用

5、Numpy模块库(Numpy的安装;ndarray类型属性与数组的创建;数组索引与切片;Numpy常用函数简介与使用)

6、Matplotlib基本图形绘制(线形图、柱状图、饼图、气泡图、直方图、箱线图、散点图等)、图形的布局(多个子图绘制、规则与不规则布局绘制、向画布中任意位置添加坐标轴)

图片

ChatGPT4助力近红外光谱数据预处理

1、近红外光谱数据标准化与归一化(为什么需要标准化与归一化?)

2、近红外光谱数据异常值、缺失值处理

3、近红外光谱数据离散化及编码处理

4、近红外光谱数据一阶导数与二阶导数

5、近红外光谱数据去噪与基线校正

6、近红外光谱数据预处理中的ChatGPT提示词模板

图片

ChatGPT4助力多元线性回归近红外光谱分析

1、多元线性回归模型(工作原理、最小二乘法)

2、岭回归模型(工作原理、岭参数k的选择、用岭回归选择变量)

3、LASSO模型(工作原理、特征选择、建模预测、超参数调节)

4、Elastic Net模型(工作原理、建模预测、超参数调节)

5、多元线性回归、岭回归、LASSO、Elastic Net的Python代码实现

6、多元线性回归中的ChatGPT提示词模板

7、近红外光谱回归拟合建模

图片

ChatGPT4助力BP神经网络近红外光谱分析

1、BP神经网络的基本原理(人工智能发展过程经历了哪些曲折?人工神经网络的分类有哪些?BP神经网络的拓扑结构和训练过程是怎样的?什么是梯度下降法?)

2、训练集和测试集划分?BP神经网络常用激活函数有哪些?如何查看模型参数?

3、BP神经网络参数(隐含层神经元个数、学习率)的优化(交叉验证)

4、值得研究的若干问题(欠拟合与过拟合、评价指标的设计、样本不平衡问题等)

5、BP神经网络的Python代码实现

6、BP神经网络中的ChatGPT提示词模板讲

7、1)近红外光谱回归拟合建模;2)近红外光谱分类识别建模

图片

ChatGPT4助力支持向量机(SVM)近红外光谱分析

1、SVM的基本原理(什么是经验误差最小和结构误差最小?SVM的本质是解决什么问题?SVM的四种典型结构是什么?核函数的作用是什么?什么是支持向量?)

2、SVM扩展知识(如何解决多分类问题?SVM的启发:样本重要性排序及样本筛选)

3、SVM的Python代码实现

4、SVM中的ChatGPT提示词模板

5、近红外光谱分类识别建模

 

图片

ChatGPT4助力决策树、随机森林、Adaboost、XGBoost和LightGBM近红外光谱分析

1、决策树的基本原理(什么是信息熵和信息增益?ID3和C4.5算法的区别与联系)

2、随机森林的基本原理与集成学习框架(为什么需要随机森林算法?广义与狭义意义下的“随机森林”分别指的是什么?“随机”提现在哪些地方?随机森林的本质是什么?)

4、Bagging与Boosting集成策略的区别

5、Adaboost算法的基本原理

6、Gradient Boosting Decision Tree (GBDT)模型的基本原理

7、XGBoost与LightGBM简介

8、决策树、随机森林、Adaboost、XGBoost与LightGBM的Python代码实现

9、决策树、随机森林、Adaboost、XGBoost与LightGBM的ChatGPT提示词模板

10、近红外光谱回归拟合建模

图片

ChatGPT4助力遗传算法近红外光谱分析

1、群优化算法概述

2、遗传算法(Genetic Algorithm)的基本原理(什么是个体和种群?什么是适应度函数?选择、交叉与变异算子的原理与启发式策略)

3、遗传算法的Python代码实现

4、遗传算法中的ChatGPT提示词模板

5、基于二进制遗传算法的近红外光谱波长筛选

图片

图片

ChatGPT4助力近红外光谱变量降维与特征选择

1、主成分分析(PCA)的基本原理

2、偏最小二乘(PLS)的基本原理(PCA与PLS的区别与联系;PCA除了降维之外,还可以帮助我们做什么?)

3、近红外光谱波长选择算法的基本原理(Filter和Wrapper;前向与后向选择法;区间法;无信息变量消除法等)

4、PCA、PLS、特征选择算法的Python代码实现

5、PCA、PLS、特征选择算法中的ChatGPT提示词模板

6、案例:

1)基于L1正则化的近红外光谱波长筛选

2)基于信息熵的近红外光谱波长筛选

3)基于Recursive feature elimination的近红外光谱波长筛选

4)基于Forward-SFS的近红外光谱波长筛选

图片

ChatGPT4助力Pytorch入门

1、深度学习框架概述(PyTorch、Tensorflow、Keras等)

2、PyTorch简介(动态计算图与静态计算图机制、PyTorch的优点)

3、PyTorch的安装与环境配置(Pip vs. Conda包管理方式、验证是否安装成功)

4、张量(Tensor)的定义,以及与标量、向量、矩阵的区别与联系)

5、张量(Tensor)的常用属性与方法(dtype、device、requires_grad、cuda等)

6、张量(Tensor)的创建(直接创建、从numpy创建、依据概率分布创建)

7、张量(Tensor)的运算(加法、减法、矩阵乘法、哈达玛积(element wise)、除法、幂、开方、指数与对数、近似、裁剪)

8、张量(Tensor)的索引与切片

9、PyTorch的自动求导(Autograd)机制与计算图的理解

10、PyTorch常用工具包及API简介(torchvision(transforms、datasets、model)、torch.nn、torch.optim、torch.utils(Dataset、DataLoader))

图片

ChatGPT4助力卷积神经网络近红外光谱分析

1、深度学习与传统机器学习的区别与联系(神经网络的隐含层数越多越好吗?深度学习与传统机器学习的本质区别是什么?)

2、卷积神经网络的基本原理(什么是卷积核?CNN的典型拓扑结构是怎样的?CNN的权值共享机制是什么?CNN提取的特征是怎样的?)

3、卷积神经网络参数调试技巧(卷积核尺寸、卷积核个数、移动步长、补零操作、池化核尺寸等参数与特征图的维度,以及模型参数量之间的关系是怎样的?)

4、卷积神经网络的进化史:LeNet、AlexNet、Vgg-16/19、GoogLeNet、ResNet等经典深度神经网络的区别与联系

5、利用PyTorch构建卷积神经网络(Convolution层、Batch Normalization层、Pooling层、Dropout层、Flatten层等)

6、卷积神经网络中的ChatGPT提示词模板

7、(1)CNN预训练模型实现物体识别;(2)利用卷积神经网络抽取抽象特征;(3)自定义卷积神经网络拓扑结构;(4)基于卷积神经网络的近红外光谱模型建立

图片

图片

ChatGPT4助力近红外光谱迁移学习

1、迁移学习算法的基本原理(为什么需要迁移学习?为什么可以迁移学习?迁移学习的基本思想是什么?)

2、常用的迁移学习算法简介(基于实例、特征和模型,譬如:TrAdaboost算法)

3、基于卷积神经网络的迁移学习算法

4、迁移学习的Python代码实现

5、案例:基于迁移学习的近红外光谱的模型传递(模型移植)

图片

ChatGPT4助力自编码器近红外光谱分析

1、自编码器(Auto-Encoder的工作原理)

2、常见的自编码器类型简介(降噪自编码器、深度自编码器、掩码自编码器等)

3、自编码器的Python代码实现

4、自编码器中的ChatGPT提示词模板

5、

1)基于自编码器的近红外光谱数据预处理

2)基于自编码器的近红外光谱数据降维与有效特征提取

图片

ChatGPT4助力U-Net多光谱图像语义分割

1、语义分割(Semantic Segmentation)简介

2、U-Net模型的基本原理

3、语义分割、U-Net模型中的ChatGPT提示词模板

4、案例:基于U-Net的多光谱图像语义分割

图片

ChatGPT4助力深度学习模型可解释性与可视化方法

1、什么是模型可解释性?为什么需要对深度学习模型进行解释?

2、常用的可视化方法有哪些(特征图可视化、卷积核可视化、类别激活可视化等)?

3、类激活映射CAM(Class Activation Mapping)、梯度类激活映射GRAD-CAM、局部可解释模型-敏感LIME(Local Interpretable Model-agnostic Explanation)等原理讲解

4、t-SNE的基本概念及使用t-SNE可视化深度学习模型的高维特征

5、深度学习模型可解释性与可视化中的ChatGPT提示词模板

图片

总结

1、总结、资料分享(图书资源、源代码等)

2、科研与创新方法总结(如何利用Google Scholar、Sci-Hub、ResearchGate等工具查阅文献资料、配套的数据和代码?如何更好地撰写论文的Discussion部分?)

图片

图片

图片

原文链接

标签:数据分析,近红外,Python,ChatGPT4,光谱,神经网络,卷积,ChatGPT
From: https://blog.csdn.net/PhyliciaFelicia/article/details/142628856

相关文章

  • 如何用Python的Seaborn库绘制17个超好看图表!
    Seaborn简介定义Seaborn是一个基于matplotlib且数据结构与pandas统一的统计图制作库。Seaborn框架旨在以数据可视化为中心来挖掘与理解数据。优点代码较少图形美观功能齐全主流模块安装pip命令安装从github安装流程导入绘图模块提供显示条件导入数据设......
  • python从exe里得到ico图标
    说到exe那就是windows程序了,python调用win32api需要先安装https://github.com/mhammond/pywin32/releases转化成ico有2种,一种是pyqt5另存图片换个文件名,这个可能不太专业,第2种是PythonMagickhttps://download.lfd.uci.edu/pythonlibs/w3jqiv8s/PythonMagick-0.9.19-cp37-cp37......
  • JMeter调用python脚本
    JMeter调用python脚本前提具备python环境具备jdk环境一、编写python脚本python脚本如下:importrandom#随机一个1~100的随机数print(random.randint(1,100))二、使用BeanShell取样器调用python脚本Stringcommand="pythonD:\\apache-jmeter-5.5\\bin\\test.py"......
  • python学习-python对文件的操作
    Python文件操作指南一、文件的打开与关闭(一)打开文件在Python中,可以使用内置的open()函数来打开文件。它接受文件名和模式作为参数,并返回一个文件对象。基本语法:file=open(file_name,mode)file_name:要打开的文件的名称,可以是相对路径或绝对路径。mode:打开文件的......
  • Python对数据库(MySQL,redis、MongoDB)的操作
    Python对数据库的操作(MySQL,redis、MongoDB)一、操作MySQL数据库安装pymysql:需要通过pipinstallpymysql进行安装。查询数据:fetchone、fetchmany(n)、fetchall()importpymysql#建立mysql连接,ip、端口、用户名、密码(passwd,不能写成其他,例如:pwd或者p,否则报错)、库名con......
  • python内置模块typing里Literal函数的基本用法和总结--快速学习掌握Literal函数的用法
    Literal是Pythontyping模块中提供的一种类型注解,用于指定变量或函数的参数只能取特定的字面量值(常量)。它允许你将变量的取值严格限制在指定的一组值内,确保程序只接受特定的常量值,从而减少错误的发生。一、基本概念在Python中,通常我们会使用常见的类型注解来限制变量......
  • 【Python脚本】路径管理之pathlib
    在Python的pathlib模块中,Path类和PurePath类是用于处理文件和目录路径的两个主要类.它们具有不同的目的和功能,以下是它们的主要异同点:类的继承关系:Path类继承自PurePath,因此Path类拥有PurePath的所有方法.不同点:PurePath类:纯路径对象:PurePath类及其子类(如Pure......
  • Python打包工具之pyinstaller
    前言:近期使用PySimpleGUI开发了一款开发者工具X-助手工具,意打造成平常开发助手,无论是图片还是网址的处理等等都需要这一个工具即可,无需在网上找各个网站去找解决方案,对于GUI的打包工具,在Python领域pyinstaller较为流行工具样例:   安装:pipinstall-Upyins......
  • Python 进行网页抓取
    1.从网站中提取数据importrequestsfrombs4importBeautifulSoupdefscrape_data(url):response=requests.get(url)soup=BeautifulSoup(response.text,'html.parser')#在此处编写代码,从网站中提取相关数据说明:这个Python脚本利用requests和Beautif......
  • python多线程与线程池
    线程:是任务的执行者。进程:是一个动态的概念。适用情况:IO密集用多线程。CPU密集用多进程。原因:Cpython解释器中使用了GIL全局解释锁,一个进程只有一个锁。只有拿到这个锁的线程才能获取解释器,取解释执行代码。这就导致了即使开了多线程,实际上只有一个线程在执行。因此......