- 2025-01-06TORCH-NGP环境配置
楼主的服务器是NVIDIARTX4090,可支持12.2CUDA驱动,但是TORCH-NGP中CUDA函数与TORCH=1.11.0版本适配,因此需要安装符合TORCH-NGP的CUDA环境。建议不要用github官网上的指令【https://github.com/ashawkey/torch-ngp】去下载,会出现一系列问题。create-ntorch-ngppython=3.9cond
- 2025-01-02神经辐射场ReNF基础
定义神经辐射场是一种面向三维隐式空间建模的深度学习模型,这种深度学习模型又称全连接神经网络(又称多层感知机)。NeRF所要做的任务是NovelViewSynthesis,一般翻译为新视角合成任务,定义是:在已知视角下对场景进行一系列的捕获(包括拍摄到的图像,以及每张图像对应的内外参),不需要
- 2024-12-09【Ray tracing with NeRF】WINERT
WINERT:TOWARDSNEURALRAYTRACINGFORWIRELESSCHANNELMODELLINGANDDIFFERENTIABLESIMULATIONS1.OverviewThetaskofchannelmodelingistopredictchannelattributes(\(a_{k}(t)\),\(\tau_{k}(t)\),\(\Theta_{k}(t)\))foragivenenvironmen
- 2024-11-28NeRF学习笔记
NeRF学习笔记参考资料十分钟带你快速入门NeRF原理_哔哩哔哩_bilibili任务概述网络结构:输入1.采样点位置数据集是五维数据。thetaphi决定了射线的方向,xyz是相机位置。但是感觉x,y,z,thetaphi为什么不直接用xyz表示?感觉剩下两个信息是冗余的。因为可能和射线有关,所以需
- 2024-11-25高真实感的人物形象SyncTalk
SyncTalk是一种基于NeRF的高同步性说话人合成方法,专门针对提升说话人视频真实感和同步性而设计,克服了以往在同步性方面遇到的挑战,仅使用5分钟的说话视频即可生成高真实感的人物形象。目前该工作已入选CVPR2024 神经辐射场(NeRF)是一种神经网络,可以从部分
- 2024-11-24三维重建之NeRF和3DGS
资料:【较真系列】讲人话-NeRF全解(原理+代码+公式)_哔哩哔哩_bilibili (强烈推荐)【较真系列】讲人话-3dgaussiansplatting全解(原理+代码+公式)【4】高性能渲染与机器学习_哔哩哔哩_bilibili (强烈推荐)1.NeRF 2.3DGS
- 2024-08-15【3DGS】从新视角合成到3D_Gaussian_Splatting
@目录引言:什么是新视角合成任务定义一般步骤NeRF的做法NeRF的三维重建NeRF的渲染3DGS的三维重建从一组图片估计点云高斯点云模型球谐函数参数优化损失函数和参数优化高斯点的数量控制(AdaptiveDensityControl)新的问题3DGS的渲染:快速可微光栅化3DGS的限制引言:什么是新视角合成
- 2024-08-15【NeRF】对小白友好的Neural_Radiance_Fields讲解
@目录1.Definitionoffield(场的定义)1.1shaperepresentations(各种形状表征方式)1.2Explicitsurfacesandimplicitsurfaces1.3RadianceField(ImplicitSurfaces)体素密度2.DefinitionofRendering(渲染的定义)2.1SphereTracing(球追踪技术)2.2Volumnrender(体渲染)3.3Dconte
- 2024-08-04iMAP: Implicit Mapping and Positioning in Real-Time实时隐式建图和定位(论文阅读记录)
一、论文阅读知识储备 这篇论文是将NeRF结合进SLAM的探索性的尝试,在我的这篇文章中并没有太多涉及NeRF的详细解说,但看懂这篇论文有必须懂NeRF,所以推荐读者去看:【较真系列】讲人话-NeRF全解(原理+代码+公式)_哔哩哔哩_bilibili 论文原文地址:[2103.12352
- 2024-08-03NeRF学习——复现训练中的问题记录
代码复现的框架是基于:pengsida的LearningNeRF希望各位可以通过学习NeRF-Pytorch的源码来自己复现一下试试看!文章目录1Windowsbug1.1DataLoader的多进程pickle1.2imageio输出图片1.3I/O2训练问题2.1Evaluate显存爆炸2.2尝试一2.3尝试二2.4尝试三(
- 2024-05-28Ⅶ. ngp_pl
作者实现的ngp_pl代码还存在的两个问题:收敛后的采样点数比NGP多(这导致计算量变大,渲染帧率下降);有些场景会失败;一、数据准备代码都在dataset文件夹下面。作者支持大部分算法的数据集格式,包括:NSVF:讲解的时候展示了nsvf.py这个文件,但是自己没找到它NeRF++COLMAPdata
- 2024-05-28I. NeRF 及其衍生算法的初步探究
I.NeRF及其衍生算法的初步探究视频链接:【AI講壇】NeRF與它的快樂夥伴們[Neuralradiancefields]NeRF的主要优势:能够正确处理反光、估算的深度较准、等等。一、nerfinthewildGoogleResearch、未开源NeRFintheWild:NeuralRadianceFieldsforUnconstrainedPhot
- 2024-05-28II. 在 Google Colab 上运行 NeRF
在GoogleColab上运行NeRF算法。一、运行官方数据集直接跟着NeRF(NeuralRadianceFields)tutorialusinggooglecolab这个视频操作即可,顺便验证一下CoLab作为以后深度学习环境的可行性。二、训练自己的数据博主是以SilicaGGO,他自己拍摄的二次元玩偶。工程链接:k
- 2024-05-28III. NeRF 代码框架
NeRF代码框架。一、所有深度学习的大致框架我们看任何一个深度学习代码,都是找这三部分的位置,分析其作用。最后把Loss的梯度更新到DNN中,便能不断提高网络的准确度。二、训练代码的细节(一)采样区间首先,作者通过设置near和far限制了采样区间,如下图所示为\([2,6]\)之
- 2024-05-28IV. Mip-NeRF
Mip-NeRF算法思想。PaperexplanationMip-NeRF360andBlockNeRF一、NeRF的缺点所有采样点都是:光心+像素中心的射线确定的,如果给定的图像分辨率比较低,那么每个像素会很大,中心点是不足以代表整个像素的颜色的;这会导致NeRF锯齿化太严重的问题(边缘不是直接从白到黑,而是慢慢渐
- 2024-05-28II. 在 Google Colab 上运行 NeRF
一、运行官方数据集直接跟着NeRF(NeuralRadianceFields)tutorialusinggooglecolab这个视频操作即可,顺便验证一下CoLab作为以后深度学习环境的可行性。二、训练自己的数据博主是以SilicaGGO,他自己拍摄的二次元玩偶。工程链接:kewa123/nerf_pl作者建议的拍摄方
- 2024-05-28III. NeRF 代码框架
本文介绍了初代NeRF的训练大致框架。一、所有深度学习的大致框架我们看任何一个深度学习代码,都是找这三部分的位置,分析其作用。最后把Loss的梯度更新到DNN中,便能不断提高网络的准确度。二、训练代码的细节(一)采样区间首先,作者通过设置near和far限制了采样区间,如
- 2024-05-28I. NeRF及其衍生算法的初步探究
视频链接:【AI講壇】NeRF與它的快樂夥伴們[Neuralradiancefields]NeRF的主要优势:能够正确处理反光、估算的深度较准、等等。一、nerfinthewildGoogleResearch、未开源NeRFintheWild:NeuralRadianceFieldsforUnconstrainedPhotoCollections.CVPR2021(Oral)
- 2024-03-17DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation解读
文章目录前言一、基本介绍二、方法原理1.DreamGaussian方法2.分数蒸馏抽样(SDS)总结前言太卷啦,太卷啦,视觉太卷啦,赶紧跑路吧~_~介绍DreamGaussian:GenerativeGaussianSplattingforEfficient3DContentCreation论文方法,解释原理,本文不是机械翻译,而是尝试讲解方
- 2023-12-19Mip-NeRF
Mip-NeRF:AMultiscaleRepresentationforAnti-AliasingNeuralRadianceFieldshigh-resolution的时候,相机距离物体较近,捕捉的细节更多,需要高频信息;离远的看,我们看到的是更blurry、smoothing的图片。联合PE的作用,就是:不同尺度的视图需要不同的傅里叶特征,高频对于近距离图hi
- 2023-12-08nerf学习
https://www.bilibili.com/video/BV1o34y1P7Md/?spm_id_from=333.337.search-card.all.click&vd_source=d68ed178f151e80fea1e02efd205802c δ是不透光率. 先看C(r),里面t从tn积分到tf. 他里面每一个值表示这个点的颜色作用到tf上的显示效果.T(t)
- 2023-11-02nerf进展
https://github.com/DoongLi/awesome-Implicit-NeRF-SLAM
- 2023-09-04nerf
#安装`gaussian-splatting`报错和解决方案##1.训练运行报错-确定安装的`CUDA=11.8`并配置了`cuDNN=8.6.0`-然后按照`environment.yml`配置即可(装anaconda)##2.配置SIBR的时候,找不到embree的cmake文件```shell#通过-Dembree_DIR=xxx/xxx的方式指定到官方下载
- 2023-08-12【CV】Nerf中体素渲染的离散公式推导
在文章《NeRF:representingscenesasneuralradiancefieldsforviewsynthesis》中体素渲染的连续形式为在文章中给出了其离散形式为实际上这里的离散形式并不是将积分直接离散化,而是通过把路径上的density和color设定为分段常数,如下图所示于是先计算\(T\),\[\begin{a
- 2023-05-13NeRF_b
NeRF_bBasicRadonTransform直线的形式\[\set{(x,y):y=kx+b}\\L(\rho,\theta)=\set{(x,y):xcos\theta+ysin\theta=\rho}\]其中\(\theta\)是原点到直线的垂线与\(x\)轴的正向夹角,\(\rho\)为原点到直线的距离。函数在直线上的积分给定一个函数\(f(x,y)\),在线段上的积