首页 > 其他分享 >研二上随笔

研二上随笔

时间:2022-11-30 00:22:06浏览次数:60  
标签:容器 name -- pytorch https 研二上 docker 随笔

研二上随笔

由于上海3-6月疫情导致学业荒废,10月开题、奖学金评定、同门论文定稿竟接踵而至。深知硕士生之生涯将不多日矣,遂拾笔续写学术道路之笔记。(20220924)

第一周

咸鱼

第二周

咸鱼

第三周

拔牙 + 咸鱼

第四周

win11右键自动展开

W11ClassicMenu

https://www.sordum.org/14479/windows-11-classic-context-menu-v1-1/

文件对比软件 Beyond Compare 4

https://www.scootersoftware.com/download.php

Typora过期的解决方案

http://t.csdn.cn/6vCY6

1)Windows键+R,弹出命令行输入框,输入 regedit

2)在注册表的输入框输入:计算机\HKEY_CURRENT_USER\SOFTWARE\Typora ,然后按回车;

3)找到 typora 这一项,然后点击 右键,选择 权限

4)在 权限 里面把各个用户的权限,全部选择 拒绝;有人说,仅关闭当前使用的用户即可,但我觉得保险起见,还是把所有用户都拒绝掉吧。【最后别忘了 应用 + 确认

随后,可能会收到一个提示框,直接选 即可。

查看显卡占用情况

 watch -n 1 nvidia-smi

重新梳理miniConda安装过程

从清华源,下载miniConda

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O miniconda.sh

sh  miniconda.sh

注意:不要初始化

source activate base

出现警告:-bash: activate: No such file or directory

使用以下方式进行修正:

sudo cp  ~/.bashrc  ~/.bashrc.old
sudo vim ~/.bashrc

在最下面一行,添加:

# added by miniconda3 installer
export PATH="~/miniconda3/bin:$PATH"

命令行内更新bashrc

source ~/.bashrc

使用命令激活环境

source activate base

换清华源

https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/

新建虚拟环境

conda create -n ywq python=3.8

其他conda常用命令

# 复制某个环境
conda  create  --name  new_env_name  --clone  old_env_name
# 删除某个环境
conda  remove  --name  env_name  --all

conda env export > environment.yml  # 导出当前虚拟环境

conda env create -f environment.yml  # 创建保存的虚拟环境
# 删除无用的包和缓存
conda clean --all

查看nvcc --version 版本 安装相应版本pytorch

Docker

docker: Got permission denied while trying to connect to the Docker daemon socket

使用sudo运行

安装Docker

https://yeasy.gitbook.io/docker_practice/install/ubuntu

自动化脚本安装

curl -fsSL get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun

建立 docker 用户组

sudo groupadd docker

退出当前终端并重新登录,进行如下测试。

测试 Docker 是否安装正确

docker run --rm hello-world

得到如下回复
Hello from Docker!
This message shows that your installation appears to be working correctly.

docker pull images

docker pull pytorch/pytorch:latest

运行docker

从Docker 19.03开始,安装好docker之后,只需要使用 --gpus 即可指定容器使用显卡(需要安装运行时,后文会提到)。

docker run --gpus all --name 容器名 -d -t 镜像id
# 只有显卡一可见
docker run --gpus="1" --name 容器名 -d -t 镜像id


# docker run --gpus all --name pytorch/pytorch:1.12.1-cuda11.3-cudnn8-devel -d -t 镜像id
docker run -it --gpus all  --name test --ipc=host -v ~/YWQ:/YWQ pytorch/pytorch:latest /bin/bash

报错:docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]. ERRO[0000] error waiting for container: context canceled

安装英伟达容器运行时

安装nvidia-container-toolkit

https://blog.csdn.net/weixin_44966641/article/details/123760614

sudo apt-get install nvidia-container-runtime

重启docker

sudo service docker restart
# docker rename old_name new_name
# 启动已存在容器
docker start 容器ID

docker挂载文件

https://blog.csdn.net/huanglin6/article/details/125101399

https://huaweicloud.csdn.net/63311d26d3efff3090b52979.html?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~activity-1-113903782-blog-125101399.pc_relevant_multi_platform_whitelistv3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~CTRLIST~activity-1-113903782-blog-125101399.pc_relevant_multi_platform_whitelistv3&utm_relevant_index=2

如果要正常退出不关闭容器,按Ctrl+P+Q进行退出容器

如果使用exit退出,那么在退出之后会关闭容器,可以使用下面的流程进行恢复

  • 使用docker restart命令重启容器
  • 使用docker attach命令进入容器

Docker 报错

ImportError: libGL.so.1: cannot open shared object file: No such file or directory——docker容器内问题报错
apt update
apt install libgl1-mesa-glx
ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
apt-get update
apt-get install libglib2.0-dev

cv2 是什么

管他是什么,装就对了

pip install opencv-python

多线程出错

raise RuntimeError('DataLoader worker (pid(s) {}) exited unexpectedly'.format(pids_str)) from e

RuntimeError: DataLoader worker (pid(s) 128561) exited unexpectedly

解决方法:

1.不使用多线程,将num_workers设置为0

  1. 设置–ipc=host 或者 –shm-size 8G
docker run -it --gpus all  --name test2 --ipc=host -v ~/YWQ:/YWQ pytorch/pytorch:latest /bin/bash

删除容器

 docker container rm test2

删除镜像

docker rmi new_image

查看所有容器

 docker ps -a # 不加-a 查看正在运行的容器

启动容器

docker start test

进入已经启动的容器

docker attach test

退出容器

Ctrl+P+Q

MOON

windows系统下搭建 ZeroTier moon服务器_dqi的博客-CSDN博客

第几周

Swin Transformer

Swin Transformer: 用CNN的方式打败CNN - 知乎 (zhihu.com)

Timm

https://blog.csdn.net/qq_41917697/article/details/115026308

x = torch.randn((1, 3, 224, 224))
modle = timm.create_model('resnet50', pretrained=True, features_only=True)
out = modle(x)
for x in out:
  print(x.shape)
输出:
torch.Size([1, 64, 112, 112])
torch.Size([1, 256, 56, 56])
torch.Size([1, 512, 28, 28])
torch.Size([1, 1024, 14, 14])
torch.Size([1, 2048, 7, 7])

特征提取 - Pytorch 图像模型 (rwightman.github.io)

python命名规则

类型 公有/外部成员 私有/内部成员
模块(module) my_naming_convention _my_naming_convention
包(package) my_naming_convention
类(class) MyNamingConvention _MyNamingConvention
异常(Exception) MyNamingConvention
函数(function) my_naming_convention() _my_naming_convention()
全局/类常量(constant) MY_NAMING_CONVENTION _MY_NAMING_CONVENTION
全局/类变量(variable) my_naming_convention _my_naming_convention

标签:容器,name,--,pytorch,https,研二上,docker,随笔
From: https://www.cnblogs.com/wickyan/p/16937176.html

相关文章

  • 《浅谈决策单调性动态规划的线性解法》阅读随笔
    读下来唯二的感想这就是集训队吗真nb这就是集训队吗写的什么jb这latex就很离谱好吧一个变量改好几次名字我都不知道他在干什么啊对了没实现代码啊都是找的st......
  • 记一次博客园随笔被爬经历
    上篇随笔发布后,一天内,十几个爬虫网站爬取了我的随笔,有些网站非但没有注明来源,反而将自己标为博文的原创者,并更改了图像水印,这篇被爬的随笔虽浏览量不大,但好歹是自己一字一......
  • 《不一般的 DFT》阅读随笔
    感觉上前置知识是毛啸16年的论文?我手头也有,到时候发现有at到的地方就插一嘴说一句srds先这篇是因为有纸质版的这篇感觉上大篇幅在讲复杂度模数大小相关的做法。1......
  • C语言随笔5
    分支与循环(一)语句:由一个分号隔开的就是一个语句分支语句:if    switch/breakif 语法结构: 1.单分支语句   if(表达式)       语句; 2.......
  • 数据挖掘理论与算法,随笔1
    资源:b站本系列课程主要是启发为主,不会介绍很多很多的算法,适合初学者。一、学习资源书籍:国际会议:InternationalConferenceonDataMiningInternationalConference......
  • [Object-C语言随笔之一]Mac os 下搭建iOS开发环境
    ​​ 李华明Himi ​​​原创,转载务必在明显处注明 从这一章开始,Himi将一步一步的带大家走进Iphone4的开发,当然开发语言则不再是Java,而是Objective-C,简单来说是C的变种......
  • [Object-C语言随笔之四]创建视图并绘制简单图形
    ​​ 李华明Himi ​​​原创,转载务必在明显处注明这段时间N忙,没办法,创业公司,当然抽时间也仍然再自学ios~OK,基础的语言基础,我就不多说了,从今天开始直接写游戏开发部分......
  • 西门子PLC指令学习新想法随笔
    1,上升下降沿的用法:(用来记录运动中的物品数据,变化中的信息数据)(1),与set和rst配合,记录报警信息,放置用线圈记录时,报警信息同步消失;(2),与光电开关配合用于输送线体上的物品计数,一......
  • 【Cocos2d-X(1.x 2.x) 】iOS6与iphone5适相关设置随笔(解决第三方类库无法通过armv7s编
    本站文章均为​​ 李华明Himi ​​原创,转载务必在明显处注明:​一、 很多项目使用>=4.5version的Xcode无法,发现很多第三方库,比如SWavesSDK、AdmobSDK、91SDKMobage......
  • 【JSP 随笔之一】JSP常用语法和使用总括&&JSP服务器端和客户端代码互相调用
    本站文章均为​​ 李华明Himi ​​​原创,转载务必在明显处注明:​​​​​对于Servlet学习过后,那么接触到JSP,那么可以发现JSP编程则会突然喜爱上,因为JSP不仅仅也是一个se......