首页 > 其他分享 >在FreeBSD系统使用pkg安装Pytorch和Transformers

在FreeBSD系统使用pkg安装Pytorch和Transformers

时间:2024-12-08 12:33:31浏览次数:6  
标签:Transformers install Pytorch pytorch pkg FreeBSD transformers 安装

以前在FreeBSD下也安装过Pytorch,当时pkg安装有问题,所以最终是使用的conda安装,非常复杂繁琐。现在pkg安装已经非常简单方便了。

以前FreeBSD下用conda安装pytorch:python安装pytorch@FreeBSD_failed to build pytorch-CSDN博客

FreeBSD下安装Transformers:python安装transformers包@FreeBSD_pyhton如何安装transformers版本-CSDN博客

FreeBSD系统下 安装

先看看系统版本:

uname -a
FreeBSD fb5 14.1-BETA3 

安装python3.11

pkg install python3.11

安装pytorch

pkg install py311-pytorch

安装tokenizers

pkg install py311-tokenizers

 因为以上都是用pkg安装的,所以速度都比较快!

使用pip安装Transformers

pip3.11 install transformers

这样就齐活了!

测试pytorch

>>> import torch
>>> x = torch.randn((2,3))
>>> y = x+1
>>> y
tensor([[ 0.1640,  0.0577, -0.1759],
        [ 1.3309,  2.4186,  0.2721]])

测试Transformers

先设置huggingface镜像

export HF_ENDPOINT=https://hf-mirror.com

测试,使用一个语音转文字的模型:

>>> from transformers import pipeline
>>> from transformers.pipelines.audio_utils import ffmpeg_microphone_live
>>>
>>> asr_model_id = "openai/whisper-tiny.en"
>>> transcriber = pipeline("automatic-speech-recognition",
...                        model=asr_model_id,
...                        device="cpu",
...                        )
model.safetensors: 100%|██████████████████████████████████████████████████| 151M/151M [00:43<00:00, 3.48MB/s]
generation_config.json: 1.62kB [00:00, 2.97MB/s]
tokenizer_config.json: 805B [00:00, 1.90MB/s]
vocab.json: 798kB [00:00, 1.44MB/s]
tokenizer.json: 2.41MB [00:00, 4.90MB/s]
merges.txt: 456kB [00:00, 977kB/s]
normalizer.json: 52.7kB [00:00, 33.9MB/s]
added_tokens.json: 34.6kB [00:00, 30.8MB/s]
special_tokens_map.json: 1.83kB [00:00, 4.60MB/s]
preprocessor_config.json: 185kB [00:00, 104MB/s]
Device set to use cpu

测试完成!

标签:Transformers,install,Pytorch,pytorch,pkg,FreeBSD,transformers,安装
From: https://blog.csdn.net/skywalk8163/article/details/144323986

相关文章

  • 每天五分钟深度学习pytorch:可视化神经网络训练损失函数图像
    本文重点我们希望训练的时候损失函数是降低的,一种好的办法就是通过画图的方式来将其可视化,这样效果比较好,其实这个很简单,只需要在训练过程中将训练损失和测试损失存储下来,然后使用matplotlib来绘图。绘图核心代码train_losses.append(train_loss/len(train_data))#将训练损......
  • Transformer模型变长序列优化:解析PyTorch上的FlashAttention2与xFormers
    随着生成式AI(genAI)模型在应用范围和模型规模方面的持续扩展,其训练和部署所需的计算资源及相关成本也呈现显著增长趋势,模型优化对于提升运行时性能和降低运营成本变得尤为关键。作为现代genAI系统核心组件的Transformer架构及其注意力机制,由于其计算密集型的特性,成为优化的重......
  • 基于Pytorch的深度学习入门教程
    基于Pytorch的深度学习入门教程私以为深度学习入门主要是数据+模型,因此本教程从数据入手,逐步深入本教程需要一定的基础,不是对内容的详细讲解,更偏重于引导入门。详细内容参见​PyTorchdocumentation关于分析python包内容及作用​dir()​获取包中的所有功能​help()​帮助文......
  • YOLOv8车牌识别系统 深度学习 LPRNet算法 pytorch 大数据 毕业设计(源码)✅
    YOLOv8车牌识别系统深度学习LPRNet算法pytorch大数据毕业设计(源码)✅1、项目介绍技术栈:Python3.8YOLOv8深度学习LPRNet算法pytorch2、项目界面(1)上传图片进行车牌识别(2)上传图片进行车牌识别2(3)多车牌号码进行车牌识别(4)上传视频进行车牌识别实时检测(5)连接......
  • 使用命令将nupkg包上传到公司nuget使用方法
    使用命令将nupkg包上传到公司nuget使用方法1.查询版本号包版本号查询地址:http://package-version.xxx.com/,发布已有存在的nubkg文件,需查询之前的版本号,避免重复。2.在要上传dll的项目中生成nuget包文件2.1配置生成nuget信息,在需要生成包文件的类库项目上右键-->属性配置应用......
  • YOLOv8车牌识别系统 深度学习 LPRNet算法 pytorch 大数据 毕业设计(源码)✅
    YOLOv8车牌识别系统深度学习LPRNet算法pytorch大数据毕业设计(源码)✅1、项目介绍技术栈:Python3.8YOLOv8深度学习LPRNet算法pytorch2、项目界面(1)上传图片进行车牌识别(2)上传图片进行车牌识别2(3)多车牌号码进行车牌识别(4)上传视频进行车牌识别实时检测(5)连接......
  • 为什么不推荐使用jax ( jax vs pytorch)—— google推出jax后为什么迟迟没有得到业界
    在2017年后,Google的TensorFlow在与Facebook的pytorch的竞争中落败,于是为了重夺业内位置,Google在将开放重点从TensorFlow转为新开发一种新的工具框架,那就是jax。虽然在某种意义上来说Google已经放弃了TensorFlow,但是在Google内部依然保持着部分人员再继续维护和开发TensorFlow,但是......
  • Pytorch基础入门教程
    Pytorch基础入门教程https://blog.csdn.net/ccaoshangfei/article/details/126074300?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522721a30eeb84ee5e45ed351cab52fd302%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=721a30eeb84ee......
  • AI-学习路线图-PyTorch
    1需求《深度学习与PyTorch入门实战》https://study.163.com/course/introduction/1208894818.htmhttps://www.bilibili.com/video/BV12B4y1k7b5https://github.com/dragen1860/Deep-Learning-with-PyTorch-Tutorials2接口3示例4参考资料......
  • 动手学深度学习10.6. 自注意力和位置编码-笔记&练习(PyTorch)
    本节课程地址:67自注意力【动手学深度学习v2】_哔哩哔哩_bilibili本节教材地址:10.6.自注意力和位置编码—动手学深度学习2.0.0documentation本节开源代码:...>d2l-zh>pytorch>chapter_multilayer-perceptrons>self-attention-and-positional-encoding.ipynb自注意力和......