- 2024-08-12词向量的转换理解以及与真实的关系
实际上就是去除该矩阵的某一行。该矩阵实际上就是一个有N个词的300维向量,或者说该矩阵就是一个完整的词向量词汇表。而这个词汇表是通过交叉熵损失最小来构造的。即归根到底是“在特定语料库中(包含context中共现概率),以数学方法计算输入产生哪些输出”最复合“实际情况,即语料
- 2024-06-19[JOI Open 2024] 中暑
原问题的规则实际上很大程度上是为最小化而设计的,但是我们却要求的是最大化,这意味着原问题的规则实际上是与我们要最优化的问题相矛盾,可行的办法可能是通过一些转化使新问题与规则刚好契合。考虑原问题的规则实际上告诉我们只有当两边都不能放的时候才会对答案产生贡献,意味着实际
- 2024-05-24【AI学习】对LLM训练中数据处理的再认识
最近读了几篇文章,对于LLM模型中的数据处理,有了一些再认识。这几篇文章分别是《世界顶级风投a16z创始人对谈AI与创业》、《BenThompson对NatFriedman和DanielGross的采访》、《AI教父Hinton最新万字精彩访谈:直觉,AI创新的洞见和思考,未来》有一些观点:1、训练模型的数
- 2024-05-17鲜花 #2 2024 年春游吐槽
说是春游,还不如说是夏游。去的安的童话森林公园,说是童话,实际上就是种菜的。饭难吃的要死,而且工作人员的态度相当恶劣。说是下河摸鱼,实际上就是在浑水里面乱撞,而且水深的要死,根本看不到有鱼,说是放了\(300\)条鱼,实际上就没几条。水底除了泥巴就是石头,一会鞋陷进去了,一会就是磕