关注文章底部公众号，获取更多AI新闻资讯
Sora训练数据被质疑非法
训练AI模型数据所面临的巨大版权争议，是这一年多全球相关人士讨论最多的话题。近日OpenAI CTO Murati接受采访时，被问及Sora训练数据来源时语焉不详、支支吾吾，已经成了全网热议的话题。
女记者：「Sora是用什么数据训练的？」
Murati：「我们使用的是公开可用的数据，以及经过许可的数据。」（目光闪烁，略带迟疑）
女记者：「所以，你们是用了YouTube上的视频吗？」
Murati：「关于这个情况，我不太确定。」（撇嘴，眼神茫然）
ChatGPT参数规模被扒
南加大团队三位作者破解出了未公布的gpt-3.5-turbo嵌入向量维度（embedding size）为4096或4608。而几乎所有已知的开源大模型如Llama和Mistral，嵌入向量维度4096的时候都是约7B参数规模。其它比例的话，就会造成网络过宽或过窄，已被证明对模型性能不利。因此南加大团队指出，可以推测gpt-3.5-turbo的参数规模也在7B左右，除非是MoE架构可能不同。
论文地址&#