• 2024-08-10Speculative Streaming:无需辅助模型的快速大模型推理
    人工智能咨询培训老师叶梓转载标明出处在自然语言处理领域,大模型(LLM)在进行推理时,由于其自回归生成的特性,往往需要较高的计算成本和内存占用。为了解决这一问题,苹果公司的研究者们提出了一种名为SpeculativeStreaming的新方法。这种方法通过改变目标模型的微调目标,从下一个
  • 2024-07-19CCT361H5S LEC0101 Speculative Design
    CCT361H5SLEC0101SpeculativeDesignIICourseOutline-Winter 2024CourseDescriptionInthiscoursestudentsareintroducedtoprogramminglanguagesregularly used in management operations. Students will learn what theselanguagesare,whenandw