首页 > 其他分享 >腾讯 AICR : 智能化代码评审技术探索与应用实践(下)

腾讯 AICR : 智能化代码评审技术探索与应用实践(下)

时间:2024-11-27 11:03:26浏览次数:6  
标签:AICR 代码 智能化 评审 特定 腾讯 CR 数据 模型

上文概要

上篇文章,我们介绍了腾讯基于 AI 大模型完成了智能代码评审( AICR)的大规模落地与实践,为数万腾讯开发者提供了生成摘要、发现代码问题、生成评审意见与修复建议等能力,大大提升了评审效率与代码质量。本篇将为你分享腾讯 AICR 建设过程遇到的技术挑战以及解决方案。

技术挑战

在真实落地过程中,我们面临了大量挑战,主要为三点:

挑战一  高质量的 CR 数据更难获取

代码评审过程中,主要涉及三种类型数据,即:代码、代码变更、代码评论。它们各自特点如下:

代码:数据完整、高度结构化、语法特征清晰、无二义性,解析工具成熟,例如:基于 tree-sitter 的 AST 解析等

代码变更:数据碎片化,包含代码演化信息,解析工具较为成熟,例如:GumTree,ClDiff等

代码评论:自然语言形式,结构松散,有二义性,解析工具较少

相较于代码补全生成等代码大模型的生成任务而言,代码评审所涉及的数据类型更丰富、更复杂,也更加难获取与处理;

挑战二 CR 需要更高层次的领域知识

高质量的 CR 需具备特定的领域知识和业务背景,不同的业务团队对 CR 规范可能不同,难以泛化。

挑战三 大模型的 CR 能力难以评估

CR 的概念宽泛,涉及评审范围广,在评估大模型的 CR 能力时,由于 CR 天然的主观特性,对 CR 模型的生成效果判断难以量化,结果偏向主观性。

CR模型实践

构造高质量 CR 模型数据

如上所述,CR 的高质量数据相较于其他代码数据而言,更加难以获取与构造。首先,我们分析一下开源社区中的 CR 数据现状。如图所示,开源社区的代码评审数据一般为开发人员之间的对话流,第一、评论格式为自然语言的对话流,存在严重口语化与逻辑链条缺失等问题;其次,开源社区的评论需要结合上下文进行理解,包括代码的上下文以及项目背景知识;最后,开源社区的 CR 数据缺少有效的评审信息,夹杂大量的类似“问询”或“社交”等噪音数据。

 

 

而在大模型的精调训练中,对于精调数据的质量有很高的要求,一般而言,结构化特征越明显的高质量数据更易被模型所理解,而松散、低质量的训练数据难以激发模型在特定任务上的泛化能力。

因此,我们将开源 CR 数据的质量提升等价为一个文本总结任务。如图所示,我们首先通过数据爬取的手段获得代码评论对话流以及对应的代码提交,然后通过补全代码上下文,输入到大模型中,最后,通过大模型进行文本总结,得到结构化的 CR 数据。

 

在构造高质量 CR 训练数据过程中,我们发现,使用思维链可显著提升模型表现。具体地,大模型总结 CR 数据的 prompt 的思维链遵循的基本原则为:1)判断:是否存在代码问题;2)位置:代码问题在 diff 片段中的位置;3)问题:具体存在什么样的代码问题;4)修改:有什么修改建议。此外,除了需要遵循思维链格式外,prompt 中还加一些高质量的 CR 示例,通过优秀的 CR 案例,进一步提升大模型总结低质量 CR 数据的效果,从而获取高质量的 CR 训练数据;最终生成的 CR 训练数据的基本格式图所示:

 

私有业务领域的 CR 训练

如上所述,高质量 CR 需更高层次的领域知识。本质上 CR 是极其专业的知识密集型的 AIGC 任务。涉及的知识主要分为三类:

  • 特定领域知识:指特定的业务项目知识或行业背景知识。如:游戏开发、社交领域、电商平台、网络通信、嵌入式开发等特定领域;
  • 通用编程知识:指通用的编程相关知识。如:需求管理/分解、软件/架构设计、编程语法规则、代码重构/优化、缺陷/漏洞检测、最佳实践/规范等;
  • 特定开发知识:指公司内部特定开发的知识。例如:内部的开发框架、内部的第三方库、团队的特定开发规范等;

在落地特定业务的 CR 时,需结合上述三类知识,然而,仍存在一些技术难点,包括:

  • 由于特定业务的数据安全问题,因此,大模型训练中无法拿到私域数据进行预训练/微调;
  • 特定业务有特定的业务规范,具备强烈的领域特性,如对每个业务进行模型定制化,则成本代价太大,且不利于模型更新迭代;
  • 特定业务的 CR prompt 需扩充上下文,包括当前 CR 涉及的代码上下文和特定领域的业务知识,如缺乏相关上下文,则会导致大模型产生大量“幻觉”;

为解决上述难点,我们采用当前主流的 RAG 的技术手段提升特定业务的 CR 效果,具体流程如下图所示:

此外,为了更进一步地贴合具体业务的 CR 场景,我们对 CR 智能化模型进行微调对齐以及数据飞轮建设,具体流程如图所示:

首先,对 CR 模型进行 prompt 的调试,其中 prompt 包含基本格式和扩展格式。在基本格式中,要求指令要清晰并且遵循思维链,并且将待 CR 的代码块进行了基本的上下文处理,保证待 CR 的代码片段完整性;在扩展格式中,会对当前代码进行上下文的扩充,包括 RAG 知识库及代码分析搜索出的相关代码片段。

模型上线后,会建立用户反馈机制,收集用户反馈的 good/bad case,定期对 bad case 进行修复,包括对 bad case 进行分类和归因,通过数据迭代和优化,来减少 bad case 的产生。

对于模型微调,采用 SFT 的方式,进行指令对齐,其中,高质量的训练数据的数据量在 1k 到 3k 条不等,训练方式为全量微调或者 Lora 方式的微调。

智能化 CR 模型的评测

如上所述,由于代码评审天然存在主观性,因此在评价大模型的 CR 能力时,很难量化判断模型的生成效果。此外,由于代码评审涉及大量的其他相关概念,如,缺陷检测、漏洞扫描、编程规范等,因此,大模型的 CR 能力评测更加困难。为全面、客观、准确的评测 CR智能化模型的效果,我们构建了一个多级分类的评测集,如下图所示:

在评价模型 CR 能力时,会重点关注代码缺陷、代码安全、编程规范和安全漏洞的代码评审。其中,会对一级分类的 case 再进一步地细分二级分类,优先涵盖五大主流语言的评审 case。

此外,提出五档评分的评测法,具体五档评分(AICR 评测版)如下:

超出预期:在【复杂题目】上能生成完全覆盖参考答案的点,并给出正确合理分析和问题修复建议

满意:模型答案能完全覆盖参考答案中指出的问题,并给出正确合理分析

基本满意:模型答案命中参考答案,对于参考答案中指出的问题有遗漏,遗漏 <2 条,但给出了正确问题分析

不满意:模型答案未命中参考答案,或存在许多错误,或未按要求格式输出

不可接受:模型拒绝回答问题,或完全理解错题意,或给出了完全错误的分析

通过构建多级分类的评测集以及人工评测的五档评分法,可相对客观、全面准确的评测大模型的 CR 能力。

标签:AICR,代码,智能化,评审,特定,腾讯,CR,数据,模型
From: https://www.cnblogs.com/txycsig/p/18571875

相关文章

  • 罐笼乘坐人员超限识别智慧矿山一体机非煤矿山算法安全监管的智能化升级
    在矿山行业中,安全始终是最为关键的议题。智慧矿山一体机专为矿山安全监控和管理设计,集成了多种智能化功能,以提升矿山的安全监管能力和生产效率。本文将详细介绍识别智慧矿山一体机在非煤矿山中的应用,特别是其罐笼乘坐人员超限识别算法的工作原理、技术实现以及实际应用效果。一......
  • 国标GB28181视频平台EasyCVR宇视设备视频平台监狱智能化视频监管系统解决方案
    在现代社会,监狱作为司法体系中的关键一环,承担着执行刑罚、保障社会安全的重要职责。随着科技的进步,监狱管理正逐渐向智能化、信息化转型,以提高监管效率和安全性。智慧监狱的建设,通过引入高科技手段,不仅能够提升监狱管理的科学化水平,还能为监狱工作人员提供更为高效、便捷的操作平......
  • 腾讯通RTX最佳升级方案,兼容Linux内核国产系统与移动端
    一、腾讯通RTX停更后用户面临的核心问题随着腾讯通RTX停止更新并下架官网,用户无法再获取更新、技术支持及资源下载,同时用户不得不面临以下无法得到解决的问题:●不兼容国产系统与移动端:腾讯通RTX只支持Windows和Mac平台,在Linux内核国产操作系统以及移动设备上无法使用。●组织......
  • 腾讯云OCR车牌识别实践:从图片上传到车牌识别
    在当今智能化和自动化的浪潮中,车牌识别(LPR)技术已经广泛应用于交通管理、智能停车、自动收费等多个场景。腾讯云OCR车牌识别服务凭借其高效、精准的识别能力,为开发者提供了强大的技术支持。本文将介绍如何利用腾讯云OCR车牌识别服务,结合SpringBoot框架实现一个车牌识别的完......
  • 腾讯健康:我们有 40% 的代码是 AI 写的
    引言腾讯健康依托云计算、人工智能和大数据技术等技术,加速健康行业的数字化转型升级,提供包括医保电子凭证、电子健康卡、腾讯医典、觅影和AI辅诊等在内的全方位服务,致力于提升医疗服务效率与质量。背景在腾讯健康行业数字化转型过程中,面对项目规模扩大带来的代码量激增和维护......
  • 腾讯通RTX最佳迁移方案,支持移动端与Linux内核国产系统
    一、腾讯通RTX停更带来的核心问题腾讯通RTX停更并下架官网,用户已无法获得后续技术支持或资源下载,同时也迫使用户面临以下无法解决的问题:●无法兼容国产操作系统和移动端:腾讯通RTX的支持范围仅限于Windows和Mac平台,对于日益普及的Linux内核国产操作系统及移动端完全不兼容。●......
  • 罐笼乘坐人员超限识别智慧矿山一体机人员背夹佩戴识别:推动矿业智能化转型的必由之路
    随着信息技术的迅猛发展,智慧化、数字化已成为矿山行业转型升级的必然趋势。智慧矿山建设方案旨在通过集成先进的信息技术手段,实现对矿山生产、管理、安全等全过程的智能化监控与管理,以提高矿山生产效率、降低运营成本、增强安全保障能力。本文将详细探讨智慧矿山建设方案罐笼乘坐......
  • 智能化办公新时代,这款软件如何改变职场规则?
    办公软件的核心价值:为什么它是现代职场的刚需?在信息爆炸和多任务并行的时代,如何用更少的时间完成更多的工作已成为每个职场人关注的核心问题。办公软件之所以成为刚需,原因在于它解决了现代办公的三大主要挑战:1.任务繁杂,管理混乱项目和任务的增多,容易导致优先级混乱、关键细节......
  • 深度测评腾讯云 HAI 智算服务:高性能 AI 计算的新标杆
    本文一、引言二、产品功能深度解析2.1多样化的GPU配置选择2.2预配置开发环境示例:2.3实时性能监控三、核心技术特点与优势3.1云端弹性扩展3.2高性能计算架构四、实际测试与代码案例4.1NLP案例:使用BERT进行情感分类数据集:IMDb评论情感分析环境配置数据加载......
  • 无人超市管理系统/无人超市解决方案/智能化零售管理/自助结账系统/无人便利店技术/自
    博主介绍......