总览
你是否好奇 GitHub Copilot 如何知道你想写的内容？有时候它聪明得甚至好像读过你项目里其他文件一样，不要怀疑，它确实读过。这篇文章记录了我阅读一个对 Copilot 的逆向工程的笔记，一言以蔽之，Copilot 使用了 Jaccard 相似度获取用户最近访问过的页面里与当前编辑内容最相似的代码片段，并将其作为注释内容加入 prompt 中送给代码生成模型，以下是更加展开的讲解：
总体来说，copilot 分为两个部分：
- 客户端：VS Code 扩展收集你键入的任何内容，拼装成 prompt，并将其发送到类似 Codex 的模型。无论模型返回什么，它都会显示在编辑器中。
- 模型端：类似 Codex （现在或许是更先进的版本）的模型接受提示并返回完成提示的建议。
prompt 工程
prompt 示例
先看一个拼装好的 prompt 示例：
{
"prefix": "# Path: codeviz\app.py\n# Compare this snippet from codeviz\predictions.py:\n# import json\n# import sys\n# import ti...,
"suffix": "if __name__ == '__main__':\r\n app.run(debug=True)",
"isFimEnabled": true,
"promptElementRanges": [
{ "kind": "PathMarker", "start": 0, "end": 23 },
{ "kind": "SimilarFile", "start": 23, "end": 2219 },
{ "kind": "BeforeCursor", "start": 2219, "end": 3142 }
]
}
-
一个实际的案例如上图所示
-
如果有后缀（suffix）， 那么会启用插入模式 （模型使用 fill-in-middle 任务的 prompt），否则就是向后补全的模式
- 根据 codex 官方：插入模式需要使用特殊 token 组装成正确的 prompt 格式，需要更大的 max_length，需要较大温度多采样几次直到 stop_reason 是 'stop'，以便更好地连接到后缀代码
-
可以看到，前缀（prefix）中除了当前光标之前的文档内容，还包含着项目中另一个文件的代码，该
# Compare this snippet from codeviz\\predictions.py:行及其后续行指代的是与当前文档内容相似的代码片段。模型也就是通过这些相似片段加深对代码上下文的理解https://thakkarparth007.github.io/copilot-explorer/posts/prompt-full -
-