后面将分四篇文章来介绍实现手势识别控制飞机大战游戏的功能，它们分别是：
- 使用Pygame实现简易飞机大战小游戏
- 使用Python+OpenCV实现简单手势识别
- 使用OpenCV实现手势识别玩飞机大战游戏
- 使用TensorFlow实现手势识别玩飞机大战游戏
今天是第三部分：使用OpenCV实现手势识别玩飞机大战游戏的功能。前面的两篇文章我们已经介绍了使用Pygame实现一个简易的飞机大战游戏以及使用Python+OpenCV实现简单手势识别。那么，实现手势识别来玩飞机大战游戏就是把它们两部分组合起来，听起来很简单，让我们一起实现它吧。
第一步：先学会Windows下模拟按键按下的响应。
Python中我们使用pypiwin32这个包，需要先安装pip install pypiwin32，然后导入使用：
import win32con
import win32api
import time
#第一个参数，键盘对应数字，查表
#第二个，第四个没用
#第三个参数，0代表按下，win32con.KEYEVENTF_KEYUP松开
while True:
#win32api.keybd_event(37, 0, 0, 0) # 键盘按下左键 37 <-
#time.sleep(0.5)
#win32api.keybd_event(37, 0, win32con.KEYEVEddddddddNTF_KEYUP, 0) # 键盘松开
win32api.keybd_event(38, 0, 0, 0) #38对应上键
time.sleep(0.3)
win32api.keybd_event(38, 0, win32con.KEYEVENTF_KEYUP, 0) # 键盘松开
#win32api.keybd_event(39, 0, 0, 0) # 键盘按下右键 39 ->
#time.sleep(0.1)
#win32api.keybd_event(39, 0, win32con.KEYEVENTF_KEYUP, 0) # 键盘松开
不同按键对应什么数字，查看一下VKCode即可(如下)
VK_CODE = {
'backspace':0x08,
'tab':0x09,
'clear':0x0C,
'enter':0x0D,
'shift':0x10,
'ctrl':0x11,
'alt':0x12,
'pause':0x13,
'caps_lock':0x14,
'esc':0x1B,
'spacebar':0x20,
'page_up':0x21,
'page_down':0x22,
'end':0x23,
'home':0x24,
'left_arrow':0x25,
'up_arrow':0x26,
'right_arrow':0x27,
'down_arrow':0x28,
'select':0x29,
'print':0x2A,
'execute':0x2B,
'print_screen':0x2C,
'ins':0x2D,
'del':0x2E,
'help':0x2F,
'0':0x30,
'1':0x31,
'2':0x32,
'3':0x33,
'4':0x34,
'5':0x35,
'6':0x36,
'7':0x37,
'8':0x38,
'9':0x39,
'a':0x41,
'b':0x42,
'c':0x43,
'd':0x44,
'e':0x45,
'f':0x46,
'g':0x47,
'h':0x48,
'i':0x49,
'j':0x4A,
'k':0x4B,
'l':0x4C,
'm':0x4D,
'n':0x4E,
'o':0x4F,
'p':0x50,
'q':0x51,
'r':0x52,
's':0x53,
't':0x54,
'u':0x55,
'v':0x56,
'w':0x57,
'x':0x58,
'y':0x59,
'z':0x5A,
'numpad_0':0x60,
'numpad_1':0x61,
'numpad_2':0x62,
'numpad_3':0x63,
'numpad_4':0x64,
'numpad_5':0x65,
'numpad_6':0x66,
'numpad_7':0x67,
'numpad_8':0x68,
'numpad_9':0x69,
'multiply_key':0x6A,
'add_key':0x6B,
'separator_key':0x6C,
'subtract_key':0x6D,
'decimal_key':0x6E,
'divide_key':0x6F,
'F1':0x70,
'F2':0x71,
'F3':0x72,
'F4':0x73,
'F5':0x74,
'F6':0x75,
'F7':0x76,
'F8':0x77,
'F9':0x78,
'F10':0x79,
'F11':0x7A,
'F12':0x7B,
'F13':0x7C,
'F14':0x7D,
'F15':0x7E,
'F16':0x7F,
'F17':0x80,
'F18':0x81,
'F19':0x82,
'F20':0x83,
'F21':0x84,
'F22':0x85,
'F23':0x86,
'F24':0x87,
'num_lock':0x90,
'scroll_lock':0x91,
'left_shift':0xA0,
'right_shift ':0xA1,
'left_control':0xA2,
'right_control':0xA3,
'left_menu':0xA4,
'right_menu':0xA5,
'browser_back':0xA6,
'browser_forward':0xA7,
'browser_refresh':0xA8,
'browser_stop':0xA9,
'browser_search':0xAA,
'browser_favorites':0xAB,
'browser_start_and_home':0xAC,
'volume_mute':0xAD,
'volume_Down':0xAE,
'volume_up':0xAF,
'next_track':0xB0,
'previous_track':0xB1,
'stop_media':0xB2,
'play/pause_media':0xB3,
'start_mail':0xB4,
'select_media':0xB5,
'start_application_1':0xB6,
'start_application_2':0xB7,
'attn_key':0xF6,
'crsel_key':0xF7,
'exsel_key':0xF8,
'play_key':0xFA,
'zoom_key':0xFB,
'clear_key':0xFE,
'+':0xBB,
',':0xBC,
'-':0xBD,
'.':0xBE,
'/':0xBF,
'`':0xC0,
';':0xBA,
'[':0xDB,
'\\':0xDC,
']':0xDD,
"'":0xDE,
'`':0xC0}第二步：将虚拟按键响应代码加入手势识别代码中。
这里将上面的代码整理为函数使用(最好是分装成线程类方便调用)：
class KeyEvent(threading.Thread):
def __init__(self, caller):
threading.Thread.__init__(self)
self.caller = caller #父类调用者
def action(self,num):
if num == 2:
self.move_left_key()
elif num == 3:
self.move_right_key()
elif num == 4:
self.shooting_key()
def shooting_key(self):
win32api.keybd_event(38, 0, 0, 0) # 键盘按下上键 38上键
time.sleep(0.1)
win32api.keybd_event(38, 0, win32con.KEYEVENTF_KEYUP, 0)
def move_left_key(self):
win32api.keybd_event(37, 0, 0, 0) # 键盘按下左键 37左键
time.sleep(0.1)
win32api.keybd_event(37, 0, win32con.KEYEVENTF_KEYUP, 0)
def move_right_key(self):
win32api.keybd_event(39, 0, 0, 0) # 键盘按下下键 39下键
time.sleep(0.1)
win32api.keybd_event(39, 0, win32con.KEYEVENTF_KEYUP, 0)
def run(self): #线程启动后自动调用此函数
while True:
if self.caller.exitFlag:
break
action()
在手势识别后加入手势数字判断然后开启虚拟按键线程：
def show_camera(self):
flag, self.img = self.cap.read()
if self.img is not None:
num,img = self.Gesture_Recognize(self.img)
self.refreshShow(img)
self.Key=KeyEvent(self)#开启测试线程
self.Key.setDaemon(True)
self.Key.action(num)
第三步：运行测试。
我们设定手势2对应按键左移<-，手势3对应按键右移->，手势4对应发射炮弹。先打开并运行pygame游戏界面，然后运行手势识别程序，将鼠标点击到游戏界面窗口，然后通过手势识别控制飞机行动，效果如下：
代码还有很多待完善的地方，这里只做功能实现演示故没进一步做优化，有兴趣的朋友可以自己试着修改一下，最明显的比如子弹与敌人的距离关系设置不合理。下篇文章我们来介绍使用TensorFlow来替代OpenCV手势识别来控制飞机行动玩游戏，敬请期待。
本文代码在公众号回复“OpenCV飞机大战”即可获取，更多视觉学习资讯请关注：OpenCV与AI深度学习，感谢支持！