本发明公开了一种基于徒手和单目摄像头实现人机交互的方法和装置,以较为简单的硬件设备,在各种应用场景中实现复杂指令的输出。所述方法包括:采集徒手图像,所述徒手图像包括用户单手的徒手图像或双手的徒手图像;检测所述徒手图像中不同形状的手的尺寸和/或位置以及所述尺寸的变化和/或所述位置的变化;根据所述尺寸的变化和/或所述位置的变化,生成相应的操作指令输出至终端,以使所述终端执行与所述操作指令相应的操作。本发明实施例提供的方法需要的设备简单,成本低廉,稳定性好,徒手即可实现对鼠标的基本操作以及对触摸屏的基本操作,因此执行效率也较高。