王祖贤的祖父早年曾入军统，受到世叔胡适严训，章太炎和戴笠曾为其师。而其曾祖父王仁峰，则是追随孙中山先生的革命者，参加了同盟会，金陵举事前，为制弹药失左臂，人称“王一手”。