明朝嘉靖年间，钱塘江口一带百姓，常受倭寇与海盗侵犯骚扰，生活不得安宁，政府又无力阻敌。百姓在灵隐寺慧能长老的带领下，组织五百罗汉操练武艺，以抵御倭寇与海盗的侵犯。