小普陀观音禅院所处的外浦山（又称小普陀岛）为乍浦外海的一个小岛，是乍浦港海船航行的重要门户，与舟山普陀隔海相望，自古是乍浦门户，又是禅门重地，与海外佛教文化渊源深厚。清乾隆《平湖县志》称：“外浦山在海中，山根有礁，船樱之立碎溺，人无算。乾隆十四年，著同知叶齐建屋三楹于山巅，称‘中普陀’。植木悬灯以照夜行，贾舶士女往往渡海游焉。”外浦山南麓明代即建庵供奉观音，香火鼎盛。明《平湖县志》载：“明万历末，游僧携一大士像，结茅于此，有草一枝，土人病来卜者，僧卜草与之，即愈。后草绝，易以大士前香炉灰丸，服之灵效，远近施舍，不日成庵。知县罗尚忠闻之，疑其惑众，迁像于德藏寺。
清初，僧了心募建，移归大士像，香火复盛，后圮。同治六年重建。清盛垌夜过海会庵诗：夜静空有音，沙寒白无际。明月自去来，山中门不闭。今尚存，俗呼‘小普陀’。傍西有室，曰‘云天一览’，平江吴中杰书额。” 小普陀观音禅院清光绪年间曾重修。民国时香火兴盛，民间盛传“先拜小普陀，后游大普陀”。后因兵火屡毁，至民国后期渐衰，最终毁于文革。但因“小普陀”名盛，民间仍有二月初九、六月初九、九月初九于观音的出生、得道和升天之日来小普陀敬香朝拜的习俗。