灵芝塔位于浙江省湖州市安吉县递铺镇马家村南500米西苕溪南岸。东连农田，南近东岳行宫碑，西、北紧邻西苕溪。
该塔建于自然山体的岩石上，为八面十层叠涩檐仿楼阁式砖构实心塔，通高22.46米。塔基条石砌筑，高1.20米，对径10.60米，东侧砌长3.16、宽2.40米的七步台阶；须弥座塔座为一丁一顺砖砌；塔身各层逐渐向上收分，结构相同，均由平座、塔壁、腰檐等组成，每面中部设壼门。相轮式塔刹。
清同治版《安吉县志》载“灵芝塔在顺安乡马家渡南山麓，相传五代吴越时建，虽不甚高而至今千余年，巍然独存”。经专家考证并结合塔刹构件题记和天宫中出土的金涂塔铭文记载，确认该塔始建于五代并在宋代进行过两次大修。
该塔保存完整，是浙江境内现存最早的古塔之一，其层脊上用瓦条垒置陶脊鲁，在浙江乃至全国极为罕见，为研究五代吴越时期的古塔艺术提供了重要的实物资料。