象山方言属吴语宁波次方言。因地近温台地区，受台州次方言影响较深，南部尤甚。解放以来，普通话的推广及与外地联系日益频繁，北方语音、语词虽有渗入，但本县语言体系仍无显著变化，县内地域性差异较明显。大致说来，可分三个方言小区：
东乡方言小区 包括东乡小半岛各乡镇，以丹城话为代表。其语音较软和，接近宁波方言。句末常带拖腔，尾音略微上升。
南乡方言小区 包括南乡小半岛及东门、南田、高塘、檀头山等海岛各乡镇、以石浦话为代表。其语调较高亢，台州口音较重。南田、高塘一带，三门口音更重。东溪、旦门一片，鼻音特多，如“老酒摆在头缸头”，说成“老金摆在滕缸滕”
西乡方言小区 包括西乡地峡各乡镇，以西周话为代表，其语音与丹城话颇近。一个明显特点是舌尖中音与齐齿呼相拼时变为舌面音，如“天地良心”，说成“千奇羊心”。唯儒雅洋村无此处情形，泗州头、茅洋、南堡等地语音似南乡话。灵南乡及下沈乡柴溪则说宁海话。
此外，尚有爵溪、沙塘湾两个“方言岛”。爵溪话仅限于爵溪镇城区内，实为北方方言，因长期受本地话影响，浊音较多。沙塘湾话，仅限于石浦镇沙塘湾村，系闽南话。两地居民对外交往时，爵溪人说丹城话，沙塘湾人说石浦话。
三个方言小区词汇亦有不同。如丹城、西周称“我们”为“阿拉”，石浦则多说“我等”“我拉”；丹城、西周称“哪里"为“阿达”、“阿里”、“阿横长”，石浦则多说“挪搭”；丹城称“地方”为“坞采”、“坞塘”，西周多说“坞赛”，石浦则多说“嬉界”；丹城、西周称“上午”、“下午”为“空梭”、“晚界”，石浦则多说“早界”、“晚界”。丹城称“什么”为“奢些”，西周说“阿些”，石浦则多说“嘎姆”；丹城称“父亲”、“母亲”为“阿伯”、“姆妈”；西周说“阿大”、“姆妈”；石浦则多说“阿爸”、“姆妈”；丹城称“小孩”为“嬉佬”、“小奼”；西周常说“小货”；石浦则多说“小端”。