一共有两种说法，一种说法是:清代，徽州府，有一个农民带着四只羊乘船过练江，可是船有些小，一只羊不慎落水，引来鱼群，群鱼抢食羊肉，吃得晕头转向。这时，一位渔民荡舟经过，撤了一网，收获众多。回家后，渔夫宰鱼，惊奇发现鱼肚装满碎羊肉，便将鱼宰净，碎羊肉重新填入鱼肚中，一道烧煮，结果烧出来的鱼，骨酥肉烂，不腥不膻，鱼汤鲜美，羊肉奇香，风味极其独特。久而久之，便成了徽菜中的名品，鱼羊鲜。
另一说法是:孔子周游列国初期，四处碰壁，举步维艰，连饭都吃不上，其弟子只能四处乞讨，一天，偶得一些鱼肉和羊肉，由于大家都饥肠辘辘，遂将鱼、羊肉混在一起煮，发现其味竟鲜美无比，自此流传开来。并且听说“鲜”字便是这样得来的。