源於“羋”(mǐ)姓,出自春秋時楚國公族“羋潘崇”之後,屬於以先祖名字爲氏。公諱崇字道安,楚成王時大夫,穆王立,以其太子宮予公,使爲太師,掌國事,環列之尹,楚國大治,有認楚公族後以字爲氏,列公爲潘姓始祖之一。
潘崇家族由於受到楚王的特別恩寵,故發展特別快,其後裔子孫的足跡幾乎遍佈楚國各地,在古籍中所記載春秋時代的潘氏名人,幾乎都是楚國的人物。今天山東、江蘇、浙江、河南等地,皆有該支潘氏的後裔。