秦始皇統一天下后，廢除封諸侯，實行郡縣制。郡下設縣，縣下設鄉，鄉下置亭，亭下有里。郡守、縣令由朝廷任命。當時浮梁及周邊數縣都為番縣所轄；漢時改番縣為鄱陽縣；三國孫吳時分置鄱陽郡；南北朝的梁時于郡置吳州；隋改饒州，大業初仍為鄱陽郡；唐武德四年(621年)復名饒州。至于浮梁縣的始建，要感謝兩位先人，一名叫李大亮，一名叫韋玢。

李大亮

李大亮，生活在隋末唐初年間。在滅隋興唐的多次戰役中立功。唐高祖武德二年(619年)，朝廷曾將鄱陽縣的東北境，劃為新平鄉。由于多年的戰爭和自然災害，好些地區人逃地荒。高祖李淵為了政權的穩固，任命了好些大臣為安撫使，到各地巡視。李大亮被派往江南。他到鄱陽湖東北境，對這里的氣候、地理、農業等情況，做了深入的調查研究。之后，他認為：鄱陽湖濱范圍廣袤，洪澇頻繁，少數幾位官員根本無法顧及，應分立而治。在新平鄉境內，一方面昌江山洪猖獗；另一方面是茶葉豐盛，瓷器精美，為了抗拒山洪，又使茶葉和瓷器提供更多賦稅，應單獨設縣管理。于是，他便將這些見解寫成奏章，請求將鄱陽縣東北境劃出設新平縣。唐高祖李淵閱覽奏章后，于武德四年(621年)準奏建置新平縣。其境包括現今的江西浮梁縣全境和安徽祁門縣南境的大部分。治所設在新定、化鵬二鄉之間，即今之江村鄉沽演村一帶。原因有二：一是地理位置在全縣中心；二是今之浮梁北部和祁門南部山脈相連，是富庶的產茶區，管理方便。可是到了僅四年后的武德八年(625年)，新平縣被一個叫常季武的官員奏請朝廷給撤掉了，重新并入鄱陽縣。

韋玢

韋玢，生活于唐代中前期，官封饒州刺史。他是一個很勤懇的官員，經常到下屬各縣視察。當時原新平縣的茶葉幾乎占全國第一位。他認為：此處幅員廣闊，山多林密，土地肥沃，茶葉生產有得天獨厚的條件，如管理有序，將會給國家的經濟大有幫助。于是，他寫就奏章，請求朝廷將中斷了九十年的新平縣重新恢復。唐玄宗開元四年(716年)，朝廷準奏，恢復縣的建置，地域基本未變，不過縣治遷到東河與北河匯合處，即今之新平鄉，改縣名為新昌縣。原因是，原新平縣治沽演處于山區，交通不便。新昌江口則可扼東河一帶的瓷器、北河一帶的茶葉。到天寶元年(742年)，才改名為浮梁。關于縣名的由來，史書載“以溪水時泛，民多伐木為梁也”。另有一說是“洪水泛梁木橫斷昌江口，人因以濟，故曰浮梁”。不過，在唐代宗永泰二年(766年)，將北部大部分地區劃出，與當時歙州黟縣一部分地區合并成立祁門縣。唐憲宗元和年間(806—820年)，由于新昌江口屢遭洪水淹沒，于是將縣治遷至昌江西岸西北高阜上，也就是今日的舊城。民國5年(1916年)，縣治遷到了景德鎮。

浮梁沽演村