古徽州是移民地区，北方移民把中原语音带到徽州，在徽州沉淀，成为徽州方言的主要成因。徽州方言中就保存着不少古词，甚至沿用古文。如“先”（先和）、“种种”（短）、“造化”（幸运）、大郎（哥哥）等等。

中原移民来自不同时间，不同地点，加上中原语言本身也有差异，在这里沉淀下来后，同当地的土音交融，形成自己的语音特点。徽州为丘陵山地，交通不便。但由于“隔山”不能交流，“隔河”不便交往，各县又形成自己的土话。加上徽州又处于皖、浙、赣三省交界，各种方言土语易于相互渗透，尤其是徽商往来频繁，给徽州方言带来了复杂的影响，造成六县语言不能相通。