徽州人之所以大批经商,道理十分简单:徽州地理环境恶劣,适合耕作的土地少,除了出外经商,恐怕很难找到其他更好的生存方法。徽州又是一个移民社会,由于交通闭塞,中原的士族在战乱时期不断迁移到这个“世外桃源”。《新安名族志》中说,从两晋起,历代迁移到徽州的名族一共有78个。迁移到徽州的士族们失去了原有的特权,但找到了强化凝聚力的东西,那就是他们的宗族精神。在徽州所看到的宗祠,就是这种宗族伦理的物化。在这种士族宗族文化的熏陶下,徽州民风“益向文雅”。胡适曾经把徽商百折不挠的创业精神誉为“徽骆驼精神”。徽商的巨大成功与这种精神是分不开的,他们不辞劳苦,打破传统安土重迁观念,“无远弗届”,“走死地如骛”,乃至“数年不归”。从前徽州人送子外出习商当学徒,都要叮嘱儿子好好干,不能做“茴香豆腐干”。婺剧《对课》中“八仙”之一的吕洞宾,唱着要买“游子思亲一钱七”(药谜),而杭州女子白牡丹则随即揭开谜底,曰:“有道是游子思亲当回乡(茴香)”。显然,“茴香”的谐音也就是“回乡”,在徽州亦即失业的代名词。徽州人什么买卖都做,唯有两样东西最为忌讳:一是茴香,二是萝卜干——“萝卜”是因其谐音“落泊”。
徽商的宗族观念很重,外出经商总是按血缘、地缘聚居,往往是父带子,兄带弟,叔带侄,舅舅带外甥。徽州人外出经商,在城镇落脚之后,宗族中的人马上就会随之而来,其后乡党也会随之而来。这种以亲情血缘关系为纽带的宗族团体参与市场竞争,在集聚财力、物力、人力及统一行动方面占有很强优势。不过徽商也并非一味讲究人情,他们注意用契约的方式来限定这种人情的关系,所以徽州地区留下的契约文书特别多。徽商在处理内部或者外部的商业问题时,有一个专门的组织,叫徽商会馆。会馆在清代十分盛行,不过徽商会馆特别多,明清时期徽商会馆遍布全国,仅南京一地就有数处。会馆代表商人与官府交涉商业事务,为徽人举办公益事业,有的会馆还延师教习同乡子弟,也代为传递乡人信函和官府文告。会馆经费由会馆所在地徽商提供。最早的徽商会馆为北京歙县会馆,建于1560年,由旅京徽商杨忠、鲍恩首倡。湖北汉口新安会馆,从置产业到扩充道路、开辟码头,渐渐形成一条“新安街”。苏州吴江县盛泽镇徽宁会馆建了二十多年,有房产、田产和供装卸货物用的驳岸,规模宏大。
乾隆末年,仪征盐船大火,盐船被毁130艘,死者达一千四百余人。这似乎是一个预兆:以盐业起家的徽商走向了衰落。而清朝末期所发生的几个重大的事件,更是直接促成了徽商的落败。道光年间,鉴于盐价奇高,两淮的盐务制度发生了变化,清政府把过去盐商卖盐的特许权利废除了,实行运销分离,徽商从此丧失了世袭的经销盐的专利权,于是两淮地区大批盐商破产。太平天国起义,其波及范围主要是长江中下游地区,这正是徽商经营的主要地域,徽商的生意为之大受影响。鸦片战争失败后,西方列强打开了中国的国门,外商的进入使民族资本家群体产生,从而使以宗法关系为纽带的徽州商帮受到冲击,这也促成了它的解体。