清道光二十二年1842年8月，中英《南京条约》签订，五口通商（广州、福州、厦门、宁波、上海）。设钦差大臣，办理外交及广州、福州、厦门、宁波、上海五口通商事务，故名五口通商大臣，由两江总督耆英担任。清道光二十四年1844年3月，耆英改任两广总督，五口通商大臣衙门遂移到广州，之后由两广总督兼任五口通商大臣一职。咸丰八年十二月（1859年1月），两江总督何桂清任办理洋务钦差大臣，五口通商大臣衙门遂移到上海，之后一直由两江官员担任。咸丰十年（1860）改称南洋通商大臣，由江苏巡抚兼任。同治四年末（1866）起由两江总督兼任。1868年南洋大臣衙门迁南京。