岳阳，滨洞庭，临长江，城区周围湖泊环绕，是个名副其实的“湖城”。古时，岳阳与外界的主要交通工具为木船，进出城区须靠木船摆渡，为此，城区周围自东至西先后设有羊角山渡、大桥湖渡、花板铺官渡、枫桥湖官渡、岳阳（今北门）官渡、南津港义渡等6个渡口，以方便人们进出城区。南津港义渡是当时较为繁华的渡口。

岳州城南洞庭湖与南湖交汇处，北面是岩石构成的山体，南岸是甑笔山，也是岩石构成的山体，两山夹峙，形成一天然的港湾，为当时岳州城至南洞庭湖各县最近最便捷的港口，古人在此设立渡口以方便远近客人进出城区。因渡口位于城南，古人称渡口为津，称南津港。

南津古渡形成何时，有人说始于宋。其实，早在唐代即已形成渡口，唐张说、李白等人就曾从此过渡至对岸龟山一带游山观湖，唐宰相杨炎还专程至南岸龟山圣安寺拜访过法劫和尚。只是到宋代，此处才变成更为繁华热闹的街市。宋诗人王十朋游览岳州时，就曾从城陵矶入洞庭湖口，因“岳阳城下风波恶，过客舟船不容泊。”只好泊船于南津港这一天然避风港，“遥从湖口入南津，看尽湖山与城廓。”

至明朝中时，南津港渡口变得更加繁华，“岸列市肆”。明朝后期，因战乱，古渡几成废墟。到清代，南津港又恢复了繁华景象，茶楼、饭铺、烟花青楼应运而生。但南津古渡自设渡以来，一直未入官渡之列，只是由百姓自发组织的义渡。据清光绪《巴陵县志》载：“南津港义渡，地滨洞庭，旧有堤，数圮。乾隆五十七（1792）年，里人任起龙捐船一只，张兴廉、吴引三等（16）人先后创修义渡，置十四都杨家庄田一十三石五斗，又添造船两只，雇渡夫三名。”以后又有人捐赠渡船二只。

但以上义渡船只，仅限于自南津港北岸至南岸龟山一带的摆渡小木划船，以方便南北两岸往来的行人与游人，绝非远航于洞庭湖区各县的大帆船，其中，为吸引过往游人，一些摆渡的小船还专由年轻的船家女撑浆。清同治年间，湘阴人周谔枝曾作《南津港眺望》诗曰：“津头人唤渡，小艇绕前横。红粉扶双浆，风飘一叶轻。”

1921年4月底，青年毛泽东与同学易礼容、陈书农三人来岳阳考察教育，曾从南津港乘船到美国教会办的湖滨大学考察。以后又从此乘船经君山至华容、南县等地考察。
1932年9月28日正午，时任国民政府军事委员会委员长的蒋介石偕夫人宋美龄到岳阳，从岳阳楼乘轿至南津港，因南津古渡与君山遥遥相对，航程短，故在此换乘轮船赴君山游玩。
1914年7月，连接武昌至广州的粤汉铁路开工建设，线路需经南津港地段。选线时，几度勘查才选较好之位置填土修筑路堤1700多米长。直到1917年3月方才竣工。自此，南湖与洞庭湖被铁路及铁路桥隔开。

由于洞庭湖水倒灌，南湖水涨为湖，水退又为洲滩，为钉螺孳生提供了便利条件，容易感染血吸虫病。同时每年汛期沿湖耕地多被水淹，人民生活受到很大影响。1964年冬季，中共岳阳县委决定围垦南湖，组织4万多干部、工人、社员、学生及居民群众修建南津港大堤。由于堤脚为多年淤土，大堤随修随沉，直到1965年冬才修建完成。大堤全长1857米，先后共完成土方290多万方，护坡石2.2万方，并建成排水闸一座，渍堤7条，长5070米。使南湖水位能常年保持稳定的状态，真正起到防洪、灭螺、灌溉、旅游的作用。