Trong quá trình xâm lượcViệt Nam nửa cuốithế kỷ 19, quânPháp đánh chiếmthành Vĩnh Long cả thảy hai lần. Trận đầu diễn ra từ ngày 20 cho đến ngày 23tháng 3 năm1862,[1] thì thành thất thủ. Sau khiHòa ước Nhâm Tuất (1862) được ký kết, ngày 25tháng 5 năm1863, tòa thành này lại trở về vớinhà Nguyễn. Trận thứ hai diễn ra vào ngày 20tháng 6 năm1867, nhưng mãi đến năm1945, nơi từng có tòa thành này (vì nó đã bị đối phương phá hủy) mới trở về với dân tộcViệt Nam.

Sau khiĐại đồn Chí Hòa thất thủ (tháng 2 năm1861), mặc cho quân triều đình rút chạy, các đạo quân ứng nghĩa vẫn tìm cách cản ngăn quân Pháp. Đến khiĐịnh Tường thất thủ, phong trào kháng chiến của nhân dân càng bùng lên dữ dội, và làm chủ được nhiều làng xã. Vậy nên, theo GS. Nguyễn Phan Quang, mặc dù quân Pháp chiếm được Định Tường, nhưng chỉ đóng được ba đồn làGia Thạnh,Chợ Gạo vàGò Công. Nổi bật trong số những đạo quân ứng nghĩa, cóTrương Định với khoảng 6.000 quân, làm chủ vùng Tây Nam Gò Công;Đỗ Trình Thoại ở vùngTân Hòa, Gò Công;Phủ Cậu ở vùng Rạch Chanh (Mỹ Tho);Võ Duy Dương ở vùngTây Bắc tỉnhĐịnh Tường và của Quản Tu (người đã bắn chết Trung tá Bourdais trênsông Bảo Định) ở hữu ngạnsông Vàm Cỏ Tây.
Bất lực trước sức đề kháng của nhân dân Việt, Đề đốc Hải quân Charner đã xin từ chức.Tháng 10 năm1861, Đô đốc L. Bonard được cử sang thay, quyết tâm thực hiện lệnh của Bộ trưởng Hải quân Pháp là phảigiữ vững sự đô hộ của chúng ta ởSài Gòn...ở đó chúng có thể ở lại lâu dài.[2]
Rút kinh nghiệm thất bại của Charne, tướng Bonard chủ trương chưa đánh sâu vào các làng xã mà khẩn trương đánh chiếm những tỉnh thành. Theo đó, kế hoạch đánh chiếmBiên Hòa vàVĩnh Long liền được thảo ra, và nhanh chóng thực hiện nhằm mở rộng khả năng càn quét, bao vây, tiêu diệt các lực lượng chống đối trên một địa bàn rộng lớn từsông Đồng Nai đếnsông Tiền,sông Hậu.
Trước đó, khi nghe tin quân Pháp sắp đánhBiên Hòa vàVĩnh Long,triều đình Huế sai tướngNguyễn Tri Phương đem hai vệ quân phối hợp với hai ngàn đã phái đi trước, đang đóng ởKhánh Hòa, vào cấp cứu. Nhưng quân chưa đến nơi, thì tướngNguyễn Bá Nghi đã chạy vềBình Thuận, sau khi đểthành Biên Hòa thất thủ (18tháng 12 năm1861).
Thừa thắng, vào nửatháng 3 năm1862, 11 chiến thuyền của Pháp từĐịnh Tường kéo sang tấn công hai đồn lũy ởVĩnh Long là Vĩnh Tùng (do Lãnh binh Tôn Thất Tuấn, Nguyễn Thái, Lê Đình Cửu trấn giữ), Thanh Mỹ (do Lãnh binh Hồ Lực, Ngô Thành, Trương Văn Thành trấn giữ). Bắn phá luôn hai ngày đêm, thì hai đồn trên đều vỡ.
Ngày 20tháng 3 năm1862, đoàn chiến thuyền của Pháp đã áp sát thành Vĩnh Long, rồi bắt đầu nổ súng. Quân triều đình chống cự kịch liệt trên các ngọn rạch và chung quanh thành. Trận đánh kéo dài đến tối ngày 22tháng 3, thì các ổ đại bác của quân Việt đều bị phá. Đêm đó, Tổng đốcTrương Văn Uyển cho lệnh đốt hết kho tàng, dinh thự rồi rút chạy về đồn Thị Bảo, rồi chạy thẳng lên huyện Duy Minh. Cho nên, sáng hôm sau (23tháng 2), quân Pháp ung dung tiến vào chiếm đoạt thành, mà không gặp bất kỳ sự kháng cự nào nữa. Vào thành, quân Pháp thu được 68 cổ đại bác.
Nghe tin thành Vĩnh Long đã mất, vuaTự Đức trách Trương Văn Uyển làkhông biết chọn chỗ hiểm yếu mà đặt đồn, làm thành cái thế không thể bị đánh bật, mà chỉ chuyên dựa vào hai nơi là Thanh Mỹ và Vĩnh Tùng. Xét tội, các quan tỉnh thành có trách nhiệm đều bị cách lưu, nhưng vẫn phải lo việc thu tập binh dũng, khí giới, lương thực...để hỗ trợ cho các quan quân và nghĩa dân còn đang hoạt động ở các nơi khác.
Đầutháng 5 năm1862, sau khi cùng các đình thần bàn bạc, vuaTự Đức sai quan thông báo cho phía Pháp đề nghị "giảng hòa". Đề cập sự việc này, GS.Trần Văn Giàu viết:
Lập tức, Đô đốc Bonard sai Simon đáp thuyền máy đếnHuế đưa ra ba yêu sách...Cuối cùng, ngày 5tháng 6 năm1862,Hòa ước Nhâm Tuất (1862) được ký kết, mà phần thua thiệt thuộc về nhà Nguyễn. Theo hòa ước trên, thực dân Pháp phải sớm trao trả thành Vĩnh Long, nhưng lấy cớ chưa dẹp yên "giặc giã", nên mãi đến ngày 25tháng 5 năm1863, họ mới thực hiện.

Sau khi Hiệp ước Nhâm Tuất được phê chuẩn, vua Tự Đức cửPhan Thanh Giản cầm đầu phái bộ sangPháp, xin chuộc ba tỉnh miền ĐôngNam Kỳ. Đề cập đến giai đoạn này, sáchViệt Nam sử lược chép:
NămGiáp Tý niên hiệuTự Đức thứ 17 (1864), thực dân Pháp đã chiếm xongCam Bốt, ba tỉnh miền Đông mà họ đánh chiếm được, cũng dần được ổn định. song, ở ba tỉnh miền Tây, thì phong trào kháng Pháp vẫn còn khá mạnh mẽ. Chính vì vậy, chừng nào chưa chiếm được ba tỉnh thành trên, thì họ còn chưa yên.
NămẤt Sửu (1865), Chasseloup Laubat triệu tướngLa Grandière về Pháp để hiểu rõ thêm tình hình ở Nam Kỳ. Cuối cùng, việc đánh chiếm ba tỉnh miền Tây làVĩnh Long,An Giang,Hà Tiên đã được chấp thuận. Về lạiNam Kỳ, lấy cớ triều đình Huế bất lực trong việc đàn áp quân "phiến loạn", La Grandière thảo ngay kế hoạch đánh chiếm ba tỉnh miền Tây.[5]
Ngày 18tháng 6 năm1867, quân Pháp gồm 1.200 lính cùng với 400 lính tậpngười Việt tập họp ởMỹ Tho. Ngày 19, từ Sài Gòn, La Grandière chỉ huy một đội tàu gồm 16 chiếc cũng tớiMỹ Tho, và rồi cho hành quân ngay trong đêm. Sáng ngày 20, đoàn quân thủy bộ của Pháp đã tới trước thànhVĩnh Long. La Grandière cho quân đổ bộ, và đưa thư đòi kinh lượcPhan Thanh Giản giao nộp thành không điều kiện.
Trước sức mạnh áp đảo của Pháp về mặt quân sự, biết thế không thể giữ nổi,Phan Thanh Giản đã quyết định trao thành, tránh đổ máu vô ích, với yêu cầu người Phápđừng quấy nhiễu dân chúng, và được giữ lại kho tiền để chi trả chiến phí theoHiệp ước Nhâm Tuất...La Grandière bằng lòng, nhưng ngay khi Phan Thanh Giản vừa bước khỏi tàu chiến Pháp ra về thì viên tướng này cho bộ binh nối gót theo sau rồi chia làm bốn cánh vào chiếm đóng thành. Tiếp đó, La Grandière còn yêu cầu Phan Thanh Giản viết thư khuyên quan quân ở hai tỉnh còn lại làAn Giang vàHà Tiên phải hạ khí giới, giao nộp thành trì...
Sau khi làm theo yêu cầu của đối phương, Kinh lượcPhan Thanh Giản tuyệt thực suốt 17 ngày, rồi uống thuốc độc tự tử vào ngày 4tháng 8 năm1867, sau khi dặn dò con cái phải làm ruộng mà ăn, chứ không được nhận chức quan gì củaPháp. Ngày 21tháng 6 năm1867, quân Pháp chiếm gọn tỉnh An Giang. Ba ngày sau (24tháng 6), quân Pháp chiếm luônHà Tiên. Từ đó toàn cõiNam Kỳ trở thành thuộc địa củaPháp. Thuế má, luật lệ, điều gì cũng do súy phủ ở Sài Gòn quyết định.
Bấy giờ tại Pháp đìnhNapoléon III thấy trong các triều thần phái thì chủ hòa, phái thì chủ chiến, lấy làm hoang mang về vấn đề Việt Nam. Cho nên đầu năm 1867 nhà vua phái Trung tướng De Varannes sang Nam Kỳ điều tra tình hình. Rồi khi phái đoàn trở về Pháp, sau đó mới có lệnh xâm lăng ba tỉnh thuộc vùngHậu Giang. Lúc này, La Grandière cũng đã sửa soạn xong chiến sự miền Tây (sắp đặt lệnh hành quân, việc bố phòng các vị trí hiện hữu, tuyển mộ người cho bộ máy hành chính mới, lấy lính bản xứ để đưa đến các vùng sắp chiếm đóng).
Ngày 17 và 18tháng 6 năm1867, quân Pháp lên đường gồm 1.000 ngườiÂu Châu và 4.000 lính tập. Ngày 20 La Grandière có mặt trong trận đánh Vĩnh Long.Hạm đội của Pháp gồm có các pháo thuyền "Mitraille, Bourdais, Alom Frah, Espignole, Glaive, Fanconneau, Hallebarde, Arc" và một đoàn tàu vận tải. Nhờ có sa mù của buổi sớm mai, đoàn tàu chiến của Pháp tiến đến đậu trước thành Vĩnh Long mà bên Việt không hay chi hết. Rồi họ đổ bộ, binh sĩ chĩa súng vào thành. Quá bảy giờ sáng thành bị vây hoàn toàn, quan quân Việt mới biết.
Đến nơi, Bộ tham mưu Pháp phái Legrand de la Liraye đem một tối hậu thư vào thành buộc Phan Thanh Giản phải nhượng Vĩnh Long,An Giang vàHà Tiên; nếu không quá hai giờ sau Pháp sẽ công phá thành. Quan Kinh lược Phan cùng án sát Võ Doãn Thanh hết sức lúng túng, xin hội kiến với La Grandière và xin khoan hạn để hỏi ý kiến triều đình vì biết rằng không thể đối phó nổi bằng quân sự với Pháp. Nhưng cuộc hội kiến vô kết quả. Hai người trở ra về thì thành đã bị mất. Hôm ấy là ngày 20 tháng 6 năm 1867.[6]

Khi quân Pháp một lần nữa lại ung dung tiến vào chiếm đóngthành Vĩnh Long, thì ở đây đang chuẩn bị kỳthi Hương. SáchLịch sử Việt Nam (1858-cuối XIX) chép:Ba vị đốc học đang lo tổ chức kỳ thi rất phẫn uất vì sao quân Pháp ngang nhiên tiến vào mà không hề gặp sự kháng cự nào, bèn cùng nhau bỏ ra thành, xuống thuyền cố chèo điChâu Đốc để tổ chức kháng Pháp. Biết được, quân Pháp xuống thuyền đuổi theo bắt lại, một vị đốc học già đã tự sát.[7]
Tiếp đó là một phong trào "tị địa"[8] lần thứ hai của các sĩ phu Vĩnh–An–Hà. Một số nhà nho yêu nước đã tìm đường raBình Thuận, lậpĐồng Châu Xã và căn cứ ở Tánh Linh nhằm mưu cuộc kháng chiến lâu dài.
Sau khithành Vĩnh Long thất thủ và bị chiếm đóng, nhân dân ở nhiều nơi vẫn tiếp tục phất cao ngọn cờ kháng chiến, tuy điều kiện không còn thuận lợi như trước nữa. Bởi lúc này, các quan tỉnh đã được lệnh bãi binh theoHòa ước Nhâm Tuất.
Tuy nhiên, ởBến Tre,Vĩnh Long...Phan Tôn cùngPhan Liêm (đều là conPhan Thanh Giản) vẫn cương quyết đứng lên khởi nghĩa (1867-1868). ỞRạch Giá (Kiên Giang),Nguyễn Trung Trực cũng đã tổ chức đánh chiếm tỉnh thành này và làm chủ được 5 ngày (16 tháng 6 năm 1868 -21tháng 6 năm1868).Thủ Khoa Huân, sau khi bị đày rồi được tha (tháng 2, năm1869), lại tiếp tục kháng Pháp...
Cùng với các cuộc nổi dậy khác, tất cả đã làm cho thực dân Pháp phải lao đao. Sử Pháp thú nhận:Những cuộc thất bại của quân đội triều đìnhĐại Nam, không có ảnh hưởng chút nào đến tình hình ứng nghĩa của các vùng đã bị chiếm đóng.[9]

Sau khithành Vĩnh Long thất thủ lần đầu, tiếp theo làHòa ước Nhâm Tuất (1862) ra đời, danh sĩPhan Văn Trị đã làm một bài thơ như sau: