Chuyện kể rằng: vào năm 1772 có ông Lương là mục đồng lớn tuổi, người thôn Bàu Bèo. Một hôm như thường lệ, ông thả trâu trên cánh đồng hoang, sình lầy rộng lớn. Khi ông cho trâu lội ngang qua Bàu Sọ (nằm giữa Bàu Sấu và Bàu Bèo), gặp phải một tượng đá dài, to lớn đứng thẳng đứng dưới lớp sình dày, ông liền chạy về báo cho dân làng biết. Các vị kỳ lão và bà con vội vã chạy đến cùng nhau đem tượng lên xem thì phát hiện đây là pho tượng Phật bằng đá có bốn tay: hai tay trên cầm mặt nhật, mặt nguyệt; hai tay dưới cầm trái châu và tích tượng, đứng trên tòa sen cao khoảng 1,40m. Dân làng vui mừng bàn nhau rước tượng về lập chùa thờ với tên gọi là chùa Phật Đá (địa điểm cách chùa hiện tại 500m về hướng Tây Bắc). Ông Lương tình nguyện hằng đêm đến thắp hương cho Phật và trông nom chùa. Từ đó, giữa vùng hoang vu vắng lặng xuất hiện tiếng mõ cầu kinh, cùng những hồi chuông ngân dài xua đi màn đêm cô tịch. Năm 1789, chùa được một viên quan của triều đình tên là Bảo Hộ hỗ trợ xây dựng lại khang trang và đặt tên chùa là "Linh Phước cổ tự", khách thập phương đến cúng viếng ngày một đông.

Khi thực dân Pháp xâm lược lục tỉnh, chùa không còn khách vãng lai, trở nên hoang vắng, quạnh hiu. Năm 1886, tượng Phật bị trẻ mục đồng đánh cắp đưa về tận chùa Mục Đồng ở Chợ Bưng. Mãi đến năm 1897, mọi người phát hiện và đưa trở về chùa, sau đó rước cụ Từ Hòa về hộ trì chùa. Đầu thế kỷ XX, khi Pháp cho xáng đào kênh La - com, chùa di dời về chỗ hiện nay với diện tích 7 ha và được Hòa Thượng Thích Quảng Ân (trụ trì) cho xây ngôi chùa mới có 4 nóc rất khang trang. Ông còn cho làm khuôn đúc Phật, đúc được tượng Phật Chuẩn Đề 18 tay. Tín đồ phật tử tề tựu ngày một đông. Lúc này, chùa được Giáo hội Phật giáo công nhận là "Linh Phước cổ tự".

Năm 1927, chùa được trùng tu, xây tường nối dài nhà Tổ, xung quanh vườn chùa có những cây sao lâu năm cao ngất. Khách thương buôn từ phương xa nhìn hàng sao ấy mà biết địa điểm chùa Phật Đá Bàu Bèo. Thuở ấy, nhiều bậc anh tài đã đến viếng chùa để lại một số bài thơ, vịnh  phú ca ngợi vẻ đẹp của chùa. Năm 1946, khi Pháp chiếm được Bàu Bèo, chùa Phật Đá bị hư hại nặng. Hưởng ứng lời kêu gọi kháng chiến toàn dân, toàn diện, trường kỳ, chùa đã mang "đại hồng chung" và tất cả đồ đồng trong chùa đến hiến cho công binh xưởng để chế tạo vũ khí chống Pháp. Hàng trăm cây sao to trong chùa cũng được hiến để làm cản chặn tàu địch, bảo vệ vùng giải phóng. Trụ trì chùa cũng tham gia Việt Minh chống Pháp. Hòa bình lập lại, chùa được tái xây dựng, nhưng không bao lâu thì chiến tranh bùng nổ, chùa phải di tản ra Gò Lũy (xã Nhị Bình, Châu Thành - Tiền Giang), sau đó dời về phường 5, thành phố Mỹ Tho. Sau ngày miền Nam hoàn toàn giải phóng, chùa cũ chưa kịp khôi phục thì năm 1978, pho tượng Phật bằng đá nguyên bản tại phường 5 lại bị đánh cắp chưa tìm lại được. Năm 1979, chùa xây dựng lại trên nền cũ với sự đóng góp của phật tử.

Đầu năm 2006, được sự giúp đỡ của Ban trị sự Phật giáo Tiền Giang, chư tôn, đức tăng ni trong và ngoài tỉnh cùng các tín đồ gần xa tiến hành trùng tu lại ngôi chùa từ Chánh điện đến Hậu tổ khá khang trang với kinh phí 1,6 tỉ đồng. Tượng Phật Đá được phục chế đúng nguyên bản. Hôm nay, đến viếng chùa, du khách sẽ bắt gặp các chậu hoa kiểng đủ loại được bố trí hài hòa, đẹp mắt trên một nền cao phía trước chùa. Tượng Phật Quan Thế Âm ngự trên tòa sen được chú tiểu và nhà sư trông nom khá chu đáo, có mái che, đèn điện chiếu sáng. Khuôn viên chùa có nhiều bóng cây vừa mát mẻ vừa tạo vẻ thanh tịnh, trang nghiêm. Gần đây, đông đảo du khách trong và ngoài nước thường lui tới thưởng ngoạn khung cảnh trang nghiêm của chùa Phật Đá.

Với chiều dài lịch sử và vị trí của chùa hiện nay, chùa Phật Đá Linh Phước cổ tự xứng đáng là một di tích văn hóa trong vùng.