Die Destillerie wurde im Jahre 1846 von Hector Henderson, der auch Littlemill mit aufbaute, in einer Bucht an der Ostküste von Islay, etwas nördlich von Port Askaig direkt am Islay-Sund gegründet. (Direkt am nördlichen Ende der heutigen Straße A 846). Keine fünf Kilometer nördlich findet sich Bunnahabhain.
1854 übernahm Norman Buchanan, der damalige Betreiber der Isle of Jura Destillerie, die Brennerei. 1863 fiel Caol Ila an Bulloch, Lade & Co., die die Brennerei 1879 ausbauten und renovierten. 1920 ging Caol Ila dann an Robertson & Baxter. 1927 schließlich landete die Destille bei der Distillers Company Limited (DCL). Die operative Führung delegierte DCL 1930 dann an ihre Tochter Scotish Malt Distillers (SMD) die sie bis 1937 stilllegten. Nach nur vier Jahren Produktion folgte 1941 die nächste Ruhepause, sie ging bis 1945. Von April 1972 bis Januar 1974 wurde die Brennerei grundlegend renoviert, während dieser Zeit wurde nicht produziert. Die Anzahl der Brennblasen wurde nun von zwei auf sechs erhöht. Die Eignerin DCL wurde ab 1987 zu United Distillers (UD), ab 1999 dann zu Diageo. Die Tochter SMD heißt heute United Malt and Grain Distillers (UMGD) und hält die Lizenz, die bis 1992 noch bei Bulloch, Lade & Co. lag. Die Originalabfüllungen des Single Malts sind seit 1988 wieder erhältlich.