Un 4 de diciembre de 1971, Deep Purple se encontraban en Montreux, Suiza para grabar un nuevo disco. A tal efecto le habían alquilado a The Rolling Stones su estudio móvil (referido en la letra de la canción como "Rolling truck Stones thing" o "the mobile"), y lo tenían aparcado en las instalaciones del Casino de Montreux (referido enla canción como "the gambling house"). En la víspera de las sesiones de grabación, Frank Zappa & The Mothers Of Invention daban un concierto en el teatro del Casino.
Durante el solo de sintetizador de Don Preston en "King Kong", el local salió ardiendo. Algún boliza encendió una bengala dentro del teatro y, fatalmente, se produjo el incendio que asoló y destruyó todo el Casino así como el equipo de los Mothers. La criatura de la bengala pasaría a la historia en la letra de la canción, como "some stupid with a flare gun".
El título de la histórica canción se le atribuye al bajista Roger Glover, refiriéndose a la columna de humo sobre las aguas del Lago Geneva que los miembros de Deep Purple pudieron contemplar desde la habitación del hotel.
El "Funky Claude" que corre de un lado para otro en la canción no es otro que Claude Nobs, el director del Festival de Jazz de Montreaux, quien ayudó a parte del público a escapar del fuego.
We all came out to montreux
On the lake geneva shoreline
To make records with a mobile
We didnt have much time
Frank zappa and the mothers
Were at the best place around
But some stupid with a flare gun
Burned the place to the ground
Smoke on the water, fire in the sky
They burned down the gambling house
It died with an awful sound
Funky claude was running in and out
Pulling kids out the ground
When it all was over
We had to find another place
But swiss time was running out
It seemed that we would lose the race
Smoke on the water, fire in the sky
We ended up at the grand hotel
It was empty cold and bare
But with the rolling truck stones thing just outside
Making our music there
With a few red lights and a few old beds
We make a place to sweat
No matter what we get out of this
I know well never forget
Smoke on the water, fire in the sky
