Był jazz jest swoistym hołdem dla pierwszych, podziemnych zespołów, próbujących w stalinowskiej Polsce grać zakazaną czarną muzykę amerykańską. Kanwą scenariusza są autentyczne dzieje słynnej łódzkiej grupy Melomani pod wodzą Jerzego Dudusia Matuszkiewicza.
Pierwsza połowa lat pięćdziesiątych, kiedy w Polsce jazz był zakazany. Do Łodzi przyjeżdża z Poznania Jacek Karpiński i zatrzymuje się w domu Witka. Chłopak cieszy się z przybycia nowego kolegi, który gra na banjo i wzmocni skład zespołu. Chłopcy spotykają się w jednej z łódzkich kawiarni, gdzie późnym wieczorem, przekupując orkiestrę, mogą nieoficjalnie zagrać parę jazzowych standardów.
Chłopcy wieczorami ćwiczą zakazaną muzykę jazzową. Jednak jazz doprowadza do tego, że często tracą pracę, są szykanowani. Mimo tego ciągle grają te zakazane utwory.