L'histoire de K-ON! tourne autour de quatre lycéennes japonaises qui ont décidé de rejoindre le club de « musique légère » de l'école, club qui risquait d'être dissout faute de nouvelles adhésions. Toutefois, elles sont les seules membres du club, et au départ, l'héroïne, Yui Hirasawa n'a aucune expérience en termes d'instruments de musique et ne sait même pas comment lire une partition. De ce fait, les membres du groupe l'aident et se lient ainsi d'amitié.