Karl Heinz Haag wurde am 17. Oktober 1924 in Höchst am Main als ältestes Kind einer Handwerkerfamilie geboren und wuchs im Frankfurter Vorort Höchst auf. Von der Wehrmacht eingezogen, legte er sein Abitur in Saloniki ab und erlebte das Kriegsende in einem bayerischen Lazarett. In Frankfurt begann er ein Studium der Philosophie und Theologie und wechselte an die von den Jesuiten geführte Philosophisch-Theologische Hochschule Sankt Georgen in Frankfurt, wo er 1948 das Philosophicum ablegte. Zurück an der Johann-Wolfgang-Goethe Universität, promovierte er 1951 bei dem aus dem Exil zurückgekehrten Max Horkheimer mit einer Arbeit über Die Seinsdialektik bei Hegel und in der scholastischen Philosophie. 1956 habilitierte er sich mit einer Arbeit über die Transzendentale Logik in der Neuscholastik. In den folgenden Jahren lehrte er zunächst als Privatdozent und später als außerplanmäßiger Professor in den klassischen Fächern der Philosophie. Haag unterscheidet sich von den Denkern der Frankfurter Schule, die philosophische Systeme nicht mehr für möglich hielten, durch systematisches Argumentieren. Theodor W. Adorno sagte über ihn: „Übrigens, Haags Kritik der ‚Fundamentalontologie‘ ist glänzend.“ Max Horkheimer schrieb: „Seien Sie davon überzeugt, dass unsere Verbindung zum Schönsten gehört, was mir an der Universität seit meiner Ankunft aus Amerika widerfahren ist.“
Auf eigenen Wunsch verließ er die Universität und widmete sich seit 1971 ausschließlich der philosophischen Forschung. Daraus gingen seine beiden Hauptwerke hervor. Er starb am 14. April 2011 in Wiesbaden. 2021 übernahm das Archiv der Universitätsbibliothek Frankfurt seinen Nachlass.