Музей Людвига, содержащий одно из значительнейших мировых собраний современного искусства, носит имя в честь меценатов Питера Людвига (Peter Ludwig, 1925-1996) и Ирены Людвиг (Irene Maria Therese Ludwig, урожденная Monheim , 1927-2010).

Любящий союз двух сердец привёл к созданию великолепной коллекции современного искусства, ныне разбросанной по нескольким странам. Началась комплектация коллекции после женитьбы Петера Людвига в 1951 году на наследнице шоколадной империи Ирине Мюнхайм (Monheim), чей прадед Леонард Мюнхайм (Leonard Monheim, 1830- 1913) занимался производством шоколада с 1857 года.

Коллекции супругами Людвиг дарились музеям по всему миру — в Германии, Австрии, Венгрии, России, Китае, на Кубе. 12 музеев носят имя Людвигов.

В Кёльне музей Людвига появился в 1976 году, долгое время он размещался в одном здании с музеем Вальрафа-Рихарца Патриарх музеев Кёльна. Даже когда в 1986 году было построено специальное здание по проекту архитектурного бюро "Busmann + Haberer Gesellschaft von Architekten mbH", созданного в 1972 году Петером Бусманном (Peter Bus­mann) и Готфридом Хаберером (God­frid Haber­er), то сначала оба музея размещались в этом здании, расположенном между Кёльнским собором и Рейном, и только в 2001 году музей Вальрафа-Рихарца переехал на новое место. Кстати, Википедия как всегда всё перепутала и архитектора нового здания музея Вальрафа-Рихарца называет создателем здания музея Людвига.

Хотя музей Людвига начался с подарка коллекции современной живописи супругами Людвиг, но коллекция музея начала комплектоваться задолго до этого. Первым кирпичиком в основании музея стала коллекция произведений живописи экспрессионизма и классического модернизма Йозефа Хаубриха (1889–1961), подаренная им городу Кёльну в мае 1946 года.

Гораздо меньше известно о передаче в 1957 году коллекции работ Макса Бекмана, сделанная в виде завещания Георга и Лилли фон Шницлер. Дело в том , что Georg August Eduard Freiherr von Schnitzler (1884-1962) был нацистским преступником, сосуждённым Нюрбергским трибуналом, а Lilly Bertha Dorothea von Schnitzler (1889 -1981, урожденная von Mallinckrodt) — его женой.

В 1994 году супруги Людвиг передали музею Людвига в Кёльне коллекцию произведений Пикассо, при условии, что музей Вальрафа-Рихарца переедет в другое здание, а музей Людвига останется сам по себе. Пришлось строить для музея Вальрафа-Рихарца новое здание.

После смерти Питера Людвига его коллекциями управляет фонд "Ludwig Stiftung für Kunst und internationale Verständigung GmbH".