Pompa ciepła instalowana jest w domu jako urządzenie wielkości niedużego kotła czy lodówki. Do niego doprowadzane są rury — obwód wymiennika umieszczonego w gruncie oraz obwód grzewczy, niektóre urządzenia zdolne są do podgrzewania wody użytkowej, wtedy posiadają jeszcze jedną parę złącz.
W gruncie umieszczany jest duży wymiennik ciepła, składający się najczęściej z kilkuset metrów rur, ułożonych w taki sposób, na jaki pozwala teren jego zainstalowania. W tych rurach znajduje się niezamarzający płyn, zazwyczaj glikol. Ten płyn schładzany jest w urządzeniu do niskiej temperatury a następnie puszczany przez te kilkaset metrów rur. Przepływając przez te rury umieszczone w gruncie płyn się ogrzewa do temperatury wyższej. Ogrzewając się odbiera on ciepło od gruntu, który jest przez cały rok cieplejszy niż ten płyn. Później to ciepło jest odbierane przez „serce” pompy ciepła, którym jest obwód identyczny jak ten znajdujący się w lodówce.
Schemat działania pompy ciepła.