Der Vermittlungsdienst von Gesprächen wird bei der IP-Telefonie nicht mehr über Anschlussleitungen und stationäre Anlagen realisiert, sondern über Datennetzwerke auf IP-Basis im World Wide Web. Ein Server übernimmt dabei die Vermittlungstätigkeit zwischen IP Adressen im Internet. Dafür werden standardisierte Protokolle verwendet, wie beispielsweise SIP. Das Session Initiation Protocol dient dem Aufbau, der Steuerung und dem Abbau einer Gesprächsverbindung bei IP-Telefonie.
Das analoge gesprochene Wort wird dabei digitalisiert und in kodierte Datenpakete zerlegt, übertragen und wieder zusammengesetzt. Dank der stetig anwachsenden Übertragungsleistung in den vergangenen Jahrzehnten sind für die Verbindungsteilnehmer kein Unterschied zur klassischen Anschlussleitung mehr wahrnehmbar.