Karkoschka wurde zu einem er führenden Vorkämpfer der avancierten, seriellen Musik in Deutschland, leitete von 1948 bis 1968 Orchester und Chor der Hochschule Hohenheim. Seit 1958 war er Professor an der Stuttgarter Musikhochschule und rief dort 1963 das Ensemble Neue Musik ins Leben, das sich auch auf Tourneen für zeitgenössische Komponisten einsetzte. Ab 1973 war Karkoschka Leiter des Studios für Elektronische Musik.
Intensiv hat sich Karkoschka mit den Notationsformen für Neue Musik beschäftigt und zu diesem Thema wiederholt publiziert.