V únoru 1850 byl jmenován mimořádným a v květnu 1852 řádným profesorem vyšší matematiky na pražské technice. Současně v roce 1852 přišla nabídka na místo řádného profesora z univerzity v Innsbrucku, a přestože byl Karl Jelinek Němec, zůstal v Praze. V letech 1861–63 se společně s K. Kořistkou a R. Skuherským podílel významným způsobem na reorganizaci školy. Jelinkův zájem o astronomii, který v mládí získal na hvězdárně, převládl natolik, že v roce 1863 přijal nabídku vídeňské univerzity s místem ředitele tamní observatoře Z pražské techniky odešel v roce 1864, kdy byl ustanoven ředitelem Centrálního meteorologického ústavu ve Vídni. Ředitelem byl do roku 1876. V roce 1870 zastával funkci stálého referenta pro vysoké školy technické při ministerstvu kultu a vyučování.

Dr. Carl Jelínek, jako tehdejší ředitel c. k. Ústředního ústavu pro meteorologii a zemský magnetismus byl mezi 13 zakládajícími členy Rakouské meteorologické společnosti, která byla založena výnosem státního ministerstva z 22. června 1865. Společnost měla v době založení 127 řádných členů.

Jelinek je také zakladatelem rakouské povětrnostní služby opírající se o pravidelná telegrafická hlášení a posléze vydávající denní povětrnostní mapy. Jeho zásluhou se v roce 1873 konal ve Vídni první mezinárodní meteorologický kongres, který byl v podstatě zakládajícím aktem Mezinárodní meteorologické organizace.

Jelinkovi se v budování ústavu dařilo lépe než jeho předchůdci Kreilovi i přes ekonomické problémy vyplývající z prohrané války s Pruskem (1866), jež se projevily za jeho funkční období. Byl nejen vynikajícím vědcem, nýbrž také výborným organizátorem, kterému se podařilo získat od ministerstva vyšší dotace na početní rozšíření personálu i na provozní účely. Pro ústav byla postavena nová budova na Hohe Warte, která byla uvedena do provozu v dubnu 1872.

Jelinek spolupracoval  s Kreilem při konstrukci registračních přístrojů. Do zeměpisné monografie Karla Kořistky věnované Moravě a Slezsku vylíčil podnebné poměry a sestavil fyzikálně meteorologické tabulky, používané i ve 20. století.

Pracoval jako redaktor rakouského meteorologického časopisu Zeitschrift der Österreichen Gesellschaft für Meteorologie (časopis Rakouské meteorologické společnosti), založeného v roce 1866, v němž mimo jiné v roce 1867 publikoval zajímavý příspěvek O přednosti používání elektrického telegrafu k výstraze před bouřemi (Über die Priorität der Anwendung des elektrischen zu den Sturmwarnungen).

Skutečnost, že tři vedoucí pracovníci centrálního meteorologického ústavu pro rakousko-uherské mocnářství se vyškolili na Pražské hvězdárně, zřetelně svědčí o dominantním postavení Klementina v meteorologii i geomagnetismu. Své vedoucí postavení však pražský ústav v důsledku odchodu zmíněných pracovníků do Vídně ztratil a v souvislosti s tím i česká meteorologie, která se začala vyrovnávat s nerozvinutou meteorologií v jiných rakouských zemích. Klementinum nereagovalo na potřeby doby, tj. oddělit meteorologii od astronomie a věnovat se i aplikovanému výzkumu.

Karl Jelinek je autorem 42 vědeckých pojednání a 6 větších samostatných spisů většinou z oblasti geofyziky a meteorologie.