Свою трудовую карьеру Йорма Олилла начал в лондонском и хельсенском отделениях банка Citibank.
В 1984 году Йорма Олилла приходит работать в корпорацию «Нокиа», а через четыре года становится ее исполнительным директором.
В 1992 году Йорма Олилла становится председателем правления и совета директоров корпорации «Нокиа».
В 1997 году Йорме Олилле вручается особая награда International Media Partners и ING Barings как руководителю компании, имеющей штаб-квартиры во всех развитых странах мира и чье вторжение на рынки наилучшим образом показало, насколько эти рынки содействуют получению взаимной выгоды и доходов, а также обогащают все вовлеченные страны.
С 1 июня 2006 года Олилла становится главой консорциума Royal Dutch Shell.