在船上，张荣发一面尽力老老实实地干活，不让日本人挑出他的毛病；一面利用一切机会学航海知识、学船体结构，学一切有用的本领。每次航海归来，他不是像别人一样忙着逛酒吧、进夜总会，而是奔向书店、图书馆，像海绵吸水一样吸取各种知识。凭着聪明与智慧，他很快得到了日本人的赏识，一步步由海员、事务员、事务长、理货员、二副、大副直到升为船长。这时，一家航运公司看中了他，聘请他为副总经理。但是，胸怀大志的张荣发决不甘心久居人麾下，他毅然回绝了这份令人垂涎三尺的工作。他的目标是要创办自己的航运公司，要与日本人一决高下。
1968年9月1日，41岁的张荣发集资创办了“长荣海运有限股份公司”。当时，公司占地面积不过80平方米，办公室只能容纳6人，资本只有200万新台币。
其时，世界上海运巨头林立，海运业竞争十分激烈。大公司有美国的“海运”、“美利坚总统海运”、“海陆海运”，丹麦的“玛斯克海运”，西德的“哈培·劳伊德海运”以及香港公司，小的航运公司更是不计其数。在这大大小小的海运公司中，只有一条船的“长荣海运公司”如何能站住脚？长荣公司开业好久也没有揽到一个顾客，但张荣发丝毫没有被暂时的困难吓倒。他带着员工四处走访，三番五次上门找货主，并提出许多优惠条件，终于揽到了生意。打开局面后，长荣公司的业务量迅速增加，并很快在货主中树立了威信。第二年，长荣公司一连买了三条船，公司的业务迅速扩大。到1978年，长荣公司创业10年时，已经能够与当时的船王董浩云分庭抗礼，足见其声势之盛。