1950至1960年代的马来西亚建国初期，人人对于建国之路充满憧憬和理想，爱国心切的林吉祥，因此立下了破釜沉舟的从政决心。林吉祥于1941年2月20日在柔佛峇株巴辖出生，祖籍福建漳州东山，父亲林宝山和母亲张九年从中国南下谋生，在马来亚落地生根。
他从小经历了日据时期（1942年至1945年）、英殖民马来亚联邦（1946年）至马来亚联合邦（1948年）的改变，当时的艰难生活环境是现代人难以想象的。童年时的林吉祥曾在华小就读两年后，转读英小，并双管齐下在夜校中继续华文教育，一直到中学为止。而在他中学少年期间就对于独立运动感到印象深刻，因为当时全球各地兴起独立热潮，纷纷争取摆脱殖民统治，马来亚也不例外。
他在一次媒体访问中披露年少时的憧憬，他那时常常与朋友骑脚踏车到处游历时，就兴奋畅谈国际时事以及独立运动等政治议题，表现出对政治的浓厚兴趣，甚至曾笑言要创立政党以便参与选举，可见林吉祥在少年时就已展现他敢作敢为，准备投身政治的决心。
而后，林吉祥也的确在各种的历史大事件中成长包括马来亚（马来西亚半岛）于1957年成功独立，从此脱离英殖民地；1963年与新加坡、砂拉越和北婆罗洲（沙巴）组成马来西亚；1965年与新加坡分家。
1960年，林吉祥迎娶梁玉治，并育有4名孩子，长子林冠英为现任民主行动党秘书长、前财政部长兼前槟州首长。
蒂凡那改变一生
马新还未分家之前，林吉祥中学毕业后在新山担任临时教师；1961年到新加坡就职《海峡时报》记者；1963年至1965年转任新加坡文化部电台记者，期间投身工运界，年仅22岁当上新加坡全国新闻从业员协会秘书长，并在工会界结识了蒂凡那（Devan N air），而改变了林吉祥的一生。
1964年，蒂凡那代表人民行动党（PAP，由李光耀1959年创立）进入半岛竞选，成 功 当 选 吉隆 坡 孟沙 区国会议席。但 随 着 马新 1 9 6 5 年分 家 ， 蒂 凡那 在 马 来 西亚 成 立 了 新政 党 — —民 主行 动 党（D A P），同时邀请林吉祥回到马来西亚担任他的政治秘书。
当蒂凡那献议林吉祥时，他还在新加坡文化部下的电台担任记者并将被提拔上编辑的位子，在当时候可说是“铁饭碗”，若就那样放弃原本稳定妥当的工作，跑去投身毫无保障的政治工作，会被所有人都当作是疯子吧？而事实上，林吉祥就是在所有人都认为他疯了的情况下，毫不犹豫就接受了蒂凡那的邀请，回到马来西亚正式成为政治工作者。
问及林吉祥为何在众人或劝他三思或觉得他疯了的情况下，还要回到马来西亚呢？他只是一脸理所当然地表示，自己是马来西亚人，所以不想要留在新加坡，而要回到自己的故乡，为自己的国家作出贡献。
这份单纯为国出一份力的心思，在他往后数十年风风雨雨的政治生涯中，从未改变过。
林吉祥从1966年至1969年担任民主行动党全国组织秘书和党报《火箭报》的编辑。 1969年起，他担任秘书长，1999年至2004年则担任党主席。
他曾在媒体访问中直言，1950、60年代的政治局势是他的“成长期”，对他有很大的冲击，成为他决定从政的最大因素。
林吉祥自1969年开始担任国会议员，是马来西亚极资深的政治家。至今，林吉祥持续推动马来西亚民主化及捍卫民主，积极为建立“马来西亚人的马来西亚”而奋斗，全民有目共睹。
