Počátky firmy sahají do konce 19. století. V té době si několik amerických vynálezců nechalo patentovat své objevy a asi nejznámějším z nich byl stroj ke čtení dat z děrovacích štítků Hermanna Holleritha, který tento německý imigrant vyrobil na vládní zakázku pro sčítání obyvatel. Všechny objevy a firmy 16. června 1911 spojil Charles Ranlett Flint ve společnost Computing Tabulating Recording Company (CTR).

První zlom v historii firmy nastal v roce 1914, kdy do ní nastoupil Thomas Watson, který se hned následující rok stal prezidentem společnosti. Tento dravý podnikatel přidal k novým technologiím do té doby chybějící marketing, současně kladl velký důraz na spokojenost svých zaměstnanců a firma se začala nebývale rychle rozrůstat. Ke kuchyňským přístrojům a strojům pro zpracování štítků začala firma postupně kráčet k počítačům.

V roce 1924 Watson změnil jméno firmy na International Business Machines (IBM). Když v roce 1956 zemřel, obrat firmy byl téměř stonásobný proti roku 1914 a astronomicky narostl také počet jejích zaměstnanců. Kromě nebývalého rozmachu IBM Watson po sobě zanechal legendární výrok, že "na světovém trhu je prostor pro možná pět elektronických počítačů".

První kalkulačka z roku 1944

V roce 1944 IBM přišla s prvním kalkulátorem, kterému se říkalo Mark I. Byl sice ještě poněkud velký a vážil pět tun, ale i tak se jednalo o senzaci. Následovaly sálové počítače, první pevný magnetický disk RAMAC 305 a také například programovací jazyk Fortran. Revoluci nejen ve světě počítačů rozpoutal sálový počítač System/360.

Tento nejvyspělejší počítač své doby přinesl některé důležité technologie, které se používají dodnes. V roce 1969 IBM změnila způsob prodeje své technologie - místo nabízení hardwaru, softwaru a dalších služeb výhradně dohromady, začala jednotlivé komponenty nabízet zvlášť. Tím se vyšvihla do extraligy mezi technologickými firmami.

První pokus o naskočení do rozjíždějícího se vlaku osobních počítačů nedopadl pro IBM nejlépe. Počítač s označením IBM 5100 z roku 1975 si mnoho zákazníků nenašel. Po prvotním nezdaru společnost uvažovala o koupi některého z úspěšnějších konkurentů, nakonec ale vsadila na vlastní síly. V kalifornských laboratořích IBM v Boca Raton se pokusil tým odborníků pod vedením Dona Estridge sestavit počítač, v interních materiálech označovaný šifrou Acorn. Důležitým kritériem při vývoji počítače byla možnost sestrojit jej z běžně dostupných součástek, což snižovalo finanční i časové náklady na vývoj. Po asi rok trvajícím úsilí se podařilo dát dohromady stroj, který byl představen pod názvem PC - Personal Computer v srpnu 1981 a který začal psát historii osobních počítačů.

Revoluční model 5150 využíval operační systém MS DOS 1.0 společnosti Microsoft a procesor společnosti Intel a prodával se za 1565 dolarů (dnešních asi 3750 dolarů). Pevný disk v počítači nebyl, nicméně uživatel si mohl výsledky své práce uložit na magnetofonovou pásku nebo na disketu. Ve druhém případě si však musel připlatit za příslušnou mechaniku.

Společnost IBM sice stála na počátku fenomenálního úspěchu PC, ve druhé polovině 80. let však přišla o své výlučné postavení v této části trhu, z čehož pramenila i záporná čísla v účetnictví. Na nohy firmu postavilo v 90. letech několik akvizic - v roce 1995 získala Lotus Development a o rok později pohltila Tivoli System. V roce 2005 prodala IBM divizi osobních počítačů čínské společnosti Lenovo a nyní se zaměřuje hlavně na lukrativní trh softwaru a počítačových služeb a je světovou jedničkou v oboru.

V loňském roce "velká modrá", jak se IBM přezdívá, utržila 99,9 miliardy dolarů při čistém zisku 14,8 miliardy dolarů. Ve 200 zemích světa zaměstnává 427 tisíc lidí. V samostatné České republice působí její pobočka od roku 1991.