카오스는 컴컴한 텅 빈 공간, 곧 혼돈(混沌)을 뜻한다. 물리학에서는 불규칙적인 결정론적 운동을 가리킨다. 카오스이론은 1900년대 물리학계에서 3체 문제, 난류 및 천체 문제 등의 비선형 동역학을 연구하는 과정에서 출발하였다. 1961년 미국의 기상학자 로렌츠(E.N.Lorentz)가 기상 모델을 연구하면서 나비효과(butterfly effect)를 발표하여 이론적 발판을 마련하였고 그 후 활발히 연구되었다.

나비효과란 중국 베이징[北京]에 있는 나비의 날갯짓이 다음 달 미국 뉴욕에서 폭풍을 발생시킬 수도 있다는 비유로, 지구상 어디에선가 일어난 조그만 변화가 예측할 수 없는 변화무쌍한 날씨를 만들어낼 수도 있다는 것을 의미한다. 로렌츠의 이러한 생각은 기존의 물리학으로는 설명할 수 없는, 이른바 '초기 조건에의 민감한 의존성', 곧 작은 변화가 결과적으로 엄청난 변화를 일으킬 수 있다는 사실을 보여준다.

카오스이론은 작은 변화가 예측할 수 없는 엄청난 결과를 낳는 것처럼 안정적으로 보이면서도 안정적이지 않고, 안정적이지 않은 것처럼 보이면서도 안정적인 여러 현상을 설명하려는 이론이다. 겉으로 보기에는 한없이 무질서하고 불규칙해 보이면서도, 나름대로 어떤 질서와 규칙성을 가지고 있는 여러 현상을 설명하려는 이론이다.

물리학에서는 안정된 운동 상태를 보이는 계(系)가 어떤 과정을 거쳐서 혼돈 상태로 바뀌는가를 설명함으로써 혼돈 현상 속에도 어떤 숨겨진 질서가 있다는 것을 밝히려는 이론으로 정의한다. 혼돈 속의 질서와 관련해 카오스이론을 다룬 대표적인 저서로 벨기에의 물리학자 프리고진(Ilya Prigogine)과 철학자 스텐저스(Isabelle Stengers)가 1979년 공동으로 집필한 《혼돈으로부터의 질서 La Nouvelle Alliance》를 들 수 있다. 양자역학에서도 불확정성원리나 양자계와 관련해 카오스를 다루는데, 이를 양자카오스라고 한다.

지금은 물리학뿐 아니라 경제학·수학·기상학·천문학·의학·생물학 등 다양한 분야에서 활발한 연구가 이루어지고 있지만, 아직까지는 초기 단계에 머물러 있다. 카오스이론을 보여주는 대표적인 예로는 증권시장에서 주식 가격의 변화, 나뭇잎의 낙하운동, 물의 난류 현상, 회오리바람, 태풍이나 지진 메커니즘 등을 들 수 있다.