Ортогона́льная систе́ма фу́нкций, система функций $\{\phi_n(x)\},\,n=1,2,\dots,$ ортогональных с весом $p(x) \gt 0$ на отрезке$[a,b]$, т. е. таких, что

$\displaystyle\int^b_a \phi_m(x)\phi_n(x)p(x)dx=0 \quad\text{при}\quad m\neq n.$Тригонометрическая система: $1,\cos nx, \sin nx, \,n=1,2,\dots,$ даёт пример ортогональной системы функций с весом $1$ на отрезке $[-\pi,\pi]$.

Если каждая функция из ортогональной системы функций такова, что

$$\displaystyle\int^b_a\left |\phi_n(x)\right|^2p(x)dx=N_n=1$$(условие нормированности), то такая система функций называется ортонормированной.

Любую ортогональную систему функций можно отнормировать, умножив $\phi_n(x)$ на число $1/\sqrt{N_n}$ – нормирующий множитель. Из любой системы линейно независимых функций $\{f_k(x)\},\,k=1,2,\dots,$ для каждой из которых существует интеграл

$\displaystyle\int_a^b\left |f_k(x)\right |^2p(x)dx,$можно построить нормированную ортогональную систему функций. Для этого достаточно рассмотреть линейные комбинации этих функций

$\displaystyle\phi_n(x)=\sum^n_{k=1}C_{n,k}f_k(x),$и определить коэффициенты $C_{n,k}$ из условия ортогональности $\phi_n(x)$ ко всем функциям $f_k(x),\, 1\leq k \lt n,$ – из этого следует ортогональность $\phi_n(x)$ ко всем $\phi_k(x),\,1\leq k \lt n,$ – и условия нормированности (процесс ортогонализации). Например, ортогонализуя с весом $1$ на отрезке $[-1,1]$ последовательность функций $1,x,x^2,\dots,$ приходят к многочленам Лежандра.

Отдельные классы ортогональных систем функций изучались ещё в 18 в. Например, Л. Эйлер и Д. Бернулли рассматривали разложения функций в ряды по тригонометрическим и другим системам функций. Исследования по теории потенциала способствовали созданию теории сферических функций. Однако систематическое изучение ортогональных систем функций связано с введением одного метода решения краевых задач уравнений математической физики. Этот метод приводит обычно к задаче о разыскании значений параметра $\lambda$, которым соответствуют не равные тождественно нулю решения дифференциального уравнения вида $y''+q(x)y=\lambda y$, удовлетворяющие граничным условиям $y(a)+hy'(a)=0$, $y(b)+Hy'(b)=0$, где $h$, $H$ – постоянные (см. Задача Штурма – Лиувилля). Соответствующие значения $\lambda$ называются собственными значениями, а решения – собственными функциями задачи. Можно показать, что собственные функции, соответствующие различным собственным значениям, ортогональны с весом $1$ на отрезке $[a,b]$. Чрезвычайно важный класс ортогональных систем функций открыт П. Л. Чебышёвым в его исследованиях по интерполированию методом наименьших квадратов и проблеме моментов (см. Многочлены Чебышёва).

Одной из основных задач теории ортогональных систем функций является задача о разложении достаточно произвольной, удовлетворяющей некоторым ограничениям функции $f(x)$ в ряд вида $\sum\limits^\infty_{n=1}C_n \phi_n (x)$, где $\{\phi_n(x)\}$ – ортогональная система функций. Исторически к этой задаче привёл вопрос о возможности разложения любой функции по собственным функциям, получаемым при применении метода Фурье. Если положить формально $f(x)=\sum\limits^\infty_{n=1}C_n\phi_n(x)$, где $\{\phi_n(x)\}$ – нормированная ортогональная система функций, и допустить возможность почленного интегрирования, то, умножая этот ряд на $\phi_n(x)p(x)$ и интегрируя от $a$ до $b$, получают

$$\displaystyle C_n=\int^b_a f(x)\phi_n(x)p(x)dx. \tag{*}$$Коэффициенты $C_n$, называемые коэффициентами Фурье функции $f(x)$ относительно системы $\{\phi_n(x)\}$, обладают следующим экстремальным свойством: линейная форма $\sum\limits^n_{k=1}C_k \phi_k(x)$ наилучшим образом приближает в среднем эту функцию. Иными словами, средняя квадратичная ошибка с весом $p(x)$, т. е.

$\displaystyle\sigma_n=\int^b_a\left | f(x)-\sum^n_{k=1}C_k\phi_k(x)\right |^2p(x)dx=\int^b_a\left |f(x)\right |^2p(x)dx-\sum^n_{k=1}\left|C_k\right |^2,$имеет наименьшее значение по сравнению с ошибками, даваемыми при том же $n$ другими линейными выражениями вида $\sum\limits^n_{k=1}\gamma_k \phi_k(x)$. Отсюда, в частности, получается неравенство Бесселя

$\displaystyle\sum^\infty_{k=1}\left |C_k\right |^2 \leq \int^b_a \left |f(x)\right |^2dx.$Ряд $\sum\limits^\infty_{n=1}C_n\phi_n(x)$ с коэффициентами $C_n$, вычисленными по формуле $(*)$, называются рядом Фурье по ортогональной системе функций $\{\phi_n(x)\}$. Для приложений первостепенную важность имеет вопрос, определяется ли однозначно функция $f(x)$ своими коэффициентами Фурье. Ортогональные системы функций, для которых это имеет место, называются полными или замкнутыми. Условия замкнутости ортогональных систем функций могут быть даны в нескольких эквивалентных формах: 1) любая непрерывная функция $f(x)$ может быть с любой степенью точности приближена в среднем линейными комбинациями функций $\phi_k(x)$, т. е. $\lim\limits_{n \to\infty}\sigma_n=0$ (в этом случае говорят, что ряд $\sum\limits^\infty_{n=1}C_n\phi_n(x)$ сходится в среднем к функции $f(x)$); 2) для всякой функции $f(x)$, квадрат которой интегрируем относительно веса $p(x)$, выполняется условие замкнутости Ляпунова – Стеклова

$\displaystyle\sum^\infty_{n=1}\left |C_n\right |^2=\int^b_a\left |f(x)\right |^2p(x)dx;$3) не существует отличной от нуля функции с интегрируемым на отрезке $[a,b]$ квадратом модуля, ортогональной ко всем функциям $\phi_n(x),n=1,2,\dots$

Полнота тригонометрической системы функций была доказана А. М. Ляпуновым (1896), а полнота системы собственных функций уравнения Штурма – Лиувилля установлена В. А. Стекловым в ряде исследований 1896–1919 гг.

Из полноты системы $\{\phi_n(x)\}$ не следует, вообще говоря, справедливость соотношения $\lim\limits_{n \to \infty}\sum^n_{k=1}C_k\phi_k=f(x)$, т. е. из сходимости в среднем ряда Фурье функции $f(x)$ не следует его сходимость к $f(x)$ в каждой точке $x$. Однако для большинства встречающихся в математическом анализе ортогональных систем функций это соотношение справедливо для всех достаточно гладких функций.

Глубокие исследования о сходимости ряда $\sum\limits^\infty_{n=1}C_n\phi_n(x)$ провёл Д. Е. Меньшов, доказавший, что этот ряд сходится почти всюду, если сходится ряд $\sum\limits^\infty_{n=1}\left |C_n\right |^2\ln^2n$, причём функция $\ln^2n$ в общем случае не может быть заменена медленнее растущей функцией (для некоторых ортогональных систем функций такая замена возможна; так, для тригонометрической системы функций можно вместо $\ln^2n$ взять $\ln n$).

Если рассматривать функции с интегрируемым квадратом модуля как элементы гильбертова пространства, то нормированные ортогональные системы функций будут системами координатных ортов этого пространства, а разложение функции в ряд по нормированной ортогональной системе функций – разложением вектора по ортам. При таком подходе многие понятия нормированных ортогональных систем функций приобретают наглядный геометрический смысл. Например, формула $(*)$ означает, что проекция вектора на орт равна скалярному произведению вектора и орта; условие Ляпунова – Стеклова может быть истолковано как теорема Пифагора для бесконечномерного пространства: квадрат длины вектора равен сумме квадратов его проекций на оси координат; замкнутость ортогональной системы функций означает, что наименьшее замкнутое подпространство, содержащее все векторы этой системы, совпадает со всем пространством и т. д.