Глава 2. Марковские цепи 37

§ 1. Определения 37

§ 2. Примеры марковских цепей 38

§ 3. Матрицы переходных вероятностей марковской цепи 50

§ 4. Классификация состояний марковской цепи 52

§ 5. Возвратность 55

§ 6. Примеры возвратных марковских цепей 60

§ 7. Еще о возвратности 65

Задачи 66

Некоторые элементарные задачи 71

Замечания 72

Литература 72

Глава 3. Основные предельные теоремы для марковских цепей и их приложения 73

§ 1. Дискретное уравнение восстановления 73

§ 2. Доказательство теоремы 80

§ 3. Вероятности поглощения 82

§ 4. Критерии возвратности 88

§ 5. Пример из теории очередей 91

§ 6. Еще один пример из теории очередей 97

§ 7. Случайное блуждание 102

Задачи 104

Некоторые элементарные задачи 109

Замечания 109

Литература 109

Глава 4. Алгебраические методы исследования марковских цепей 110

§ 1. Предварительные сведения 110

§ 2. Связь между собственными значениями классами возвратных состояний 112

§ 3. Периодические классы 116

§ 4. Специальные вычислительные методы для марковских цепей 120

§ 5. Примеры 125

§ 6. Приложения к бросания монеты 130

Задачи 135

Некоторые элементарные задачи 142

Замечания 143

Литература 143

Глава 5. Теоремы об отношениях переходных вероятностей и их приложения 144

§ 1. Вероятности перехода с запрещением 144

§ 2. Теоремы об отношениях 146

§ 3. Существование обобщенных стационарных распределений 151

§ 4. Интерпретация обобщенных стационарных распределений 156

§ 5. Регулярные, супер регулярные и субрегулярные последовательности марковских цепей 159

Задачи 166

Замечания 169

Литература 169

Глава 6. Последовательность сумм независимых случайных величин как марковская цепь 170

§ 1. Свойства возвратности сумм независимых случайных величин 170

§ 2. Локальные предельные теоремы 174

§ 3. Правые регулярные последовательности марковских цепей 182

Задачи 192

Замечания 196

Литература 197

Глава 7. Классические примеры цепей Маркова с непрерывным временем 198

§ 1. Общие процессы чистого рождения (размножения) и пуассоновские процессы 198

§ 2. Дополнительные сведения о пуассоновских процессах 204

§ 3. Модель счетчика 208

§ 4. Процессы рождения и гибели 212

§ 5. Дифференциальные уравнения для процессов рождения и гибели 216

§ 6. Примеры процессов рождения и гибели 218

§ 7. Процессы рождения и гибели с поглощающими состояниями .. 225

§ 8. Цепи Маркова с конечным числом состояний и непрерывным временем 231

Задачи 233

Некоторые элементарные задачи 241

Замечания 241

Литература 242

Глава 8. Цепи Маркова с непрерывным временем 243

§ 1. Свойства дифференцируемости переходных вероятностей 243

§ 2. Консервативные процессы. Прямые и обратные дифференциальные уравнения 248

§ 3. Построение цепи Маркова с непрерывным временем с помощью ее инфинитезимальных параметров 250

§ 4. Строго марковское свойство 256

Задачи 259

Замечания 261

Литература 261

Глава 9. Порядковые статистики, пуассоновские процессы и их приложения 262

§ 1. Порядковые статистики и их связь с пуассоновскими процессами 262

§ 2. Задача о баллотировке 270

§ 3. Эмпирические функции распределения и порядковые статистики 275

§ 4. Некоторые предельные распределения для эмпирических функций распределения 282

Задачи 287

Замечания 296

Литература 296

Глава 10. Броуновское движение 297

§ 1. Предварительные сведения 297

§ 2. Совместные вероятности для броуновского движения 299

§ 3. Непрерывность траекторий и их максимальные значения 302

Задачи 307

Замечания 311

Литература 311

Глава 11. Ветвящиеся процессы 312

§ 1.Ветвящиеся процессы с дискретным временем 312

§ 2.Соотношения для производящей функции, описывающей ветвящийся процесс 313

§ 3.Вероятности вырождения 316

§ 4.Примеры 320

§ 5.Ветвящиеся процессы с двумя типами частиц 325

§ 6.Ветвящиеся процессы с несколькими типами частиц 332

§ 7.Ветвящиеся процессы с непрерывным временем 333

§ 8.Вероятности вырождения для ветвящихся процессов с непрерывным временем 337

§ 9. Предельные теоремы для ветвящихся процессов с непрерывным временем 340

§ 10. Ветвящийся процесс с непрерывным временем и двумя типами частиц 345

§ 11. Ветвящиеся процессы, зависящие от возраста 352

Задачи 357

Замечания 362

Литература 362

Глава 12. Составные случайные процессы 363

§ 1. Многомерные однородные пуассоновские процессы 364

§ 2. Применение многомерных пуассоновских процессов в астрономии 370

§ 3. Иммиграция и рост популяций 372

§ 4. Вероятностные модели мутации и роста 375

§ 5. Экспоненциальный рост одномерной популяции 380

§ 6. Вероятностная модель роста популяции в пространстве и времени 383 § 7. Детерминированный рост популяции с распределением по возрастам 387

§ 8. Дискретная возрастная модель 394

Задачи 395

Замечания 400

Литература 400

Глава 13. Детерминированные и случайные генетические и экологические процессы 401

§ 1. Генетические модели. Описание генетического механизма 401

§ 2. Инбридинг

§ 3. Полиплоиды 417

§ 4. Марковские процессы, порождаемые прямым произведением ветвящихся процессов 420

§ 5. Модели роста популяций с несколькими типами индивидуумов 426

§ 6. Собственные значения цепей Маркова, порожденных прямым произведением ветвящихся процессов 428

§ 7. Собственные значения для модели мутации с несколькими типами индивидуумов 437

§ 8. Вероятностный смысл собственных значений 446

Задачи 455

Литература

Глава 14. Процессы массового обслуживания 460

§ 1. Общее описание 460

§ 2. Простейшие процессы обслуживания (М/М/1). 461

§ 3. Некоторые общие модели обслуживания одним прибором 463

§ 4. Метод вложенных цепей Маркова применительно к модели обслуживания (М/G/1) 469

§ 5. Экспоненциально распределенное время обслуживания (G/M/1) 475

§ 6. Гамма-распределение интервалов между поступлениями и обобщения (Eh/M/l) 479

§ 7. Экспоненциальное обслуживание s приборов (GI/M/s) 483

§ 8. Виртуальное время ожидания и период занятости 487

Задачи 493

Замечания 499

Литература 500

Приложение 501

§ 1. Спектральная теорема 501

§ 2. Теория Фробениуса положительных матриц 507

Различные задачи 518

Предметный указатель 531

Классическим разделом теории случайных процессов является теория стационарных (в широком смысле) процессов, которая дает основу решения многих прикладных задач. Задачи современной науки и техники выдвинули на первый план проблемы, связанные с исследованием случайных процессов, порождаемых последовательностями независимых случайных величин. Это цепи Маркова, марковские процессы со счетным множеством состояний, процессы восстановления, полумарковские процессы. Их роль объясняется в значительной степени тем, что реальные процессы, изучаемые с помощью вероятностных методов, по самой своей природе связаны с чередованием событий случайной продолжительности (например, процесс функционирования резервированной системы с заменой отказавших элементов). Интересно отметить, что и те физические процессы, которые ранее изучались в терминах математического ожидания и корреляционной функции, например флуктуационные процессы в радиотехнических устройствах, теперь в соответствии с новыми задачами рассматриваются с точки зрения случайных последовательностей, отражающих определенные изменения состояний процесса. Из такого рода задач возникает теория потоков однородных событий, порождаемых случайными процессами.

В конце каждой главы автор поместил задачи; читателю, естественно, следует их решать.

Книга С. Карлина может быть рекомендована математикам, физикам, специалистам по исследованию операций, биологам и вообще всем, желающим войти в проблематику теории случайных процессов и овладеть методами этой теории. При переводе и редактировании устранены некоторые погрешности оригинального издания.

И. Н. Коваленко

Теория случайных процессов изучает последовательности событий, управляемых вероятностными законами. Она находит многочисленные приложения в физике, технике, биологии, медицине, психологии и других дисциплинах, а также в различных разделах математики. Назначение этой книги — дать введение многочисленным специальным руководствам по случайным процессам. При ее написании я преследовал три цели: во-первых, дать систематическое вводное изложение некоторых основных разделов теории случайных процессов, во-вторых, привлечь внимание тех, кто занимается чистой математикой, к богатому многообразию приложений теории случайных процессов и, в-третьих, для читателя, интересующегося приложениями, подчеркнуть важность «математических тонкостей», показать, что они зачастую связаны с самой природой вероятностных процессов.

Примеры в этой книге в основном заимствованы из биологии и техники; вместе с тем везде делается акцент на тех вероятностных аспектах, которые важны или представляют математический интерес для более чем одной дисциплины. В книге обсуждается и иллюстрируется ряд понятий и проблем, привлекающих в настоящее время внимание исследователей.

Поскольку в элементарной книге невозможно охватить все основные разделы теории случайных процессов, нам пришлось опустить некоторые важные темы и среди них такие, как стационарные случайные процессы и мартингалы. Не предполагалось, что эта книга будет служить исчерпывающим руководством по вопросам, затронутым в ней. Напротив, она должна рассматриваться прежде всего как промежуточное звено между элементарными курсами теории вероятностей и многими превосходными работами по случайным процессам, высокий математический уровень которых делает их недоступными для читателей, знакомых лишь с основами теории вероятностей.

У читателей предполагается знакомство с началами теории вероятностей в объеме первого тома ставшей уже классической книги Феллера «Введение в теорию вероятностей и ее приложения». В § 1 гл. 1 мы даем сводку основных свойств случайных величин и функций распределения, а также вводим важнейшие термины.

Материал, набранный мелким шрифтом, при первом чтении МоЖнО опустить. В конце каждой главы приводятся задачи, цель которых — разъяснить, а во многих случаях и развить изложенную теорию.

Книгу можно использовать для полугодового или годового курса в зависимости от потребностей. Логическая взаимозависимость глав отражена на схеме, приведенной ниже.

При написании книги я пользовался обширной литературой по случайным процессам. Каждая глава завершается списком работ, в которых читатель найдет дальнейшую информацию и библиографию.

Я благодарен коллегам: профессору Чжун Кай-лаю и профессору Дж. Мак-Грегору (Станфордский университет) за советы и полезные комментарии, профессору Дж. Ламперти (Дартмусский университет), профессору Дж. Киферу (Корнеллский университет) и профессору П. Нею (Висконсинский университет) за конструктивную критику, доктору А. Файнстейну за тщательную проверку значительной части рукописи, а также моим студентам П. Милчу, Б. Сигеру, М. Фелдману и Б. Кришнамурти за их полезные советы и помощь при выборе и составлении задач.

Сэмюэл Карлин

Станфорд, Калифорния

Предметный указатель

Абеля лемма 57. 145, 146. 149, 151. 317

Аллели 401

Байеса формула И, 156

Бернулли испытания (биномиальные испытания) 23, 48, 49, 63 Бета-распределение 19 Биномиальный выбор 422, 428 Биортогональность 504 Бореля — Кантелли лемма 21 Бросание монеты 130, 180, 279, 282 Броуновское движение 22, 42, 159, 162, 297

Вероятности перехода с запрещением 144 стационарные 31, 37, 50

— поглощения 82

Вероятностные модели мутации и роста 375 Ветвящиеся процессы 46, 312

с двумя типами частиц 325

непрерывным временем 333, 344

несколькими типами частиц 332

Временной параметр 27

Время марковское 205

— ожидания 467

— — виртуальное 464, 487

— первого достижения 257

— пребывания (длительность пребывания) 204, 213

Возвратный класс (состояние) 57, 59, 60, 66, 76

непериодический 76, 82, 84

— — нулевой 77, 92, 97, 102

-положительный 77, 92, 97, 102, 152

Выборочная функция (реализация) 21

Гамета 402

Гамма-распределение 19

времени обслуживания 480

интервалов между поступлениями 479

Гаплоиды 401 Ген 401

— мутантный 313, 321 Генотипы 401

— гетерозиготные 402

— гомозиготные 402 Грина функция 171

Диагонализация 183

Диплоиды 401

Дисперсия 12

Длина очереди 461

Дробно-линейное преобразование 322

Задача о баллотировке 270

Закон больших чисел (слабый) 20, 173

----------усиленный 20, 174, 466

— устойчивый 181

— Харди — Вейнберга 404 Занятости период 487, 489 Зигота 321, 402

Идентичность по происхождению 414 Инбридинг 410

Инбридинга коэффициент 414 Инфинитезимальная матрица 213, 232, 250.

253, 480 — — консервативная 254

Инфинитезимальные интенсивности рождения и гибели 222

— параметры 215, 255, 333, 345, 346

Ковариационно стационарный 31 Колмогорова дифференциальные уравнения обратные 216, 248, 336

---------прямые 217, 249, 336

Критерий сходимости Леви 16, 190 Кроссинговер 417

Лапласа преобразование 17

Мальтусовская интенсивность 392 Маргинальная (частная) функция распределения 13 Марковская цепь 37, 38 " в генетике 47

— — вложенная 464, 469, 480, 483

— — консервативная 248, 259

— — непериодическая 54

неприводимая 52, 88, 89, 152, 170

пространственно однородная 39

Марковский момент 256, 257 Мартингал 29 Медиана 12 Миграция 406

Модели обслуживания одним прибором 463 Модель мутации с несколькими типами индивидуумов 437

— счетчика 208

— телефонного узла 220 Мутационное давление 48, 221 Мутация 405

Нагрузка системы 471

Невозвратный класс (состояние) 57, 97, 102 Нейтронная цепная реакция 312 Непрерывность траекторий 302

Образование очереди 44, 219 Обслуживание s приборов 483 Обслуживания дисциплина 460

— порядок обратный 493 *— — прямой 460, 467 Ортогональные полиномы 123, 125 Отбор 49

— гаметический 406

— зиготный 406

Отношения при расщеплении 404 Очередь с абсолютными приоритетами 498

Перекрест 418 Периодические классы 116 Периодичность марковской цепи 53 Плотности функция 263 Полиморфизм 407 Полиплоиды 401 Положительные матрицы 111 Полуаддитивности неравенство 244 Порядковые статистики 207, 262, 373 Последовательности регулярные 159, 182

— субрегуляриые 159

— суперрегулярные 159 Потенциала теория 171 Поток восстановления 461

— входящий 460

Поток входящий произвольный 480 пуассоновский 469

— простейший 461 Представление Рисса 162

— спектральное 110, 124, 504

Принцип инвариантности для случайных процессов 299

— отражения 302, 303 Производящая функция 16 Пространственная однородность 171 Пространство состояний 27 Процесс винеровский 23

восстановления 260

общий 260

— диффузионный 303

— логистический 224

— марковский 30

— минимальный 215, 254

— обратный 156

— пуассоновский 23, 262

неоднородный 376, 378

однородный 26

-------многомерный 364

-------пространственный 26, 364

— рождения и гибели 212, 247

— — — — с линейным ростом 218, 228, 230. 334

— с независимыми приращениями 29, 265

— стационарный 30

— чистого рождения 200, 212

— Юла 200, 203, 236, 240, 374

Прямое произведение ветвящихся процессов 422

Разорение игрока 41, 86, 87 Распределение биномиальное 20, 208 отрицательное 20

— времени обслуживания 461

— геометрическое 20

— конечномерное 15

— нормальное 19 многомерное 18

— Паскаля 20

— по возрастам 387

— полиномиальное 18 отрицательное 35

— пуассоновское 20

— равномерное 19

— стационарное 77, 218 обобщенное 151, 156

— условное 13

— экспоненциальное 19, 202

— эрланговское 461, 499 Расщепление хроматндное 418

— хромосомное 418 Рост популяции 372

— — детерминированный 387

Самооплодотворение 411

— вероятностная модель 427 Серии успехов 46, 63

Система с бесконечным числом обслуживающих приборов 220, 494 ограничениями 494

. одним обслуживающим прибором 220

Скорость приближения к гомозиготному состоянию 447 Случайное слияние гамег 405, 418 Случайные блуждания 120, 123, 130, 214

вложенные 226, 228

одномерные 40, 60

симметричные 42, 43, 61, 298

— — с отражающим экраном 125 -----------поглощающим экраном 127

— величины невырожденные 171 независимые 13, 16

перестановочные 271, 273, 489

периодические 175

Совместные функции распределения 12 Сообщающиеся состояния 52, 54 Состояние мгновенное 252

— устойчивое 252, 259 Спаривание ассортативное 410

— неслучайное 410

— сибсов 411

— случайное 404 Спектр непрерывный 124 Спектральный радиус 111 Среднее время возвращения 77

— значение 12

Статистика Колмогорова — Смирнова 285 Строго марковское свойство 256 Супергармонические функции 162

Теорема восстановления 488 обобщенная 186

— Руше 482

— спектральная 501

Теоремы об отношениях 146, 155

Упорядоченные наблюдения из равномерного распределения 209 Уравнение восстановления 73, 74, 80, 390

— диффузии 298

— Колмогорова — Чэпмена 213, 231, 298, 335,

346

Условная вероятность 13

— плотность 13

Условно независимые множества 266 Условное математическое ожидание 14

Формула полной вероятности 11, 29, 255,

353, 492

Фробениуса теория положительных матриц 507

Характеристические функции 15

Центральная предельная теорема 21, 23, 181, 299, 383 Центромер 417

Электронные умножители 312 Эмпирические функции распределения 270,275

> Эргодическая теорема 74 Эренфестов модель 43, 238