WIXLIB

Шаг 2: Обработка записанной нагрузки Создать тестовую систему Данные должны соответствоватьрабочей системеМожно использовать RMAN для восстановленияданных из резервной копии Snapshot standby imp/exp, Data Pump и т.д.Преобразовать файлы сзаписанной нагрузкой в файлы длявоспроизведения, создавнеобходимые метаданныеОбработка должна делаться на тойже версии БД, где будетпроводиться тестированиеРекомендуется использоватьтестовую системуПосле обработки файлы могутпроигрываться много разДля RAC, если использоваласьлокальная файловая система,надо собрать все файлы снагрузкой в одну директорию дляобработкиPDF created with pdfFactory Pro trial version www.pdffactory.comТестовая СистемаFile 1File 1File 2File 2 File nFile nMetadataФайлы снагрузкойФайлы и

Шаг 3: Воспроизведение нагрузки Replay Driver – специальнаяклиентская программа, котораячитает обработанные файлы снагрузкой и посылает запросытестовой системеПри воспроизведении сохраняютсявремя, параллельность изависимости, которые были нарабочей системеReplay Driver состоит из одного илиболее клиентов. Длявоспроизведения нагрузки отбольшого количества сессий можетпонадобиться стартовать водить нагрузку можнопосле старта всех клиентовPDF created with pdfFactory Pro trial version www.pdffactory.comReplay DriverReplayClientReplayClientFile 1File 2 File nMetadataФайлы и

Параметры воспроизведения нагрузки Синхронное воспроизведение Нагрузка воспроизводится в полностью синхронномрежимеТе же самые параллельность и интервалы междуоперациями, что и на рабочей системеСоблюдается порядок завершения транзакцийМинимальное отклонение в данных Несинхронное воспроизведение Полезно для нагрузочного тестированияБольшое отклонение в данныхТри параметра определяют степень синхронизации Think time – время между операциями Commit order – соблюдение порядка транзакций Connect (logon) time – скорость подключения сессийPDF created with pdfFactory Pro trial version www.pdffactory.com

Параметры воспроизведения нагрузки Количество клиентов воспроизведения Задаётся пользователем Client Calibration Advisor рекомендуетколичество клиентов для заданной нагрузки Клиенты многопотоковые программы и могутпроигрывать запросы от нескольких сессийодновременноPDF created with pdfFactory Pro trial version www.pdffactory.com

Анализ & Отчёты После воспроизведения нагрузки предоставляютсядетальные отчётыПубликуется 3 типа расхождений Расхождение в данных: Количество строк сравнивается длякаждого вызоваРасхождение в ошибках: Новые: ошибки, которых не было при записи нагрузки Пропавшие: ошибки, которые не воспроизвелись Изменившиеся: ошибка при воспроизведении отличаетсяот той, которая была при записи нагрузкиРасхождение в производительности Захват и Воспроизведение Отчёт: Публикует общуюинформацию о производительности ADDM Отчёт: Детальный анализ производительности AWR, ASH Отчёты: Сравнительный анализ отклоненийPDF created with pdfFactory Pro trial version www.pdffactory.com

Поддерживаемые типы нагрузокПоддерживаемые Все типы SQL (DML, DDL, PLSQL) операцийПолная поддержка LOBЛокальные �ние сессийОграниченный набор PL/SQL удалённых вызовов процедурОграничения Операции прямой загрузки данных (direct path load)OCI based object navigation (ADTs) и REF bindsStreams, не PL/SQL AQ вызовыРаспределённые транзакции, удалённые describe/commitFlashbackShared ServerPDF created with pdfFactory Pro trial version www.pdffactory.com

Database Replay: АнализPDF created with pdfFactory Pro trial version www.pdffactory.com

Отчет Replay:Ошибки и расхождение в данных:SessionsSQL: ErrorsSQL: DivergenceORA-947: Not enough valuesPDF created with pdfFactory Pro trial version www.pdffactory.com

Отчет: Capture Analysis Capture Profile и отчет Подробная статистика о нагрузке Метрики production workload Top EventsTop Service/ModuleTop SQLTop Sessions Непроигранные, отфильтрованныеоперацииPDF created with pdfFactory Pro trial version www.pdffactory.com

Workload Capture Report:Workload Captured PDF created with pdfFactory Pro trial version www.pdffactory.comTop EventsTop Service/ModuleTop SQLTop Sessions

Анализ результатов Базовая информация: Workload Profile Дополнительная информация DB Replay Report AWR Compare Period Report ASH ReportPDF created with pdfFactory Pro trial version www.pdffactory.com

AWR Compare Period Report:Load ProfilePre-ChangePDF created with pdfFactory Pro trial version www.pdffactory.comPost-Change

AWR Compare Period Report:Top SQL by Elapsed TimePre-ChangePost-ChangePDF created with pdfFactory Pro trial version www.pdffactory.com

Рекомендации Заранее продумать стратегию создания тестовой системыДанные должны соответствовать рабочей системеПерестартовать Production DB перед захватомОткатиться к ICNМожно использовать RMAN Duplicate для восстановления данных из резервной копииSnapshot standbyimp/expData PumpClone databaseи т.д.В новом OEM будет специальный интерфейсМожно много раз делать Flashback test databasePDF created with pdfFactory Pro trial version www.pdffactory.com

Database Replay: Workflow в OEMPDF created with pdfFactory Pro trial version www.pdffactory.com

Best Practices Захват Проверьте наличие достаточного свободного места на диске длясоздаваемых бинарных файлов (captured workload) Рестартуйте СУБД (Optional): Рекомендуется для идентичности результатовзахвата и проигрывания Для RAC, используйте разделяемую файловую системуСоздание тестовой среды Обеспечьте, что данные тестовой среды идентичны данным призводственнойсреды в момент захвата. Это уменьшит data divergence Используйте RMAN backup/restore или Snapshot Standby для созданиятестовой среды Для анализа производительности конфигурация HW и SW должны бытьпохожими Переустановите системные часы так, чтобы они совпадали с часамипроизводственной системы, если используется SYSDATEОбработка файлов Обработка загружает процессор и может занять много времени Выполняйте обработку на тестовой системе, а не на едение Используйте Client Calibration Advisor, чтоб определить число replay клиентов,необходимых для воссаздания нагрузкиPDF created with pdfFactory Pro trial version www.pdffactory.com

Анализ влияния Upgrade напроизводительность1. Захватить интересующую нагрузку(Производственная система) Capture Profile Capture отчет AWR / ASH/ ADDM отчет2. Проиграть нагрузку и собратьстатистику до изменений (TEST) EM интерфейс Replay Profile4. Сделать изменения (Upgrade),проиграть нагрузку (TEST)5. Анализировать изменение общейпроизводительности, настроить6. Выполнить ма)YesOK ?PDF created with pdfFactory Pro trial version www.pdffactory.comNo Replay отчет AWR / ASH/ Compare Period /ADDM отчет Сравнение с Capture или сдругим Replay EM интерфейс Процесс можно повторять

Database Replay for Earlier Releases Облегчает переход на 11g “Capture” функционал Database Replay backported to 9.2 & 10.2 Replay only possible on Oracle Database 11g and above ML Note: 560977.1: Real Application Testing for Earlier ReleasesUpgradeFromUpgrade ToRelease /PatchesneededComments11.1.0.6 11.1.0.7Production ReleaseNo one-off patchneeded10.2.0.4 11.1.0.6Patch-set ReleaseNo one-off patchneeded10.2.0.3 11.1.0.610.2.0.3 One-off patchneeded-10.2.0.2 11.1.0.610.2.0.2 One-off patch-9.2.0.8 11.1.0.69.2.0.8 One-off patch-* For Windows see ML NotePDF created with pdfFactory Pro trial version www.pdffactory.com

Надо учесть при Upgrade 9.2.0.8 à 11g9.2.0.8 à 11gStepЗахват Исключите мониторинг/фоновую активность (Statspack, etc.) Для RAC, стартуйте capture на каждом instance вручную Не надо устанавливать параметрыCapture Performance Baselinedata Нет AWR, используйте Statspack Сделайте ручные snapshots до и после workload Экспортируйте данныеПроигрывание и анализ Ручное сравнение Statspack / AWR 11g: AWR, ASH, ADDM reports availableИсправление ухудшенийUI 11g: Errors/Data Divergence: EM Support Workbench SQL DiagAdvisor, SQL Test Case Builder 11g: Performance: ADDM recs, SQL Tuning / Access Advisors,Transport 9i Stored Outlines 9.2 Capture: Command line 11g Replay: DB Control or 10.2.0.5 EM GC when availablePDF created with pdfFactory Pro trial version www.pdffactory.com

Надо учесть при Upgrade 10.2 à 11gStep10.2.0.4 à 11g10.2.0.2,10.2.0.3 à 11gЗахват Set init.ora param pre 11g enable capture true Параметр не нуженCapturePerformanceBaseline data Use AWR SameПроигрывание ианализ 11g: AWR, ASH, Compare Period, ADDM reports SameИсправлениеухудшений Errors/Data Divergence: 11g EM Support Workbench,SQL Diag Advisor, SQL Test Case Builder Performance: ADDM recs, SQL Tuning / AccessAdvisors, Transport 10g Stored OutlinesUI 10.2.0.4 Capture: EM DB Control 11g Replay: DB Control or 10.2.0.5 EM GC whenavailablePDF created with pdfFactory Pro trial version www.pdffactory.com Same Capture: Commandline 11g Replay: Same

EM GC 10.2.0.5 Database ReplayAutomationPDF created with pdfFactory Pro trial version www.pdffactory.com

Демонстрация DatabaseReplay9.2.0.8 è 11.1.0.7PDF created with pdfFactory Pro trial version www.pdffactory.com

Но Database Replay – только для 11g (а нужно ли на 10gмигрировать если все работает?) Многие боятся и ждут 11.2 Хотят с 9i/10.1 на 10.2.0.4 или с 10.2.х на 10.2.у DB replay дает информацию о ти, но возможно часть SQLухудшилась и их можно настроить Можно выявить общие проблемы �ые с Upgrade, и исправить ихPDF created with pdfFactory Pro trial version www.pdffactory.com

SQL PerformanceAnalyzer (SPA)PDF created with pdfFactory Pro trial version www.pdffactory.com

Важность SQL Performance Analyzer (SPA) Бизнесу нужны системы, которые имеютнеобходимую производительность исоответствуют SLA Снижение быстродействия SQL – главнаяпричина плохой производительности системы Не существовало решения для проактивноговыявления регрессии всех SQL DBA используют неэффективные и сложныеручные скрипты для выявления проблемSPA выявляет все изменения в производительности SQL дотого, как они начнут влиять на производительность системыPDF created with pdfFactory Pro trial version www.pdffactory.com

SQL Performance Analyzer (SPA) Тестирует влияние изменений на производительность SQLЗахват SQL нагрузки на рабочей системе, включая планы иbind переменныеВыполнение SQL запросов на тестовой машинеClientClient ClientРабочая ТестоваяВоспроизведение SQLзапросовMiddle TierЗахват SQLOracle DBStoragePDF created with pdfFactory Pro trial version www.pdffactory.com в спомощью SQLTuning Advisor

Польза от SPA Обнаружение ухудшения производительности SQL прежде,чем это отразится на конечных пользователяхSPA полезен при следующих изменениях Обновление БД Изменение статистики оптимизатора Новые индексы, материализованные �ние и т.д.Автоматически отслеживает изменение производительностисотен и тысяч запросов – невозможно сделать вручнуюМинимальные накладные расходы при захвате SQL нагрузкиИнтегрирован с SQL Tuning Advisor и SQL Plan BaselinesPDF created with pdfFactory Pro trial version www.pdffactory.com

SQL Performance Analyzer WorkflowProduction (10.2) ClientsTest PDF created with pdfFactory Pro trial version www.pdffactory.comExecute SQLPre-changeExecute SQLPost-changeComparePerf

Шаг 1: Захват SQL нагрузки Нагрузка хранится в виде SQL TuningSet (STS)STS включает: Cursor CacheИнкрементальныйзахват SQL Tuning Set Рабочая БДPDF created with pdfFactory Pro trial version www.pdffactory.comSQL текстBind Инкрементальный захват пополняетSTS новыми SQL из кэша курсоровSQL можно фильтроватьSQL нагрузка от 10.2.0.1 и вышеможет обрабатываться в SPA 11gМинимальное влияние напроизводительность ( 1%)

Шаг 2: Перенос SQL нагрузки на тестовуюсистемуCursor CacheSQL Tuning SetExport/ImportРабочая БД SQL Tuning SetТестовая БДКопируем SQL tuning set в таблицу (“пакуем”)Переносим таблицу на тестовую систему (datapump, dblink, и т.д.)Копируем SQL tuning set из таблицы (“распаковываем”)PDF created with pdfFactory Pro trial version www.pdffactory.com

Шаг 3: Выполняем SQL до изменений Производительность SQL доизменений – базис длясравнения SQL Trail планы статистикавыполнения Выполняем SQL из SQL tuning set: Получаем планы и статистику SQL выполняется последовательно Каждый SQL выполняется толькораз DDL/DML пропускаютсяМожно отказаться от выполненияSQL и делать только Explain PlanанализДля 9i/10.1 берем из trace fileДля 10g можно выполнить удаленноSQL Tuning SetСледующий SQLТестовоеВыполнениеПлан �тат именензИоДйSQL Performance AnalyzerPDF created with pdfFactory Pro trial version www.pdffactory.com

Шаг 4: Выполняем SQL после изменений Производим планируемые изменения Обновление БД, патчи Сбор статистики для оптимизаторазапросов Изменения схемы Изменение параметров БД Выполнение рекомендаций понастройке, например, создание SQLProfiles Обновление OS и оборудования Выполняем SQL послеизмененийSQL Tuning SetСледующий SQLТестовоеВыполнениеПлан �татВыполненоименензИоДйП о сл еИзмен ен и йSQL Performance AnalyzerPDF created with pdfFactory Pro trial version www.pdffactory.com Получаем новые планы истатистику

Шаг 5: Сравниваем & Анализируем ноимененДо И з ВыполненойименензИеП о слй СравниваемSQL Произв-ть PDF created with pdfFactory Pro trial version www.pdffactory.comElapsed TimeParse TimeExecute Elapsed TimeExecute CPU TimeBuffer GetsDisk ReadsDisk WritesOptimizer CostSPA отчёт показывает влияниеизменений на каждый SQL ОтчётSQL Performance AnalyzerСравниваем �уя различные метрики:Улучшившиеся SQLУхудшившиеся SQLНе изменившиеся SQLSQL с ошибкамиИсправляем плохие SQL используяSQL Tuning Advisor или SQL PlanBaselines

SPA Report32514PDF created with pdfFactory Pro trial version www.pdffactory.com

SPA ReportRegressed SQL StatementsPDF created with pdfFactory Pro trial version www.pdffactory.com

Отчет SPA – исправление регрессировавшегоSQL SQL Tuning Advisor: Помогаетулучшить план выполнения запроса Все ухудшившиеся SQLавтоматически назначаются наулучшение Создание SQL Plan Baselines:Позволяет вернуться к старым,хорошим планам Для 10.2 STA выполнять на тестовой10.2 БД Для 10.2 можно использовать OutlinesPDF created with pdfFactory Pro trial version www.pdffactory.com

SQL Performance Analyzer: ваяИзмененияSteps(1)CaptureSQL (STS)(2)(3)TransportSTSExecute SQLPre-change(6)(4)(5)ComparePerf.Execute SQLPost-changeПовторNoOK ?(7)Изменения в(7)productionPDF created with pdfFactory Pro trial version www.pdffactory.comНастроенная системаYes

Шаг 6: Повтор SPA workflow может быть повторен многораз и для различных изменений Сохраняется история изменений исравненийPDF created with pdfFactory Pro trial version www.pdffactory.com

Шаг 7: Изменение промышленной СУБД иее настройка Выполните отлаженные изменения на промсистеме Перенесите все проверенные настройки напром систему Export/Import SQL Plan Baselines Export/Import SQL Profiles Сделайте изменения в схеме (e.g., useDBMS REDEFINITION) Соберите новую статистику для оптимизатора Измените параметрыPDF created with pdfFactory Pro trial version www.pdffactory.com

Best Practices SQL Workload Capture Используйте incremental STS capture, чтобы аккуратно захватить всеважные SQL Тестовая система Выполняйте SPA на тестовой системе, т к анализ загружает процессор Ensure test system has similar configuration and comparable optimizerstatistics as production Сравнение производительности Для получения более надежных результатов используйте несколькоразличных метрик, например, elapsed time, CPU time, и т д., длясравнения pre- и post-change производительности Исправление регрессии Используйте SQL Tuning Advisor и SQL Plan Baselines Настройка промышленной СУБД Используйте тестирование на уровне схемы или отложенные режимы,чтоб снизить видимость Вашей работы sqltune category, pending statistics, invisible indexes features Maintenance window, resource throttlingPDF created with pdfFactory Pro trial version www.pdffactory.com

Улучшение Regressed SQL Систематические проблемы Проверьте непроанализированные таблицы, PGA память,статистику, системную статистику Читайте “Upgrading from Oracle x to y: What to expect from theOptimizer” на OTN Для операторов, страдающих от изолированных проблем,используйте следующие приемы SQL Profiles: Создайте Profiles рекомендованные SQLTuning Advisor (STA) Stored Outlines: Если profile не были рекомендованы STA,тогда можно использовать Stored Outlines в 9i/10g дляданных SQL операторов. Импортируйте stored outline в 10g.PDF created with pdfFactory Pro trial version www.pdffactory.com

2 Workflow SPAPDF created with pdfFactory Pro trial version www.pdffactory.com

PDF created with pdfFactory Pro trial version www.pdffactory.com

Сценарии использованияSPA при миграции Тестирование изменений в 11.g Тестирование Upgrade 10.2 à 11g Тестирование Upgrade 10.2.x à 10.2.y Тестирование Upgrade 9i/10.1 à 11g Тестирование Upgrade 9i/10.1 à 10.2PDF created with pdfFactory Pro trial version www.pdffactory.com

Миграция из 10.2 в 11g Создать в 10.2 STS (из кэша, AWR, import)Создать тестовую копию 10.2Переместить в нее STS (OEM, scripts)Upgrade test DB в 11g (11.1.0.7)Cоздать Analysis Task (OEM)Выполнить STS удаленно в production 10.2 (patch)Выполнить STS локально в 11gСравнить результат и использовать STA и SQLPlan Baseline для настройки regressed SQLPDF created with pdfFactory Pro trial version www.pdffactory.com

Специфика миграции с 10.2.x на 10.2.y Можно мигрировать с/в Oracle 10.2.0.2/10.2.0.3/10.2.0.4 Нужен посредник 11g для управления процессом и сравнениярезультатов - 11g SPA System (в 10g нет SPA) Посредник имеет маленькую БД Из посредника выполняется удаленное выполнение STS в 10.2 нужен Database Link Patch для Oracle 10.2 зависит от ОС и версии СУБД (смmetalink note 560977.1) Patch for Oracle 11.1.0.6 зависит от ОС и версии СУБД (илинужна 11.1.0.7) Если production DB - Oracle 10.2x надо: Создать клон production database 10.2.x на тестовом узлеСоздать STS в production databaseПереместить этот STS в посредник 11.1Создать remote pre-change trial для Oracle 10.2.x тестового узлаupgrade 10.2.x в 10.2.yПродолжить традиционную работу с SPA .PDF created with pdfFactory Pro trial version www.pdffactory.com

Перемещение regressed SQL в 10.2 спомощью скриптовСоздать список regressedSQL в таблице “Tuningcandidates”Создать новый STS и добавитьв негоэтот regressed SQLСоздать staging table ипаковать в нее этот STSMediatorDB (11.1)Конвертировать staging tableв формат 10.2Переместить (Export/ Copy/Import) Staging table in DB 10.2Распаковать STS из stagingtablePDF created with pdfFactory Pro trial version www.pdffactory.comTest DB (10.2.0.y)

Database Upgrade: 10.2.x - 10.2.yЭкспорт SQL profiles в production system Если STA создает STSprofiles в тестовой 10.2,экспортируйте их, а затемимпортируйте в НОВУЮproduction systembegindbms sqltune.create stgtab sqlprof(table name 'SQLPROF TAB');-- pack all sql profiles, for exportdbms sqltune.pack stgtab sqlprof(profile name '%',staging table name 'SQLPROF TAB');end;/ Используйте Expdp/Impdpдля export/import stage tablebegin Распакуйте SQL profiles,импортированные в новуюproduction 10.2.y, используяCLIPDF created with pdfFactory Pro trial version www.pdffactory.com-- pack all sql profiles, for exportdbms sqltune.unpack stgtab sqlprof(replace TRUE,staging table name 'SQLPROF TAB');end;/

Особенности перехода с 9i/10.1 Там нет STSДанные для построения STS берем из Trace filesСтатистику pre-change берем из trace filesИспользуем скриптыTWP на OTNCкрипты на OTNДля большей части работы используем OEMСравнение в 11.1 SPA system, а настройка втестовой 10.2 DBPDF created with pdfFactory Pro trial version www.pdffactory.com

Database Upgrade: с 9.2/10.1Захват SQL с помощью SQL Trace Выявите моменты интенсивной загрузки СУБД,такие как конец месяца, ежедневный пик и т д. Захватывайте SQL trace по несколько сеансов зараз Используйте dbms support/dbms monitor package,он захватывает bind value Трассировку других сессий SQL trace настройка time statistics true: Важно чтоб собрать сти user dump dest max dump file size trace file identifier Накладные расходы: 10-15% для трассируемой сессииPDF created with pdfFactory Pro trial version www.pdffactory.com

Database Upgrade: 9i/10.1 à 10.2.Export SQL Pro

SQL Performance Analyzer: Выполнение тестов на10.2 и выше Нужны патчи на 9i и 10g † ML 560977.1: Real Application Testing for Earlier Releases 9i R2 10g R2 or 11g 10g R1 10g R2 or 11g 10g R2 10g R2 or 11g SQL Performance Analyzer 9i R2 11g 10g R2 11g Database Replay