Transcription
iIBM SPSS Modeler 14.2 ApplicationsGuide
Note: Before using this information and the product it supports, read the general informationunder Notices on p. .This edition applies to IBM SPSS Modeler 14 and to all subsequent releases and modificationsuntil otherwise indicated in new editions.Adobe product screenshot(s) reprinted with permission from Adobe Systems Incorporated.Microsoft product screenshot(s) reprinted with permission from Microsoft Corporation.Licensed Materials - Property of IBM Copyright IBM Corporation 1994, 2011.U.S. Government Users Restricted Rights - Use, duplication or disclosure restricted by GSA ADPSchedule Contract with IBM Corp.
PrefaceIBM SPSS Modeler is the IBM Corp. enterprise-strength data mining workbench. SPSSModeler helps organizations to improve customer and citizen relationships through an in-depthunderstanding of data. Organizations use the insight gained from SPSS Modeler to retainprofitable customers, identify cross-selling opportunities, attract new customers, detect fraud,reduce risk, and improve government service delivery.SPSS Modeler’s visual interface invites users to apply their specific business expertise, whichleads to more powerful predictive models and shortens time-to-solution. SPSS Modeler offersmany modeling techniques, such as prediction, classification, segmentation, and associationdetection algorithms. Once models are created, IBM SPSS Modeler Solution Publisherenables their delivery enterprise-wide to decision makers or to a database.About IBM Business AnalyticsIBM Business Analytics software delivers complete, consistent and accurate information thatdecision-makers trust to improve business performance. A comprehensive portfolio of businessintelligence, predictive analytics, financial performance and strategy management, and analyticapplications provides clear, immediate and actionable insights into current performance and theability to predict future outcomes. Combined with rich industry solutions, proven practices andprofessional services, organizations of every size can drive the highest productivity, confidentlyautomate decisions and deliver better results.As part of this portfolio, IBM SPSS Predictive Analytics software helps organizations predictfuture events and proactively act upon that insight to drive better business outcomes. Commercial,government and academic customers worldwide rely on IBM SPSS technology as a competitiveadvantage in attracting, retaining and growing customers, while reducing fraud and mitigatingrisk. By incorporating IBM SPSS software into their daily operations, organizations becomepredictive enterprises – able to direct and automate decisions to meet business goals and achievemeasurable competitive advantage. For further information or to reach a representative visithttp://www.ibm.com/spss.Technical supportTechnical support is available to maintenance customers. Customers may contact TechnicalSupport for assistance in using IBM Corp. products or for installation help for one of thesupported hardware environments. To reach Technical Support, see the IBM Corp. web siteat http://www.ibm.com/support. Be prepared to identify yourself, your organization, and yoursupport agreement when requesting assistance. Copyright IBM Corporation 1994, 2011.iii
Contents1About IBM SPSS Modeler1IBM SPSS Modeler Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1IBM SPSS Modeler Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1IBM SPSS Text Analytics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2IBM SPSS Modeler Documentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2Application Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3Demos Folder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4Part I: Introduction and Getting Started2Application Examples6Demos Folder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73IBM SPSS Modeler Overview8Getting Started . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8Starting IBM SPSS Modeler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8Launching from the Command Line . . . . . . . . . . .Connecting to IBM SPSS Modeler Server . . . . . .Changing the Temp Directory . . . . . . . . . . . . . . . .Starting Multiple IBM SPSS Modeler Sessions . .IBM SPSS Modeler Interface at a Glance . . . . . . . . . .99131314IBM SPSS Modeler Stream Canvas . . . . . . . .Nodes Palette . . . . . . . . . . . . . . . . . . . . . . . .IBM SPSS Modeler Managers . . . . . . . . . . . .IBM SPSS Modeler Projects . . . . . . . . . . . . .IBM SPSS Modeler Toolbar . . . . . . . . . . . . . .Customizing the Toolbar . . . . . . . . . . . . . . . . .Customizing the IBM SPSS Modeler Window.Using the Mouse in IBM SPSS Modeler . . . . .Using Shortcut Keys . . . . . . . . . . . . . . . . . . .Printing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14151617181920212122.Automating IBM SPSS Modeler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22iv
4Introduction to Modeling24Building the Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26Browsing the Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32Evaluating the Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36Scoring Records . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405Automated Modeling for a Flag Target41Modeling Customer Response (Auto Classifier). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41Historical Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41Building the Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42Generating and Comparing Models. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 526Automated Modeling for a Continuous Target53Property Values (Auto Numeric) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53Training Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54Building the Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54Comparing the Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60Part II: Data Preparation Examples7Automated Data Preparation (ADP)62Building the Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62Comparing Model Accuracy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 688Preparing Data for Analysis (Data Audit)71Building the Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71v
Browsing Statistics and Charts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75Handling Outliers and Missing Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 789Drug Treatments (Exploratory Graphs/C5.0)83Reading in Text Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83Adding a Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87Creating a Distribution Graph . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88Creating a Scatterplot. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90Creating a Web Graph . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92Deriving a New Field. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93Building a Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96Browsing the Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98Using an Analysis Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10010 Screening Predictors (Feature Selection)102Building the Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103Building the Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105Comparing the Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10811 Reducing Input Data String Length (Reclassify Node)109Reducing Input Data String Length (Reclassify). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109Reclassifying the Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109Part III: Modeling Examples12 Modeling Customer Response (Decision List)115Historical Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116Building the Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117Creating the Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120vi
Calculating Custom Measures Using Excel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133Modifying the Excel template. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139Saving the Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14213 Classifying Telecommunications Customers (MultinomialLogistic Regression)144Building the Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145Browsing the Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14914 Telecommunications Churn (Binomial Logistic Regression) 154Building the Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154Browsing the Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16215 Forecasting Bandwidth Utilization (Time Series)169Forecasting with the Time Series Node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169Creating the Stream. . . . . . . .Examining the Data . . . . . . . .Defining the Dates . . . . . . . . .Defining the Targets. . . . . . . .Setting the Time Intervals . . .Creating the Model . . . . . . . .Examining the Model . . . . . . .Summary . . . . . . . . . . . . . . . .Reapplying a Time Series Model . .170171175177178180182191191Retrieving the Stream . . . . . .Retrieving the Saved Model . .Generating a Modeling Node .Generating a New Model. . . .Examining the New Model . . .Summary . . . . . . . . . . . . . . . .192194195196197199vii
16 Forecasting Catalog Sales (Time Series)200Creating the Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200Examining the Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204Exponential Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204ARIMA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21517 Making Offers to Customers (Self-Learning)216Building the Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217Browsing the Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22318 Predicting Loan Defaulters (Bayesian Network)228Building the Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228Browsing the Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23319 Retraining a Model on a Monthly Basis (Bayesian Network)238Building the Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238Evaluating the Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24220 Retail Sales Promotion (Neural Net/C&RT)250Examining the Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250Learning and Testing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25321 Condition Monitoring (Neural Net/C5.0)255Examining the Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256Data Preparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259viii
22 Classifying Telecommunications Customers (DiscriminantAnalysis)261Creating the Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261Examining the Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266Stepwise Discriminant Analysis . . . . . . . . . . . . . .A Note of Caution Concerning Stepwise MethodsChecking Model Fit . . . . . . . . . . . . . . . . . . . . . . .Structure Matrix . . . . . . . . . . . . . . . . . . . . . . . . .Territorial Map. . . . . . . . . . . . . . . . . . . . . . . . . . .Classification Results. . . . . . . . . . . . . . . . . . . . . .Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .26826926927027127227223 Analyzing Interval-Censored Survival Data (Generalized LinearModels)273Creating the Stream . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273Tests of Model Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279Fitting the Treatment-Only Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279Parameter Estimates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281Predicted Recurrence and Survival Probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282Modeling the Recurrence Probability by Period . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286Tests of Model Effects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292Fitting the Reduced Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292Parameter Estimates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294Predicted Recurrence and Survival Probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29924 Using Poisson Regression to Analyze Ship Damage Rates(Generalized Linear Models)301Fitting an “Overdispersed” Poisson Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301Goodness-of-Fit Statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306Omnibus Te
IBM SPSS Text Analytics IBM SPSS Text Analytics is a fully integrated add-on for SPSS Modeler that uses advanced linguistic technologies and Natural Language Processing (NLP) to rapidly process a large vari
