《937危險函數及存活分析.ppt》由会员分享，可在线阅读，更多相关《937危險函數及存活分析.ppt（78页珍藏版）》请在三一办公上搜索。
1、8 June 2006,Hazard Functioin and Survival Analysis,1,Chapter 12Knowing when to worry:Hazard Functions and Survival Analysisin Marketing,林家如 張惠盈國立中興大學行銷研究所,危險函數及存活分析,8 June 2006,Hazard Functioin and Survival Analysis,2,報告流程,專有名詞介紹存活分析之基本概念顧客維持(Customer Retention)危險(Hazards)由“危險”推導“存活”(From Hazard to
2、Survival)比例危險(Proportional Hazards)課程回顧SAS操作示範,8 June 2006,Hazard Functioin and Survival Analysis,3,專有名詞介紹,Customer Tenure 顧客資歷Customer Lifetime 顧客生命Median customer lifetimeCustomer half-life 顧客生命之中位數Average customer lifetime 平均顧客生命Customer Retention 顧客維持Retention Curve 維持曲線Hazard 危險Censoring 設限,8 J
3、une 2006,Hazard Functioin and Survival Analysis,4,存活分析之基本概念,根源功能重要性行銷應用,存活分析(survival analysis)又稱事件史分析(time-to-event analysis),醫學研究與製造業的失效分析(Failure Analysis),了解顧客何時需開始擔心顧客的重要舉動?何種因素與這些事件最有關係?Ex.對於某顧客於近期內將離開，該有多擔心?此顧客最近尚未採購，是否該開始擔心將永遠流失此顧客?,幫助我們了解事件史(Time-To-Event)的特性:顧客何時可能會離開?下次顧客可能遷移至另一新顧客區隔的時機?下
4、次顧客可能拓展或緊縮顧客關係的時機?顧客關係之中，增加或減少資歷(Tenure)的因素為何?不同因素對於顧客資歷(Tenure)的量化影響,了解不同族群的顧客維持，以及這些區隔可能帶來的利益預測顧客數量了解何種因素具有最大的影響力，可使顧客維持最久,8 June 2006,Hazard Functioin and Survival Analysis,5,顧客維持 Customer retention,與存活很接近，尤其是探討同時間開始的顧客，因此可幫助我們了解存活分析計算顧客維持維持曲線平均顧客資歷放射性元素之衰退,8 June 2006,Hazard Functioin and Surviv
5、al Analysis,6,計算顧客維持,利用顧客資歷(tenure)計算,面臨挑戰:開始點及停止點的決定。取決於企業型態與可得之資料。Subscription and account-based businessTransactional business 技術問題：在可得的資料中尋找起始與停止日期，可能不如初呈現時顯著 起始於簽名當天?雜誌送達當天?促銷結束開始付費時?,8 June 2006,Hazard Functioin and Survival Analysis,7,計算出tenure後即可畫出顧客維持曲線可顯示出在特定期間內，顧客維持的比例。累進圖表，由100%開始若顧客起始點近
6、似，則維持曲線接近於存活曲線。假設顧客起始點相同，從顧客維持曲線可比較不同族群顧客的顧客維持:從特定時間點看，看其維持之比例。顧客生命之中位數(median customer lifetime;customer half-life):一半之顧客流失需多久時間。,維持曲線Retention Curve,8 June 2006,Hazard Functioin and Survival Analysis,8,Note顧客生命中位數無法解答這段期間顧客之平均價值是多少?,一般顧客,優質顧客,利用維持曲線比較顧客不同顧客群,8 June 2006,Hazard Functioin and Surviv
7、al Analysis,9,平均顧客資歷Average Tenure,Average tenure=Average remaining lifetime=Truncated Mean lifetime無法計算真正的平均生命，除非所有的顧客均離開。因此特定時間內的平均生命，統計學家稱為截距式平均生命,8 June 2006,Hazard Functioin and Survival Analysis,10,10,20/10,20,1/10,平均顧客資歷:特定期間內，位於維持曲線下方的面積,8 June 2006,Hazard Functioin and Survival Analysis,11,
8、Example:顧客價值的計算,每年平均顧客價值=$100一般顧客平均生命=3.7年，10-year顧客價值:$1003.7$370優質顧客平均生命=6.1年，10-year顧客價值:$1006.1$610,8 June 2006,Hazard Functioin and Survival Analysis,12,好的顧客是鈾，離開的顧客是鉛。鈾的衰減量，類似維持曲線。呈指數衰減：無論時間的長短，元素皆以固定比例衰減。能幫助了解顧客維持概念，但事實上顧客極少呈現指數衰減。原因:太簡單預測其未來現象。無法呈現顧客忠誠度。留下的顧客和離開的顧客，並不相同。,4.放射性元素之衰減,8 June 20
9、06,Hazard Functioin and Survival Analysis,13,危險 Hazards,屬無母數(non-parametric)之統計方法可延伸出更有用之存活曲線危險機率 Hazard Probability危險函數 Hazard Function設限 Censoring,8 June 2006,Hazard Functioin and Survival Analysis,14,危險機率 Hazard Probability,定義:假設某顧客目前tenure為t(即已存活至t)，那其在t+1前離開的機率為多少?亦即:t時之危險為:t至t+1期間顧客流失之風險。為條件機率
10、的概念值介於0-1之間,計算公式,風險人口(population at risk):所有tenure大於或等於t之顧客，亦包含了在t點流失之顧客,8 June 2006,Hazard Functioin and Survival Analysis,15,危險的例子U.S Life table:,屬於浴缸型的危險函數，開始時高，接著急降，然後逐漸攀升 在某條件年齡下死亡之機率,tenure,8 June 2006,Hazard Functioin and Survival Analysis,16,2.危險函數的型態,Constant Hazard 固定型危險無論顧客已存在多久時間，危險機率都是一
11、樣的(常數)，在圖表上呈現水平線。顧客離開的機率不隨著顧客維持時間而改變。類似放射性元素衰減的型態。Bathtub Hazard 浴缸型危險開始時很高，接著下降並維持平坦一段時間，最後Hazard又再次提高。有綁約期間的客戶。早期顧客因產品不適合，或是尚未付費而離開，接著進入漫長的約期，顧客可能因為違約金或履約的義務而不離開。約期結束後，顧客時常急於離開。(市場改變，投入競爭者懷抱，較好的服務與價格等),8 June 2006,Hazard Functioin and Survival Analysis,17,實際範例,一開始很高：顧客已經簽約，但可能因某些技術因素而無法開始。某些客戶忘記自己
12、已簽約因而尚未開始。,M-Shaped Feature 在9及11週出現高峰。1.在兩個月左右，可能是未繳款。2.在三個月左右。優惠促銷期結束，顧客認為不再需要此服務，很可能又參加另一種優惠活動,緩慢的衰退，表示顧客滯留越久，越不可能離開。可能反應維持時間越久顧客的忠誠度越高,三個月後，不再有高峰，每隔四到五週，會有小的高峰週期，這反應每月付費的週期，消費者通常在收到帳單後離開。,8 June 2006,Hazard Functioin and Survival Analysis,18,3.設限 Censoring,存活分析中最重要的概念:為了計算更精確之危險機率時將某些顧客排除 不予計算在內
13、Hazard Probability：,CENSORED:於T點之前已經離開的顧客，不可再算為人口(TenureT)Tenure=T，但仍然存活者，不能算為人口，因為他仍可能在T+1之前離去,8 June 2006,Hazard Functioin and Survival Analysis,19,Example:圖示+計算,白圈圈:顧客已經離開，確實tenure已知黑圈圈:顧客尚存活，確實tenure未知，必須設限,3,6,7,5,2,1,4,8 June 2006,Hazard Functioin and Survival Analysis,20,8 June 2006,Hazard Fu
14、nctioin and Survival Analysis,21,其它設限型態,競爭風險Competing Risk:必須針對每種風險發展出不同之Hazard例如:顧客離去的原因可分成:自願離去強制離去,8 June 2006,Hazard Functioin and Survival Analysis,22,被強制驅離的顧客，應標示Censored而不是Stopped,8 June 2006,Hazard Functioin and Survival Analysis,23,From Hazard to Survival由“危險”推導“存活”,維持曲線 由危險函數推導更為精準的存活曲線,8
15、June 2006,Hazard Functioin and Survival Analysis,24,維持曲線-顯示出特定期間內顧客維持的比例,方法:一星期前開始之顧客:衡量一星期之維持狀況二星期前開始之顧客:衡量二星期之維持狀況以此類推.,8 June 2006,Hazard Functioin and Survival Analysis,25,呈“鋸齒狀”之維持曲線,1.十星期的維持竟然比九星期高,2.顧客生命中位數竟然不只一個,原因:顧客起始點不同不同時段所獲得的顧客品質(好壞)不同不同時間行銷活動的差異，吸引不同品質的顧客。,8 June 2006,Hazard Functioin
16、and Survival Analysis,26,存活(survival):,Hazards：顧客在某特定時間點上可能離開的機率。Survival：顧客存活至某特定時間點的機率。,Caculation:S(t)=S(t 1)*(1 h(t 1)S(0)=100%(所有的顧客在分析開始時都是存活的。),Note:存活值介於0和1。但存活本身不斷的變小，因為每個接續的值，都乘以一個小於1的數。因此生存曲線由100%開始，慢慢的下降，有時平坦，但絕對不會上升。,8 June 2006,Hazard Functioin and Survival Analysis,27,存活曲線(Survival Cu
17、rve),較平滑較精準逐漸下降,8 June 2006,Hazard Functioin and Survival Analysis,28,比例危險 Proportional Hazards,範例分層(Stratification)Cox比例危險回歸比例危險的限制,8 June 2006,Hazard Functioin and Survival Analysis,29,創始者：Sir David Cox研究Hazards的零時共變數Time Zero Covariates(即初始因子)時，假設這些因素對於Hazards的影響具有一致的比例，且不隨時間改變，因此能夠測量出不同因素的影響。,8
18、June 2006,Hazard Functioin and Survival Analysis,30,範例,吸煙者罹患白血病的風險是非吸煙者的1.53倍。初始狀態：研究者知道對象是不是吸煙者(範例中忽略已戒菸者)。只有兩種初始因子必須考慮，可以只看Hazards曲線並取得整體危險的平均。,8 June 2006,Hazard Functioin and Survival Analysis,31,電話行銷與DM行銷顧客流失的危險機率(Hazards Probabilities)初始狀態：如何成為顧客?(電話行銷或是Dm)電話行銷的危險比DM多了將近兩倍。,8 June 2006,Hazard
19、Functioin and Survival Analysis,32,分層(Stratification),定義測量初始因子對存活的影響由初始狀態定義不同族群的量測方式，每一群都獨立分析。有好的視覺效果，並能產生精確的存活值。不同族群顧客的Hazard機率，可以分別繪製危險(Hazards)機率曲線，並產生存活(Survival)曲線。使用1-Year存活(1-Year Survival)、Median存活或平均截距資歷，表現出差異。,8 June 2006,Hazard Functioin and Survival Analysis,33,分層的假設(限制)初始的影響必須是類別變數。處理連續
20、變數時，需拆解為不連續的區塊(Chunk)。每個群組都必須很大。當有興趣的變數很多時，分類的數量會增加的很快，則危險(Hazard)會越來越不可靠。,8 June 2006,Hazard Functioin and Survival Analysis,34,Cox比例危險迴歸Cox Proportional Hazards,Cox比例危險可以使用類別/連續變數表示危險因子，並計算這種比例。電話行銷的離開(Attrition)危險較DM行銷多了1.5倍。(類別)每增加一個包裝年(Pack-Year)罹患直腸癌的危險增加6.7個百分比。(連續)可以估算出類別以及連續共變數的影響。,包裝年：量測個人
21、長時間吸煙量的方式，例如，1個包裝年相當於一年之中美天吸煙1包，2個包裝年相當於半年之中，每天吸煙1包.。,8 June 2006,Hazard Functioin and Survival Analysis,35,偏概度(Partial Likelihood)假設只有一個顧客在T時間停止，那麼時間T的偏概度就是正好某位特定顧客a停止的Likelihood。偏概度若所有顧客的危險率(Hazard Rates)均相等，偏概度是常數(該時間點，個體除以population)。但危險並不是常數，且通常是初始狀態的某種函數呈現。,8 June 2006,Hazard Functioin and Sur
22、vival Analysis,36,假設初始狀態一致地(常數n)影響所有的危險(Hazards)，和時間無關-這和分層的假設相同。危險(Hazards)出現於乘以初始狀況為基礎的複雜算式的分子與分母中。由於相互約分，剩下的就是包含複雜初始狀況的複雜公式。,8 June 2006,Hazard Functioin and Survival Analysis,37,計算某一特定群體的概度(Likelihood)群體中每個偏概度相乘統計學利用最大概數法估計，可以找到使結果最可能發生的參數，這種參數可以用來表現初始狀態對Hazards的影響。可以處理連續及類別變數。,8 June 2006,Hazar
23、d Functioin and Survival Analysis,38,參考資料,最大概數估算(Maximum Likelihood Estimation)Find Likelihood FunctionTaking,8 June 2006,Hazard Functioin and Survival Analysis,39,比例危險的限制,將時間視為連續的概念比例危險回歸常處理不連續時間的危險假設只有一位顧客在特定時間停止比例危險回歸常處理同一時間有多個人停止。假設初始狀況對危險的影響，不會隨著時間影響實際上初始狀況很少具有這樣完美的比例性（即使在科學研究）。行銷並非受到控制的實驗，事物總是
24、不斷的變遷。,8 June 2006,Hazard Functioin and Survival Analysis,40,雖然沒有簡單的算術可以解釋初始狀態對不同時間的影響，但事實上通常沒有太大的差異。即使假設具有比例性，Cox回歸仍可以判定哪些共變異數對危險有最重大的影響。可解釋何種初始狀況和顧客離去具有相關性。,8 June 2006,Hazard Functioin and Survival Analysis,41,Cox方式是為零時共變數而設計，統計學家稱為初始值(Initial Value)可延伸處理發生於顧客生命期之中的事件-如升級他們的產品，或是產生抱怨。在統計術語中，這些是依時
25、相依性共變數(Time-dependent Covariance)附加的因子能夠在顧客資歷期間的任何時間點出現，而不只是在關係的開始而已。這種因子可能是顧客對於維持活動的回應，或是抱怨。,8 June 2006,Hazard Functioin and Survival Analysis,42,存活分析之應用,處理不同型態的離開(Attrition)顧客何時回來預測隨時間改變的危險,8 June 2006,Hazard Functioin and Survival Analysis,43,處理不同型態的離開(Attrition),傳統作法企圖將被迫離去的顧客整個由危險計算中移除，這是一種錯誤的
26、方式問題點：必須等到顧客已經被強制停止之後，才知道哪些顧客必須被移除。但在之前，這筆資料一直被算在風險人口中。使用顧客關係結束所得到的知識來進行顧客分析，並不是一種很好的方式。,8 June 2006,Hazard Functioin and Survival Analysis,44,正確的方法將問題拆開為自願離開的危險與強制離開的危險。使用所有顧客資料，並設限(Censoring)因其他因素離開的顧客。計算自願耗損的危險：當顧客被強制要求離去顧客離去之前，包含在分析裡面自離去的時間之後，被設限。因為當顧客被要求離去的時間點，他並不是出於自願離去。,8 June 2006,Hazard Fun
27、ctioin and Survival Analysis,45,顧客何時回來,評估失而復得的顧客時，將危險視為顧客在離開數日後重返的機率。,存活曲線(上方曲線)與危險(下方曲線)-行動電話顧客,8 June 2006,Hazard Functioin and Survival Analysis,46,初始的回復比例很高。第一周有超過1/3的顧客回復。許多顧客只是來不及付清帳單。超過90天後，危險接近於0，沒有顧客失而復得。電話號碼為顧客保留三個月。,維持退租,復租的風險,8 June 2006,Hazard Functioin and Survival Analysis,47,確定新(失而復得
28、)顧客與停止顧客之間的關係在這個例子中使用顧客id(行動電話號碼)。保守有效，但有可能遺漏了願意享有新客戶優惠的顧客。確認個人資料，即使在一段時間後，使用不同帳號。可以由社會福利號碼或駕照號碼來連接顧客的資料。,8 June 2006,Hazard Functioin and Survival Analysis,48,失而復得顧客的初始共變數初始：所有已知有關顧客離去時的資料。初始產品與促銷離去前的顧客行為。是不是常抱怨、是不是難失而復得？遊蕩(Roam)的顧客、延遲繳費的顧客等。,8 June 2006,Hazard Functioin and Survival Analysis,49,了解
29、事件史(Time-To-Event)問題客戶一開始加入的是低價計畫，有多久的時間他們會想要升級到高價計畫？顧客升級到高價計畫，有多久可能會降級？由顧客過去的行為，以及不同的顧客具有不同的購買期間，顧客兩次購買之間的期待時間長度為何？存活分析可以知道不同初始狀況的效果，使用比例危險可以判定何種共變數對期望的成果有最大的影響力。,8 June 2006,Hazard Functioin and Survival Analysis,50,預測,預測顧客未來的數量未來某個時間點，停止的顧客數量預測的構成要素現有顧客的模型新顧客對預測的影響,8 June 2006,Hazard Functioin an
30、d Survival Analysis,51,現有顧客的模型找出影響顧客生命週期中不同的共變數。利用全部顧客的一個或多個存活模型。,8 June 2006,Hazard Functioin and Survival Analysis,52,如果顧客存活100天，那麼他在明天停止的機率，是第100天的危險計算顧客後天停止的機會，先假設顧客明天不會停止，並且在第101天停止。這是在100天的條件存活(1-危險=不停止的機率)*101天 的危險。將所有的顧客維持做這樣的處理，就有可能預測現有顧客在未來停止。,8 June 2006,Hazard Functioin and Survival Anal
31、ysis,53,預測一個月的停止。預測已被證實很接近真實發生的狀態利用危險的參數模型，不是經驗危險率(Empirical Hazard Rates)和星期幾有關，結果呈現以週為週期的停止現象。,預測,真實,8 June 2006,Hazard Functioin and Survival Analysis,54,預測時，新顧客的影響。挑戰：要如何估計新的開始?利用包含新開始的預算資料，有時依產品、地理、通路等分類，利用這些影響調整存活模型。結果如這些預算資料一般準確。依照存活技巧的預測，可以結合管理真實等級的程序，而不是這些資料的等級。預測現有顧客的停止，與預測新顧客的停止，能夠估計未來的不同
32、顧客等級。有案例成功使用這種預測方式很多年，因為包含接觸管道的新顧客模型，預測模型能夠完美適用於未來的接觸管道組合。,8 June 2006,Hazard Functioin and Survival Analysis,55,隨時間改變的危險(Hazards),和去年停止的顧客有關的危險，是否和前年停止顧客危險有顯著的差異?將危險架構在停止的顧客，而不是開始的顧客結果是估算依照在特定時間內停止為基礎的危險非正規統計方式：時間窗(Time Window),8 June 2006,Hazard Functioin and Survival Analysis,56,估計2003年停止的顧客危險(Ha
33、zards)在2003年停止的顧客 在2003年第一天仍活躍 在2003年期間成為新顧客 顧客只能成為，他們在2003年第一天為止的資歷的風險人口(Population)，不管他們的資歷為何(對新客戶而言資歷就是0)。,8 June 2006,Hazard Functioin and Survival Analysis,57,Tenure=1，並在2003年停止的顧客風險人口在2002年12月31日與2002年12月30日之間開始的顧客，可能有一天的資歷，並在2003年停止,8 June 2006,Hazard Functioin and Survival Analysis,58,Tenure
34、=365，並在2003年停止的顧客風險人口,8 June 2006,Hazard Functioin and Survival Analysis,59,為了比較的目的，存活較危險本身更有用存活的確在若干年內逐漸遞減。存活的差異很小。然而，若是顧客是以數十萬計，這樣就顯示了顧客品質的降低。,8 June 2006,Hazard Functioin and Survival Analysis,60,課程回顧,危險與存活分析是設計來了解顧客。本章介紹危險是一種顧客在特定時間點離去的條件機率。這種對存活分析的處理，在統計學上是非正統的。統計上採用連續比例的方式而非不連續的時間機率。然而這種處理能更直覺
35、分析顧客。危險就像是顧客生命週期的X光，相關概念：存活，是顧客生存至某一特定時間點的比例，這可以比較不同顧客族群，並將結果轉換為金錢。,8 June 2006,Hazard Functioin and Survival Analysis,61,有充分的顧客時，為不同族群的顧客分別繪製曲線，可以做很清楚的比較。可以在特定時間點研究存活，或是顧客半衰期，以及平均資歷，以更了解顧客。某些顧客必須由分析中排除。設限的概念能夠被延伸並了解競爭危險(Competing Risk)，如自願離去或是強制離去。設限也可以去除某些結果，如抵制，讓結果不會偏斜。,8 June 2006,Hazard Functio
36、in and Survival Analysis,62,危險能夠判定在一開始時，何種因素對提昇或降低危險有關。將顧客分層後，還有另一種COX比例危險回歸。量測顧客離去的機率之外，存活分析有很多應用：預測顧客等級預測顧客生命周其中的其他事件,8 June 2006,Hazard Functioin and Survival Analysis,63,SAS操作示範,客戶資料說明操作示範,8 June 2006,Hazard Functioin and Survival Analysis,64,客戶資料說明,VariablesCUSTOMER_ID：行動電話號碼RATE_PLAN：費率(高、中、低)
37、MONTHLY_FEE：每月電話費MARKET：地點CHANNEL：通路START_DATE：起租日CANCEL_DATE：終止日CANCEL_TYPE：N活躍、V自願離去、I被迫離去,8 June 2006,Hazard Functioin and Survival Analysis,65,操作示範,新建立Library時，勾選Enable at startup,8 June 2006,Hazard Functioin and Survival Analysis,66,Input Data Source,8 June 2006,Hazard Functioin and Survival An
38、alysis,67,Open Input Data Source Node,選擇RAW,選擇整筆資料,8 June 2006,Hazard Functioin and Survival Analysis,68,增加SAS Code Node,8 June 2006,Hazard Functioin and Survival Analysis,69,ProgramScore輸入設限指令尚存活的顧客tenure=20061231-起租日，標注設限其他：終止日-起始日，不設限,8 June 2006,Hazard Functioin and Survival Analysis,70,Export增加
39、score選項,8 June 2006,Hazard Functioin and Survival Analysis,71,增加Score Node執行SAS Code進行設限增加tenure,censored二個變數,8 June 2006,Hazard Functioin and Survival Analysis,72,Data對應到資料,8 June 2006,Hazard Functioin and Survival Analysis,73,SettingApply training data score code to score data set,8 June 2006,Haza
40、rd Functioin and Survival Analysis,74,執行score node，新增的兩個變數已經加入,8 June 2006,Hazard Functioin and Survival Analysis,75,再新增一個SAS CODE對應到Score的資料Programrun(執行SAS Process)proc lifetestdata=emdata.sd_k8xbw outsurv=lifetest method=actintervals=0 to 1000 by 1plots=(s,h);time tenure*censored(1);run;,8 June 2006,Hazard Functioin and Survival Analysis,76,Survival Curve,8 June 2006,Hazard Functioin and Survival Analysis,77,Hazards Curve,8 June 2006,Hazard Functioin and Survival Analysis,78,The end,Thank you for your listening,
