(주의: 이 글은 그동안 적어온 세이버메트릭스 글 중에서도 매우 매니악한 분위기의 글이다. 마음의 준비를 하고 읽으시기를...)

Baseball Prospectus가 세이버메트릭스의 중심지이던 시절이 있었다. Voros McCracken이 DIPS 이론을 발표하고, Keith Woolner가 Replacement Level 및 VORP를 소개하던 2000년대 초반이 바로 그 시기이다. 이후 Nate Silver와 Clay Davenport 등 뛰어난 세이버메트리션들이 활약하면서 WARP, EqA와 같은 새로운 스탯과 퍼포먼스 예측 시스템인 PECOTA를 내놓으며 지속적으로 상당한 영향력을 행사해 왔다. 그러나, 최근 들어서는 BP에서 독자적으로 내놓은 기존 스탯들이 많은 비판을 받고, 반면 별다른 새로운 것을 내놓지 못하면서 다소 침체에 빠진 것도 사실이다. Dave Cameron 등은 대놓고 BP를 한물 간 퇴물집단으로 취급하고 있기도 하다. (물론 이것은 세이버메트릭스에 국한된 이야기이고... BP의 Kevin Goldstein이나 Will Carroll 등은 좋은 읽을거리를 많이 제공하는 괜찮은 칼럼니스트들이다.)

그러한 BP가 최근 들어 Eric Seidman, Colin Wyers, Matt Swartz 등을 새로 필진으로 영입한 것은 바람직한 변화의 흐름이라고 할 수 있다. 이번에 Eric Seidman과 Matt Swartz가 SIERA를 발표하는 모습에서도 BP의 변화를 볼 수 있다. BP는 보통 자신들의 스탯에 대해 계산과정에 대한 자세한 설명을 공개하지 않으며, 그나마도 유료 회원 전용 컨텐츠로만 올려놓는 경우가 많았다. 이러한 폐쇄성은 그 자체로도 비난의 대상이 되어 왔고, 발전적인 논의가 풍부하게 재생성되는 데 큰 지장을 주어 왔다. 하지만, 이번 SIERA의 경우는 무려 5개의 포스팅에 걸쳐서 기본 컨셉과 계산 과정이 비회원에게도 상세하게 공개되어 있는 것이다. 아래 링크의 인트로 페이지에 가면 5개의 포스팅을 모두 볼 수 있다.

링크(Baseball Prospectus의 SIERA 페이지)

SIERA는 Skill-Interactive ERA의 약자이다. (이 스탯의 이름을 보면서 과거에 잘나갔던 게임회사 SIERRA를 떠올리는 것은 나 뿐일까??) 이 스탯을 이해하기 위해서는, 역시 BP를 통해 2006년에 발표되었던 Nate Silver의 QERA를 먼저 살펴보는 것이 좋을 것이다.

QERA는 Quick ERA의 약자이다. Nate Silver의 글에 따르면(이 글은 유료 컨텐츠이다. 이런 것들이 BP의 폐쇄성을 나타내는 것이다. 돈을 벌고자 하는 것은 전혀 나쁜 것이 아니지만, 이런 기본적인 글조차 유료인 것은 많은 사람들이 이 스탯에 대해 토론할 기회를 박탈하는 것이다. 게다가 이 글은 발표된지 3년이 넘게 지났는데, 아직도 유료컨텐츠로 묶어둘 이유가 무엇이 있을까? BP 사람들 이외에 거의 아무도 QERA를 쓰지 않는 것은 다 이유가 있다.), 투수의 스탯 중에서 K%, BB%, GB%/FB%가 투수에 따라 상당히 일관된 경향을 보이며, 나아가 투수의 ERA와 밀접한 상관 관계를 갖는다는 것이다. 따라서, 위의 숫자만 가지고 투수의 ERA를 예측할 수 있는 식을 개발하였다.

QERA = (2.69 - 3.4*K% + 3.88*BB% - 0.66*GB%)^2

FIP가 K, BB(+HBP), HR을 사용하는 것과 비교하면, HR 대신 GB%를 사용하는 것이 가장 큰 차이임을 주목하시기 바란다. 또한, 이 식은 선형함수가 아님을 알 수 있는데, 주자를 누상에 내보내면 더욱 많은 점수를 실점하게 되므로 실점은 Linear하게 나타나지 않다는 BP의 주장을 반영하고 있다.

그런데, 이 스탯은 구조적인 문제를 안고 있었다. K%나 BB%가 K/PA, BB/PA로 계산되는 데 반해, GB%는 GB/BIP(Ball in Play), 즉 인플레이가 된 타구 중에서의 GB 비율로, 비교 대상이 되는 숫자가 서로 다른 것이다. 게다가, Eric Seidman과 Matt Swartz(이하 Eric/Matt)에 따르면, 이 식은 "K, BB, GB 간의 상관관계를 제대로 고려하지 않았다"는 것이다.

그래서, Eric/Matt은 QERA를 업그레이드하기로 했다. 그들은 GB/BIP를 (GB-FB-PU)PA로 바꿔서 비교대상을 PA로 통일하였다. (여기에서의 FB는 외야플라이이며, PU은 Pop Up 즉 내야플라이의 약자이다. 쉽게말해 "(그라운드볼-플라이볼)/타석" 이다. Fangraphs의 경우 외야/내야를 구분하지 않고 그냥 FB로 합쳐 놓고 있음을 참고하시기 바란다.) 또한, K%나 BB%, GB%가 상당 부분 서로 영향을 준다고 보고, 위의 QERA 식을 전개한 다음 나오는 모든 변인에 대해 회귀분석을 실시하였다. 예를 들어 K%나 BB% 뿐 아니라, K%*BB%도 중요한 변인이 될 수도 있다고 생각한 것이다.

또한, Eric/Matt은 QERA와 마찬가지로, HR을 변인으로 사용하는 것을 거부하고 대신 GB%를 선택하였다. HR/FB 비율이 투수의 실력이라기보다 운에 의해 많이 좌우된다는 것이 그 이유였다.


이렇게 해서 이들은 새로운 스탯을 개발하게 되었다. 이들이 SIERA를 처음 발표한 것이 미국시간으로 2월 8일이고, 현재의 버전으로 식을 수정한 것이 2월 12일이니, 아주 따끈따끈한 새 스탯인 셈이다.

그런데, 이 스탯의 궁극적인 목표가 아주 재미있다. Eric/Matt의 원문(SIERA 시리즈 중 네 번째 글)을 보자.

To be blunt, our goal was to beat everyone at predicting park-adjusted ERA in the following season, regardless of HR/FB treatment, and beat everyone but FIP and tRA in terms of same-year predictive value.

SIERA의 궁극적 목적은 특정 투수의 올 시즌의 데이터를 가지고 그의 내년 ERA(파크팩터 적용)를 가장 정확하게 예측하는 것이며, 같은 시즌의 ERA에 대해서는 FIP와 tRA 다음으로 정확한 예측을 할 수 있는 것이라고 한다...!!! 이것은 스탯을 비교하는 데 있어서 문제가 될 수 있는데, FIP나 tRA는 투수의 내년 ERA가 아니라 투수의 현재 진짜 기량 수준(True Talent)를 나타내기 위해 개발된 스탯이며, 원칙적으로 미래를 예측하기 위해 개발된 스탯은 아니기 때문이다. SIERA와 FIP 혹은 tRA를 아무 전제 없이 그냥 1:1로 대결시키는 것은 공정하지 않을 수도 있다는 이야기가 된다.

Eric/Matt의 생각은, 수비수나 운의 개입 보다 투수 자신의 역량이 매우 크게 작용하는 변인들(K% 등)은 해가 바뀌더라도 각 투수별로 비슷하게 나타날 것이므로, 올해의 데이터를 가지고 내년의 ERA를 맞출 수 있다면, 그것이 해당 투수의 진정한 기량 수준을 가장 잘 표현하는 스탯이라는 것이다. 이런 주장의 문제점에 대해서는 글의 뒷부분에서 다시 언급하기로 하고, 일단은 이러한 SIERA의 개발 목적을 감안하여 계산식과 결과를 살펴보도록 하자.


Eric/Matt이 회귀분석을 통해 얻은 계산식은 아래와 같다.

SIERA = 6.145 – 16.986*(SO/PA) + 11.434*(BB/PA) – 1.858*((GB-FB-PU)/PA) + 7.653*((SO/PA)^2) +/– 6.664*(((GB-FB-PU)/PA)^2) + 10.130*(SO/PA)*((GB-FB-PU)/PA) – 5.195*(BB/PA)*((GB-FB-PU)/PA)

where the +/- term is a negative sign when (GB-FB-PU)/PA is positive and vice versa.

주: BP 사이트에서는 두 가지의 서로 다른 SIERA 계산식을 볼 수 있다. 즉 시리즈의 1편에 나온 식과 5편 및 인트로 페이지에 나온 식이 서로 다른 것이다. 이것은 1편 발표 후 Eric/Matt이 일부 오류를 수정하여 다시 계산했기 때문이다. 앞으로도 또 바뀔 수도 있는데, 이 페이지에 있는 식을 최신 버전으로 보면 된다.

Matt/Eric은 2003년부터 2008년까지의 MLB 데이터를 가지고 스탯 간 비교를 수행하였다. 이들의 계산 결과를 그대로 옮기면 아래와 같다.

Stat    YR-Same YR-Next
SIERA    0.957   1.162
tRA      0.755   1.222
FIP      0.773   1.224
xFIP     1.168   1.319
QERA     1.070   1.248
ERA-Park  ----   1.430
ERA      0.094   1.434

숫자는 RMSE이다. 작을 수록 우수하다는 의미가 된다.

YR-Same은 같은 해의 파크팩터 적용 ERA를 예측하는 데 얼마나 우수한가를 나타낸다. 예를 들어 2005년의 SIERA로 2005년의 ERA를 맞춰 보려고 할 때의 에러 수준인 것이다. tRA와 FIP가 역시 뛰어난 성적을 보이고 있음을 알 수 있다. xFIP가 성적이 안좋은 것이 매우 의외이다.

YR-Next는 올해의 스탯을 가지고 내년의 파크팩터 적용 ERA를 예측하는 데 얼마나 우수한가를 나타낸다. SIERA가 1위를 차지했음을 알 수 있다. (비록 SIERA의 RMSE 1.162와 FIP의 1.224는 그다지 큰 차이가 아니지만 말이다.) 이렇게 보면 Eric/Matt은 당초의 목적을 달성한 것으로 보인다...!!

과연 그럴까...?

SIERA가 발표된 이후, 여러 세이버메트릭스 커뮤니티에서는 열띤 토론과 검토가 이어졌다. 그 중에서도 특히 주목할 만한 것은, 사실상 현대 세이버메트릭스의 최전방이라고 볼 수 있는 Tom Tango의 inside the book 블로그에서 벌어진 토론이다. 개인적으로는 거의 100개에 달하는 댓글을 통해 벌어진 이 온라인 토론을 매우 흥미진진하게 읽었는데... 혹 위의 링크에 가서 이 댓글들을 몽땅 읽고 "정말 재미있다"고 느끼시는 분이 있다면, 당신은 세이버메트릭스 매니아 혹은 Stathead/Stat Nerd로서의 자격이 충분하다. ^^

Eric/Matt은 SIERA가 항상 더 좋은 결과를 낸다고 주장하였으나, Tom Tango의 테스트 결과는 조금 다르다.

2002-09 시즌에 1500 PA 이상을 기록한 투수 중에서 가장 극단적인 그라운드볼 성향의 투수 20명에 대해 계산한 결과는 아래와 같았다.
투수 20명의 실제 ERA 평균 : 4.17
SIERA 평균 : 4.16
FIP 평균 : 4.14
이정도면 거의 비긴 것이다.

샘플을 "가장 볼넷을 적게 내준 투수 20명"으로 바꿔서 다시 계산해 보았다.
투수 20명의 실제 ERA 평균 : 3.95
SIERA 평균 : 3.98
FIP 평균 : 3.93
이것도 거의 비긴 것이다.

그럼 그라운드볼 + 적은 볼넷의 경우는? Tom Tango는 GB와 BB 분야에서 모두 평균에서 1 표준편차 이상 우수한 투수 9명에 대해 계산을 수행하였다.
9명의 ERA 평균 : 3.82
SIERA 평균 : 4.12
FIP 평균 : 3.94
여기서는 FIP의 승리이다.

Matt Swartz는 이에 대해 "High GB/High BB" 투수에 대해서는 SIERA가 더 정확하고, "High GB/Low BB" 투수에 대해서는 FIP가 더 정확한 것이 맞다고 대답하고 있다. Matt Swartz가 주장하는 SIERA의 강점은, 특히 그라운드볼과 볼넷이 모두 많은 투수의 경우, 볼넷으로 내보낸 주자를 병살 처리할 수 있기 때문에 FIP나 다른 스탯이 생각하는 것보다 ERA가 낮게 나타나고, SIERA는 이러한 특징을 잘 잡아낼 수 있다는 것이다.


어쨌거나... SIERA 및 위의 테스트에 대한 개인적인 의문점을 몇 가지 적어 보도록 하겠다.


1. Tom Tango도 지적한 부분인데... 위의 테스트에서 Year-to Year 부분을 시즌별로 나눠서 보면 아래와 같다. (이 Matt Swartz의 코멘트는 시리즈 4의 댓글에서 볼 수 있다. 독자의 질문에 대답하여 올린 것이다.)

Matt Swartz

BP staff

(24824)

Sure. If that helps, I'll put it here in the comments--

Next-year ERA for
03-04, 04-05, 05-06, 06-07, 07-08, 08-09

SIERA 1.107 1.141 1.179 1.186 1.107 1.248
QERA 1.237 1.237 1.219 1.277 1.206 1.316
xFIP 1.284 1.403 1.211 1.404 1.287 1.311
FIP 1.120 1.230 1.298 1.236 1.170 1.283
tRA 1.162 1.202 1.273 1.216 1.171 1.307
ERA_pk 1.391 1.388 1.488 1.429 1.390 1.493

As you can see, it's ahead every time and offers a solid improvement if you compare the difference between the other estimators and regular ERA_pk to the difference between the other estimators and SIERA.

SIERA의 RMSE를 보면 흥미로운 부분을 발견할 수 있는데, 03-04에서 07-08까지는 RMSE가 1.107에서 1.186 사이에서 움직이다가, 08-09 시즌에서는 1.248로 이탈하는 것이다. 이는 SIERA가 2003년부터 2008년까지의 MLB 데이터를 가지고 만들어진 스탯임을 극명하게 반영하는 결과라고 하겠다. 이것이 일시적인 이탈인지, 아니면 앞으로 더욱 오차가 커질지는 몇 시즌을 더 두고 보아야 할 것 같다. 하지만, 분석 대상이 되는 시기가 바뀌어서 표본이 바뀌게 되면 오차가 커질 수 있다는 것은, 철저하게 회귀분석에 기반한 SIERA와 같은 스탯이 태생적으로 가지게 되는 약점이다.

FIP의 경우 1.12에서 1.298 사이에서 움직이고 있는데, 08-09년의 경우에도 이 범위 안에 들어 있으며, xFIP도 비슷한 양상을 보인다. 한편, QERA나 tRA의 경우는 SIERA처럼 08-09년에 약간 예외적인 모습을 보이고 있는데, 역시 SIERA와 비슷한 시기의 데이터에 최적화된 스탯이 아닌가 의심을 해 볼 수 있는 부분이 되겠다.


2. 비교 자체가 공정하지 않은 부분이 있다. SIERA는 처음부터 파크팩터 적용 ERA(Park-adjusted ERA)의 예측을 목표로 하여 이듬해의 파크팩터 적용 ERA를 가지고 각 변인에 대해 회귀분석을 실시하였다. 반면, FIP나 xFIP는 파크팩터가 전혀 고려되지 않은 스탯이다. 이들을 서로 비교하면 당연히 파크팩터 적용 상황에 최적화된 SIERA가 가장 우수하게 나올 수밖에 없다. 개인적으로는 FIP에 파크팩터를 적용해서 좀 더 공정한 환경을 만들어서 동일한 테스트를 수행해 보고 싶은데, 혹 실제로 테스트를 하게 되면 별도로 포스팅을 하도록 하겠다.


3. 내년 시즌의 파크팩터 적용 ERA가 과연 투수의 진짜 능력을 보여주는 가장 좋은 지표인지에 대한 의문이다. ERA는 늘 강조하다시피 투수와 수비수들이 함께 만들어내는 팀 기록이다. 순수한 투수 스탯이라고 보기가 어려운 것이다. Eric/Matt이 이런 점을 모를 리는 없다고 생각하는데, 그럼에도 불구하고 ERA를 다시 궁극적인 지표로 보고 ERA를 맞추는 것을 목표로 하여 스탯을 개발한 것은 이해가 잘 되지 않는다. 정말 이게 최선인 것일까? 올해의 ERA가 수비수의 실력이나 운에 의해 왜곡되어 있는 것이라면, 내년의 ERA 역시 마찬가지 아닐까?


4. SIERA가 맞추고자 하는 목표가 올해가 아니라 "내년" 시즌의 파크팩터 적용 ERA라는 점이다. 올해의 기록을 가지고 내년 시즌의 ERA을 맞추고자 한다면, 여기에는 내년의 퍼포먼스에 대한 예상치가 포함되게 된다. 그렇다면 선수의 나이에 대한 고려, 즉 Aging Curve를 포함시켜야 하는 것이 아닌가? 현재의 계산식은 모든 투수들이 1년 동안 똑같은 수준으로 나이를 먹는 것처럼 취급하고 있다. 30세의 투수가 올 시즌과 내년 시즌에 기록하는 ERA와, 40세의 투수가 올 시즌과 내년 시즌에 기록하는 ERA는 전혀 다른 것이 아닐까? 내가 위에서 언급한 대로 직접 SIERA에 대해 테스트를 수행한다면(그럴 시간이 된다면...), 나이가 다른 투수들 간의 비교도 해 보고자 한다.

궁극의 목적이 내년 ERA라는 점에서, SIERA는 FIP나 tRA보다는 CHONE이나 ZiPS와 같은 퍼포먼스 예측 시스템과 대결을 붙이는 것이 더 타당할지도 모른다.


5. 마지막으로, Eric/Matt의 테스트에서 xFIP가 상당히 안좋은 결과를 낸 부분이다. 이것은 매우 의외인데, 작년에 역시 BP 필진이기도 한 Colin Wyers가 The Hardball Times에 기고한 글에서, xFIP는 ERA를 예측하는 데 있어 FIP보다도 우수한 스탯으로 나타났었기 때문이다. 물론 Wyers의 테스트 방법은 시즌을 반으로 나누어 짝수 일의 등판 스탯으로부터 홀수 일의 ERA를 얼마나 잘 예측하는지를 살펴본 것으로 Eric/Matt과는 약간 다르지만, 그렇다고 해서 이렇게 정반대의 결과가 나올 수는 없다고 생각한다. 이러한 현상은 Colin Wyers 본인도 황당하게 느끼고 있는데, 아직 원인 규명이 되지 않은 듯하다.



개인적으로는 SIERA라는 새로운 스탯의 출현도 인상적이었지만, FIP의 우수성에 다시한번 감탄하는 계기가 되었다. FIP는 DIPS이론을 가장 간략하게 표현한 스탯으로, 사실 간단한 계산과 ERA Scale로의 변환을 위해 정확도를 약간 희생시킨 것이다. 그럼에도 불구하고, "다음 시즌의 파크팩터 적용 ERA"라는 적지에서의 원정 경기에서도 위에서 보는 바와 같이 해당 조건에 완전히 특화된 SIERA와의 대결에서 거의 밀리지 않고 대등한 결과를 내놓고 있다. FIP가 인플레이된 타구를 모두 제외하는 것에 대하여 많은 분들이 "투수도 BABIP를 분명히 일정부분 제어하므로, FIP는 잘못된 스탯이다"라고 주장하시는데, 이분들에게 이러한 테스트 결과를 보여 드리고 싶다. SIERA는 그라운드볼 비율을 매우 중요한 요소로 간주하여 계산하므로, 인플레이된 공에 대한 투수의 제어 능력을 인정하는 스탯이다. 그럼에도 불구하고, 인플레이된 공을 통째로 제외시킨 FIP가 똑같이 우수한 결과물을 내놓고 있는 것이다. 그것도 훨씬 간단한 계산식으로 말이다...!!!!!  이정도면 FIP를 믿고 사용해도 되지 않을런지???

물론, 투수의 퍼포먼스를 절대적으로 평가할 수 있는 단 하나의 스탯 같은 것은 없다. 이전 포스팅들에서 보여 드린 바와 같이, FIP와 xFIP, tRA, tRA* 등은 제각기 장단점을 가지고 있었고, 이는 SIERA도 마찬가지이다. 볼넷을 많이 내주는 투수들에게 상대적으로 정확한 반면, 볼넷을 적게 내주는 투수들의 경우는 이와 반대의 현상이 나타나는 것이다. Matt Swartz가 Tom Tango와의 토론 거의 끄트머리에서 남긴 댓글을 보면서 마무리하도록 하자.

Will doing a regression miss some things?  Absolutely. Will doing linear weights miss some things?  Absolutely. Will they miss different things?  Absolutely.  So let’s continue to do both.  If I told you only that a pitcher had a FIP of 4.00 and a SIERA of 3.50, and then I said you had to guess if a pitcher had an ERA above or below 4.00?  I hope you would guess below.  If I then asked if you to guess whether he had an ERA above or below 3.50, I would hope you would guess above.

결국 SIERA나 FIP나 각각의 장단점이 있으니 둘 다 잘 활용하자는 이야기이다. 결론이 너무 싱거운가? 애초에 단 하나의 절대적인 답을 바라는 것 자체가 무리이다. 세이버메트릭스는 진리 자체가 아니다. 그냥 조금이라도 진실에 가까이 다가가 보고자 하는 소박한 바램이 통계적인 기법을 타고 나타나는 모습일 뿐이다. 그것도 Tom Tango의 블로그에서 벌어진 난상토론과 같이, 일방적인 도그마가 아니라 많은 사람들이 참여하여 토론을 통해 풀어 나가는 민주적인 세계이다. 당장 답을 알 수 없고, 어디에나 오차가 있다고 하더라도, 진실을 조금이나마 알고 싶어하는 이러한 바램 자체가 잘못되어 있는 것은 아니지 않은가? 아니, 인간은 원래부터 이런 존재이지 않은가??


PS. Fantasy Baseball을 하시는 분들은 이러한 스탯의 특성을 잘 활용하면 도움이 될 것이다. 시즌 전에 드래프트를 할 때에는 직전 시즌의 SIERA를 바탕으로 투수를 선택하고, 시즌 중에 트레이드나 웨이버 픽업을 할 때에는 현 시즌의 FIP를 참고하는 전략이 어떨지?


Today's Music : Sheryl Crow - Always on Your Side (ft. Sting) (Official MV)



듣는 이의 심금을 깊이 울리는 명곡. Sting과의 듀엣 버전도 좋고 Sheryl Crow 혼자 부른 앨범의 버전도 좋다.

이 글은 "한국야구팬사이트"에서 승짱님의 한국 프로야구 투수 랭킹 계산을 돕기 위한 예로서 작성된 것이다.
단지 "예"일 뿐이므로 스탯에 대한 해석, 계산 방법에 대한 입장의 차이에 따라 얼마든지 변형과 조정이 가능하다.

계산 방법은 기본적으로 이전 포스팅에서 소개해 드린 것과 동일하다.

다만, FIP를 RA scale로 바꿔줄 때 0.92를 사용하는 대신 실제 KBO의 ERA와 RA 비율을 계산하여 사용하였다. 결과는 아래 첨부파일에서 볼 수 있듯이 0.91~0.92로 대동소이하게 나온다.

또한, FIP Constant 역시 KBO의 실제 데이터를 가지고 계산하였다. 2007년 시즌은 FIP Constant가 2.84에 불과한 충격적인 결과가 나왔으나, 2008년과 2009년은 그럭저럭 MLB와 유사한 숫자가 나왔다.

2009년과 2008년 KBO 시즌에서 각각 5명의 선발투수를 골라서 직접 계산을 해 보았다.

5명의 선발투수는 완전히 임의로 고른 것이다. (나는 KBO에 좋아하는 팀이 없으며, 8개 구단에 대해 완전히 중립이다...)

이 계산에는 다음과 같은, 근거가 부족한 가정들이 들어가 있다. 이런 부분들을 말끔하게 해결할 수 없는 것은 KBO의 데이터 부족, 개인적인 지식 부족, 그리고 개인적인 시간 부족에 기인한 것이다.

1. KBO에서 각 이벤트는 MLB와 비슷한 Run Value를 가지며, 따라서 FIP 계산식은 동일하다.

2. KBO에서 Run Scoring Environment는 MLB와 유사하여, Runs per Win을 MLB와 동일하게 [((상대 팀 이닝*상대 팀 실점수준)+(소속 팀 이닝*소속 팀 실점수준)/(상대 팀 이닝+소속 팀 이닝))+2] * 1.5 의 근사식으로 산출할 수 있다.

3. KBO에서 선발투수의 Replacement Level은 MLB와 동일하며, 따라서 Replacement Level 선발투수의 기대 승률은 .380이다.
--> 단, KBO의 Replacement Level이 실제로는 이와 다르다고 해도, 상대적 비교에는 지장이 없다. 이 계산에서 투수 A가 투수 B보다 WAR이 높게 나타났다면, Replacement Level을 바꾸더라도 A가 B보다 높게 나타나는 것은 변함이 없다. 단지 절대값이 바뀔 뿐이다.

다음은 중요한 참고 사항이다.

1. KBO 선수들의 모든 데이터는 스탯티즈에서 가져왔다. 스탯티즈는 보면 볼수록 놀랍고 대단한 사이트이다. (우리나라의 척박한 야구 기록 환경을 생각하면 더더욱 그렇다.) 단, FIP는 스탯티즈의 데이터를 쓰지 않고 직접 계산하였다. 이유는, 스탯티즈의 FIP가 Constant를 3.20으로 항상 동일하게 사용하고 있고, BB와 IBB의 구분이 이루어지고 있지 않기 때문이다.

2. 여기에서 계산한 선발투수의 WAR는 선발로 등판한 기록만을 대상으로 한 것이다. 한국 프로야구는 투수의 역할이 모호한 경우가 많아 시즌 내내 100% 선발 투수로만 등판하는 투수는 그다지 많지 않으며, 대부분의 선발투수가 구원 등판 기록을 가지고 있다. 따라서, 정확한 계산을 위해서는 해당 투수가 구원으로 등판한 기록을 가지고 구원투수의 WAR를 계산하여 합산해 주어야 할 것이다. (결국 내가 구원투수 WAR를 구하는 방법을 최대한 빨리 포스팅해야 할 것 같다... -_- )


다음은 이 계산을 하고 난 뒤의 소감.

1. 07, 08, 09년 3년간의 FIP Constant를 계산하면서 시즌 스탯을 확인한 결과 시즌과 시즌 사이의 득점 수준 변화가 매우 크게 나타났다. (3년 사이에 타고투저 현상이 심화됨) 팀 수도 적고 게임 수도 적다보니 샘플이 적어져서 데이터의 변동성이 MLB에 비해 훨씬 크게 나타나는 것 같다. (KBO 1시즌 = 1,056게임, MLB 1시즌 = 4,860게임)

2. 그럼에도 불구하고 ERA/RA 비율이 유사하게 나타나는 것을 보면 비슷한 규칙을 가지고 비슷하게 야구를 하니 비슷한 결과가 나온다는 느낌이어서... MLB의 메트릭을 KBO에 적용하는 것이 완전히 엉뚱한 결과를 도출하지는 않을 것이라는 생각이 든다.

3. 류현진은 정말 좋은 투수인 것 같다. 다른 선수들을 많이 계산해 본 적은 없으나 한국야구에서 5 WAR면 엄청나게 높은 수치일 것 같은데... 위의 계산 파일에는 들어있지 않으나, 08년 스탯으로 계산해도 윤석민과 동일하게 3.6 WAR로 나온다.

실점을 막는 것은 득점을 하는 것과 똑같이 중요하다. 점수를 덜 줘서 이기는 것이나 더 내서 이기는 것이나 마찬가지인 것이다. 아니... 실제로는 실점을 줄이는 쪽이 조금 더 유리하다. Pythagorean Expectation 포스팅을 기억하시는지? 실점을 줄이는 쪽이 득점을 더 하는 것보다 약간 기대 승률이 높게 나오는 것이다.

실점을 줄이는 것은 투수와 수비의 몫이다. 특히 야구는 투수놀음이라는 말이 흔히 쓰일 만큼, 투수의 중요성은 막대하다. 수비가 형편없어도, 투수가 상대타자를 모조리 탈삼진으로 돌려세우면 여전히 무실점으로 막아내는 것이 가능하다. 하지만, 투수가 형편없다면, 수비가 아무리 좋아도 안타를 한 개도 허용하지 않는 것은 불가능하다. 심지어 인플레이 된 공은 무조건 잡을 정도로 수비력이 좋더라도, 투수가 던지는 족족 홈런을 허용할 경우 어떻게 해 볼 도리가 없는 것이다.

따라서, 투수의 능력을 측정하는 방법으로 ERA, 즉 투수가 얼마나 점수(자책점)를 내주었는지를 살펴보게 된 것은 어찌보면 당연한 일이었다. ERA는 꽤 오랫동안 투수를 평가하는 척도로 널리 이용되었고, 지금도 WHIP와 함께 가장 흔히 사용되고 있다.

오늘은 ERA 및 ERA의 대체 스탯들을 살펴보게 될 것이다. 그동안 타자에 대해 많이 썼으나 투수에 대해서는 다소 소홀한 감이 있었기에, 투수에 대해 쓰고 싶었던 참에 마침 VEB에서 vivaelpujols의 잘 정리된 글을 보게 되었다. 각각의 개념에 익숙치 않은 분들을 위하여, 좀 더 자세히 설명해 보고자 한다.


1. ERA (Earned Run Average)

ERA를 모르시는 분들은 아마 거의 없으리라 생각되지만, 기초를 다지는 의미에서 다시 한 번 짚고 넘어가도록 하겠다. 먼저 ER(Earned Run, 자책점)에 대한 이해가 필요한데, 투수의 잘못으로 내준 점수를 자책점이라고 하고, 투수의 잘못이 아닌 실점을 비자책점이라고 한다. 안타나 홈런, 볼넷 등으로 내준 점수는 기본적으로 자책점이지만, 만약 주자가 수비수의 에러로 인해 출루한 경우에는 비자책점으로 분류한다. 에러는 투수의 잘못이 아니라는 것이다. 여기서 재미있는 것은 투수 본인의 에러로 점수가 난 경우에도 비자책점이 된다는 것이다. 공을 던지는 사람으로서의 투수와 야수로서의 투수를 구분하고 있다는 의미이다.

ERA는 9이닝당 자책점의 비율을 의미한다. 즉, 다음과 같이 계산된다.

ERA = ER * 9 / IP

ERA에 대한 비판은 여러 가지 관점에서 생각할 수 있다. 우선, ER을 계산하는 방식의 문제이다. 예를 들어, 에러로 주자가 출루한 후 적시타를 맞아 주자가 홈인했다면, 이는 비자책점이 된다. 하지만, 에러는 수비수의 잘못이더라도 이후 적시타를 맞은 것은 일정 부분 투수의 책임이 있다. 그럼에도 불구하고 이 점수는 그냥 비자책점이 될 뿐으로, 투수에게 책임을 묻지 않는다. 또한, 2사 만루 상황에서 구원투수가 등판하여 주자일소 3루타를 맞고 3실점한 후 후속타자를 아웃시켜 이닝을 마무리한 경우, 모든 실점의 책임은 주자 3명을 내보낸 앞의 투수에게만 전가될 뿐, 3루타를 맞은 구원투수는 무실점으로 기록된다. 2사 만루에서 불을 끄는 것이 그의 임무였고, 그는 임무에 실패했지만, ER은 계산되지 않고, 따라서 ERA도 전혀 나빠지지 않는다.

다음은 좀 더 근본적인 문제인데... 점수를 내 주지 않는 것이 투수 혼자의 공이 아니라는 점이다. 실점을 막는 것은 투수와 수비 모두의 공이다. 뛰어난 수비수들이 뒤에 있다면, 투수의 ERA가 낮아지는 것은 당연한 것이다. 즉 실점을 얼마나 했는가는 팀 전체의 스탯인데도, ERA는 마치 투수 혼자만의 스탯인 것처럼 취급한다.

그리고... 자책점과 비자책점을 가르는 주요한 변수인 "에러"에 대해서도 문제를 제기할 수 있다. 특정 타구가 에러인지 안타인지를 판단하는 것은 일정 부분 기록자의 주관이 개입된다. (내야안타는 특히 그렇다.) 또한, 수비수는 어려운 타구를 무리하게 건드려서 에러를 낼 수도 있지만, 그냥 보수적으로 수비하여 안타를 내줄 수도 있다. 같은 타구가 수비수의 능력과 성향에 따라 에러도 될 수 있고 안타도 될 수 있는 것이다. 투수의 능력과 상관없이 자책/비자책이 결정되고, 이를 통해 투수가 평가받는 것은 불합리하다고 할 수 있다.

혹은 투수에 따라 단지 운이 없어서 안타를 유난히 많이 맞아 실점을 많이 하는 경우도 있을 것이다. BABIP는 상당 부분이 운에 의해 좌우되고, BABIP가 높으면 아무래도 실점을 하기 쉬워지므로, 자책점과 비자책점을 아무리 잘 분리해 낸다고 해도 운의 개입은 피할 도리가 없다. 운이 없어 실점을 많이 했는데 ERA가 높다고 욕을 먹게 된다면 꽤나 억울할 것이다.


2. FIP (Fielding Independent Pitching)

FIP는 옛날에 블로그에서 이미 다룬 바 있으나, 다시 한 번 정리해 본다.

실점을 기준으로 투수를 평가하게 되면 "수비"와 "운"이라는 방해 요소가 섞이는 것을 피할 수가 없으므로, 이런 투수와 상관없는 요소를 완전히 제거해버린 새로운 스탯이 개발되었다. 바로 FIP이다. FIP는 Tom Tango에 의해 처음 개발되었고, 이후 여러 사람에 의해 개량되었다.

과거 BABIP에 대한 선구적인 연구로 유명해진 Voros McCracken의 경우 BABIP는 투수의 능력과 거의 아무런 상관이 없다는 극단적인 주장을 했었는데, 이후 여러 사람의 추가 연구에 의해 BABIP는 운, 수비의 능력, 투수의 능력, 구장 효과 등 다양한 요인에 의해 결정된다는 결과를 얻게 되었다. 이 중에서 가장 큰 영향을 끼치는 Factor는 역시 "운"으로 나타났다.

FIP는 타자가 방망이로 공을 맞춰서 인플레이 된 경우, 즉 BABIP의 영향을 받는 경우를 모두 무시한다. 여기서 "인플레이"라 함은 타구가 페어 지역에 떨어져서 수비가 개입하게 된 모든 경우를 말하는 것이다. (파울플라이는 파울 지역에 떨어진 공이지만 수비수가 잡아서 아웃 처리하였으므로 역시 인플레이로 간주한다.) 이런 부분을 모두 제거하고 나면, 남는 것은 수비수들이 공에 손을 댈래야 댈 수 없는 플레이들만 남게 된다. 바로 홈런, 볼넷, 사사구, 삼진이 그것이다. FIP는 이들 스탯만을 이용하여 아래와 같이 계산한다.

FIP = (13*HR + 3*(BB-IBB+HBP) - 2*K) / IP + C

여기에서 C는 FIP를 ERA와 유사한 Scale로 만들어 주기 위한 상수(Constant)이다. 이 상수는 대체로 3.20 부근의 값을 가지는데, 매년 조금씩 변화한다. C를 구하는 방법은 아래와 같다.

C = (9*lgER + 2*lgK - 13*lgHR - 3*(lgBB-lgIBB+lgHBP)) / lgIP

여기에서 lgER은 League Total ER을 의미하며, lgHR, lgBB 등도 마찬가지로 리그 전체 합계를 이용한다. 위와 아래의 식을 비교해 보면, 이렇게 C를 계산할 경우 리그 평균 ERA와 리그 평균 FIP는 항상 똑같은 값을 가지게 됨을 알 수 있다. 참고로, 2009년 메이저리그의 C값은 3.18이며, 리그 평균 ERA와 리그 평균 FIP는 모두 4.32였다. 이렇게 만들어 준 덕에, FIP는 ERA와 유사한 값을 가지게 되므로 한 눈에 알아보기가 쉽다. 3.00 ERA가 좋은 것처럼, 3.00 FIP도 좋은 것이다.

FIP의 문제는, 인플레이된 공이 어떻게 되었는지를 완전히 무시하는 것이다. 위에서 언급했듯이, 비록 BABIP의 가장 큰 요소는 "운"이지만, 투수의 능력도 분명 한 몫을 하고 있는 것이다. 우리가 상식적으로 알고 있듯이, 투수의 구위가 좋으면 타자들이 좋은 타구를 잘 만들어내지 못하는 것은 일정 부분 사실이다. ERA가 투수의 능력과 상관없는 부분을 지나치게 많이 포함하고 있다면, FIP는 반대로 투수의 능력이 실제로 작용하는 부분을 일부 무시한다는 결점을 가지고 있다. 또한, FIP에는 park adjust가 이루어지지 않았다는 것도 문제로 지적된다. 그럼에도 불구하고, 수비와 운이라는 가장 큰 노이즈 요소를 배제하였다는 점에서, FIP는 투수의 순수한 능력을 평가하는 좋은 잣대가 된다.

FIP는 Fangraphs 및 The Hardball Times 에서 찾을 수 있다.


3. xFIP

xFIP는 기본적으로 FIP와 계산 방법이 같은데, 한 가지 중요한 차이가 있다. 위의 FIP 식에서 실제 피홈런 숫자를 넣는 대신 고정된 HR/FB 비율을 이용하여 계산된 이론적 피홈런 숫자를 넣는 것이다. 이렇게 하는 이유는... 볼넷과 삼진, 사사구는 투수의 능력에 의한 것이지만, 피홈런의 경우 "운"과 "구장 효과"가 많이 작용되는 점을 고려하여 이를 보정한 것이다. 일반적으로 HR/FB 비율은 0.11이 이용된다. 투수의 능력 이외의 요소가 작용하는 부분을 제거하고자 함에 있어서, FIP보다도 더욱 철저한 스탯이라고 할 수 있다.

xFIP는 The Hardball Time에서 찾을 수 있다. 참고로 Adam Wainwright의 페이지를 링크하였다.


4. tRA

tRA는 FIP의 약점인 "인플레이된 공을 완전히 배제하는 것"을 보완하고자 Graham MacAree가 개발한 스탯이다. tRA의 기본 컨셉은, 마치 wOBA로 공격력을 측정할 때와 같이, Run Expectancy로부터 각 이벤트의 Expected Run Value를 구하여 이를 9이닝(27아웃)에 대한 예상 실점으로 바꾸어 산출하는 것이다.

이 페이지는 Stat Corner의 tRA 설명 페이지이다. 이 페이지에는 2008년의 이벤트별 Run Value가 나와 있는데, 이를 보면 tRA에 사용되는 스탯 혹은 이벤트를 알 수 있다. 즉, 삼진, 볼넷, 사사구, 라인드라이브, 그라운드볼, 외야플라이, 내야플라이, 홈런 갯수가 계산에 사용되는 것이다. 각각의 스탯에 각각의 Run Value를 곱하여, 27아웃을 기록하는 동안 예상되는 Run Value의 합을 구하면 바로 9이닝 당 예상 실점이 된다. ERA가 9이닝당 자책점인 데 비해, tRA는 위의 이벤트 별 스탯을 바탕으로 9이닝당 예상 실점을 구하는 것이다. 이 과정에서, 수비의 수준과 홈구장 등은 모두 중립으로 조정된다.

이 tRA는 Stat Corner 및 Fangraphs에서 만날 수 있다.

중립적인 환경을 만들기 위해 조정을 실시하고, 타자의 방망이에 맞은 타구에 대한 투수의 영향력을 반영하고자 한 점에서, FIP보다 진보한 아이디어의 스탯이라고 할 수 있다. 그러나, Stat Corner와 Fangraphs에서 동일한 선수들을 비교해 보면, 같은 스탯임에도 불구하고 tRA가 서로 다르게 계산되어 있음을 발견하게 된다. 예를 들어, Chris Carpenter의 tRA는 Fangraphs에서 3.02, Stat Corner에서 2.77로 나온다. 이러한 차이가 발생하는 이유는, tRA가 라인드라이브, 그라운드볼, 플라이 등 인플레이 된 공을 어떻게 기록하느냐에 따라 달라질 수밖에 없기 때문이다. 타자가 친 공이 라인드라이브인지, 플라이인지, 그라운드볼인지를 결정하기 위해, Fangraphs는 BIS의 PbP 데이터를 이용하는 반면 Stat Corner는 MLB Gameday의 PbP 데이터를 이용한다. 특히 플라이볼과 라인드라이브의 구분에는 어느 정도 애매한 부분이 존재할 수밖에 없으므로, 기록자의 주관적 판단에 따라 기록이 달라지고, 결국 tRA 값이 영향을 받게 된다. FIP를 보완하기 위해 인플레이 된 결과물을 반영한 결과, 기록자의 주관적 판단이 개입되는 오차가 생긴 것이다. 이것이 tRA의 단점이다.


5. tRA*

tRA*는 tRA에 회귀분석을 적용한 스탯이다. 삼진 비율, 볼넷 비율, 사사구 비율, 그라운드볼 비율 등 모든 이벤트의 발생 비율에 대해서 해당 투수의 커리어 year-to-year correlation을 바탕으로 해당 시즌에 몇 명의 타자를 상대했는 지를 감안하여 적절한 수준의 regression을 해 주는 것이다. tRA*는 투수들 간의 퍼포먼스를 비교하기보다는 해당 투수가 앞으로 어떤 성적을 내줄 지를 예상하기 위한 목적으로 개발되었다.

tRA*는 Stat Corner에서 찾을 수 있다.



그럼 어떤 스탯이 투수를 평가하는 데 가장 좋은 스탯일까? 지금까지 살펴 보았듯이 단 하나의 정답은 없다. ERA에는 투수의 능력과 상관없는 다른 요소가 많이 개입되어 있다. FIP, xFIP는 투수의 능력 이외의 다른 것을 제거하려고 하다가 투수의 능력이 작용하는 부분까지 잘라내 버렸다. tRA는 이를 보완하려고 시도하였으나 대신 Play by Play 기록자의 주관이라는 새로운 노이즈가 추가되었다.

개인적으로는 이들 중 FIP 및 xFIP를 주로 참고하는 편이다. ERA에 포함되는 이런저런 외부 요소가 너무 많아서 도무지 신뢰할 수가 없기 때문이다. FIP에는 빠진 부분이 분명 존재하나, "운"이라는 요소를 배제하는 부분에서는 꽤 성공적인 스탯이라고 할 수 있다. 몇 가지의 Raw Stat만으로 쉽게 계산되는 것도 큰 장점이다. 또한 좋은 FIP를 받는 것(볼넷과 홈런을 덜 허용하고 삼진을 많이 잡는 것)이 수비의 질과 상관없이 실점을 막는 데 좋은 결과를 얻게 한다는 점은 부인할 수 없을 것이다.


투수에 관한 다음 포스팅에서는 투구 이닝 및 투수의 가치(Value: 투수의 WAR)에 대해 써 볼 예정이다.

(이 글은 한국야구팬사이트에서도 보실 수 있습니다.)


Today's Music : Lynyrd Skynyrd - Free Bird (Live)



이쯤에서 이 블로그와 뗄래야 뗄 수 없는 곡을 소개해야 할 것 같다. FreeRedbird라는 필명은 이 곡의 제목에서 온 것이다. Viva El Birdos에서 활동하기 위해 SB Nation에 가입하려고 할 때... 아이디를 뭘로 할까 고민하던 중 이 곡을 듣게 되었다. 결국 곡 제목을 아이디로 쓰기로 했고, Cardinals 팬이라는 정체성을 나타내기 위해 Red를 중간에 삽입하여 FreeRedbird가 탄생한 것이다. 그런데... 지나고 나서 생각해보니 FreeRedbird보다는 RedFreebird가 좀 더 낫지 않았을까 하는 후회가 들기도 한다. ^^

어쨌거나... Gary Rossington의 슬라이드 기타, 그리고 곡 중후반부에 이어지는 기타 3대의 현란한 연주가 잊을 수 없는 감동을 선사하는 명곡이다.

최근 Fangraphs나 The Hardball Times 같은 세이버메트릭스 사이트들에 힘입어 소위 advanced stat 들이 유행하게 되었다. FIP, wOBA, WPA, UZR, tRA 등이 대표적인 예인데, 그 중에서도 특히 많이 쓰이고 있는 것이 바로 FIP 이다.

FIP는 Fielding Independent Pitching의 약어로, 단어 안에 그 의미가 이미 드러나 있다. 즉 "수비와 무관한 투구 stat"이라는 것이다. 자세한 계산 방법은 뒤에서 알아보고, 우선 전통적인 stat의 문제점부터 살펴보자.

전통적으로 사용되는 투수의 stat으로는 W-L, ERA, WHIP 등을 꼽을 수 있겠다. W-L, 즉 승-패는 투수를 평가하는데 거의 아무짝에도 쓸모가 없는 상징적인 숫자에 불과하다. 투수가 아무리 잘 던져도 타선이 뒷받침해주지 않으면 투수는 절대로 승수를 쌓을 수가 없는 것이다. 즉 투수의 승수와 패수는 팀 전체의 합작품이지 투수의 능력을 나타내는 지표가 될 수 없다. (이런 별 의미없는 숫자가 Cy Young 상의 중요 기준이 되고 있는 듯하여 씁쓸하다...)

ERA와 WHIP의 경우는 승-패 만큼 단순하지는 않으므로.. 조금 더 들여다볼 필요가 있다. ERA는 Earned Runs Average, 즉 평균자책점을 의미한다. ("방어율"이라는 기존의 번역은 의미상 부적절하다.) 여기서 "자책점"은 투수에게 책임이 있는 실점을 의미한다. 즉, 에러 등으로 주자가 출루하지 않고 순전히 안타와 볼넷, 사사구, 보크 등으로 내준 점수를 의미하는 것이다. 그러면 투수가 자책점을 얼마나 내줬는지는 충분히 의미있는 지표가 될 수 있지 않을까? 세이버메트릭스의 답은 "Hell no... 절대 아니다..." 이다.

볼넷이나 사사구는 당연히 투수의 책임이고 여기에 이의를 제기하는 사람은 없다. (스트라이크존이 유난히 넓거나 좁은 특정 심판을 탓할 수도 있겠지만... 그건 통계의 범위를 벗어나는 통제불가능한 변수이므로 따지지 말자.) 논쟁의 핵심은 안타에 있다. 도대체 안타의 어디까지가 투수의 책임일까? 똑같은 타구에 대해서... 좋은 수비수는 공을 잡아서 아웃으로 처리할 수 있지만, 나쁜 수비수는 공을 못잡고 안타로 만들어 버린다. "자책점"의 빌미가 된 안타 중에는 인간의 능력으로는 어쩔 수 없는 아주 잘 맞은 진짜 안타들도 있겠지만, 수비수의 형편없는 수비로 인해 안타가 되어버린 운 좋은 타구들도 제법 들어 있을 수 있는 것이다. 따라서, 안타의 발생 확률은 투수 뒤에 서 있는 수비수들의 수비 능력에 종속되게 되고, 결국 안타를 포함하는 stat으로 투수의 능력을 정확히 평가하기는 어렵다는 결론이 나오게 된다.

WHIP은 Walks and Hits per Innings Pitched의 약어이다. 우리말로 뭐라고 번역하는 지는 잘 모르겠다. 계산식은 (BB+H)/IP로 매우 단순하다. 투수가 한 이닝에 주자를 얼마나 내보내는지를 볼 수 있다고 해서 한때 각광받던 stat이었다. 그러나, 위의 ERA와 마찬가지로 WHIP도 피안타 수가 직접적으로 결과값에 영향을 미치는 구조를 가지고 있고, 따라서 안타의 수비 종속성에 대한 같은 논리를 통해 투수의 능력을 정확히 평가하기에는 부족하다는 결론을 얻게 된다.

그럼 어떤 대안이 있을까? 세이버메트릭스 진영에서 가장 널리 쓰이고 있는 것이 바로 FIP 이다. 수비수들의 능력과 상관없이 오직 투수만이 관여하는 수치인 삼진, 볼넷(사사구 포함), 홈런 만으로 투수의 진짜 능력을 판별하는 공식을 만들어낸 것이다.

Tom Tango가 개발하고 이후 여러 사람의 손을 거쳐 개량된 FIP의 일반적인 공식은 다음과 같다.

FIP = (13*HR+3*(BB-IBB+HBP)-2K)/IP + 3.20

HR은 홈런, BB는 볼넷, IBB는 고의사구, HBP는 사구(데드볼), IP는 투구 이닝 수를 의미한다.
맨 끝의 3.20은 상수인데... FIP의 결과값을 ERA(또는 RA)과 유사한 스케일로 치환하기 위해 더해 주는 값이며, 이 값은 각 사이트에 따라 자체적으로 조금씩 다른 값을 쓰고 있다.

예를 들어... 박찬호의 전성기였던 1998년과 2000, 2001년 성적을 보자.
1998년: 15승 9패 3.71 ERA, 220 2/3 IP, 1.34 WHIP, 16 HR, 97 BB, 191 K, 1 IBB, 11 HBP
2000년: 18승 10패 3.27 ERA, 226 IP, 1.31 WHIP, 21 HR, 124 BB, 217 K, 4 IBB, 12 HBP
2001년: 15승 11패 3.50 ERA, 234 IP, 1.17 WHIP, 23 HR, 91 BB, 218 K, 1 IBB, 20 HBP

승-패와 ERA만 보면 2000년이 가장 좋았던 것 같이 보인다. WHIP를 본다면 2001년이 더 나은 것 같기도 하고.... 그럼 위의 공식에 따라 FIP를 구해 보면 어떨까?
1998 FIP = 3.87
2000 FIP = 4.24
2001 FIP = 4.02

오히려 1998년이 가장 좋은 것으로 나온다.

Fangraphs의 박찬호 페이지를 보면, FIP 값이 조금 다르게 되어 있다.
1998 FIP = 3.82
2000 FIP = 4.23
2001 FIP = 3.89

이렇게 값이 다른 이유는, Fangraphs가 상수로 3.20을 사용하지 않고 매 년 리그별 평균 실점(RA)을 가지고 적절한 상수를 계산하여 연도별로 조금씩 다르게 적용하고 있기 때문이다. 이렇게 조정된 FIP값을 쓰더라도, 1998년이 가장 좋았고 2000년이 가장 떨어진다는 점에는 변함이 없다.

그럼 왜 2000년의 ERA는 3.27로 가장 낮은데, FIP는 4.23 혹은 4.24로 편차가 크게 나타나는 것일까? 여러 가지 요인이 있을 수 있으나, 2000년의 BABIP(Batting Average on Balls In Play)가 .266으로 낮았다는 것을 생각해 볼 수 있다. 박찬호의 career 평균 BABIP는 .294이고, 이는 메이저리그 평균과 유사한 수치이다. BABIP가 특정한 해에 낮았다는 것은 타자들이 친 공이 유난히 야수 정면으로 가는 일이 많았다든지... 혹은 그 해 수비수들이 유난히 수비를 잘했다든지... 즉 "운"과 "동료들의 특별한 도움"이 작용했음을 의미한다고 볼 수 있다. BABIP에 대해서는 후에 따로 글을 쓰도록 하겠다. 반면 1998년 BABIP는 .298이었다. 이런 차이가 ERA와 FIP의 차이에 한 몫을 했을 것이다. (흥미로운 것은 2001년에도 그의 BABIP가 .266 이었다는 것이다. ERA와 FIP의 괴리에 대해 BABIP 한 가지 만으로는 설명하기 어렵다는 증거가 된다.)

혹 ERA와 FIP의 괴리 현상에 대해 더 많은 정보를 얻고 싶다면 괴리 현상의 대표 격으로 늘상 언급되는 Javier Vasquez에 대한 Fangraphs의 글을 참고하기 바란다.