국민안전처 연구개발사업 평가지침

제정 2015. 1.  .

Ⅰ. 근거 및 목적

○ 근거

-「국민안전처 연구개발사업 처리규정」(이하 “처리규정”이라 한다) 제16조(연구개발과제의 선정 및 결과통보)

○ 목적

- 연구개발 신청과제의 선정평가, 진도점검, 연차평가, 단계평가, 최종평가, 추적평가 등에 대한 구체적인 사항을 규정하여 국민안전처 연구개발사업의 효율적인 추진을 지원하기 위함

Ⅱ. 평가의 기본방향

○ 평가의 객관성․전문성․공정성 제고

○ 엄정한 평가를 통한 연구개발 관리체제의 강화

○ 연구자중심의 열린 평가제도 정착

○ 사업별 특성이 반영되는 평가제도 운영

[평가의 객관성․전문성․공정성 제고]

○ 객관성(Generality) 제고

- 신규 연구개발사업의 기획, 과제의 선정평가, 진도점검, 연차평가, 단계평가, 최종평가, 추적평가 등에 활용되는 전문가는 연구개발사업 평가단에 등재된 인사 중에서 선정

○ 전문성(Expertise) 확보

- 세부 기술분야별로 약 100명 정도의 평가위원 후보 pool을 유지

- 해당 기술분야 연구개발경력이 탁월한 전문가 중에서 선정

○ 공정성(Fairness) 유지

- 해당 사업별로 분야별 평가위원 선정시 평가대상과제와 이해관계가 없도록 구성․운영

[엄정한 평가를 통한 연구개발 관리체제의 강화]

○ 엄정한 과제평가 실시

- 연차평가, 단계평가, 최종평가는 평가대상, 연구개발과제의 규모 등을 고려하여 절대평가와 상대평가를 선택적으로 적용하거나 병행 가능

○ 지나치게 관대한 평가문화의 탈피와 성실한 실패의 인정

- 연구수행결과평가가 ‘C등급’ 이하로 부진한 과제에 대해서는 탈락조치 또는 연구기간, 연구비 강제조정 가능

- 계획된 목표이외의 의미있는 연구성과가 있는 경우나, 성실한 연구에도 불구하고 실패한 경우를 용인할 수 있는 평가문화의 정착

[연구자중심의 열린 평가제도 정착]

○ 평가위원의 명단을 공개하고, 피평가자에 대한 평가의견을 통보

○ 선정평가, 진도점검, 연차평가, 단계평가, 최종평가, 추적평가에 대한 이의신청 제도를 두어 구제 기회 부여

○ 중복되는 평가로 인한 연구자의 부담을 경감

- 연구개발기간이 2년 이상인 계속과제의 경우에는 연차실적 계획서를 토대로 연차평가

- 연차평가 결과에 따라 연구개발비 지원을 중단한 경우에는 연차평가를 단계평가 또는 최종평가로 갈음

[사업별 특성이 반영되는 평가제도 운영]

○ 사업별 특성에 따른 평가가 이루어질 수 있도록 유연한 평가제도 운영

- 사업별 특성에 따라 개발된 평가항목의 적용

- 사업별 특성에 따라 연구개발성과를 활용하는 최종수요자가 참여하는 평가위원회를 구성․운영 가능

- 사업별 특성에 따라 사회경제적 시각을 반영하기 위해 사회과학분야 전문가를 평가위원에 포함

Ⅲ. 평가체계

①	연구 기획 단계	⇨	연구기획 과제선정								⇨					연구 기획									⇨				연구기획 결과평가
②	선정 단계	⇨	사전 검토		⇨					전문가 평가									→ 60점 이상							사업단평가 (가감점부여, 연구비조정)
③	진도 관리 단계	⇨	진도보고서 제출				⇨								사업단 평가								→ 평가결과 보고									국민안전처								⇨			차기년도 과제에 반영
④	연차 평가 단계	⇨	연차실적 계획서제출					⇨						전문가 평가										⇨			전문기관 평가											⇨			국민안전처
⑤	단계 평가 단계	⇨	전문가평가 (공개발표회)									⇨					사업단 평가																	⇨	국민안전처
⑥	최종 평가 단계	⇨	전문가평가 (공개발표회)						⇨						사업단 평가 (C등급이하 현장실사)							→ 평가결과 보고								국민 안전처							조치결과보고 ← → 평가결과 및 조치사항 통보							주관기관
⑦	추적 평가 단계	⇨	전문가 평가			⇨					사업단 평가										→ 평가결과 보고							국민 안전처								조치결과보고 ← → 평가결과 및 조치사항 통보								주관기관
⑧	프로 그램 평가	⇨	국가연구개발사업의 목표관리

Ⅳ. 주요 평가내용

1. 연구기획 단계

[연구기획사업 선정]

○ 연구기획을 추진할 필요성이 있는 사업에 대하여 국민안전처장관이 필요하다고 판단되는 과제를 대상으로 전문가로 구성된 평가위원회를 이용하여 연구기획사업 추진의 타당성, 추진방법, 선정평가방법 등에 대하여 검토하고, 연구기획사업의 유형(기획사업자 지정, 기획결과 공모 등)을 결정함

[연구기획사업 결과평가] (별지 제1-1호 서식)

○ 대상과제：연구기획사업중 과제담당관 또는 사업단장이 필요하다고 판단되는 과제

○ 평가주체：국민안전처장관관

○ 평가방법：연구개발의 목표 및 내용, 하위과제 구성, 사업 추진전략, 연구사업비 규모, 추진방법 등을 심의․조정함

2. 연구기관 선정평가 단계

연구기관 선정평가는사업단장이 실시하되, 사업의 특성 또는 과제의 특성에 맞는 평가항목, 방법 및 가중치 등을 따로 정하여 활용할 수 있음

[ 사전검토 ] (별지 제2-1호 서식)

○ 평가주체：국민안전처(과제담당관) 또는 사업단

○ 검토방법

- 신청기관(연구책임자)의 자격, 신청서식, 민간부담율, 참여기업의 적합성, 연구비 소요명세서 등을 접수시에 검토

- 결격사유가 있을 경우에는 신청서를 반려하여 신청자에게 7일이내의 보완기회를 부여하고, 결격사유가 보완되지 않은 신청서는 접수대상에서 제외함.

- 연구과제 신청서를 대상으로 연구과제의 중복성 여부를 검토하여야 함

- 연구과제중 일부(신규과제 대상, 해당년도 전체예산의 10% 이내)를 소방방재 연구개발사업에 처음으로 참여하는 기관이 주관하여 수행하도록 배정 검토

<연구개발과제의 중복성 검토․방법>

1. 중복성의 판단요소

연구목표 및 연구내용

2. 중복성의 판단기준

가. 판단요소가 동일하거나 거의 유사한 경우에는 중복과제로 판단함.

나. 서로 다른 연구주체 간에 연구의 목표 및 내용이 동일하고 연구방법이 유사한 경우와 연구방법이 다르지만 추구하는 목표가 동일한 경우에는 경쟁이나 상호보완의 필요성 등을 고려하여 중복가능 여부를 검토함.

3. 중복성의 예외

가. 정책적으로 경쟁을 유도하기 위하여 의도적으로 복수의 연구주체를 선정․추진하는 과제

나. 연구개발과제 선정평가 또는 별도의 중복성 심의기구에서 중복성이 없다고 판단한 과제

4. 중복성 검토방법

가. 연구개발과제에 대한 중복을 검토하기 위하여 국가연구개발사업 종합관리정보망을 통하여 연구개발과제의 중복성 1차 검토를 실시하여야 함.

나. 국가연구개발사업 종합관리정보망에서 1차적으로 중복이 의심되는 과제는 선정평가 시 그 중복성 여부를 판단하여야 함.

[전문가 평가] (별지 제2-2호 서식)

○ 평가주체

- 산․학․연 전문가로 구성된 7인 이상의 평가위원 또는 별도로 구성되는 전담평가단

○ 평가위원 또는 전담평가단 구성방법

- 평가위원 또는 전담평가단은 전문가 pool에서 추출하는 것을 원칙으로 하되, 필요시에는 해외전문가를 포함한 해당 기술분야의 전문가를 지명하여 평가위원으로 선정할 수 있음

○ 평가방법：전문가 평가

- 연구사업의 특성에 따라 서면평가 또는 발표평가를 실시하되, 필요시 서면평가, 발표평가, 현장실사를 병행 실시할 수 있음

- 발표평가는 주관연구책임자만 할 수 있다. 단, 천재지변에 준하는 불가피한 상황이 있는 경우 사업단장이 정하는바에 따른다.

- 서면평가시 인터넷 등 통신망을 활용할 수 있으며, 발표평가 시에는 평가위원중에서 과제별 책임평가위원을 지정

- 평가위원은 필요할 경우 연구책임자 또는 관련 전문가의 의견을 청취하여 평가에 활용

- 최고점과 최저점 각 1인을 제외한 평가위원 평가점수를 산술평균하여 전문가평가 점수 및 순위를 결정하는 상대평가를 원칙으로 하되, 연구사업의 특성 및 신청과제의 규모에 따라 절대평가를 병행할 수 있음

․단, 동점자 발생시에는 평가위원의 최고점과 최저점을 포함한 후 산술평균하여 전문가평가 점수 및 순위를 결정함

- 평가위원은 연구개발잠재력평가, 총연구기간 신청연구비 및 당해연도 신청연구비, 연구과제의 우수성 여부에 대한 검토의견을 제시함

- 사업별 특성에 맞는 평가항목, 평가방법, 가중치 및 가감점 부여항목 등은 사업안내서, 설명회 등을 통하여 사전에 공개하여야 함

[사업단 평가] (별지 제2-3 서식)

□ 가감점 부여

○ 평가주체：사업단

○ 평가방법

- 전문가평가점수가 60점 이상인 과제에 대하여 가감점 항목을 검토(60점 미만은 탈락)한 후, 전문가평가점수와 가감점의 합산점수가 높은 과제로부터 지원의 우선순위를 지정

• 가감점 항목 및 항목별 배점 기준은 사업의 특성에 따라 사업단과 국민안전처 각 사업별 담당부서장과 협의하여 결정하고 신문공고, 연구사업 안내서, 설명회 등을 통하여 사전에 고시함

• 가감점 부여는 RFP 공고일로부터 최근 2년 이내의 실적을 적용대상으로 하되, 100점을 기준으로 가감점의 합이 ±5점을 넘지 않도록 함

< 가점 부여항목 >

① 최종(단계)평가가 S등급인 과제의 연구책임자가 신규과제를 신청할 경우 평가 후 2년간 가점 부여(선정평가 점수의 3%이내)

② RFP상의 민간부담율 이상 현금부담시 100퍼센트마다 1% 가점부여(선정평가 점수의 2%이내)

③ 국민안전처 R&D 우수과제로 선정된 과제의 연구책임자가 신규과제를 주관연구책임자로서 신청할 경우, 수상 후 2년간 가점 부여(선정평가 점수의 3% 이내 - 최우수 3%, 우수 2%, 장려 1%)

④ 최종(단계)평가후 5년이내에 연구개발 결과의 기술이전을 통하여 기술료를 징수한 과제의 연구책임자가 신규과제를 신청할 경우 2년간 가점 부여(선정평가 점수의 2%이내)

⑤ 연구결과물이 국가소유임에도 불구하고 참여기업이 민간부담을 하는 경우 부담률 100%마다 선정평가 점수의 1% 가점 부여

⑥ 최종평가 시 해당 과제 수행으로 인한 사회문제 해결 역량 정성평가를 실시하여 S등급을 받은 과제의 주관연구책임자가 신규과제를 신청한 경우 향후 2년간 2점 가점 부여. 단, 평가 방법은 사업단장이 정한다.

⑦ 가점의 총 합은 선정평가 점수의 5% 이내로 제한한다.

⑧ 그 밖에 국민안전처장관이 정하는 경우

< 감점 부여항목 >

① 최종(단계)평가가 D등급인 과제의 연구책임자(주관, 협동, 위탁)가 신규과제를 신청할 경우 선정평가 시 2년간 감점부여(선정평가 점수의 5%이내)

② 선정 후 협약포기경력이 있는 연구책임자나 기관의 경우 감점부여(선정평가 점수의 5%이내)

③ 연구수행 도중 연구를 포기한 경력이 있는 연구책임자나 기업의 경우 건당 1% 감점부여(선정평가 점수의 5%이내)

④ 사업단이 형식적 민간참여(위장참여)라고 판단하는 경우 감점 부여(선정평가 점수의 5%이내)

⑤ 최종(단계)평가가 C등급인 과제의 연구책임자가 신규과제를 신청할 경우 선정평가 시 2년간 감점부여(선정평가 점수의 3%이내)

⑥ 연구관리를 전담하는 행정인력을 보유하지 않은 기관의 신청과제에 대하여 감점부여(선정평가 점수의 3%이내)

⑦ 그 밖에 국민안전처장관이 정하는 경우

□ 연구비 조정

○ 사업단은 전문가의 연구비 검토의견과 지원예산의 규모 등을 고려하고 과제담당관과 협의를 통해 지원후보과제에 대해 연구비조정을 실시함

□ 종합평가서 작성

○ 사업단은 연구개발잠재력 평가, 가감점, 연구비 조정내용 등을 포함한 종합평가서를 작성하여

- 종합평가서는 선정대상 후보과제 및 지원 우선순위, 기타과제의 최종선정에 필요한 자료를 포함함

[위원회 평가]

○ 평가주체：연구개발사업 심의위원회 또는 별도위원회

- 사업의 특성에 따라, 연구성과의 최종수요자가 50퍼센트 이상 포함된 별도의 위원회를 구성할 수 있음

○ 평가방법

- 사업단이 제출한 종합평가서를 대상으로 평가결과의 타당성, 선정대상과제(예비후보과제 포함), 정책적 고려사항 등에 대하여 심의하고 지원예산 규모내의 우선순위과제와 예비후보과제를 최종 확정함

• 필요시 연구신청자, 관계자 또는 해당분야의 전문가를 위원회에 출석시켜 설명하게 하거나 의견을 청취할 수 있음

[평가결과 통보]

- 국민안전처장관은 위원회의 평가결과를 확인하여 사업단 및 주관연구기관의 장에게 통보함

- 평가우선순위를 통보하되, 처리규정에 따라 사업단의 요구에 의한 연구개발 계획서를 보완하지 못하는 경우 차순위기관이 선정될 수 있음을 명시

[이의신청]

○ 신청기간 및 절차

- 평가결과에 이의가 있는 때에는 결과통보 후 7일 이내, 1회에 한하여 국민안전처장관에게 이의신청서를 제출함

- 이의신청서를 접수한 국민안전처장관은 이의신청 사유가 타당하다고 인정되는 경우에는 특별한 사유가 없는 한 이를 사업단에 통보함

- 사업단은 이의신청과제에 대하여 국민안전처장관으로부터 통보받은 날부터 14일내에 심의(이의신청 사안에 따라 자체검토 또는 이의신청위원회 개최)를 실시하고 그 결과를 국민안전처장관에게 보고함.

- 재평가위원회 구성은 당초 평가위원회의 위원수와 동일하게 구성함을 원칙으로 하며, 당초 평가위원회 위원(각각의 최고점수와 최저점수를 부여한 위원 제외)과 해당 사업단 전문가 Pool에서 추가하여 선정할 수 있음

- 국민안전처장관은 사업단의 심의내용을 참고하여 주관연구기관의 장에게 처리결과 통보

○ 이의신청의 내용

- 연구개발 내용평가에 한정되며 평가위원선정, 연구비 평가, 평가절차 관련사항 등은 제외함

3. 진도점검단계

○ 관리주체：사업단

○ 점검방법

- 진도점검은 연 1회를 원칙으로 하며, 7인 이상의 외부전문가로 전담평가단을 구성하고, 평가결과는 연차평가시 반영할 수 있음

- 발표평가를 실시하는 경우 총괄과제 및 세부(주관, 협동)연구책임자가 발표하는 것을 원칙으로 하며 다만 부득이한 사정이 있는 경우에는  국민안전처장관 또는 사업단장의 사전 승인을 받아야 함. 사전승인을 받지 않을 경우 평가점수에 감점을 받을 수 있음 (주관 2%, 협동 1%이내)

- 사업단은 주관연구기관의 장이 처리규정에 따라 제출한 연차실적․계획서를 대상으로 진도점검을 수행

- 사업단은 연구기관의 장이 제출한 진도보고서에 대하여 연구수행상 보완사항 등을 결정하는 형식으로 진도관리를 수행

- 참여기업이 있는 경우 연구기관의 장은 참여기업의견서(별지 제7-3호 서식)를 연차실적․계획서와 함께 전문기관의 장에게 제출하여야 하며, 기간내에 의견서를 제출하지 않는 경우에는 의견이 없는 것으로 간주함

- 전문기관의 장은 전문기관의 자체의견을 포함한 진도관리 결과와 차년도 지원연구비 규모를 국민안전처장관에게 보고함

- 국민안전처장관은 사업단의 의견을 과제담당관으로 하여금 검토 확인하게 한 후 그 결과를 사업단 또는 주관기관의 장에게 통보함

○ 연구개발사업 수행중 신규과제가 추가되는 경우 신규과제는 선정평가 절차에 따름

4. 연차․단계․최종평가 단계

[전문가 평가]

○ 평가주체：산·학·연 전문가로 구성된 7인이상의 평가위원 또는 전담평가단

- 평가의 전문성 및 연속성을 유지하기 위하여 선정평가 또는 진도관리 참여 전문가를 평가위원으로 우선 선정하는 것을 원칙으로 하되, 필요한 경우에는 다른 전문가 및 해외전문가를 활용할 수 있음

○ 평가방법

- 평가를 위하여 사업단장은 해당분야 7인 이상의 평가위원을 위촉하여 연구결과에 대한 평가를 실시함

- 평가시 연구성과에 대한 시연이 필요한 경우에는 연구성과 시연이 가능한 장소에서 평가를 실시 할 수 있음

- 연구기관의 장은 연구개발종료 1월 전(연차․단계평가 시) 또는 연구개발종료 전(최종평가 시)까지 평가용 연차․단계․최종보고서와 자체평가의견서(별지 제7-2호 서식)를 사업단에 제출하여야 함.(단, 단계평가 시에는 차기단계의 국민안전처 연구개발과제계획서를 함께 제출)

- 발표평가는 사업단위 또는 총괄과제 단위로 하며, 총괄과제 및 세부과제(주관, 협동) 단위로 발표함을 원칙으로 함

- 발표평가를 실시하는 경우 총괄과제 및 세부(주관, 협동)연구책임자가 발표하는 것을 원칙으로 하며 다만 부득이한 사정이 있는 경우 국민안전처장관 또는 사업단에 사전 승인을 받아야 함. 사전승인을 받지 않을 경우 평가점수에 감점을 받을 수 있음(주관 2%, 협동1% 이내)

- 참여기업이 있는 경우 연구기관의 장은 참여기업의견서(별지 제7-3호 서식)를 평가용 연차․단계․최종보고서와 함께 사업단에 제출하여야 하며, 기간내에 의견서를 제출하지 않는 경우에는 의견이 없는 것으로 간주함

- 사업단은 평가위원에게 평가의 취지, 방법 등에 대한 사전교육을 실시하여야 함

- 사업단장은 연차ㆍ단계평가에서 60점 미만을 받은 과제에 대하여 국민안전처장관의 승인을 얻어 과제수행을 중단하고 연구비 지원 중단, 기지급된 연구비 환수 및 협약해지 등 필요한 조치를 할 수 있음. 다만, 이 경우에도 제재조치(참여제한, 감점, 정밀정산)는 면제되지 않음

[사업단 평가]

○ 평가주체：사업단

○ 평가방법

- 사업단은 최고점과 최저점 각 1인을 제외한 평가위원 평가점수를 산술평균하여 과제의 종합평가점수 및 등급을 결정하고 인센티브 또는 제재조치를 부과함

- 사업단은 전문가평가 결과에 따라 S(10퍼센트), A(25퍼센트), B(50퍼센트), C(10퍼센트), D(5퍼센트) 등급으로 배분함. 단, 그 비율 조정 및 절대평가 병행은 국민안전처 각 사업별 담당부서의 장과 협의하여 할 수 있음

- 평가대상 연구개발과제의 규모 등을 고려하여 절대 평가방법을 병행하는 경우, 절대평가를 통한 등급배분은 S(90점 이상), A(80~90점 미만), B(70~80점 미만), C(60~70점 미만), D(60점 미만) 로 한다.

- 연차·단계평가의 경우, 평가점수 및 등급에 따라서 인센티브 또는 제재조치를 부과하고, 연구성과가 미진한 C등급 이하의 과제(상대평가는 10퍼센트 이하, 절대평가는 70점 미만) 는 현장실사(별지 제7-1호 서식)를 실시(사업/과제의 특성을 고려하여 별도의 평가방식을 적용할 수 있음)하여 불량한 과제는 제재를 취함.

- 연차평가 시 평가 결과에 따라 차년도의 연구수당을 다음과 같이 차등하여 지급할 수 있음.

ㆍS 등급 : 인건비의 20% 이내

ㆍA 등급 : 인건비의 15% 이내

ㆍB 등급 : 인건비의 10% 이내

ㆍC 등급 : 인건비의 5% 이내

ㆍD 등급 : 0%

- 단계평가의 경우, 강제탈락한 과제는 이를 최종평가로 갈음할 수 있음

- 단계평가의 경우, 강제탈락한 과제중 우수한 연구성과를 낸 연구팀 또는 연구단에 대하여는 재지원 가능(단, 1회에 한하여 응모할 수 있으며 당초 연구기간의 잔여기간이 종료할때까지 지원)

- 사업단은 하위 10%의 과제(단계평가) 및 C등급 이하의 과제(최종평가)에 대하여 현장실사(별지 제7-1호 서식)를 실시하고, C등급이하의 과제에 대하여는 당초 목적하지 않은 우수 연구성과물이 부수적으로 발생한 과제, 현장실사를 통하여 연구수행과정이 성실한 것으로 평가된 경우, 불가피한 외부여건이 인정되는 과제의 경우에는 제재조치를 면제할 수 있음

- 사업단은 전문가 평가결과를 포함한 사업단 평가결과를 국민안전처장관에게 보고함

- 국민안전처장관은 과제담당관으로 하여금 사업단이 보고한 평가결과와 그에 따른 인센티브 또는 제재조치를 조정․확정하게 한 후 사업단및 주관연구기관의 장에게 통보함(별지 제7-4호 서식).

- 주관연구기관의 장은 평가결과를 해당 연구원 평가에 반영하여야 함

- 사업단은 평가결과 및 인센티브 또는 제재조치에 대한 통계자료를 유지하고, 매년 3월 31일까지 국민안전처장관에게 보고하여야 함

< 평가등급별 인센티브 또는 제재조치 >

○ 인센티브 또는 제재조치 적용의 시점은 특별히 정하여 통보하지 않는 한, 국민안전처 과제담당관의 확정 일로 함

○ 인센티브 또는 제재조치 적용 대상과제의 범위는 신규과제로 함.

S등급과제：연구책임자가 다른사업의 연구책임자로 과제를 신청할 경우 평가결과통보서의 조치사항에 의거 가점부여(평가후 2년간, 5점)

B등급과제：2인 이상의 전문가 평가위원이 공통적으로 지적한 부정적 의견(Negative comment)을 연구책임자에게 통보하여 후속 연구수행시 반영토록 조치(불이익 없음)

C등급과제：연구책임자(세부과제 책임자 또는 총괄책임자)에 대하여는 다음의 제재조치를 적용하며, 제재대상, 제유형, 제재기간은 사업단이 선택적으로 부과

• 선정평가시 감점(평가후 2년간, 3점 이하), 평가위원 참여자격 제한(1년, 2년), 연구책임자로 참여제한(6개월, 1년)정밀정산 실시

D등급과제：연구책임자(세부과제 책임자 또는 총괄책임자)에 대하여는 다음의 제재조치를 적용하며, 제재대상, 제재유형, 제재기간은 사업단이 선택적으로 부과

• 선정평가시 감점(평가후 2년간, 5점 이하), 국민안전처연구개발사업에 평가위원 참여자격 제한(1년, 2년), 연구책임자로 참여제한(1년, 2년, 3년)정밀정산 실시

※ 사업단은 『C등급』이하 과제중 과제수행의 성실성이 인정되는 다음의 과제에 대하여는 제재조치(참여제한, 감점, 정밀정산)를 면제할 수 있음.

- 당초 목적하지 않은 우수 연구성과물이 부수적으로 발생한 과제

예시) 1. 부산물이 경제적 파급효과가 큰 경우

2. 부산물이 해당분야에 대한 기술혁신 가능성이 큰 경우

- 현장실사를 통하여 연구수행과정이 성실한 것으로 평가된 과제

예시) 1. 연구진행상의 중대한 과실이 없는 경우

2. 연구책임자 및 참여연구원의 변경이 자주 발생하지 않은 경우

3. 연구진행 관련 자료(Data)를 충실히 보존․관리하고 있는 경우

4. 연구환경이 적절하게 구축되어 있는 경우

5. 연구추진전략 및 추진체계가 합리적인 경우

6. 연구기자재가 적절하게 활용된 경우

7. 전문가가 적절하게 활용된 경우

- 불가피한 외부여건이 인정되는 과제

예시) 1. 참여기업의 변경으로 인하여 연구진행에 곤란을 겪은 경우

2. 참여기업의 부도로 영향을 받은 경우

3. 연구결과가 타 사업 및 국가에서 이미 발생한 경우

4. 천재지변으로 인하여 연구수행에 지장을 받은 경우

※ 사업단장은 필요한 경우 국민안전처장관과 협의한 후 제재 대상 과제의 성실성을 평가하여 제재 면제여부를 결정

5. 제재조치

[현장실사]

○ 사업단장은 다음 각 호의 어느 하나에 해당하는 때에는 현장실사 등 필요한 조치를 할 수 있음. 현장실사를 하는 때에는 현장실사보고서를 작성하여야 함.

- 사업단의 진도관리 수행에 협조하지 않는 과제

- 관련보고서 검토 결과 필요성이 인정되는 과제

- 특별한 사유 없이 연구개발과제를 장기간 수행하지 아니한 과제

- 평가결과가 C등급 이하에 해당하는 과제

- 특별한 사유 없이 연구비카드 사용이 불량한 과제

- 연구비를 부당하게 집행한 과제

- 그 밖에 국민안전처장관이 필요하다고 인정하는 과제

○ 사업단장은 현장실사 시 연구과제 진도, 평가 결과에 대한 조치 등을 실사할 수 있는 평가위원 2명 이상과 예산집행의 적정성 여부 등을 면밀히 검토할 수 있는 전담인력 1명 등 3명 이상으로 구성하여야 함

○ 사업단장은 (주관, 협동)연구기관에 대하여 현장실사 위원(평가위원과 전담인력 등)의 의견에 대한 연구책임자의 조치계획 제출을 요청할 수 있음

[제재조치 평가단]

○ 국민안전처장관은 평가결과가 불량하거나 현장실사에서 제재조치 평가단 운영이 필요하다고 제시된 과제에 대하여는 제제조치 평가단을 구성ㆍ운영하여 적절한 조치를 취할 수 있음

○ 제재조치 평가단은 국민안전처, 국립재난안전연구원, 중앙소방학교 과장급 공무원으로 구성된 당연직 위원과 산․학․연 전문가로 구성된 위촉직위원으로 운영하며 연차ㆍ최종평가에 참여한 평가위원을 포함하여 구성. 위원장은 민간위원 중 호선하며 간사는 사업단장이 맡음

○ 중단된 과제의 주관연구기관의 장은 그때까지 수행한 연구개발결과를 최종보고서 형식으로 작성하여 제출하여야 함

○ 제재조치 평가에 따라 사업비 환수가 결정된 연구과제의 주관연구기관에 대한 추심은 사업단에서 추진하여 국민안전처장관에게 보고함

○ 제재조치 평가의 절차 및 내용

- 제재조치 사항에 대한 제안설명(사업단)

- 제재조치 사항에 대한 소명(연구책임자)

- 질의응답(평가위원 및 연구책임자)

- 평가위원 종합토론 및 심의(연구책임자 퇴장후)

- 평가결과 종합 및 처리방안 보고(사업단 → 국민안전처)

• 심의결과 보고시 조정등급 및 사유를 반드시 명시

[평가결과 통보]

○ 사업단은 제재조치 평가결과를 주관연구기관의 장에게 통보함.

[이의신청]

○ 제재조치 평가의 이의신청 기간 및 절차는 선정평가 단계의 이의신청 기간 및 절차를 준용함

Ⅴ. 추적평가 (별지 제6-1호 서식)

[목적]

○ 미활용기술발굴을 통하여 기술이전 및 신기술의 사업화 촉진

○ 주관연구기관 및 연구책임자에게 자신의 연구성과 활용극대화에 대한 의식을 고취시켜 성과 활용 여건 확대

○ 기술혁신 성공/실패 사례발굴 및 분석을 통한 지식 공유

○ 평가결과 우수한 과제에 대하여는 연구성과지원사업과의 연계 등 인센티브 부여

[대상과제]

○ 국민안전처 연구개발사업의 최종 종료된 단위과제로서 실용화를 목표로 추진한 과제(독립적인 개별연구과제). 단, 다음의 과제는 제외

- 연구수행 중 중단된 과제

- 국민안전처 지원 타 부처 주관사업

- 연구기획사업

- 당초 연구개발 목표달성에 실패하여 추적평가가 의미 없다고 판단되는 과제

- 기타 그 밖에 국민안전처장관이 추적평가가 불필요하다고 인정하는 과제

[실시시기]

○ 최종 종료 후 3년이 경과한 시점

[실시방법]

○ 평가주체 : 전문가 또는 전담평가단

○ 발표평가

- 주관연구기관의 연구책임자는 과제 종료 후 진행과정과 향후 사업화 계획 등 발전방향성 및 미래가치 등에 대하여 사전자료를 제출

- 대표적인 성공사례 및 실패사례에 대하여 상세조사 분석이 필요하다고 판단되는 경우 등 필요한 때에는 현장실사를 실시

○ 평가위원 구성

- 평가위원은 경영전문가 및 기술전문가 등으로 구성

- 평가위원은 3인 내외로 구성 : 전문기관 1인(성과관리담당자), 외부 2인(경영전문가, 기술전문가)

[평가지표 구성]

○ 사업화성과(50%)

- 사업화추진현황(포기, 연기, 계획중, 추진중, 완료)

- 새로운 파생신규사업 추진여부 및 내용

- 기술료 납부현황

○ 사회경제적 파급효과(40%)

- 사업화를 통한 고용창출 효과(실적 및 전망)

- 매출(수출 또는 수입대체 포함)증대효과(실적 및 전망)

- 기술실시를 통한 기술료 수입 실적 및 계획

- 사업화를 위한 투자 유치실적(창투사, 해외자본 유치 등)

○ 과학기술적 효과(10%)

- 지적재산권 출원․등록

- 논문발표 및 게재

- 후속 기술개발 과제 유치 등

Ⅵ. 프로그램평가

[목적]

○ 국가연구개발사업의 효율성 강화

- 대형국가연구개발사업에 대한 주기적인 평가를 통하여 연구개발사업의 상․하위목표를 연계시킴으로써 연구개발사업의 목표관리시스템을 구축하고 국가연구개발사업의 효율성을 강화함

○ 각 사업의 연구성과 및 목표달성도를 분석하고 사업의 계속추진 여부 및 보완․개선 사항 검토

[대상사업]

○ 국민안전처 연구개발사업 시행계획상의 대형연구개발사업(총 사업비 100억원이상)

- 국가연구개발사업의 상․하위목표의 연계성을 검토하고 목표관리시스템구축을 위하여 평가단위는 대형국가연구개발사업으로 함

- 사업의 특성에 따라 대형연구개발사업 내의 세부사업 단위(예 : 사회재난, 자연재해저감, 기후변화부문)로 평가하고 종합분석

[실시시기]

○ 각 사업의 기획내용과 사업종료에 따라 실시

[실시방법]

○ 프로그램평가 실시시기에 맞춰 각 사업의 특성에 적합한 프로그램평가계획 수립

○ 당해사업성과의 최종수요자를 중심으로 평가위원회를 구성

○ 프로그램평가결과를 종합하여 백서발간

○ 신규 연구개발프로그램을 기획시에는 프로그램 평가계획을 포함하도록 함

Ⅶ. 평가백서

○ 발간시기

- 5년간의 평가실적을 종합 분석하여 발간

○ 평가백서의 내용

- 평가계획, 평가대상 사업, 평가일정, 평가결과, 평가위원 현황 등을 포함

Ⅷ. 평가제도의 효율적 운영 지원

1. 평가위원 Pool 구축․운용

[목 적]

○ 평가위원 Pool의 구축 및 철저한 관리로 최적의 전문가 선정․위촉을 지원하고 평가결과의 신뢰성 제고

[평가위원 Pool 구축]

○ 평가위원은 인적재난, 자연재해, 소방안전 분야를 대상으로 분야별로 약 100여명 수준의 전문가 Pool을 유지

- 기술분야별로 세부 연구분야, 산․학․연, 성별, 연령, 수도권과 지방 등을 감안하여 구성

- 국민안전처 연구개발사업의 기획 및 평가, 자연계 학회․민간단체 및 여성과학자 협회의 추천, 각종 연구개발사업에 참여한 경험자를 우선 확보

○ 인문․사회과학과 이공․자연과학과의 조화 및 융합을 위하여 인문․사회과학 분야의 전문가 Pool을 유지

[운영 기본방침]

○ 평가위원별 평가경력 및 평가내용에 대한 데이터베이스 구축

○ 평가의 공정성․객관성․전문성 확보를 위하여 평가위원 선정에 필요한 자료를 최대한 제공

- 평가위원별 인적사항, 전공, 주요연구분야, 주요평가경력 등

○ 불공정하거나 편파적인 평가를 실시한 전문가는 평가위원 데이터베이스 Pool에서 제외

[평가위원 선정기준]

○ 선정방법

- 사업단이 평가위원 pool에서 추출하는 것을 원칙으로 하되, 사업 또는 과제의 특성에 따라 필요한 경우 해외전문가, 인문․사회과학 분야의 전문가를 포함한 해당 전문가를 지명하여 평가위원으로 선정

○ 선정원칙

- 평가위원 데이터베이스 Pool에 포함된 전문가를 우선적으로 활용

- 해당분야의 연구개발경력이 5년이상인 전문가

- 연구과제별로 평가위원을 산․학․연에 분배함

- 해당분야 실무경력이 10년 이상인 전문가

○ 평가위원 제외대상

- 평가대상 과제와 이해관계가 있는 전문가

• 평가대상과제의 연구책임자와 사제지간, 친인척지간인 전문가

• 참여연구원, 동일 사업내의 연구책임자, 상호간 평가자 등

- 평가대상과제의 연구책임자와 동일기관에 소속한 전문가

• 대학의 경우 평가대상과제의 주관, 협동, 위탁 연구책임자와 동일학부 졸업자

- 불성실/불공정한 평가경력이 있는 전문가

- 평가위원 참여자격 제한을 받은 전문가

- 국민안전처의 공무원 및 사업단의 직원(다만, 국민안전처장관이 평가 업무에 기술적, 전문성을 인정한 경우 예외)

- 기타 평가의 공정성을 해할 염려가 있는 전문가

※ 사업단은 사업/과제의 특성 등을 고려하여 평가위원 제외대상을 일부 조정할 수 있음

• 불가피하게 이해관계가 있는 전문가를 선정한 경우, 이해관계 없는 과제의 평가만 참여

2. 전담평가단 구성 및 운영

[목 적]

○ 연구기획 또는 선정평가단계에서 진도관리, 연차․단계․최종평가 단계까지 전담평가단을 구성․운영함으로써 과제관리의 연속성과 전문성을 제고

[대상사업]

○ 전담평가단이 필요한 대상사업은 과제담당관과 사업단이 협의하여 선정하되, 대상사업의 기술분야가 광범위한 경우에는 기술 분야별로 전담평가단을 구성할 수 있음

[구성방법]

○ 시  기

- 선정평가전에 구성하되, 과제수행중에도 특별히 구성의 필요성이 제기되는 경우 구성할 수 있음.

○ 인원：10인 내외(산․학․연 전문가)

○ 전문가 선정

- 전문가 선정은 평가위원 Pool을 활용하여 과제담당관과 사업단이 협의하여 선정하되 임기는 과제 연구기간으로 하고, 평가위원 선정기준 및 원칙에 따라 구성․운영

[역  할]

○ 평가에 지속적으로 참여(선정평가, 진도관리, 연차․단계․최종평가)

- 당해사업의 계속수행 여부에 대하여 의견 제시

- 당해사업의 원활한 수행을 위한 의견 및 수정․보완사항 제시

- 해당사업의 성공적 완료를 위한 기타 제반사항에 대한 건의 등

○ 국민안전처 과제담당관과 사업단의 협의하에 해당 기술분야의 기술현황 조사 또는 사전연구기획 등을 수행

○ 기타 연구개발 과제의 효율적인 수행에 필요한 제반사항

3. 열린평가제도 구축

□ 목  적

○ 평가제도 및 평가결과에 대한 정보를 연구자에게 제공하여 평가의 투명성을 확보하고 평가의 신뢰성을 제고

○ 평가제도에 대한 관련 분야의 전문가 등 연구현장의 의견수렴

□ 공개내용

○ 평가결과에 대한 정보제공

- 일반인에게는 보안성 검토후 선정과제목록 공개

- 평가위원 명단공개

○ 평가의 투명성 확보를 위하여 평가제도 홍보

○ 평가제도에 대한 연구현장의 의견수렴

□ 공개방법

○ 사업단은 선정평가, 진도관리, 연차․단계․최종평가, 이의신청의 평가결과(선정․탈락여부, 점수 및 평가등급, 조치사항 등) 및 종합의견을 주관연구기관의 장 및 연구책임자에게 통보(별지 제7-4호 서식)

○ 사업단은 보안성검토후 인터넷 등 통신을 활용하여 선정과제목록을 공개하고, 평가제도 홍보 및 평가제도에 대한 의견수렴

○ 연구책임자 본인에 대하여는 서면 또는 인터넷 등 통신을 활용하여 종합평가의견을 공개하고 평가와 관련한 질의에 대해 사업단에서 답변하도록 함

○ 사업단은 각 단계별 평가가 종료된 후 평가위원명단을 공개하되, 평가위원의 개별평가의견은 비공개

Ⅷ. 지침적용

○ 이 지침은 발령한 날부터 시행함

		표 준 서 식
1. 연구기획평가 단계 [별지 1-1] 연구기획사업 결과평가 2. 선정평가 단계 [별지 2-1] (세부사업 /기술분야)별 연구과제 신청서 사전검토 [별지 2-2] 전문가 선정평가 [별지 2-3] 사업단 선정평가 [별지 2-4] 위원회 ․실무위원회 선정평가 [별지 2-5] 재무구조․경영실태(최근 3년간) 3. 진도관리 단계 [별지 3-1] 사업단 진도관리 4. 연차․단계평가 단계 [별지 4-1] 전문가 연차․단계평가 [별지 4-2] 사업단 연차․단계평가 [별지 4-3] 위원회․실무위원회 연차․단계평가 5. 최종평가 단계 [별지 5-1] 전문가 최종평가 [별지 5-2] 사업단 최종평가 6. 추적평가 단계 [별지 6-1] 전문가 추적평가 7. 기타 [별지 7-1] 현장실사 [별지 7-2] 자체평가의견서 [별지 7-3] 참여기업 의견서 [별지 7-4] (평가/이의신청) 결과통보서 [별지 7-5] 이의신청서 ※ 본 서식은 사업 및 과제 평가의 특성에 따라 필요시 변경가능 함

[별지 제1-1호 서식]

연구기획사업 결과평가

1. 과제현황

		과제번호
과 제 명
수행기관			책 임 자
수행기간	201 . . . ～ 201 . . .		사 업 비		(천원)

2. 위원회명 :

3. 일    시 : 201  .    .    .

4. 평가위원 :

구 분	소 속 및 직 위	성 명	서 명
위원장
위 원
전문위원
간 사

Ⅰ. 기획사업 결과평가

평가항목		가중치	평가등급					가중치 × 평가등급	평가 의견
			S (5)	A (4)	B (3)	C (2)	D (1)
연구환경	1. 중·장기적 국가 R&D 전략에의 부합성	2
	2. 국민안전처연구개발사업 성격에의 부합성	2
기획과정	3. 초기 기획(안)의 반영도	2
	4. 국내외 기술동향 분석의 충실도	2
	5. 산·학·연 전문가의 충분한 의견수렴 여부	2
기획결과	6. 연구목표의 적합성 및 명확성	2
	7. 연구과제 도출의 합리성 및 적합성	2
	8. 요소기술의 확보방안의 제시	2
	9. 추진전략 및 체계의 적합성	2
	10. 제시한 연구비 및 인력의 타당성	2
계(100점 만점)

※ 연구환경 평가항목중『B』등급이하의 평가등급이 있는 경우에는 연구개발사업에서 제외함.

※ 평가의견은 필요한 경우 별지 사용.

Ⅱ. 종합평가의견

1. 평가점수：(     )점

2. 연구개발사업의 추진여부

검 토 의 견	추진 여부
가. 내용을 약간 보완하여 연구개발사업으로 즉시 추진함
나. 내용을 상당부분 보완하여 일정기간 후 재평가하여 연구개발사업의 추진여부를 결정함
다. 추후 재평가여부 및 보완방법을 결정함
라. 연구개발사업으로 추진하지 않음

3. 기획사업자의 연구개발사업에의 참여가능 여부

참여가능 여 부	가능( ) 불가( )
사유

4. 연구개발사업의 평가시 특별히 고려해야 할 사항 및 종합의견

[별지 제2-1호 서식]

(세부사업 /기술분야)별 연구과제 신청서 사전검토

1. 세부사업(기술분야) 현황

세부사업명
기술분야

2. 검토일 : 201  .    .    .

3. 검토자：

소 속 및 직 위	성 명	서 명

4. 검토항목

사 전 검 토 항 목	검 토 결 과
	적 합	부적합	지 적 내 용
1. 연구수행 주관기관의 적합성
2. 민간부담률 조건 부합성
3. 연구계획신청서 등 관련서류의 첨부유무
4. 연구책임자의 자격요건
5. 참여기업의 적합성
6. RFP요구사항 충족여부

5. 검토결과

과제명	책임자	검토항목						검토의견(보완사항)
		1	2	3	4	5	6

※ 적합: O, 부적합: X

[별지 제2-2호 서식]

전문가 선정평가

1. 과제 현황

과제번호				과제유형			(기초,응용,개발)
사업명
과제구분	과 제 명
	주관연구기관					주관연구책임자
	참여연구기관
총연구기간
연 구 비 (천원)	연차		정부		민간			계
	1차년도
	2차년도
	3차년도
	4차년도
	5차년도
	계

2. 평가일 : 201  .    .    .

3. 평가자 :

소 속	직 위	성 명	서 명

4. 평가자 확약 :

본인은 평가대상 연구과제 및 연구책임자와 직접적 이해관계가 없으며, 본 과제를 공정하게 평가하고 연구책임자와 상의없이 연구내용을 사용·공개하지 않으며, 평가결과에 대하여 외부에 비밀을 유지할 것을 확약합니다.

확 약

Ⅰ-1. 연구과제 평가서 (지정공모과제)

평 가 항 목		평가등급
		S	A	B	C	D
가) 연구개발의 목표 및 내용 (20)	① RFP와의 적합성	5	4	3	2	1
	② 최종․연차별 목표의 적합성, 명확성, 창의성	10	8	6	4	2
	③ 연구개발 내용의 완성도 및 실현 가능성	5	4	3	2	1
나) 연구개발 추진전략․체계 및 연구수행 방법 (15)	① 추진전략 및 연차별 추진 체계의 합리성	10	8	6	4	2
	② 연구수행 방법의 적합성	5	4	3	2	1
다) 연구수행 능력 (15)	① 연구책임자의 연구수행․관리능력 및 관련 분야 연구경험	5	4	3	2	1
	② 참여연구인력의 적정성 및 전문성	10	8	6	4	2
라) 사업비의 적정성 (15)	① 세부사업비의 구성 및 운영계획의 합리성	10	8	6	4	2
	② 연구장비ㆍ시설 확보 및 활용의 적합성	5	4	3	2	1
마) 연구성과 도출 및 기대성과 (25)	① 도전적 연구성과 목표	15	12	8	6	2
	② 도전적 성과의 완성도 및 실현 가능성	10	8	6	4	2
합 계		100	85	70	50	30
평 가 점 수		점

※ 평가항목은 연구개발과제 성격에 따라 변경 가능

※ 연구개발사업의 특성에 따라 본 양식의 평가항목, 가중치를 변경할 수 있음

단, 총계는 100점으로 하고 RFP제공시 평가양식도 제공할 것

※ “도전적 연구성과 목표”는 연구기관 선정 후 제시된 목표를 협약시 반영할 계획임

※ 가) 재무 구조․경영실태 항목은 참여기관에서 제출한 신용평가등급확인서 (참여기관  모두 제출)를 참고함

Ⅰ-2. 연구과제 평가서 (자유공모과제)

평 가 항 목		평가등급
		S	A	B	C	D
가) 연구개발의 필요성 (15)	① 연구개발 대상기술의 필요성에 관한 적합성	10	8	6	4	2
	① 재난안전정책과 연구내용과의 상호연계성 및 활용성	5	4	3	2	1
나) 연구개발의 목표 및 내용 (15)	① 최종․연차별 목표의 적합성, 명확성, 창의성	10	8	6	4	2
	② 연구개발 내용의 완성도 및 실현 가능성	5	4	3	2	1
다) 연구개발 추진전략․체계 및 연구수행 방법 (10)	① 추진전략 및 연차별 추진 체계의 합리성	5	4	3	2	1
	② 연구수행 방법의 적합성	5	4	3	2	1
라) 연구수행 능력 (15)	① 연구책임자의 연구수행․관리능력 및 관련 분야 연구경험	5	4	3	2	1
	② 참여연구인력의 적정성 및 전문성	10	8	6	4	2
마) 사업비의 적정성 (10)	① 세부사업비의 구성 및 운영계획의 합리성	5	4	3	2	1
	② 연구장비ㆍ시설 확보 및 활용의 적합성	5	4	3	2	1
바) 연구성과 도출 및 기대성과 (25)	① 도전적 연구성과 목표	15	10	5	2	1
	② 개발기술의 경제적 기대성과(투자 및 파급효과 등)	5	4	3	2	1
	③ 도전적 성과의 완성도 및 실현 가능성	5	4	3	2	1
합 계		100	85	70	50	30
평 가 점 수		점

※ 평가항목은 연구개발과제 성격에 따라 변경 가능

※ 연구개발사업의 특성에 따라 본 양식의 평가항목, 가중치를 변경할 수 있음

단, 총계는 100점으로 하고 RFP제공시 평가양식도 제공할 것

※ “도전적 연구성과 목표”는 연구기관 선정 후 제시된 목표를 협약시 반영할 계획임

※ 가) 재무 구조․경영실태 항목은 참여기관에서 제출한 자료를 기반으로 평가

Ⅱ. 신청 연구비에 대한 의견

연도	신청 연구비의 적정성 여부	신청 연구비의 조정
		조정 범위(%)	조정사유
1차년도	과소 □, 적정 □, 과다 □
2차년도	과소 □, 적정 □, 과다 □
3차년도	과소 □, 적정 □, 과다 □
4차년도	과소 □, 적정 □, 과다 □
5차년도	과소 □, 적정 □, 과다 □

※ 연구과제의 연도별 연구내용 대비 신청연구개발비의 적정성 여부를 평가하여 조정의 범위 및 조정의 사유를 구체적으로 기재 요망

※ 신청 연구비에 대한 검토결과를 신청 연구비의 조정자료로 활용할 계획이므로 면밀한 검토 요망

Ⅲ. 연구개발과제의 수정․보완 사항

Ⅳ. 기타의견

[별지 제2-3호 서식]

사업단 선정평가

1. 과제현황

		과제번호
사 업 명
과제구분	(총괄, 세부, 단위)
	(주관, 협동)
총괄과제					총괄책임자
과 제 명					과제유형			(기초, 응용, 개발)
연구기관					연구책임자
연구기간 연 구 비 (천원)	연차	기간		정부	민간				계
	1차년도
	2차년도
	3차년도
	4차년도
	5차년도
	계
참여기업
상 대 국			상대국연구기관

2. 평가일 : 201  .    .    .

3. 평가자 :

소 속	직 위	성 명	서 명

Ⅰ. 총괄연구과제 평가결과

1. 총괄연구과제 전문가 평가결과

전문가평가 점수										총괄과제점수 (평균)
A	B	C	D	E	F	G	H	I	J

※ 최고점, 최저점을 제외하고 평균계산

2. 최종 평가결과

항목	연구개발잠재력 평가점수	가감점	최종점수	지원우선순위
점수

❍ 가감점 세부사항

번호	연구책임자 (소속)	사유	가감점	종합점수
1(주관)
2(협동)
3(협동)
4(협동)
5(협동)

※ 가감점의 합은 ±5점 이하

Ⅱ. 종합의견

1. 평가결과에 대한 종합의견

2. 연구비에 대한 종합의견

3. 기타 종합의견

[별지 제2-4호 서식]

위원회․실무위원회 선정평가

1. 심의안건 개요

위원회명
안건명
주요내용

2. 위원서명

구 분	소 속 및 직 위	성 명	서 명
위원장
위 원
전문위원
간 사

Ⅰ. 종합평가서에 대한 의견

1. 종합평가서의 타당성 여부

가. 지원우선순위의 타당성 및 사유：타당함(    )   타당하지 않음(    )

나. 선정대상과제의 타당성 및 사유：타당함(    )   타당하지 않음(    )

Ⅱ. 선정평가 종합의견

1. 의결사항

구분		의결사항 (‘v'표시)	사유 및 내용
선정	1. 종합평가서의 우선순위에 따라 선정
	2. 종합평가서의 우선순위를 일부조정하여 선정
재검토	3. 일부과제에 대하여 재평가 실시후 재검토
	4. 일부과제에 대하여 종합평가서 보완후 재검토
	5. 종합평가서 보완후 재검토
	6. 재평가를 포함하여 종합평가서 재작성후 재검토

2. 기타의견

[별지 제3-1호 서식]

사업단 진도관리

1. 과제현황

		과제번호
과 제 명
주관 연구기관					연구책임자
협동 연구기관					위탁 연구기관
연구기간 연 구 비 (천원)	연차	기간		정부	민간		계
	1차년도
	2차년도
	3차년도
	4차년도
	5차년도
	계
참여기업
상 대 국			상대국연구기관

2. 진도보고일 : 201  .    .    .

3. 자문위원 :

소 속	직 위	성 명

4. 자문위원 확약

본인은 평가대상 연구과제 및 연구책임자와 직접적 이해관계가 없으며, 본 과제를 공정하게 평가하고 연구책임자와 상의없이 연구내용을 사용·공개하지 않으며, 연구내용에 대하여 외부에 비밀을 유지할 것을 확약합니다.

서 명

Ⅰ. 전문가 자문의견

1. 연구개발분야 의견

2. 연구비 집행ㆍ운영분야 의견

3. 기타 의견

[별지 제3-2호 서식]

연구과제 진도점검

1. 과제현황

		과제번호
과 제 명
주관 연구기관					연구책임자
협동 연구기관					위탁 연구기관
연구기간 연 구 비 (천원)	연차	기간		정부	민간		계
	1차년도
	2차년도
	3차년도
	4차년도
	5차년도
	계
참여기업
상 대 국			상대국연구기관

2. 평가일 : 201  .    .    .

3. 평가위원 :

소 속	직 위	성 명

4. 평가위원 확약

본인은 평가대상 연구과제 및 연구책임자와 직접적 이해관계가 없으며, 본 과제를 공정하게 평가하고 연구책임자와 상의없이 연구내용을 사용·공개하지 않으며, 연구내용에 대하여 외부에 비밀을 유지할 것을 확약합니다.

서 명

Ⅰ. 연구개발내용 평가

평 가 항 목	평가척도(B)
	S	A	B	C	D
① 연구계획서(RFP)의 방향성과 부합성	25	20	15	10	5
② 계획에 따른 단계목표 및 일정의 준수도	35	30	25	20	15
③ 연구수행기관 역할의 충실성 - 참여기관들(연구원)의 개별 역할의 충실여부	20	17	13	10	7
④ 연구개발의 완성도 및 실현 가능성	10	8	6	4	2
⑤ 연구개발비 집행의 적정성	10	8	6	4	2
	점

※ 평가항목은 연구개발과제 성격에 따라 변경 가능

Ⅱ. 평가위원 의견(향후 조치사항 등)

[별지 제4-1호 서식]

전문가 연차평가

1. 과제현황

		과제번호
사 업 명
과제구분	(총괄,세부,단위)
	(주관, 협동)
총괄과제					총괄책임자
과 제 명					과제유형		(기초,응용,개발)
연구기관					연구책임자
연구기간 연 구 비 (천원)	연차	기간		정부	민간			계
	1차년도
	2차년도
	3차년도
	4차년도
	5차년도
	계
참여기업
상 대 국			상대국연구기관

2. 평가일 : 201   .    .    .

3. 평가자 :

소속	직위	성명	서명

4. 평가자 확약 :

본인은 평가대상 연구과제 및 연구책임자와 직접적 이해관계가 없으며, 본 과제를 공정하게 평가하고 연구책임자와 상의없이 연구내용을 사용·공개하지 않으며, 평가결과에 대하여 외부에 비밀을 유지할 것을 확약합니다.

확 약

Ⅰ. 연구개발내용 평가

1. 연구목표 달성도 평가

평 가 항 목		평가등급
		S	A	B	C	D
가) 연구수행 결과 목표 (45)	① 연구목표의 달성도 - 제시된 연구목표 달성도	30	25	20	15	10
	② 계획(RFP)에 따른 연구추진의 준수도	10	7	5	3	1
	③ 연구수행기관 역할의 충실성 - 참여기관들(연구원)의 개별 역할의 충실여부	5	4	3	2	1
나) 예산집행․연구성과 (25)	① 예산집행의 준수도	5	4	3	2	1
	② 공개 발표된 연구개발성과 (논문, 지적소유권 등)	20	17	14	10	7
다) 차년도 연구계획 (30)	① 연구개발의 목표 및 내용	15	11	7	2	1
	② 추진전략 체계, 연구수행 방법	15	11	7	2	1
합 계		100	79	59	36	22
소 계		점

※ 평가항목은 연구개발과제 성격에 따라 변경 가능

2. 연구비 이월금액에 대한 감점 (사업단에서 작성)

평 가 항 목	연구비 이월금 (단위: 만원)
	10%이상	10%미만 ~8%이상	8%미만 ~6%이상	6%미만 ~4%이상	4%미만 ~2%이상
연구비 이월금 발생여부	-10	-7	-5	-3	-1
소 계	점

※ 평가항목은 연도 연구비총액 대비 연구비 이월금에 대한 비율임

※ 연구비 이월금액 평가는 주관연구기관 이월신청서 참조

3. 종합접수 평가점수 :	(     )점

Ⅱ. 종합평가

1. 연구결과의 활용방안 및 향후조치에 대한 의견

2. 기타 종합의견

* 사용잔액에 관한 의견을 포함하여 기술

[별지 제4-2호 서식]

사업단 연차평가

1. 과제현황

		과제번호
사 업 명
과제구분	(총괄,세부,단위)
	(주관, 협동)
총괄과제					총괄책임자
과 제 명					과제유형		(기초,응용,개발)
연구기관					연구책임자
연구기간 연 구 비 (천원)	연차	기간		정부	민간			계
	1차년도
	2차년도
	3차년도
	4차년도
	5차년도
	계
참여기업
상 대 국			상대국연구기관

2. 평가일 : 201  .    .    .

3. 평가자 :

소 속	직 위	성 명	서 명

Ⅰ. 연구개발실적 평가

1. 세부과제 평가결과 (※ 전문가 세부과제 최종평가결과 종합)

항 목	평가점수
세부과제 1
세부과제 2
세부과제 3
세부과제 4
세부과제 5
평 균

2. 총괄과제 평가결과 (※ 전문가 총괄과제 최종평가결과 종합)

항 목	A	B	C	D	E	F	G	H	I	J	평 균
총괄과제 평가점수

※ 최고점, 최저점 제외하고 평균계산

Ⅱ. 종합평가의견

1. 종합평가점수：(    )점

(※ 세부과제 평가결과 평균점수와 총괄과제 평가결과 평균점수의 산술평균)

2. 전문가 평가결과의 타당성：타당함(      ),  타당하지않음(       )

3. 타당하지 않은 경우는 그 사유와 별도의 과제등급의 기준을 제시

4. 과제의 등급：(          )

※ 참고) 등급별 비율(점수)

등급	S	A	B	C	D
비율	10%	25%	50%	10%	5%
(점수)	(90점 이상)	(80~90점 미만)	(70~80점 미만)	(60~70점 미만)	(60점 미만)

※ 평가점수 및 등급에 따라서 상대평가일 경우 연구성과가 미진한 하위 10%의 과제, 절대평가일 경우 C등급이하 과제는 현장실사(서식 7-1)를 실시(사업/과제의 특성을 고려하여 별도의 평가방식을 적용할 수 있음)하여 그 중 불량한 과제는 제재를 취함

5. 종합의견

Ⅲ. 조치사항

1.『S』등급：연구책임자가 다른사업의 연구책임자로 과제를 신청할 경우 2년간 평가점수의 3% 이내 가점

2.『B』등급: 전문가평가위원 2인 이상이 지적한 부정적 의견(Negative Comment)

3. 제재(유형 및 기간을 선택)

제재유형 등급	선정평가시 2년간 감점	평가위원 참여제한	연구과제에 연구책임자로 참여제한
C	1%, 2%, 3% 이내	1년, 2년	6개월, 1년
D	3%, 4%, 5% 이내	1년, 2년	1년, 2년, 3년

4.『C』등급이하 과제중 제재조치 면제여부： 인정(     ) 불인정(    )

사유 :

[별지 제5-1호 서식]

전문가 단계□최종평가

1. 과제현황

		과제번호
사 업 명
과제구분	(총괄,세부,단위)
	(주관, 협동)
총괄과제					총괄책임자
과 제 명					과제유형			(기초,응용,개발)
연구기관					연구책임자
연구기간 연 구 비 (천원)	연차	기간		정부	민간				계
	1차년도
	2차년도
	3차년도
	4차년도
	5차년도
	계
참여기업
상 대 국			상대국연구기관

2. 평가일 : 201  .    .    .

3. 평가자 :

소 속	직 위	성 명	서 명

4. 평가자 확약 :

본인은 평가대상 연구과제 및 연구책임자와 직접적 이해관계가 없으며, 본 과제를 공정하게 평가하고 연구책임자와 상의 없이 연구내용을 사용·공개하지 않으며, 평가결과에 대하여 외부에 비밀을 유지할 것을 확약합니다.

확 약

Ⅰ. 연구개발실적 평가

1. 연구목표 달성도 평가

평 가 항 목		평가등급
		S	A	B	C	D
가) 연구개발 추진전략ㆍ체계 및 완성도 (60)	① 연구목표의 달성도 - 제시된 연구목표 달성도	30	25	20	15	10
	② 연구수행방법의 타당성	10	7	5	3	1
	③ 연구수행기관 역할의 충실성 - 참여기관들(연구원)의 개별 역할의 충실여부	10	7	5	3	1
	④ 연구개발의 완성도	10	7	5	3	1
나) 연구개발 성과 등 (40)	① 예산집행의 준수도	10	7	5	3	1
	② 공개 발표된 연구개발성과 (논문, 특허등록, 지적소유권 등)	30	25	20	15	10
합 계		100	85	70	50	30
소 계		점

2. 연구비 사용잔액에 대한 평가  (사업단에서 작성)

평 가 항 목	사용잔액 (단위: 만원)
	10%이상	10%미만 ~8%이상	8%미만 ~6%이상	6%미만 ~4%이상	4%미만 ~2%이상
감 점	-10	-7	-5	-3	-1
소 계	점

단, 특별한 사항으로 타당한 사유로 사용잔액이 발생한 경우는 예외 적용할 수 있음

※ 평가항목은 연도 연구비총액 대비 사용잔액에 대한 비율임

※ 연구비 집행금액은 연구비카드시스템의 연구비 집행현황 참조

3. 종합 평가점수 :	(     )점

Ⅱ. 종합평가

1. 연구결과의 활용방안 및 재난관리 정책연계 방안 등

2. 기타 종합의견

* 사용잔액에 관한 의견을 포함하여 기술

[별지 제5-2호 서식]

사업단 단계□최종평가

1. 과제현황

		과제번호
사 업 명
과제구분	(총괄,세부,단위)
	(주관, 협동)
총괄과제					총괄책임자
과 제 명					과제유형		(기초,응용,개발)
연구기관					연구책임자
연구기간 연 구 비 (천원)	연차	기간		정부	민간			계
	1차년도
	2차년도
	3차년도
	4차년도
	5차년도
	계
참여기업
상 대 국			상대국연구기관

2. 평가일 : 201  .    .    .

3. 평가자 :

소 속	직 위	성 명	서 명

Ⅰ. 연구개발실적 평가

1. 세부과제 평가결과 (※ 전문가 세부과제 최종평가결과 종합)

항목	연구목표달성도 평가점수
세부과제 1
세부과제 2
세부과제 3
세부과제 4
세부과제 5
평 균

2. 총괄과제 평가결과 (※ 전문가 총괄과제 최종평가결과 종합)

항 목	A	B	C	D	E	F	G	H	I	J	평 균
총괄과제 연구목표달성도 평가점수

※ 최고점, 최저점 제외하고 평균계산

Ⅱ. 종합평가의견

1. 종합평가점수：(    )점 (※ 세부과제 평가결과 평균점수와 총괄과제 평가결과 평균점수의 산술평균)

2. 전문가 평가결과의 타당성：타당함(      ),  타당하지않음(       )

3. 타당하지 않은 경우는 그 사유와 별도의 과제등급의 기준을 제시

4. 과제의 등급：(          )

※ 참고) 등급별 비율(점수)

등급	S	A	B	C	D
비율 (점수)	10% (90이상)	25% (80～90 미만)	50% (70～80 미만)	10% (60～70 미만)	5% (60미만)

5. 종합의견

Ⅲ. 조치사항

1.『S』등급：연구책임자가 다른사업의 연구책임자로 과제를 신청할 경우 2년간 5점 이하 가점

2.『B』등급: 전문가평가위원 2인 이상이 지적한 부정적 의견(Negative Comment)

3. 제재(유형 및 기간을 선택)

제재유형 등급	선정평가시 2년간 감점	평가위원 참여제한	연구과제에 연구책임자로 참여제한
C	1%, 2%, 3% 이내	1년, 2년	6개월, 1년
D	3%, 4%, 5% 이내	1년, 2년	1년, 2년, 3년

4.『C』등급이하 과제중 제재조치 면제여부： 인정(     ) 불인정(    )

사유 :

[별지 제6-1호 서식]

전문가 추적평가

1. 과제현황

		과제번호
사 업 명
과제구분	(총괄,세부,단위)
	(주관, 협동)
총괄과제					총괄책임자
과 제 명					과제유형		(기초,응용,개발)
연구기관					연구책임자
연구기간 연 구 비 (천원)	연차	기간		정부	민간			계
	1차년도
	2차년도
	3차년도
	4차년도
	5차년도
	계
참여기업
상 대 국			상대국연구기관

2. 평가일 : 201  .    .    .

3. 평가자 :

소속	직위	성명	서명

4. 평가자 확약 :

본인은 평가대상 연구과제 및 연구책임자와 직접적 이해관계가 없으며, 본 과제를 공정하게 평가하고 연구책임자와 상의없이 연구내용을 사용·공개하지 않으며, 평가결과에 대하여 외부에 비밀을 유지할 것을 확약합니다.

확 약

평가항목		가중치	평가등급					가중치× 평가 등급	평가 의견
			S (5)	A (4)	B (3)	C (2)	D (1)
사업화성과 (50)	1. 사업화추진현황(포기, 연기, 계획중, 추진중, 완료)	4
	2. 새로운 파생 신규사업 추진 여부 및 내용	4
	3. 기술료납부현황	2
사회경제적파급효과 (40)	4. 사업화를 통한 고용 창출 효과(실적 및 전망)	2
	5. 매출(수출 또는 수입 대체 포함)증대효과	2
	6. 기술라이센싱을 통한 기술료수입실적 및 계획	2
	7. 사업화를 위한 투자 유치실적(창투자, 해외자본 유치등)	2
과학기술적효과 (10)	8. 과학기술적효과(지적재산권 출원 /등록, 논문발표 및 게재, 후속 기술개발 프로젝트 유치 등)	2
계(100점 만점)

[별지 제7-1호 서식]

현장실사

1. 과제현황

		과제번호
사 업 명
과제구분	(총괄,세부,단위)
	(주관, 협동)
총괄과제					총괄책임자
과 제 명					과제유형			(기초,응용,개발)
연구기관					연구책임자
연구기간 연 구 비 (천원)	연차	기간		정부	민간				계
	1차년도
	2차년도
	3차년도
	4차년도
	5차년도
	계
참여기업
상대국			상대국연구기관

2. 평가일시 및 장소 : 201  .    .    .

3. 평가사유 :

4. 평가위원 :

소 속	직 위	성 명

Ⅰ. 연구개발 및 운영 적합성 평가

1. 연구개발비 집행의 적합성

번호	평가항목	평가등급
		적정	부적정
1	목표대비 연구추진 적정 여부
2	연구노트 운영 준수 여부
3	연구비카드 사용 준수 여부
4	주요연구기자재가 적절하게 관리·활용 여부 (NTIS 등록 관리준수)

※ 평가항목은 연구개발과제 성격에 따라 변경 가능

2. 의견

Ⅱ. 위탁연구의 적절성 평가 (※ 위탁과제가 있는 경우만 평가)

1. 위탁연구의 적절성

번호	평가항목	평가등급
		적정	부적정
1	위탁연구과제 운영ㆍ관리 적정성 여부
2	위탁연구의 성과 적정성 여부

※ 평가항목은 연구개발과제 성격에 따라 변경 가능

2. 의견

Ⅲ. 종합평가의견

❍ 평가결과 : 양호(    ),  불량(     ),  보완 후 수행(    )

❍ 제재조치 평가단 운영여부 : 필요(     ),    불필요 (    )

※ 평가결과 불량 또는 양호 결과를 받았다고 하더라도 제재조치 평가단 운영이 필요하다고 판단되는 경우에는 평가단 운영 가능

위 원    _______________________  서명

위 원    _______________________  서명

위 원    _______________________  서명

참 고		현장실사시 첨부자료

※ 현장실사 실시전에 당해 과제의 연구책임자가 사전에 작성하여 사업단에 제출

1. 연구개발의 최종목표 대비 실적

최종목표
실적

2. 연차별 연구개발 목표 대비 실적

구분	목표	추진실적	진도(%)
1차년도
2차년도
3차년도
4차년도
5차년도

3. 연구추진계획 대비 실적

주요연구내용	기 간												진도 (%)
	1	2	3	4	5	6	7	8	9	10	11	12

당초계획

실 적

4. 계획 대비 추진 전략 및 방법의 상호비교

계획
실적
비교

5. 계획 대비 추진체계의 상호비교

계획
실적
비교

6. 연구비개발비 사용명세서

(단위：천원)

비 목			당해연도 예산	집행실적	비율(%)	비고
1	인건비	내부인건비
		외부인건비
2	직접비	연구기자재 및 시설비
		재료 및 전산처리비
		시작품제작비
		여 비
		수용비 및 수수료
		기술정보활동비
		연구활동비
		연구홍보비
		소 계
3	위탁연구개발비
4	간접비	간 접 경 비
		연구개발준비금
		지적재산권출원․등록비
총 계

7. 주요 연구기자재 구입 및 관리현황

(단위：천원)

기자재명	규격	수량	구입일	가격	구입처	제작사	설치 장소	활용방법

8. 연구수행의 애로사항

[별지 제7-2호 서식]

자체평가의견서

1. 과제현황

		과제번호
사 업 명
과제구분	(총괄,세부,단위)
	(주관, 협동)
총괄과제					총괄책임자
과 제 명					과제유형			(기초,응용,개발)
연구기관					연구책임자
연구기간 연 구 비 (천원)	연차	기간		정부	민간				계
	1차년도
	2차년도
	3차년도
	4차년도
	5차년도
	계
참여기업
상 대 국			상대국연구기관

2. 평가일 : 201  .    .    .

3. 평가자(연구책임자) :

소속	직위	성명	서명

4. 평가자(연구책임자) 확인 :

본인은 평가대상 과제에 대한 연구결과에 대하여 객관적으로 기술하였으며, 공정하게 평가하였음을 확약하며, 본자료가 전문가 및 전문기관 평가시에 기초자료로 활용되기를 바랍니다.

확 약

Ⅰ. 연구개발실적

※ 다음 각 평가항목에 따라 자체평가한 등급 및 실적을 간략하게 기술

(200자 이내)

1. 연구개발결과의 우수성/창의성

■ 등급：(S, A, B, C, D)

2. 연구개발결과의 파급효과

■ 등급：(S, A, B, C, D)

3. 연구개발결과에 대한 활용가능성

■ 등급：(S, A, B, C, D)

4. 연구개발 수행노력의 성실도

■ 등급：(S, A, B, C, D)

5. 공개발표된 연구개발성과(논문, 지적소유권, 발표회 개최 등)

■ 등급：(S, A, B, C, D)

Ⅱ. 연구목표 달성도

번호	세부연구목표 (연구계획서상에 기술된 연구목표)	달성내용	달성도 (%)
1
2
3
4
5

Ⅲ. 종합의견

1. 연구개발결과에 대한 종합의견

2. 평가시 고려할 사항 또는 요구사항

3. 연구결과의 활용방안 및 향후조치에 대한 의견

Ⅳ. 보안성 검토

○「국민안전처 연구개발사업 보안관리지침」에서 정하는 바에 따라 작성

○ 연구책임자의 보안성 검토의견, 연구기관 자체의 보안성 검토결과를 기재함

1. 연구책임자의 의견

2. 연구기관 자체의 검토결과

[별지 제7-3호 서식]

참여기업 의견서

1. 과제현황

		과제번호
사 업 명
과제구분	(총괄,세부,단위)
	(주관, 협동)
총괄과제					총괄책임자
과 제 명					과제유형			(기초,응용,개발)
연구기관					연구책임자
연구기간 연 구 비 (천원)	연차	기간		정부	민간				계
	1차년도
	2차년도
	3차년도
	4차년도
	5차년도
	계
참여기업
상 대 국			상대국연구기관

2. 제출자

가. 제출일 : 201  .    .    .

나. 참여기업명 :

다. 대표이사(제출자) 성명：                  (서명)

1. 연구개발 목표의 달성도는? □ 우 수 □ 보 통 □ 미흡 2. 연구성과가 참여기업의 기술력 향상에 도움이 되었는가? □ 충 분 □ 보 통 □ 불충분 3. 연구성과가 기업의 시장성 및 경제성에 도움이 되었는가? □ 충 분 □ 보 통 □ 불충분 [ 4, 5, 6번 항은 연차별 진도관리시에 해당 ] 4. 연구수행과정은 기업의 요청을 충분히 반영하였는가? □ 충 분 □ 보 통 □ 불충분 5. 향후 계속 참여 의사는? □ 충분 □ 고려중 □ 중단 6. 계속 참여 혹은 고려중인 연구개발비의 투자규모(전년도 대비)는? □ 확 대 □ 동 일 □ 축 소 [ 7, 8번 항은 최종(단계)평가시에 해당 ] 7. 연구개발결과의 기업화 여부는? □ 즉시 기업화 가능 □ 수년내 기업화 가능 □ 기업화 불가능 8. 기업화가 불가능한 경우 그 이유는? ※ 기타 종합의견(본과제에 대한 의견, 전문기관에 대한 요구사항 등)
참여기업입장에서 본 연구결과의 만족도	S	A	B	C	D

[별지 제7-4호 서식]

(평가 / 이의신청) 결과통보서

1. 과제현황

		과제번호
사 업 명
과제구분	(총괄,세부,단위)
	(주관, 협동)
총괄과제					총괄책임자
과 제 명					과제유형			(기초,응용,개발)
연구기관					연구책임자
연구기간 연 구 비 (천원)	총연구기간			정부	민간				계
참여기업
상 대 국			상대국연구기관

2. 참여연구원 :

소 속	직 위	성 명

3. (평가 / 이의신청) 검토의견

4. (평가 / 이의신청) 결과(또는 조치사항)

*선정평가：우선 순위

*결과평가：평가점수 및 평가등급

*조치사항(가감점 부여, 참여제한, 평가위원 참여제한 등)

*이의신청 인정여부 및 조치사항

상기과제의 (평가/이의신청)결과를 위와 같이 통보하오니 동 결과를 연구원 평가시 반영하여 주시기 바랍니다.

[별지 제7-5호 서식]

이 의 신 청 서

1. 과제현황

		과제번호
사 업 명
과제구분	(총괄,세부)
	(주관, 협동)
총괄과제					총괄책임자
과 제 명					과제유형			(기초,응용,개발)
연구기관					연구책임자
연구기간 연 구 비 (천원)	총연구기간			정부	민간				계
참여기업
상 대 국			상대국연구기관

2. 평가결과 통보일시 : 201  .    .    .

3. 평가결과 :

4. 이의신청 사유 :

상기과제의 평가결과에 대하여 위와 같이 이의를 신청하오니, 조치하여 주시기 바랍니다.

년    월    일

연구책임자：               (서명)

연구기관：               (직인)

국민안전처장관 귀하