Assessment of effectiveness of science and technology projects: A case study of national science and technology programme for sustainable development of North West Vietnam
Abstract: The present research was conducted to propose the index for assessing the effectiveness
of science and technology projects in Vietnam. The effectiveness of projects was measured through
20 variables of 03 indicators: (1) The effectiveness of science and technology values including 12
variables; 2) The effectiveness of human resources including 04 variables; 3) and the effectiveness
of education and training including 04 variables. These variables were evaluated by the 0-1 scale,
with the zero-value indicated ineffectiveness of projects and vice versa. These variables were
measured by the number of results, products from selected projects, and compared with the actual
value in the project contract. Total 8 projects (including natural sciences, social sciences and
technology projects) from National Science and Technology Program for Sustainable Development
of North West Vietnam (NSTP-SDNW) were selected from 58 projects of NSTP-SDNW for testing
the present index. Research results showed that the number of results and products of all projects
have been met or exceeded requirements in project contracts. The assessment value of social projects
(code 06X, 07X, 17X) ranged from 0.55 to 0.75, whereas the assessment value of natural sciences
and technology projects ranged from 0.55 to 0.72. Research results showed that all selected projects
are measured as high effective level, with the highest effectiveness was observed in No. 06X and
No. 02C projects.
Trung bình 0,83 0,52 0,55 0,65 0,41 0,44 0,49 0,50 III. Hiệu quả về đào tạo HQ17 0,80 0,45 0,45 1,00 0,45 0,45 0,90 - HQ18 0,75 0,75 0,75 0,75 0,75 0,75 0,75 - HQ19 - - - - 0,75 - - 0,75 HQ20 0,55 0,55 0,35 0,45 0,60 0,75 0,45 0,70 Trung bình 0,70 0,58 0,52 0,73 0,64 0,65 0,70 0,73 Điểm trung bình 0,75 0,55 0,61 0,72 0,55 0,58 0,60 0,60 M.T. Nhuan et al. / VNU Journal of Science: Earth and Environmental Sciences, Vol. 36, No. 2 (2020) 17-28 26 - Việc lựa chọn các đề tài, dự án cần dựa trên khả năng tạo ra các kết quả, sản phẩm mới: sản phẩm hàng hóa mới, giống cây trồng vật nuôi mới, vật liệu mới, thiết bị máy móc mới, dây chuyền công nghệ mới, quy trình kỹ thuật/công nghệ mới, mô hình mới, phần mềm máy tính mới, phương pháp mới, quy luật mới, giải pháp mới, khuyến nghị mới, thông tin mới, cơ sở dữ liệu mới, - Ưu tiên lựa chọn các đề tài, dự án xuất phát từ nhu cầu/đặt hàng của các địa phương và các ý tưởng mới, thiết thực; - Chú trọng quản trị KH&CN theo sản phẩm/kết quả cuối cùng (phương pháp mới, quy trình mới, số liệu và dữ liệu mới, phát hiện mới, đề xuất mới hữu dụng,...) và quản trị sáng tạo. b) Nhóm giải pháp về sự liên kết, phối hợp giữa các bên liên quan: - Tăng cường sự liên kết, phối hợp giữa các chương trình KH&CN nói chung và Chương trình Tây Bắc nói riêng, với các địa phương (đầu mối chính là Sở KH&CN) trong các khâu đề xuất, lựa chọn, thực hiện, đánh giá các đề tài, dự án; - Có đại diện của đơn vị đặt hàng (UBND tỉnh, các sở của tỉnh như KH&CN, Nội vụ, Giáo dục và Đào tạo, Nông nghiệp và Phát triển nông thôn, Công thương, Văn hoá, Thể thao, Du lịch, ..., doanh nghiệp) tham gia đề xuất, xét duyệt, lựa chọn, triển khai, đánh giá các đề tài, dự án liên quan đến địa phương triển khai; - Huy động các cán bộ, nhà khoa học địa phương tham gia ngay từ khâu đề xuất, xây dựng thuyết minh, tổ chức thực hiện, nghiệm thu và sử dụng kết quả của đề tài, dự án; - Tăng cường sự liên kết, phối hợp giữa đề tài, dự án với sở KH&CN và đơn vị liên quan trực tiếp đến sử dụng kết quả của đề tài, dự án (ví dụ Sở Nội vụ, Sở Kế hoạch và Đầu tư, Sở Văn hóa, Thể thao và Du lịch, Sở Giáo dục và Đào tạo,) trong quá trình xây dựng, triển khai và sử dụng/ứng dụng kết quả; - Thường xuyên gửi các thông tin cập nhật về tình hình thực hiện đề tài, dự án cho các bên liên quan nhằm giải quyết kịp thời các vấn đề khó khăn của đề tài khi thực hiện cũng như để cơ quan quản lý nắm được tình hình thực hiện đề tài, có quyết định điều chỉnh kịp thời trong các trường hợp đề tài, dự án triển khai nhưng không thực sự phù hợp; - Cơ quan quản lý và đối tượng sử dụng cuối cùng phải khảo sát thực tế, đánh giá tại hiện trường nhằm đánh giá kết quả một cách khách quan, chính xác nhất, làm cơ sở để sử dụng/ứng dụng các kết quả, sản phẩm sau khi đề tài, dự án hoàn thành. - Tăng cường sự tham gia của các đối tượng thụ hưởng trực tiếp các kết quả, sản phẩm của các đề tài, dự án: doanh nghiệp, người dân, c) Nhóm giải pháp về chuyển giao, thương mại hóa, kết nối cung cầu: - Đánh giá và lựa chọn các sản phẩm KH&CN có khả năng chuyển giao, thương mại hóa, kết nối cung - cầu. - Xây dựng chiến lược chuyển giao, thương mại hóa, kết nối cung - cầu cho các sản phẩm, nhóm sản phẩm tiềm năng. - Huy động doanh nghiệp tham gia phối hợp triển khai nhằm chuyển giao, thương mại hóa và nhân rộng các kết quả, sản phẩm của đề tài, dự án. Trên cơ sở đó, chuyển giao kết quả nghiên cứu và sản phẩm của các đề tài, dự án cho các doanh nghiệp để tăng khả năng thương mại hóa sản phẩm, giúp thúc đẩy sự phát triển kinh tế và xã hội cho các địa phương. - Có thể áp dụng cách thức chuyển giao theo từng giai đoạn của đề tài: Có sản phẩm đến phần nào thì chuyển giao cho địa phương và doanh nghiệp đến phần đó nhằm tiết kiệm thời gian cũng như điều chỉnh kết quả, sản phẩm cho phù hợp với điều kiện và nhu cầu thực tế. d) Nhóm giải pháp về truyền thông: Tăng cường quảng bá thông tin về kết quả, hiệu quả, đóng góp, tác động của các đề tài, dự án bằng cách xây dựng cổng thông tin để lãnh đạo, người dân, các nhà khoa học, doanh nghiệp và những ai quan tâm có thể truy cập. Lãnh đạo tỉnh sau khi truy cập, nếu thấy các kết quả phù hợp với tình hình phát triển kinh tế, xã hội và nhu cầu của tỉnh có thể đề xuất chuyển giao kết quả M.T. Nhuan et al. / VNU Journal of Science: Earth and Environmental Sciences, Vol. 36, No. 2 (2020) 17-28 27 của đề tài, dự án, kể cả khi dự án không phải do tỉnh đặt hàng. 4. Kết luận Tính hiệu quả của các đề tài, dự án được đánh giá dựa trên 20 chỉ thị thuộc 03 hợp phần: 1) Hiệu quả về KH&CN gồm 12 chỉ thị; 2) Hiệu quả về nguồn lực thực hiện gồm 04 chỉ thị; và 3) Hiệu quả về đào tạo gồm 04 chỉ thị. Kết quả đánh giá định lượng 08 đề tài, dự án KH&CN thuộc Chương trình Tây Bắc cho thấy tính hiệu quả dao động trong khoảng 0,55 - 0,75. Có 2 đề tài (06X và 02C) có tính hiệu quả cao và 6 đề tài, dự án được đánh giá là hiệu quả. Để nâng cao hiệu quả của các đề tài, dự án, cần áp dụng các nhóm giải pháp về KH&CN; sự liên kết, phối hợp giữa các bên liên quan; chuyển giao, thương mại hóa, kết nối cung cầu; và truyền thông cho các kết quả, sản phẩm. Cần nghiên cứu, đề xuất thêm trọng số của một số chỉ thị đánh giá cho phù hợp với đề tài, dự án thuộc các lĩnh vực khác nhau cũng như đánh giá của các bên liên quan, đặc biệt là đối tượng sử dụng, ứng dụng trực tiếp kết quả, sản phẩm để tăng tính thiết thực, phù hợp của bộ chỉ thị đánh giá. Lời cảm ơn Nghiên cứu này được tài trợ bởi đề tài mã số KHCN-TB.27X/13-18 thuộc Chương trình KH &CN phục vụ phát triển bền vững vùng Tây Bắc. Tài liệu tham khảo [1] I. Bartuševičienė and E. Šakalytė, Organizational assessment: Effectiveness vs. Efficiency, Social Transformations in Contemporary Society 1 (2013) 45-53. [2] W. Zheng, B. Yang, G. McLean, Linking organizational culture, structure, strategy, and organizational effectiveness: Mediating role of knowledge management, Journal of Business Research 63(7) (2010) 763-771. https://doi.org/10. 1016/j.jbusres.2009.06.005. [3] C. Donovan and S. Hanney, The “Payback Framework” explained. Research Evaluation 20 (2011) 181-183. https:// doi.org/10.3152/095820211X13118583635756. [4] R. Banzi, L. Moja, V. Pistotti, A. Facchini and A. Liberati, Conceptual frameworks and empirical approaches used to assess the impact of health research: An overview of reviews, Health Research Policy and Systems 9 (2011) 26-36. https://dx.doi. org/10.1186%2F1478-4505-9-26. [5] H.P. McKenna, J. Daly, P. Davidson, C. Duffield, D. Jackson, RAE, ERA, Spot the difference, Int J Nurs Stud 49 (2012) 375-377. https://doi.org/10.1 016/j.ijnurstu.2011.11.013. [6] C. Manville, S. Guthrie, M. Henham, B. Garrod, S. Sousa, A. Kirtley, S. Clarke and T. Ling, Assessing impact submissions for REF 2014: An evaluation. RAND, Prepared for HEFCE, SFC, HEFCW and DEL (2014). https://www.rand.org/pubs/research_ reports/RR1032.html (accessed 30 December 2019). [7] REF2014, 2010. Decisions on Assessing Research Impact. https://www.ref.ac.uk/2014/media/ref/ content/pub/decisionsonassessingresearchimpact/0 1_11.pdf (accessed 30 December 2019). [8] CAHS (Canadian Academy of Health Sciences Panel on Return on Investment in Health Research), Making an Impact: A Preferred Framework and Indicators to Measure Returns on Investment in Health Research (Publish online), 2009. cahs- acss.ca/wp_content/uploads/2011/ 09/ROI_FullReport .pdf (accessed 30 December 2019). [9] M. Duryea, M. Hochman and A. Parfitt, Measuring the Impact of Research, Research Global, 27, 8-9 (Publish online) (2007). ResGlob2007.pdf (accessed 30 December 2019). [10] S. Morton, Progressing research impact assessment: A ‘contributions’ approach. Research Evaluation 24 (2015) 405-419. https://doi.org/10.1093/reseval/rvv016. [11] S.H. Oh, H.Y. Lim, B. Kim, Strategy to Promote the Effectiveness of Technology Transfer of National R&D Programs in Korea: Seen through the G7 Leading Technology Development Program, Procedia Computer Science 91 (2016) 221 - 229. https://doi.org/10.1016/j.procs.2016.07.061. [12] H. Lee, Y. Park, H. Choi, Comparative evaluation of performance of national R&D programs with heterogeneous objectives: A DEA approach, European Journal of Operational Research 196 (2009) 847-855. https://doi.org/10.1016/j.ejor.2008. 06.016. [13] P. Patunakul, Y. H. Kwak, O. Zwikael, M. Liu, What impacts the performance of large-scale government projects?, International Journal of Project Management 34 (2016) 452-466. https:// doi.org/10.1016/j.ijproman.2015.12.001. M.T. Nhuan et al. / VNU Journal of Science: Earth and Environmental Sciences, Vol. 36, No. 2 (2020) 17-28 28 [14] B. Bozeman, J. Youtie, Socio-Economic impacts and public value of government-funded research: Lessons from four US National Science Foundation initiatives. Research Policy 46(8) (2017) 1387-1398. https://doi.org/10.1016/j.respol. 2017.06.003. [15] B.P. Cozzarin, Data and the measurement of R&D program impacts, Evaluation and Program Planning 31 (2008) 284-298. https://doi.org/10. 1016/j.evalprogplan. 2008.03.004. [16] J. Han, M. Kamber, J. Pei, Data mining - Concepts and Techniques, 3rd edition, Elsevier Inc, USA (2012). [17] UNDP, Human development report, United Nations Development Program (2006). [18] M. Buxton and S. Hanney, How can payback from health services research be assessed? J Health Serv Res Policy 1(1) (1996) 35-43. https://doi.org/10. 1177%2F135581969600100107. [19] S. Wooding, S. Hanney, M Buxton, J. Grant, The returns from arthritis research Volume 1: approach, analysis and recommendations, A report prepared for the Arthritis Research Campaign, RAND Europe (2004).
File đính kèm:
- assessment_of_effectiveness_of_science_and_technology_projec.pdf