» E-mentor nr 5 (57) / 2014

Współczesne organizacje funkcjonują w otoczeniu wymuszającym wprowadzanie działań dostosowawczych w zakresie zarządzania strategicznego. Jednym z istotnych elementów skutecznego zarządzania strategicznego, którego znaczenie jest podkreślane zarówno przez teoretyków, jak i praktyków w tym obszarze, jest ewaluacja, umożliwiająca kompleksową ocenę realizowanej przez organizację strategii. Proces ewaluacji podlega sprawozdawczości, a powstające raporty zawierają rekomendacje pozwalające organizacjom zwiększyć efektywność przyjętej strategii działania. W praktyce jednak rekomendacje te częstokroć nie są implementowane, a jednym z głównych powodów niewdrażania wyników ewaluacji jest brak zrozumienia zapisów raportu ewaluacyjnego, wynikający z wysokiego poziomu zawiłości i kompleksowości stosowanego w nim języka.

Dynamiczne zmiany zachodzące w przemyśle oraz strukturach gospodarki światowej przyczyniają się do ciągłego rozwoju koncepcji zarządzania strategicznego w organizacji¹. Istota zarządzania strategicznego została przedstawiona w wielu pracach - wśród najnowszych m.in. w pracach A. Stabryły², M. Romanowskiej⁴, E. Stańczyk-Hugiet⁴ czy R. Krupskiego⁵. Głównym celem zarządzania strategicznego jest planowanie strategii działania organizacji w perspektywie długoterminowej, która umożliwiłaby gospodarowanie instytucją w sposób efektywny, z uwzględnieniem przede wszystkim jej rozwoju w przyszłości, a nie z ukierunkowaniem wyłącznie na działalność teraźniejszą lub przeszłą⁶.

Podstawą osiągnięcia celów strategicznych jest zbudowanie odpowiedniego zaplecza organizacyjnego, obejmującego nie tylko zasoby materialne (m.in. fundusze, zasoby kadrowe), ale również zasoby niematerialne (m.in. systemy zarządzania wiedzą). Jednym z systemów zarządzania wiedzą w organizacji jest system ewaluacji, umożliwiający kompleksową ocenę realizowanej przez organizację strategii. Prowadzenie badania ewaluacyjnego jest niezbędne ze względu na konieczność ciągłego elastycznego reagowania na zmieniające się warunki otoczenia, dlatego też powinno ono uwzględniać tzw. sprzężenie wyprzedzające (feed-forward), czyli umożliwiać systematyczną weryfikację zagrożeń pojawiających się w otoczeniu i ich możliwego wpływu na instytucję⁷. Ewaluacja taka ukierunkowana jest na: ocenę strategii jednostki, zbieranie i analizowanie danych w celu podjęcia decyzji o dalszej realizacji strategii, wprowadzanie niezbędnych modyfikacji oraz formułowanie rekomendacji na przyszłość dotyczących realizacji celów strategicznych. Ponadto, wyniki uzyskane po przeprowadzeniu ewaluacji powinny być bazą do opracowania - jeżeli jest to konieczne - nowej strategii dla organizacji.

Dlaczego zatem praktyczne wykorzystanie tych wyników jest często bardzo trudne bądź nawet niemożliwe? Jakie problemy pojawiają się, gdy podejmuje się próby analizy uzyskanych wniosków i rekomendacji? Z pewnością są to problemy różnego rodzaju, m.in. kadrowe, finansowe czy rzeczowe. Jednakże w wielu przypadkach mamy po prostu do czynienia z problemami związanymi z niezrozumieniem wytycznych zawartych w raportach ewaluacyjnych.

Celem artykułu jest analiza indeksu mglistości tekstu (Gunning Fog Index) raportów ewaluacyjnych strategicznych programów badawczych w obszarze innowacji technicznych, dostarczanych jednostkom realizującym tego typu programy. Czynnikiem decydującym o wyborze indeksu mglistości tekstu do badań jest fakt, iż jest on najczęściej wykorzystywanym narzędziem dla tekstów anglojęzycznych⁸.

Sposoby analizy poziomu przystępności tekstu pisanego

Strategiczne programy badawcze są programami wysokobudżetowymi, dlatego w celu zapewnienia prawidłowego wydatkowania środków powinny podlegać systematycznej ewaluacji. Raporty będące jej rezultatem zawierają nie tylko opisy działań prowadzonych w programach, ale przede wszystkim rekomendacje odnoszące się do dalszej realizacji programów lub uruchamiania nowych programów w przyszłości. Rekomendacje są istotnym elementem zarządzania, gdyż ich wykorzystanie umożliwia zwiększenie efektywności oraz skuteczności realizacji programu strategicznego. Tekst wniosków i rekomendacji jest zrozumiały, jeśli spełnia standardy prostego języka, czyli jest przystępny. Nasuwają się zatem pytania:

• czy wnioski i rekomendacje będące elementem raportów ewaluacyjnych są pisane przystępnym językiem?
• czy kadra zarządzająca jest w stanie wykorzystać rekomendacje z ewaluacji?

Moda na tzw. plain language, czyli prosty język⁹, powoduje, że język publikowanych informacji, opracowań, m.in. tekstów oficjalnych, przede wszystkim prawnych i urzędowych, jest coraz częściej przystępny zarówno dla urzędników instytucji publicznych, jak i dla ogółu społeczeństwa. Do analizy poziomu przystępności tekstu opracowano różne typy narzędzi, m.in. indeks mglistości tekstu (Gunning Fog Index)¹⁰, indeks czytelności Flescha (Flesch Reading Ease)¹¹, indeks Coleman-Liau (Coleman Liau Index)¹² czy indeks SMOG (SMOG index)¹³.

Indeks mglistości tekstu, stworzony w 1952 r. przez R. Gunninga, zakłada, że łatwiejsze do zrozumienia są krótkie wyrazy i zdania niż długie, rozbudowane wypowiedzi. Zwłaszcza opracowania pisane na potrzeby ogółu społeczeństwa powinny charakteryzować się ich wykorzystaniem. Realizacja tego założenia pozwala także zwiększyć tempo czytania. Obliczenia indeksu mglistości tekstu dokonuje się następująco:

Indeks mglistości tekstu może być stosowany również w odniesieniu do tekstów pisanych w języku polskim. R. Gunning przyjął, że każdy wynik powyżej 12 powoduje, że tekst jest trudny w odbiorze dla przeciętnego czytelnika¹⁴. Przykładem zastosowania indeksu może być badanie poziomu jasności tekstu z dziennika „Rzeczpospolita”.

Przykład:

Nowy Program Rozwoju Obszarów Wiejskich ma na celu poprawę konkurencyjności i wzrostu dochodowości w rolnictwie. Zaplanowano w nim instrumenty wsparcia dotyczące transferu wiedzy i innowacji. Nowy program jest kontynuacją Programu Rozwoju Obszarów Wiejskich z okresu 2007-2013. Dlatego kontynuowana będzie pomoc przyczyniająca się do poprawy konkurencyjności rolnictwa, szczególnie w zakresie produkcji zwierzęcej. Młodzi rolnicy nadal będą mogli ubiegać się o premie na rozpoczęcie działalności rolniczej. Kontynuowana też będzie pomoc dla grup i organizacji producenckich. Przewidziano również kontynuację wsparcia, które pozwoli na odtwarzanie potencjału produkcji rolnej zniszczonego w wyniku klęsk żywiołowych i katastrof naturalnych. Kontynuowane będą też płatności na rzecz obszarów o niekorzystnych warunkach gospodarowania. Nowym instrumentem będzie natomiast premia na restrukturyzację małych gospodarstw rolnych. Program na lata 2014-2020 zaoferuje też pomoc dla rolników, którzy przekażą swe gospodarstwo rolne na powiększenie innego. Do nowego programu wpisano też pomoc dla rolnictwa ekologicznego¹⁵.

Zaprezentowany tekst osiągnął wynik o wartości 13,97, co oznacza, że prawdopodobnie jest łatwo zrozumiały dla czytelników, którzy ukończyli co najmniej studia licencjackie.

Z kolei indeks Flescha, opracowany przez P. Flescha w 1975 r., wyliczany jest z uwzględnieniem liczby słów, sylab oraz zdań w tekście:

P. Flesch uznał, że im wyższa wartość uzyskanego wyniku, tym tekst jest bardziej przystępny dla czytelnika. Przykładowo, wartość na poziomie 80 wskazuje, że tekst jest zrozumiały dla ucznia szkoły podstawowej, podczas gdy wartość na poziomie 0-30 oznacza, że jest to tekst akademicki. Prezentowane narzędzie zaprojektowano do analizy języka tekstów anglojęzycznych.

Przykład:

The objective of the research was to design and build an advanced apparatus for studying particle de-agglomeration, and to construct a relation between the powder agglomerates and flow properties studied and the degree of de-agglomeration by combining data on the level of turbulence and the relaxation time of the particles from the LES computations, de-agglomeration efficiency from the particle size distributions measured in the experimental de-agglomeration tests and theoretically and experimentally determined surface forces calculated and measured as part of the project by the Laboratory of Physics at Helsinki University of Technology. In the re-entrainment tests, the objective was to determine the effect of particle deposition velocity on particle adhesion to the surface. For this reason the test facility was built so as to allow de-position velocity to be controlled independently of flow velocity. The second objective in the study was to develop a simple model for the dynamic behaviour of the particle deposit on the surface¹⁶.

Wskaźnik czytelności tekstu obliczony według powyższego wzoru wynosi 3,8, co oznacza, że jest to tekst typowo akademicki, prawdopodobnie niezrozumiały dla przeciętnego czytelnika.

Poza przedstawionymi narzędziami można również wyróżnić indeks Coleman-Liau oraz indeks SMOG. Indeks opracowany przez M. Coleman i T.L. Liau w 1967 r., w odróżnieniu od innych narzędzi pomiaru prostoty języka, uwzględnia znaki, a nie sylaby w zdaniach. Uzyskany wynik odnosi się do poziomu kształcenia w Stanach Zjednoczonych.

Indeks SMOG, zaprojektowany przez H. McLaughlina w 1969 r., wskazuje liczbę lat kształcenia niezbędnych do zrozumienia danego tekstu pod względem językowym. Wykorzystywany jest głównie do badania poziomu jasności języka w odniesieniu do tekstów z zakresu medycyny:

Istotnym ograniczeniem wykorzystania indeksu SMOG jest to, iż stosowany jest do fragmentów co najmniej 30-zdaniowych, a wynik nie ma odniesienia do tekstów napisanych w innych językach niż angielski.

Metodyka i organizacja badań

W analizie poziomu trudności języka zastosowanego w raportach ewaluacyjnych uwzględniono 21 dokumentów odnoszących się do strategicznych programów badawczych z obszaru innowacji technicznych¹⁷. Aby ułatwić zrozumienie efektów analiz, zaprezentowano jedynie wyniki dotyczące programów charakteryzujących się najwyższym oraz najniższym stopniem zrozumiałości języka.

Na potrzeby badania wykorzystano indeks mglistości tekstu (Gunning Fog Index), jako że narzędzie to może być stosowane do badania poziomu prostoty języka praktycznie we wszystkich rodzajach dokumentów. Dokonano pomiaru fragmentów tekstu obejmujących trzy części raportów: wprowadzenie, tekst główny oraz rekomendacje. „Wprowadzenie” jest niezmiernie istotne dla czytelnika, gdyż umożliwia uzyskanie podstawowych informacji o programie strategicznym poddawanym ewaluacji. „Tekst główny” stanowi meritum raportu, podczas gdy „Rekomendacje” są cennymi wskazówkami, głównie dla kadry zarządzającej programem badawczym odnośnie do jego dalszej realizacji.

Wyniki badań

Rezultaty przeprowadzonych badań zaprezentowano w tabeli 1.

Średni wskaźnik indeksu mglistości tekstu dla części „Wstęp” we wszystkich przeanalizowanych raportach ewaluacyjnych (21) wyniósł 17,74. Najniższy wskaźnik osiągnięto w raporcie ewaluacyjnym programu PINTA - Technologie Czystych Powierzchni (14,90), natomiast najbardziej nieprzystępny tekst pod względem językowym zaobserwowano w przypadku koreańskiego Programu Rozwoju Technologii Generycznych (20,11).

Przykład 1 - fragment z części „Wstęp” z raportu programu PINTA - Technologie Czystych Powierzchni
The scientific goal of the PINTA - Clean Surfaces Programme was to achieve a comprehensive understanding of the phenomena of fouling. In order to develop a more comprehensive understanding a combination of several basic and applied disciplines was needed. In other words a creation of a common language between physicists, chemists, material engineers, microbiologists and mineral engineers took the first two years of the programme. The PINTA Programme was planned to be a multidisciplinary endeavour with a focus for research in basic and applied studies of industrial surfaces and interfaces. The PINTA Programme started in January 2002 and ended in June 2006. A total of 36 projects have been running: 9 research projects and 27 company projects. The total value of this programme was EUR 23 million and the TEKES funding for the research and company projects was EUR 15 million.

W podanym fragmencie tekstu występuje 141 wyrazów w ramach 7 zdań. Wyrazów trzysylabowych i dłuższych zidentyfikowano 10. Końcowy wynik na poziomie 15,71 oznacza, że język tekstu jest dość trudny, prawdopodobnie zrozumiały dla osób legitymujących się ukończeniem co najmniej studiów licencjackich.

Przykład 2 - fragment z części „Wstęp” z raportu Programu Rozwoju Technologii Generycznych
Confronted with the dissatisfaction, the government organized an external expert panel in 1991 to undertake a collective evaluation of the GSRIs, the major recipient of the national R&D funds. The purposes of the evaluation were to diagnose project/program management systems and their operation in each institute, and, in so doing, to derive policy recommendations for the systems' improvement. The panel pointed out that the national R&D programs were managed inefficiently, and that largely the government officials who lacked appropriate understanding in R&D management and evaluation were to blame. The panel recommended that the related ministries establish organizations specialized in R&D planning, project selection, and evaluation (Task Force for Government-Sponsored Research Institutes Evaluations, 1991). The recommendation was accepted, and establishing such organizations is now one of the basic approaches in Korea. These special organizations are now evaluating all the projects belonging to the national R&D programs.

W podanym fragmencie tekstu występuje 145 wyrazów w ramach 6 zdań. Wyrazów trzysylabowych i dłuższych zidentyfikowano 45. Końcowy wynik na poziomie 22,08 oznacza, że tekst jest bardzo trudny do odbioru dla przeciętnego czytelnika.

W odniesieniu do części „Tekst główny”, podobnie jak w przypadku części „Wstęp”, najtrudniejszym w odbiorze tekstem okazał się raport koreański Programu Rozwoju Technologii Generycznych (20,95).

Przykład 3 - fragment z części „Tekst główny” z raportu Programu Rozwoju Technologii Generycznych
From the evaluation format we can infer that the ex-ante evaluation aims to review relevance to the program objectives, urgency, adequacy of research strategy and method, and expected impact of outcome, and the ex post evaluation to measure achievement of R&D goals, adequacy of research method, and quality and practical value of research results. The project evaluation procedure is quite similar to that for the SRD Program. Every project leader assesses his own project descriptively following the guide of given formats. Then, a program director at IITA conducts pre-evaluation for each project in his area, summarizes the evaluation results of the subcommittee, and draws up the director's opinion. The R&D management committee integrates and approves the evaluation results of the six subcommittees based on the evaluation opinions provided by the six program directors. In doing ex ante pre-evaluation, a program director checks if the proposed project is not being supported by another governmental branch or already completed elsewhere, and if the goal of the proposed project is consistent with the goal of the program. One notable feature of the procedure is that, for the mid-term and final evaluation, milestone reports are to be appended. At the time of project contract, the time points of checking mid-term performances are agreed between IITA and the project leader, and the mid-term throughputs should be demonstrated according to the schedule.

W podanym fragmencie tekstu występuje 226 wyrazów w ramach 7 zdań. Indeks mglistości tekstu wynosi 21,41, co oznacza, że tekst jest bardzo trudny w odbiorze dla czytelnika.

„Rekomendacje”, jako najważniejsza część raportu, powinny być najbardziej zrozumiałe dla odbiorcy, mają bowiem istotne znaczenie dla procesu podejmowania decyzji zarówno operacyjnych, jak i strategicznych na poziomie nie tylko realizowanego programu, ale często również organizacji. Najbardziej przystępny język rekomendacji zanotowano w Duńskim Strategicznym Programie Badań Środowiskowych (12,12), natomiast najbardziej skomplikowany tekst pod względem językowym zidentyfikowano w Programie Technologii Pojazdów (24,25).

Przykład 4 - fragment z części „Rekomendacje” raportu ewaluacyjnego Duńskiego Strategicznego Programu Badań Środowiskowych
This ensures robustness in the citation analyses. Perhaps owing to the extended citation window at the final evaluation, the variation of citations received per SCI article increased, and the promising substantial correlation observed at the mid-term evaluation between top-ranked journals and their corresponding center articles did not continue. Too often a top-cited article from a center was published in a journal displaying a much lower diachronous JIF; but the opposite phenomenon also took place. Perhaps this difference in correlations over time simply signifies that what seems manifest at a short-term impact perspective becomes more changeable or scattered in a long-term citation scenario. Of course, the mere values of the involved correlation vectors are also of importance: smaller impact values tend to correlate better in Pearson than when the impact increases in values, since the variation from the mean figures may increase. As a program SMP was a success associated with the volume of research publications published over the five-year period. The doubling and tripling of output is significant, but perhaps at the cost of the rest of the field's research development. Hence it becomes of interest to follow up the Danish environmental research production from 1998 onwards.

W podanym fragmencie tekstu występuje 197 wyrazów w ramach 10 zdań. Indeks mglistości tekstu wynosi 14,99, co oznacza, że tekst jest średnio trudny w odbiorze dla czytelnika.

Przykład 5 - fragment z części „Rekomendacje” raportu ewaluacyjnego Programu Technologii Pojazdów
The Vehicle Technologies Deployment activity promotes the voluntary adoption and use of petroleum reduction technologies and practices by working with locally based coalitions and their stakeholders, industry partners, fuel providers, and end-users such as fleet operators. Technology focus areas include: alternative fuel vehicles (AFVs), alternative fuel infrastructure development, idling reduction for commercial trucks and buses, expanded use of non- petroleum and renewable fuel blends, hybrid vehicles, and driving practices and engine/vehicle technologies that maximize fuel economy. Outreach, training, and technical assistance related to each technology focus area are provided by technology experts at DOE headquarters and national laboratories. Also provided are technical assistance for early adaptors of technologies, and training and workshops to coalitions, public safety officials, and stakeholders related to infrastructure development and targeted niche market opportunities that include transit, refuse trucks, school bus, delivery trucks, and municipal fleets. Provided as well is public information on the benefits and costs of the use of alternative fuels in vehicles.

W podanym fragmencie tekstu występuje 161 wyrazów w ramach 5 zdań. Indeks mglistości tekstu wynosi 27, co oznacza, że tekst jest niezmiernie trudny w odbiorze dla czytelnika.

Również programy polskie charakteryzują się wysokim stopniem trudności języka.

Przykład z części „Tekst główny” raportu ewaluacyjnego programu Bon na Innowacje
Dane zastane zostały poddane analizie typu desk research, zmierzającej do wydobycia informacji istotnych z punktu widzenia realizacji badania lub stanowiących podstawę do formułowania odpowiedzi na pytania ewaluacyjne. W przypadku dokumentacji wniosków i projektów analiza ta miała postać tworzenia baz danych, pozwalających na dobór próby oraz agregację danych w celu scharakteryzowania wnioskodawców, beneficjentów i projektów. Materiał empiryczny pochodzący z badań jakościowych został poddany analizie jakościowej. Wykorzystana została przy tym technika kodowania, wiążąca poszczególne fragmenty wypowiedzi respondentów ze sformułowanymi zagadnieniami badawczymi. Dzięki temu zidentyfikowane zostały dane istotne z punktu widzenia odpowiedzi na poszczególne pytania ewaluacyjne. Natomiast dane ilościowe poddane zostały analizom statystycznym pozwalającym na wyciągnięcie wniosków dotyczących poszczególnych zagadnień badawczych.

W podanym fragmencie tekstu występuje 110 wyrazów w ramach 6 zdań. Indeks mglistości tekstu wynosi 18,24, co oznacza, że tekst jest trudny w odbiorze dla czytelnika. Beneficjenci charakteryzujący się wykształceniem zasadniczym czy nawet średnim mogą mieć trudności ze zrozumieniem tekstu oraz praktycznym wykorzystaniem wniosków i rekomendacji.

Uwzględniając zasadę, że im niższy wynik, tym tekst jest bardziej zrozumiały dla czytelnika, po przeprowadzeniu analiz stwierdzono, że w odniesieniu do części „Wstęp” najlepszy wynik osiągnął raport dotyczący fińskiego programu PINTA - Technologie Czystych Powierzchni (14,90). Raport Duńskiego Strategicznego Programu Badań Środowiskowych osiągnął pozytywny wynik zrozumiałości języka zarówno w odniesieniu do części „Tekst główny” (15,20), jak i „Rekomendacji” (12,12). Najtrudniejszym w odbiorze raportem okazał się raport amerykańskiego Programu Technologii Pojazdów, w szczególności w odniesieniu do części „Rekomendacje” (24,95).

Podsumowanie

Przeanalizowane raporty ewaluacyjne, mimo że nie stanowią materiałów naukowych, są trudne w odbiorze dla przeciętnego czytelnika, który chciałby wykorzystać zawarte w nich informacje do poprawy zarządzania programem bądź całą organizacją.

Podstawowym celem systemu ewaluacji jest wspomaganie procesów zarządzania organizacją, umożliwiających m.in.:

• doskonalenie istniejących struktur, procedur i procesów zarządzania organizacją;
• minimalizowanie negatywnych efektów ubocznych zarządzania ukierunkowanego na wyniki;
• zwiększenie efektywności prac w organizacji poprzez weryfikację poziomu realizacji zakładanych celów oraz jakości osiąganych rezultatów;
• zwiększenie skuteczności realizowanych działań w organizacji poprzez sprawdzanie aktualności celów strategii.

Pierwszą i najważniejszą zasadą pisania raportów ewaluacyjnych powinno być dążenie do stworzenia prostego tekstu, co jest możliwe do osiągnięcia poprzez:

• eliminowanie zbędnych słów,
• zastępowanie terminów naukowych słowami powszechnie używanymi,
• unikanie zdań złożonych i tworzenie zdań pojedynczych.

Wydaje się, że raporty ewaluacyjne oraz wszystkie dokumenty kierowane do obywateli powinny być poddawane badaniu pod względem poziomu zrozumiałości języka. Zrozumienie wniosków i rekomendacji dotyczących realizowanych programów strategicznych pozwala bowiem podjąć działania wpływające na zwiększenie skuteczności oraz efektywności realizowanych prac.

Bibliografia

• Arnold E., et al., Mid-term Evaluation of the Competence Centre Programme, Tallinn 2008.
• Avellan F., Cederwall K., Hartmann R., Hydraulic turbine research programme. Evaluation report, The Royal Institute of Technology, Stockholm 2002.
• Barten H., Flamant G., Pitz-Paal R., Semaden M., Evaluation of the „Solar Chemistry/Hydrogen” research program, Swiss Federal Office of Energy SFOE, 2006.
• Borlaug B. (ed.), Between entrepreneurship and technology transfer: Evaluation of the FORNY programme, NIFU STEP, 2009.
• Coleman M., Liau T.L., A computer readability formula designed for machine scoring, „Journal of Applied Psychology” 1975, Vol. 60, No. 2, s. 283-284, http://dx.doi.org/10....
• Czerniejewski B., Wyniki ewaluacji mid-term programu strategicznego pt. ,,Interdyscyplinarny system informacji naukowej i naukowo-technicznej”, Warszawa 2012, http://www.ncbir.pl/....
• Evaluation of JST strategic basic research programs, Japan Science Technology Agency, 2012, http://www.jst.go.jp.
• Ewaluacja ex-ante programu sektorowego INNOMED, Narodowe Centrum Badań i Rozwoju, Warszawa 2012, http://www.ncbir.pl/....
• Flesch R., The Art of Readable Writing, Harper & Brothers Publishers, New York 1948.
• Gamota G. (ed.), Japan's ERATO and PRESTO. Basic Research Programs, 1999, http://www.wtec.org/....
• GRAF-TECH, Narodowe Centrum Badań i Rozwoju, Warszawa 2012, http://www.ncbir.pl/....
• Gunning R., The technique of clear writing, McGraw-Hill, New York 1952.
• h2 Early Adopters Program (h2EA) - six months progress report, Performance Management Network Inc., 2004, http://ito.ic.gc.ca/....
• Henry N., Leather J., PARD: Third interim programme report, Advantage West Midlands, 2008.
• Ingwersen P., Birger B., Evaluation of strategic research programs: the case of Danish Environmental Research 1993-2002, „Research Evaluation” 2007, Vol. 16, No. 1, s. 47-57, http://dx.doi.org/10....
• Jacobsen S., Legal analysis & communication, Author House, Indiana 2009.
• Jakobsen L. (ed.), Evaluation of the Programme for Interdisciplinary Materials Research Consortia, Oxford Research, 2002.
• Koponen P., Kalander J.K., Kuursisto M., FinNano Programme. Intermediate Evaluation, TEKES, Helsinki 2008.
• Krupski R., Zarządzanie strategiczne. Rozwój koncepcji i metod, „Prace Naukowe Wałbrzyskiej Wyższej Szkoły Zarządzania i Przedsiębiorczości” 2014, t. 27(2).
• Kumar V., Media options for teachers, New Delhi 1998.
• Lawson M., Burgan B., Finnsteel Technology Programme 1995-2000, TEKES, Helsinki 2001.
• Lee M., Son B., Om K., Evaluation of national R&D projects in Korea, „Research Policy” 1996, Vol. 25, No. 5, s. 805-818, http://dx.doi.org.10....
• McLaughlin H., SMOG Grading - a New Readability Formula, „Journal of Reading” 1969, Vol. 12, No. 8, s. 639-646.
• Murawska M., Zarządzanie strategiczne niematerialnymi zasobami przedsiębiorstwa, Warszawa 2008.
• Obłój K., Strategia organizacji, PWE, Warszawa 1998.
• Ocena efektywności i skuteczności programu Bon na Innowacje, Polska Agencja Rozwoju Przedsiębiorczości, Warszawa 2010.
• Penc-Pietrzak I., Planowanie strategiczne w nowoczesnej firmie, Wolters Kluwer Polska, Warszawa 2010.
• PINTA - Clean Surfaces 2002-2006. Technology programme report, TEKES, Helsinki 2006.
• Rezendes L., Advanced technology. Proposal review process and treatment of foreign-owned businesses, 1994, http://archive.gao.g....
• Romanowska M., Planowanie strategiczne w przedsiębiorstwie, Wydawnictwo PWE, Warszawa 2009.
• Salo A., Pahlavan K., Salmenkaita J.P., R&D Programmes in Electronics and Telecommunications. ETX, TLX, INWITE and Telectronics. Technology programme report, TEKES, Helsinki 2000.
• Smith D., Richardson G., The Readability of Australia's Taxation Laws and Supplementary Materials: An Empirical Investigation, „Fiscal Studies” 1999, Vol. 20, No. 3, s. 321-349, http://dx.doi.org/10....
• Stabryła A., Zarządzanie strategiczne w teorii i praktyce, Wydawnictwo Naukowe PWN, Warszawa 2005.
• Stańczyk-Hugiet E., Dynamika strategiczna w ujęciu ewolucyjnym, Wydawnictwo Uniwersytetu Ekonomicznego we Wrocławiu, Wrocław 2013.
• Stephens Ch., Plain language in plain English, Lulu Enterprises Incorporated, 2010.
• Taylor J., Quick Fixes for Business Writing: An Eight-Step Editing Process to Find and correct common readability problems, Toronto 2006.
• Vehicle Technologies Program 2011-2015, Office of Energy Efficiency and Renewable Energy, U.S. Department of Energy, 2010.