RSS

Archiwa tagu: uniwersytet

USOS i śliskie płytki

Rozpocznę od cytatu z blogu Marcina Zaroda:

Mam wrażenie, że o przewadze technicznej Niemiec, USA lub Japonii decyduje przede wszystkim fakt, że tam się takie rzeczy bada naukowo i poważnie o nich dyskutuje. U nas dyskusje o kształceniu technicznym nigdy nie wychodzą poza ogólniki lub bieżące mody. Mało kto patrzy na to jak na proces historyczny. Mało która uczelnia prowadzi np. badania nad tym jaka laborka pasuje do danego przedmiotu lub o tym jak projekty studenckie ewoluują w czasie. Chcę być jednym z tych, którzy to zmienią.

Cytat pochodzi z wpisu omawiającego plany czytelnicze autora bloga na najbliższy czas. Większość pozycji pochodzi z serii wydawniczej „Inside Technology” (miałem skromny udział w jej poleceniu). Brak analiz dotyczących splatania się zagadnień technicznych, społecznych, politycznych oraz kulturowych to wciąż wielka „dziura” w polskim systemie kształcenia (zarówno na poziomie uniwersyteckim, jak i na wcześniejszych etapach edukacji).

Zacznę od anegdoty. W ubiegłym tygodniu miałem wątpliwą przyjemność spacerować zaśnieżonym Nowym Światem w Warszawie, jest on wyłożony „wielkomiejskimi” płytami chodnikowymi. Wszystko byłoby świetnie, są one gładkie, wyglądają nieźle, wrażenie psuje mały szczegół: pokryte śniegiem są bardzo śliskie. Pokryte warstwą błota pośniegowego zmuszają do bardzo ostrożnego stąpania. Lepiej wędrować byłoby chodzić po asfalcie obok, nie dość że jest lepiej odśnieżony (samochody i interesy kierowców wygrywają z interesami pieszych) to lepiej „zachowuje” się, gdy jest pokryty śniegową mazią. Przed kilkoma sklepami, gdy płyty chodnikowe były starannie odśnieżone, dało się chodzić znośnie. Mam drobne pytanie, czy ktoś zrobił jakiekolwiek badania dotyczącego tego, jak zachowują się płytki zimą? Czy uwzględniono nakład pracy jakiego wymaga utrzymanie tego typu nawierzchni w sensownym stanie? Jakie są tego koszty. Oraz jak śliskie płytki wpłyną na użytkowanie tej części miasta, na obroty sklepów, frekwencje na wydarzeniach kulturalnych, obecność studentów/ek na zajęciach? Zwykłe, staromodne płytki chodnikowe (takie z cementu z duże ilością piasku) mimo, że są brzydsze, często krzywe, dużo lepiej „zachowują” się po pokryciu ich śniegową breją. Wygrały pewnie względy estetyczno-prestiżowo-„wielkomiejskie”. Paniczna nieświadoma ucieczka od prowincji, kończy się nieuświadamianym prowincjonalizmem w myśleniu i projektowaniu.

14909_476136009088568_635630946_n (3)

Podobnym problemem są kładzione wszędzie płytki z pozbruku, nie wiem dlaczego, ale też „zachowują” się zimą one dużo gorzej niż zwykły cement czy asfalt. Może są zbyt mało chropowate, a może zbyt grube przez co inaczej reagują na zmiany temperatury i dłużej pozostają pokryte cienką warstwą lodu (jeśli ktoś wie coś na ten temat, proszę o komentarz). Co gorsza, z uporem maniaka płytki pozbrukowe, są w Polsce ulubionym materiałem do pokrywania nawierzchni ścieżek rowerowych. Dzieję się tak pomimo protestów samych zainteresowanych (na przykład tutaj).

Dość o płytkach. Rozumiem, że splot interesów politycznych, ekonomicznych, ignorancji decydentów uniemożliwia przepływ wiedzy pomiędzy użytkownikami a nimi. Co więcej rozumiem tradycjonalistyczny opór przez obszernymi badaniami, które brałyby pod uwagę społeczne, kulturowe „otoczenie” technologii, nawet tak banalnej jak płytki chodnikowe.

Gorzej, kiedy z taką samą ignorancją mamy do czynienia na uniwersytetach. Ślepota na konsekwencje i współkonstytuowanie się momentów technicznego, politycznego, społecznego, kulturowego jest powszechna.

Najlepszym przykładem jest wprowadzanie systemu USOS (Uniwersytecki System Obsługi Studiów). Przystępnie przedstawia to Krzysztof Abriszewski, który poświęcił USOSowi szereg wystąpień konferencyjnych i tekstów:

Maciej Frąckowiak: Dlaczego „zbiorowość”? Czy termin „społeczeństwo” już nam nie wystarcza, aby życie społeczne zrozumieć, opisywać i zmieniać?
Krzysztof Abriszewski: „Zbiorowość” można traktować jako upgrade pojęcia społeczeństwo. „Społeczeństwo” jest pojęciem, które funkcjonuje w pewnym typie nauk społecznych – świat ludzki redukowany jest tu do wzorów, przekonań, postaw czy innych zjawisk, które nie są traktowane jako zmaterializowane czy ucieleśnione. „Zbiorowość” zwraca uwagę, że ten okres mamy już za sobą i zaczynamy patrzeć na wspólny świat w szerszej optyce, biorąc pod uwagę nie tylko ludzi czy całości w rodzaju grup, kategorii czy klas społecznych, ale również to, co jest poza-ludzkie, a w świecie zbiorowym działa, jak przedmioty czy technologie. Konsekwencje tej zmiany widać lepiej, kiedy przyjrzymy się chociażby wprowadzeniu na polskie uniwersytety USOS-a, czyli elektronicznego systemu służącemu administrowaniu uczelnią, zarządzaniu zapisywaniem się na zajęcia, wystawianiem ocen oraz komunikacją między studentami, wykładowcami i administracją. Zwróć uwagę, że o USOSie myślimy najczęściej jako o typie bazy danych, czy oprogramowania, które jest narzędziem mającym usprawnić funkcjonowanie określonej struktury administracyjnej, biurokratycznej. Mamy tu więc klasyczny podział: struktura biurokratyczna, która nas interesuje i narzędzie, które nas nie interesuje, bo jest narzędziem. W ramach tradycyjnego sposobu myślenia powiemy, że biurokracja jest sztywna, albo elastyczna, że jest odpowiednio przygotowana do przyjęcia nowego oprogramowania lub nie. Drugi sposób myślenia postrzegałby USOS nie jako całość, ale jako szereg elementów, które wplatamy w sieci, które już istniały. Zaczynamy wtedy zwracać uwagę, że ten zbiorowy świat jest inaczej przekształcany. Wprowadzanie do biurokracji USOS-a wymaga wcześniejszego stworzenia infrastruktury technicznej. Jest to trywialne, ale podciągnięcie kabli czy zamontowanie oprogramowania wymusza również choćby stworzenie kogoś, kogo nazywam agentami USOS-a, czyli lokalnych specjalistów, którzy na różnych poziomach uniwersytetu będą ten system obsługiwać. W efekcie, zmiana polega nie tylko na tym, że w obrębie starej biurokracji pojawia się nowe narzędzie, ale na przekształceniach struktury komunikacyjnej całej instytucji. Dla przykładu, sprawę, którą kiedyś trzeba było załatwić poprzez pionowy obieg dokumentów: z poziomu instytutu, poprzez władze wydziału, dalej do rektora i z powrotem, teraz można załatwić inaczej: bezpośrednim telefonem do agenta USOS-a, który poprzez połączenie z centrum USOS-a ową sprawę załatwia w zupełnie innym trybie, z pominięciem powyższych szczebli. Inny przykład: zanim wprowadzono USOS jako wykładowca mogłem stawiać inne wymagania wobec osób, które wybierały odmienną formę zaliczenia: kto chciał wpisać przedmiot jako zaliczenie z oceną, ten musiał przeczytać kilka książek, komu zależało na zaliczeniu bez oceny, temu wystarczyła obecność na wykładach. W połowie semestru pojawił się jednak USOS, który wymógł ujednolicenie sposobu oceniania. Wszystkie ustalenia pomiędzy mną a studentami spaliły więc na panewce, w efekcie czego jedni na tę samą ocenę zapracowali więcej niż drudzy.

Nie rozpisując się zanadto dołożę kilka obserwacji z trwającej właśnie sesji i implementacji systemu USOS na mojej uczelni. Chciałbym zwrócić szczególną uwagę na nieuwzględnione relacje władzy jakie wprowadzenie systemu generuje oraz na pracę która musi zostać wykonana aby ten system działał (warto pamiętać, że to praca, która nie jest dodatkowo wynagradzana). USOS działa w logice modernistycznej i technokratycznej, to znaczy, że koszty jego działania są eksternalizowane na innych i nieuwzględniane.

Poniżej przedstawię kilka luźnych obsewracji, mam nadzieję, że komentatorzy je uzupełnią:

1. USOS wprowadza nowe relacje władzy i zmienia łańcuchy podejmowania decyzji. Okazuje się, że kluczowymi dla funkcjonowania systemu są wspomniani przez K. Abriszewskiego „agenci USOS”. Na moim wydziale oznacza, to tyle, że wszystkie decyzje administracyjne „przechodzą” w sumie przez jedną osobę (zwaną przez studentów/tki „USOSmanem”).

2. USOS zmienia zasady oceniania, przykładowo, w tej sesji po raz pierwszy studenci/tki będą mogli mieć „powtórki” z zaliczeń. Dlaczego? Gdyż taka możliwość była w USOSie i kadra musi się dostosować. Próbując zachować resztki władzy „ludzkiej” zadecydowano, że „poprawka” taka jest możliwa po uzyskaniu zgody dyrektora dydaktycznego danego instytutu. Nie oszukujmy się jednak, podejrzewam, że w praktyce także ten ostatni szaniec humanizmu wkrótce runie.

3. USOS w złożony sposób renegocjuje stosunki władzy pomiędzy studentami/tkami a kadrą. Czasami bywa to na korzyść studentów/tek, czasami działa to na korzyść kadry. Przykładowo brak indeksów papierowych powoduje, że studenci/tki nie mają żadnych możliwości zweryfikowania otrzymanej oceny. Podczas wpisywania egzaminów próbując ratować resztki relacji zaufania, po wpisaniu oceny i jej „zapisaniu” (save) odwracam laptop pokazując wpisaną ocenę. Cóż z tego, jeżeli w razie mej złej woli, mógłbym taką ocenę później wyedytować.

4. Innym przykładem jest „automatyczne” wyznaczanie terminów egzaminu (i rejestracja). „Automatyczne” umieszczenie egzaminu USOS wymaga od mnie albo fizycznego (albo emailowego) kontaktu z przynajmniej dwoma osobami (agent USOS i osoba z administracji, która przydziela sale). Ponadto, rejestracja na egzaminy zmienia sens „wyboru”. Dotychczas traktowałem bardzo poważnie prawo studentów/tek do tego, że są wolni w wyborze terminu egzaminu (z dwóch podanych). Nie robiłem list wstępnych, znosiłem takie sytuacje, że na jeden z terminów przychodziło kilka osób a na drugi większa część danej grupy. Rejestracja elektroniczna może wpłynąć na „wolność” takiego wyboru.

5. Zastanawia mnie to, że nikt nie przedyskutował ze mną kosztów wprowadzenie tego systemu. Oceny często uzupełniam w domu, nie wiem dlaczego założono, że mam w nim dostęp do internetu. Owszem mam, ale opłacam go z prywatnych środków, nie wiem dlaczego mam używać go do administracyjnej pracy uniwersyteckiej. Ponadto na samej uczelni korzystam z prywatnego laptopa (z wifi) do administrowania USOSem. Egzaminy i wpisy odbywam w różnych salach, często poza własnym gabinetem, bez własnego netbooka, musiałbym oceny wpisywać do notesów, zeszytów i przepisywać je do systemu. Ponadto pokój służbowy współdzielę z kilkoma innymi osobami, przypada na nas jeden komputer z internetem. Ciekawe jak mamy uniknąć „korków” podczas sesji. Znam pokoje, nieliczne co prawda, w których wykładowcy nie mają wcale dostępu do komputera z internetem.

6. Płynnie przejść możemy do kolejnego problemu – infrastruktury. Założyłem w poprzednim punkcie, że wifi na uczelni działa sprawnie (edurom).  Cóż jednak stanie się z sesją w razie awarii ogólnouczelnianej sieci bezprzewodowej? Wrócimy do karteluszek, notesów i wprowadzania wieczorami ocen w domu? Czy oprócz netbooka powinienem nosić ze sobą modem GSM i oczywiście sam opłacić koszty połączeń.

7. Kulturowy status indeksu papierowego został zlekceważony zupełnie przez reformatorów. Pomijam jego status jako dokumentu, który mógł służyć za jeden z dodaktowych sposobów weryfikacji wpisanych ocen. Indeks miał tą zaletę, że pomagał konstruować tożsamość studenta/tki. Dawał wgląd w wybrane przedmioty, pokazywał historię edukacyjną. Rezygnacja na rzecz zewnętrznego systemu USOS może przyczyniać się do czegoś co w kontekście późnokapitalistycznych stosunków pracy Sennett nazywał „korozją charakteru„. Indeks był pewną stałą, wobec której można było tworzyć mikro narrację tożsamościową. Jego brak może utrudniać utożsamianie się z procesem edukacji, utrudniać wytworzenie poczucia ciągłości. Indeksy były wplecione w pewien zespól rytuałów społecznych, które zostaną zniszczone. Pewnie nie były one na dzisiejszych uczelniach ogniskiem takich rytuałów jak dawniej, ale wciąż nikt nie zapytał o kulturowe oraz psychologiczne, tożsamościowe koszty ich utraty. Warto tu przez analogię pomyśleć o tym co kulturowo zniknęło z polskiej kultury (szczególnie prowincjonalnej) wraz z kresem obowiązkowego poboru do wojska. Nie oznacza to automatycznie chęci powrotu do pewnych rytuałów, na przykład słynnej „fali”. Oddajmy głos Michałowi Witkowskiemu:

Ileż scen filmowych (chociażby z Kondratiuka) stanie się niezrozumiałych  dla przyszłych pokoleń? Co dla nich będzie znaczyła fraza „kumpel z woja”?  Ogląda sobie taki rocznik dwutysięczny czy roczniczka dziewięćdziesiąta „Czy  jest tu panna na wydaniu?” Kondratiuka i nagle (a jakże!)  w pociągu spotyka się dwóch kumpli z wojska. Co oni z tego  zrozumieją? Albo naznaczoną operową koturnowością tragedię dziewczyny, której  chłopaka biorą do wojska, a co za tym idzie, cały repertuar gestów, np.  pokazywanie koleżankom zdjęcia chłopaka, który jest w wojsku, chodzenie  z kompotem pod koszary, gdy jest przepustka… Nic nie zrozumieją. Jeśli  nigdy nie było się kotem, nie zgłaszało „na ochotnika”, jeśli się nie tańczyło  na pokazie mody… Jeśli się nie jadło najgorszej rzeczy świata, czyli „chleba  z puszki”.

8. (edit) Jeszcze jeden drobiazg, sprawdzanie tożsamości studenta/tki. Kiedyś służył do tego indeks, dziś powinniśmy legitymować egzaminowanych. Z punktu widzenia wykonanej pracy USOS jej nie zmniejszył.

Czy doczekamy choćby się felietonu zatytułowanego „Ostatni indeks”?

indeks

Mógłbym wymieniać jeszcze inne, mniej lub bardziej oczywiste konsekwencje wprowadzania systemu USOS. Jeżeli podczas trwania sesji natknę się na jakieś szczególnie frapujące, dopiszę je do tej notki.

Celem notki nie jest neoluddystyczny, technofobiczny sprzeciw wobec USOSa. Pewne aspekty jego funkcjonowania, moim zdaniem, przyczyniają się do „polepszenia” procesu studiowania. Ciekawe są też niektóre aspekty renegocjacji pozycji władzy pomiędzy studentami/tkami a kadrą. Przeraża mnie kompletny brak demokratyczności jaki cechował proces wprowadzania tego systemu. Brak negocjacji w przypadku socjalizacji danej technologii powoduje, że skazani jesteśmy na ślepy przymus. Brnąć musimy po śliskich płytkach USOSa, bo nikt nigdy nie zapytał, o to, jak będzie się on zachowywał podczas „opadów śniegu”.

Na koniec śniąc o demokratyzacji nauki i techniki, także w ramach demokratyzowania uniwersytetów i procesów wytwarzania na nich wiedzy oddam głos ponownie Krzysztofowi Abriszewskiemu:

MF: Co zrobić, żeby tego uniknąć? Zapewnić rzeczom, które urastają w tej perspektywie do roli najbardziej marginalizowanego aktora społecznego, rzecznictwo; rozciągnąć demokrację na rzeczy? Brzmi ponętnie, ale jak by to wyglądało w praktyce: wyobrażasz sobie konsultacje społeczne, czy raczej „zbiorowe”, z udziałem technologii?
KA: Zacznijmy od wersji idealnej – demokratyzujemy zmianę techniczną, czyli przed jej wprowadzeniem organizujemy dyskusję. Oczywiście zawsze jest tak, że cały szereg różnych zmian jest trudno przewidywalny, czyli nie do końca wiemy, co wprowadzenie USOS-a spowoduje. Teoretycznie jednak zawsze jest taka możliwość, żeby zatrudnić fachowców, którzy się zajmą badaniem USOS-a, i przejdą, na przykład, z teorii mediów, próbując aplikować swoją wiedzę do tego, co USOS może spowodować. Potem gromadzimy tych różnych ekspertów razem i dyskutujemy na temat tego, co dany element w naszym zbiorowym świecie może zrobić, a następnie decydujemy czy go wprowadzić, czy nie. Wersja druga to wersja etnograficzna, realizowana w sytuacji, w której zmiana już się odbywa, a my jedynie możemy ją obserwować. Tradycyjnie badalibyśmy ludzi: zmiany i wytwarzanie się nowych grup, zmiany kanałów komunikacji, przyzwyczajeń i tym podobne. Natomiast kiedy zaczynamy USOS-a badać w trybie etnograficznym, w bliskim mi duchu studiów nad nauką i technologią, to nie jest tak, że porzucamy te pytania, ale się do nich nie ograniczamy. Jeżeli konieczne okaże się wejście do USOS-a na poziom techniczny i zaobserwowanie, w jaki sposób konkretne rozwiązania materialne powodują zmiany w owych sposobach grupowania się ludzi, to trzeba to zrobić. Różnica pomiędzy tymi perspektywami polega więc na tym, że myślenie tradycyjne traktuje technologię jako zmienną niezależną, którą się nie interesujemy bo jest sztywna, gdy tymczasem w perspektywie etnograficznej to, co techniczne czy materialne, jest tak samo elastyczne, jak to, co społeczne. Co istotne, dzięki zanurzeniu się w te zmiany techniczne i przekształcenia, które się przy ich udziale dokonują, możemy przewidzieć jakiego rodzaju problemy pojawią się przy wprowadzeniu kolejnych wersji USOS-a, albo innego, podobnego oprogramowania.
MF: Skutek procedur, o których mówisz byłby też taki, że ich wprowadzenie dramatycznie spowolniłoby jakąkolwiek zmianę w świecie zbiorowym.
KA: Nie sposób po prostu zapomnieć o potrzebie włączania rzeczy w konsultacje, ponieważ za chwilę będziemy musieli sobie radzić z anomaliami, które dziś są dla nas nieprzewidywalne. Jedynym sensownym sposobem byłoby zatem wprowadzenie procedur, o których mowa wyżej na skalę globalną. Krótko mówiąc, wyhamowujemy tempo zmian, ale wszyscy naraz, bo w momencie kiedy wyhamujemy my, a ktoś inny nie, to pojawia się rozziew w walce o zasoby

a024a132798836d65e01d26ed1e62d43_original

Andrzej „Fronesis”

 
53 Komentarze

Opublikował/a w dniu 29 stycznia, 2013 w badania w toku, krytyka

 

Tagi: , , , , ,

Blogi zamiast egzaminów ustnych

Ponieważ moje wątpliwości co do akademickiej dynamiki wiedzy, w tym form jej sprawdzania, zamiast się wytłumiać, narastają, kontynuuję i rozszerzam stosowanie eksperymentalnych form zaliczania/egzaminowania. Dodatkowo wprowadzam pewną nowość. Dotychczas zaliczający „antropologię współczesności” mieli za zadanie robić aplikacje wybranych teorii. W tym roku blogowanie obejmuje jeszcze „teorię kultury” (na razie eksperymentalnie tylko pierwszy semestr) oraz nowy przedmiot „badanie kultury współczesnej”. W związku z tym, odgórnie wprowadziłem dwa typy notek: notki wyjaśniające (kawałek jakiejś teorii podany jak dla przedszkolaka) i notki aplikujące (czyli oglądanie wybranego kawałka świata poprzez jaką teorię).

Teraz, dlaczego?

Egzaminy ustne bądź pisemne sprawdzające opanowanie pamięciowe jakiegoś materiału ulokowane są w kulturze naukowej dziewiętnastego wieku i pierwszej połowy (właściwie trochę więcej) wieku dwudziestego. Książka drukowana jest niezwykle potężnym narzędziem gromadzenia wiedzy i manipulowania nią. Ale… Aby szybko wiedzą taką operować, zrobić na przykład aplikację jakiejś teorii która nie zajmie pięciu lat prac przygotowawczych, potrzeba ludzi, którzy wybranym zakresem materiału (książek) biegle się posługują. Przywołują treści, wiedzą co, gdzie się znajduje, potrafią twórczo krzyżować ze sobą wybrane wątki, motywy, dane.

Komputery oraz Internet zmieniają stan rzeczy. Nawet jeśli nie potraktujemy ich jako kolejnej warstwy mediów (jak chcą niektórzy badacze), a będą dla nas „jedynie” niezwykłą bazą danych, to już zmieniają całkowicie warunki gry. Zajęcia, które trwają semestr i oferują pobieżny przegląd jakiegoś obszaru (np. historia filozofii) przegrywają w dostępności informacji z jednym wieczorem intensywnego sieciowania. Olbrzymie zakresy informacji, które wcześniej były możliwe do zoperacjonalizowania jedynie dzięki zapamiętaniu, teraz są na odległość kliknięcia lewym klawiszem myszki (dwóch stuknięć touchpadu). Edukacja nie przestała być potrzebna, oczywiście, ale całkowicie zmieniły się kryteria jej efektywności.

Podobnie dzieje się z rolą wykładowcy. Jeśli przyjmę (absurdalną) rolę konkurującego z Internetem (w zakresie wiedzy), to szanse sukcesu (jakiegokolwiek) są marne. Raczej należy zmienić rolę, a sieć potraktować jako normalny, istotny element otoczenia (kulturowego i edukacyjnego), w tym jako jedno z narzędzi w procesie kształcenia.

Do sedna, czyli do sprawdzianów. Egzaminy nakazujące odtwarzać z pamięci pewne treści wyraźnie więc należą do innej kultury, nawet jeśli jeszcze siłą inercji są nadal wszechobecne. Ważniejsze zdaje mi się to, co zupełnie podstawowe dla badacza kultury (z dowolnej subdziedziny) – umiejętność aplikowania teorii, ram interpretacyjnych, pojęć, perspektyw oraz zdolność do przełączania się między nimi.

Blogi jako forma zaliczenia mają jeszcze wymiar kulturowo-polityczny. Egzaminacyjnych prac pisemnych nikt nie czyta (niejednokrotnie wliczając w to egzaminatora), egzaminy ustne są próżnym popisem. Dobrze zrobione notki na blogu mogą z kolei przyczynić się do upubliczniania ezoterycznej, akademickiej wiedzy opowiadając się tym samym przeciw jej prywatyzowaniu i grodzeniu dostępu do niej, spełniając tym samym jedno z oświeceniowych marzeń.

Zdecydowałem się na kontynuowanie eksperymentu blogowego, bo jeśli nie będą robiły to osoby, które tak jak ja, podają jako profesjonalne zainteresowania socjologię wiedzy, czy teorię kultury, to kto inny ma to zrobić?

I jeszcze notka na marginesie – pamiętać należy, że krajobraz wiedzy nie jest jednolity i rzecz jasna istnieją obszary, gdzie pamiętanie dużych ilości informacji jest istotne. Są takie, gdzie taka pamięciówka jest jednym z warunków wejścia w pole, są też takie, gdzie pamięciówka towarzyszy działaniu w danym polu.
Notka uzupełniająca: pierwszy egzemplarz tego wpisu powędrował na mojego bloga, ale wrzucam go również tutaj. Tam pojawił się, bo dotyczy organizacji mojej organizacji pracy ze studentami w tym roku akademickim, tutaj, ponieważ dotyczy struktur wiedzy.

Krzysztof

 
3 Komentarze

Opublikował/a w dniu 14 października, 2012 w lokalnie

 

Tagi: , , , ,