DARPA Triage Challenge
jak zvýšit šance na přežití?
DARPA přišla s novou „výzvou”/soutěží: DARPA Triage Challenge. Triage znamená třídění raněných u hromadných neštěstí, přírodních katastrof nebo na bojišti. V zásadě jde o to, že podle úrovně zranění šance na přežití rychle klesá. Mluvíme o zhruba o prvních 15 minutách. Naděje, že v tomto čase bude dostatek kvalifikovaných doktorů je mizivá. Tak nastupují roboti a AI. Update: 25/4/2024 — Výsledky loterie a Data Challenge Docker
- https://triagechallenge.darpa.mil/ — oficiální stránky soutěže
DARPA Triage Challenge má podobný časový rozvrh jako již ukončená SubT Challenge.
Soutěž bude trvat 3 roky, jsou tři základní kategorie (Primary System, Primary Virtual a Secondary Data) a účastníci
jsou jak DARPA sponzorované týmy, tak self-funded týmy.
Obsah
- 231013 - Tým Robotika se úspěšně kvalifikoval do Virtual Challenge
- 231109 - Challenge Kick-Off
- 231114 - Pravidla ver1
- 231121 - Triage Promo Video
- 231207 - Virtual Competition dataset
- 240124 - Oficiální vyhlášení soutěžících týmů
- 240306 - Event Qualification 3/5 - 4/5
- 240408 - 12 otázek SDC
- 240425 - Výsledky loterie a Data Challenge Docker
Blog
13. října 2023 — Tým Robotika se úspěšně kvalifikoval do Virtual Challenge
Už je to tu zase. Tentokrát v tom nejedu já, ale hlavní „hybatel” je František Brabec (viz např. jeho úspěchy v
NASA Space Robotics Challenge 2). Tým je česko-americký a doktorsko-programátorský.
Jelikož roboti tady mají hrát až druhé housle, a komplikací s převážením robotů přes Atlantik jsme si užili až dost,
zvolil Franta jenom virtuální kategorii
(+ Data Challenge). Kvalifikace do virtuální proběhla bez problémů (asi i pomohl
odkaz na SRC2 a SubT).
Data Challenge je zatím stále ve fázi přihlášky —
po vyplnění přihlašovacího formuláře dostanete „domácí úkol”. Jedná se o
data více jak 3000 měřených osob a máte je co nejlépe zařadit do věkových kategorií. Uvidíme, kostky jsou již vrženy.
9. listopadu 2023 — Challenge Kick-Off
Tento týden byla oficiálně zahájena DARPA Triage Challenge dvoudenním „kick-off meetingem”
Pokud by někoho zajímaly detaily, tak jsou k dispozici prezentace v DTC resources
sekci. Pokud by jste ale hledali pravidla soutěže, tak ty jsou zatím Coming Soon … mimochodem, pokud jste stránky navštívili
třeba předevčírem, tak dnes mají úplně jiný vzhled.
Zákládní rámec je stále stejný: Primary Challenge je o lokalizaci raněných a rychlé klasifikaci závažnosti zranění. Nově přibyly podrobnosti
co se má zjišťovat - zda osoba dýchá, zda mrká, jestli nekrvácí, stupeň popálení, jestli má všechny končetiny atd. Každý rok bude týdenní soustředění,
kde raněné budou hrát jak skutečné osoby, tak figuríny. Primary Challenge se dělí na System a Virtual, podobně jako bylo u SubT Challenge,
ale s tím rozdílem, že Virtual DARPA nesponzoruje. Co mi přišlo drsné bylo, že ve virtuálu chtějí modelovat situace, které by v realitě už byly
mimo DARPA možnosti.
Secondary Challenge nebo také Data Challenge je o následné péči a sledování pacienta. Zatímco v Primary Challenge se roboti (typicky drony)
nesmí k raněným přiblížit více jak metr (asi aby jim v rámci testování ještě více neublížili), tak v Secondary Challenge jsou osoby naopak na přístroje
napojeny a „sbírají data”. Úkolem je průběžně vyhodnocovat co se pravděpodobně stane následující 4 hodiny. Jedná se o potenciálně netriviální množství
dat a v reálném (resp. omezeném) čase je třeba situaci vyhodnotit. Toto vše v několika časových úsecích, tj. algoritmus postupně dostavá více a více dat.
Kdo nejlépe odhadne budoucnost vyhrál.
 vyhodnocení odpovědí v Data Challenge |
Franta (šéf Robotika International týmu) celkem racionálně vyhodnotil, že reální roboti jsou mimo naše současné možnosti (a to jsme ani nevěděli o
nutnosti mít pilotní zkoušky v USA a pořádné pojištění), takže nás registroval na Primary Virtual a Data. První registrace prošla celkem snadno —
jednak to bude „strašné maso” (tj. se tam asi týmy moc nehrnou) a dále za sebou máme nějaké úspěchy v SubT a
NASA SRC2. Tuto informaci jsem nakonec nezveřejnil, protože nebyla DARPA oficiální. To se ale po kick-off
změnilo, viz https://www.darpa.mil/news-events/2023-11-07. Tady mi přišlo vtipné to, že jsem si toho při prvním čtení ani nevšiml - koukal jsem, že bývaly BARC
tým získal grant a stejně tak např. Kitware
… Kitware Secures $11.5M, Multi-Year DARPA Contract to Teach AI How to Make Difficult Decisions Aligned with Humans … jj, nějaké drobné …
i když to je asi nějaký jiný DARPA program ale nejspíše s nenulovým přesahem.
Ještě poznámka, že na Data Challenge, která je kombinovaná se sponzorovanými týmy, je výběr komplikovanější a zatím jsme neuspěli, resp. je to stále
v procesu (mimochodem datum konce kvalifikace týmů posunuli na 27. listopadu 2023).
Primary Challenge - Virtual
Pro první rok Primary Virtual se očekává relativně statická scéna jako je např. vlakové neštěstí:
Foto převzato z veřejně dostupné prezentace DTC_Kickoff_VirtualTestbed_ARA-amended.pptx.
 vykolejení vlaku |
Na druhou stranu jsem se musel usmát, jak mají „po americku” nastavené generátory na všechny možné typy lidí, barvy pleti a pohlaví:
 generátor avatarů |
Pokud jste drsnější nátury a zajímají vás schopnosti renderingu v Unreal Engine, tak viz DARPA-Challenge-23-MMSIV-Manikin-Capabilites-poster.pdf … ale spíše nedoporučuji k jídlu …
Secondary Challenge - Data
Data Challenge na druhou stranu tak děsivě nevypadá (resp. záběry z kamery budou k dispozici až později, druhý nebo třetí rok) — prostě řady nějakých čísel.
Zajímavé bylo, jak se k těm kritickým scénářům DARPA dostala: ve dvou velkých nemocnících nainstalovali sběr dat do záchranářských vrtulníků, které létají
opravdu jen k nejhorším případům.
Převzato z DTC Kickoff UPitt.pptx.
Oficiální zahájení bylo proloženo několika přednáškami, proč je triage/třídění tak důležité. Asi nejvíce mne zaujala poslední prezentace zachranářské akce
z Grand Teton National Park (tam jsem se chtěl vždy podívat), kde se jeden den rychle změnilo počasí a 3 skupiny lidí (celkově 17 lidí) bylo s ruznými stupni v kritickém
ohrožení života.
Na akci také prezentovali sponzorované týmy a to jak své plány, tak dostupné technologie. Zajímavé bylo např. kam se posunulo EEG, ale tyto slajdy nejsou veřejně dostupné.
Nemáte noční můry? DARPA má pro vás řešení … stačí se přihlásit.
14. listopadu 2023 — Pravidla ver1
Please review the rules document for Challenge 1. This document describes
tasks for each competition track and associated scoring mechanisms. We will
make updates to this document over time and will let you know each time
content has been added.
The rules doc will be available on the website. … hmm, sakra, proč to nedali rovnou online
na triagechallenge.darpa.mil/resources?! V každém případě
tam bude pravděpodobně brzy update.
Pro Primary System mne zaujalo pár bodů (i když v této kategorii nesoutěžíme):
- There are two themes for Challenge 1: a plane crash and a post-battle environment.
- All courses are expected to be located outdoors during daylight where the ground will be pavement, grass or gravel.
- Courses are expected to be 100 ft x 100 ft x 100 ft or smaller.
- Qualified teams will be eligible to participate in the event, which will consist of three scored runs 15-30 minutes in duration. The total score for the event will be sum of a team’s best two runs.
- In Phase 1, competitors will be permitted to teleoperate their deployed systems with up to one Operator per UxV system and one Human Supervisor per team.
Toto snad zapadá co o soutěži říkali dříve, takže snad OK.
Primary Triage: Virtual Competition Rules
(1) DTC Simulator, an extensible Unreal Engine (UE5)-based simulation environment
employing MetaHumans augmented with physiology data (2) automated testing and assessment tools; and
(3) associated software support infrastructure.
Po pravdě tomu stále moc nerozumím. Simulace probíhá v Unreal Engine rozšířené o simulovaná zdravotní
data. Ale když se podíváte na následující tabulku releases, tak tam bude mezifáze „teleoperation”?!
Aha, já jen neumím číst — Manual teleportation … tak to asi bude skákání na XYZ?
A konečně vyhodnocení je podobné jako v Primary System:
… i toto odpovídá prezentacím na KickOff meetingu, tak snad nás nevyloučí ještě než soutěž začne.
p.s. ono tam ta pravidla možná byla (viz DARPA_Triage_Challenge_Rules-v1b_2023_11_14.pdf),
jen jsem se zaměřil na hlášku dole místo abych četl shora:
21. listopadu 2023 — Triage Promo Video
7. prosince 2023 — Virtual Competition dataset
V úterý večer (středoevropského času) jsme dostali link na stažení 38GB datasetu pro Virtual Competition.
Stahovalo se to celou noc, ale přálo mi štěstí a stáhlo se to celé a md5sum seděla (klasicky Vodafone/bývalé UPC
moc neřeší výpadky, resp. tento týden je navíc avízovali: Modernizujeme naši síť pevného internetu).
Asi první co mne dostalo při rozbalovaní staženého tar souboru byl soubor Game.exe?! To nezní moc linuxově.
Chystal jsem se teď organizátorům psát, jaké jsou tedy požadavky na počítač a ono je tam i README.pdf,
které se rozbalilo asi jako úplně poslední soubor a tak jsem ho včera nezaregistroval. Píšou, že součástí
datasetu je i Game Application, která byla použita pro generování trénovací sady. Pro Windows.
Dataset obsahuje 5 různých tras, kudy se pohybovalo simulované vozidlo (UGV) a kudy i letěla drona (UAV):
… a ano, je to to slibované vlakové neštěstí …
|
|
||
|
|
Vedle RGB videa je k dispozici i IR záznam a audio.
K dispozici je i Ground Truth (CSV soubory) popisující zdravotní stav všech 30 osob, včetně tepu, dýchání,
stupně popálení atd.
24. ledna 2024 — Oficiální vyhlášení soutěžících týmů
Včera DAPRA oficiálně oznámila seznam soužežících týmů. Skoro bych řekl konečně, protože tato informace byla
pravděpodobně známá už více jak před měsícem, ale … prostě teď už můžeme napsat, že
DARPA Triage Challenge Data Competition - Robotika Team Accepted.
Co nás oba s Frantou překvapilo, je poměrně velké množství týmů ve všech kategoriích:
System Competition Teams
- AIR TAGS: Automated Image and Radar-based Triage, Assessment, and Geolocation System (DARPA-funded)
- APAT: AI Powered Autonomous Triage
- Coordinated Robotics
- DART: Drone Assisted Rapid Triage (DARPA-funded)
- Engineering Dynamics and RIIS
- FRANTIC
- MR NIB
- POINTER: Point of Injury Navigation, Triage, and Emergency Response (DARPA-funded)
- PRISM
- PRONTO: Penn RObotic Non-contact Triage and Observation (DARPA-funded)
- RAPID: Reliable Assessment of People in Disasters (DARPA-funded)
- RESCUE: Reliable Evaluation and Sensing of Casualties in Uncertain Environments
- RoboScout (DARPA-funded)
- STRAPS: Stand-off Triage with Real-time Advanced Physiological Signatures (DARPA-funded)
- TTT: TAK Triage Technologies
- UAS-DTU: Unmanned Aerial Systems Delhi Technological University
Virtual Competition Teams
- Anderson
- CC: Cambridge Consultants
- Coordinated Robotics
- Engineering Dynamics
- Flying Fitches
- GammaCat
- Mongata
- NurseBotics
- Robotika
- Second Sight
- TNT: Tinkerers
- TrueFit.AI
- TTT: TAK Triage Technologies
- UAS-DTU: Unmanned Aerial Systems Delhi Technological University
- VIA TAGS
Data Competition Teams
- AI TEMPO: Alert for Intervention using Timeseries EMergency Physiological Observations (DARPA-funded)
- ALICE: AI Life Saving Intervention Compute Engine (DARPA-funded)
- Anderson
- AUSTERE: AI User Supporting Triage and Evacuation Recommendation Engine (DARPA-funded)
- CAMA: Center for Advanced Medical Analytics
- CNA: Center for Naval Analyses
- Coordinated Robotics
- CRITIC: Continuous Review and Intervention for Timely Care (DARPA-funded)
- HTTD: Healcisio Tactical Triage Detachment
- LENS: LSI Early Notification System (DARPA-funded)
- Medic Copilot
- MGB-Harvard
- MSAI: MarvsAI
- Robotika
- TrueFit.AI
- University of Augsburg
6. března 2024 — Event Qualification 3/5 - 4/5
Nevím, zda je to vtipné, ale zase jsem těm amíkům skočil na špek — Hi Andrew, the team portal will be open from 3/5 to 4/5 for qualification.
Komentoval jsem to, že je hrozné, že na to jsou jen dva dny … ale Franta mne uvedl do reality, že je na to měsíc a první možný termín odevzdání byl včera. :-(
Virtual Competition Event Qualification
Teams must pass the qualification scenario to be considered for competition scoring. The
qualification scenarios will be a simple scenario to confirm the team’s submitted software executes
without error and produces the results required for scoring as defined in the Virtual Testbed ICD.
To qualify, teams must demonstrate an initial ability to interface with the software. Teams will
be provided with an API to test this ability. Teams will provide a short screen capture video
demonstrating their system running through the latest version of the virtual testbed.
Data Competition Event Qualification
To qualify, teams must demonstrate an initial ability to interface with the data. This will include
the following elements.
1. Ability to properly read in different file formats (CSV and HDF5)
2. Ability to link data for a particular case between data tables and signals
3. Ability to use the data dictionary to interpret data
Teams will demonstrate this through a series of tasks and submit
their answers through AWS.
p.s. jsou vtipný … já měl pocit, že na ten virtuál to ještě nevydali a vlastně i plán byl myslím koncem března. Okno na registraci je tedy sice
měsíc, ale nutné předpoklady budou splněny až v jeho posledním týdnu … tedy jestli to dobře chápu???
Q: Is there an update on when the ICD can be expected and whether or not the Event #1 Qualification dates will be adjusted?
A: We anticipate releasing the Virtual Competition ICD by end of March. Please stay tuned and check the website, where it will be located on the Resources Page.
Možná ještě Important Dates:
- Week of June 10 - Workshop Version of Testbed released
- June 17 - Lessons Learned Panel
- July 30 - Virtual Competition Submission Window Open for Challenge Event 1
- August 30 - Virtual Submissions Due for Challenge Event 1
- October 5 - Awards Ceremony for Challenge Event 1 (hybrid)
8. dubna 2024 — 12 otázek SDC
A je to. Workshop Event Qualification je uzavřený — přesněji „na půl”, protože Primary Virtual je o 14 dní odloženy:
As the software was released March 27 the team portal will close April 10 for virtual submissions (2 calendar weeks after the release of software). However, we are extending submission of qualification videos until May 1. Teams should submit qualification videos between April 10 and May 1 by emailing the link to XXX. Nevím, kde jsem si zase ty 2 týdny vzal (jj, 2 týdny po vydání SW),
teď to spíše vypadá na „ještě dva dny”, nicméně za tým Robotika jsme s Frantou registrační formuláře vyplnili a chybí "pouze" demonstration videos.
Secondary Data Challenge kvalifikace ale již uzavřena je. Vlastně jsem to tu psal minule, že hlavním úkolem je předvést, že si poradíme s daty
ze dvou nemocnic (celkem cca 5000 pacientů). Aby to nebylo tak jednoduché, probíhal celý vývoj v Amazon WorkSpace, přes něj si uživatel mohl pustit SageMaker a pak v webovém
okně dalšího stroje ještě JupyterLab. Ani s jedním nejsem kamarád a odezva … no není to lokální PC, tj. někdy dost tragédie.
Aby byla větší zábava, tak jsou data u obou nemocnic vedena úplně jiným způsobem. Jiné tabulky, jiné názvy (např. HeartRate vs. ADM_HR), a je také dost pravděpodobné,
že jsem to pomotal. A rovnou se přiznám, že pro radu jsem často chodil k AI (ajajaj), např. co je to GCS (Glasgow Coma Scale).
Některé „sloupečky” vůbec neexistovaly a bylo nutné si je spočítat (shock index).
Za mne je to loterie, vsadili jsme si 12 čísel (pár jich bylo float), tak schválně jak to dopadne …
25. dubna 2024 — Výsledky loterie a Data Challenge Docker
| Číslo otázky | Robotika | DARPA |
| 1. | 140 | 134, 140 There are two age fields in UPitt dataset with different precision, so the answer changes depending on which field used. |
| 2. | 11 | 11 Correct answer is 11. 16 if counting unique within each dataset instead of between datasets. |
| 3. | 657 | 657 |
| 4. | 2086 | 2086 |
| 5. | 377 | 381, 384 384 and 381 both correct (former includes both signal and trends, latter only for signals) |
| 6. | 86.22592394151795 | 86 |
| 7. | 93.2937489574223 | 93 |
| 8. | 1962 | 1962 |
| 9. | 706 | 706 |
| 10. | 0.8444878086426884 | 0.844 |
| 11. | 0.8888945163056138 | 0.796 |
| 12. | 125 | 125 Incorrect answer 112 for teams that included both in- and pre-hospital LSIs. |
To není až tak zlé, když vezmu v úvahu jaká to byla střílečka naslepo :-( … závěr je:
We are pleased to inform you that you have
qualified for the workshop event for the Data Competition. We look forward
to your participation in the coming weeks.
Prima, a teď o co přesně jde? Viz DTC_Data_ICD_3-18-2024_rev2.pdf,
kde ICD = Interface Control Document.
Snažím se pochopit, jak vyzkoušet alespoň hello world a první co vidím, že už je novější verze dokumentu — DTC_Data_ICD_4-16-2024_rev3.pdf,
ale ta není ještě veřejně dostupná!
Pro dnešek (nemluvě o tom, že tento „příspěvek” už je anti-datovaný a včera jsem to nestihl a ani dnes už nemám moc sil) timeout. Momentálně to
skončilo na tom, že nemáme právo stáhnout DTC base docker image, ale pravděpodobnější je, že jsem něco špatně zkopíroval z návodu na
GitHubu. Ptáte-li se, kolik na to máme času,
tak odpověď zní, že docker image je třeba uploadovat do 17. května 2024 — 20 dní, „pohoda”.