{"scale": 24, "query_id": "Q01", "category": "lexical", "relevant": ["D001"], "method": "bm25", "ranking": [["D021", 10.704754040216349], ["D001", 9.827601739323926], ["D009", 2.87189466290608], ["D019", 2.551020876697512], ["D017", 1.6919734885017914], ["D002", 1.2923470641054449], ["D020", 1.2762739270787642], ["D011", 0.8422974139980335], ["D013", 0.8422974139980335], ["D024", 0.7414877705896269], ["D023", 0.5402206358881625], ["D010", 0.4544734290160181], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D012", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D018", 0.0], ["D022", 0.0]], "abstain": false, "online_ms": 0.234619015827775, "success": true}
{"scale": 24, "query_id": "Q01", "category": "lexical", "relevant": ["D001"], "method": "embedding", "ranking": [["D021", 0.7597593841234898], ["D001", 0.6619542845094648], ["D020", 0.36689513919937783], ["D008", 0.35273472327747146], ["D019", 0.34287640385481816], ["D013", 0.3405361798572329], ["D002", 0.2850331034340474], ["D022", 0.23353000044987865], ["D004", 0.20243353043160633], ["D017", 0.198575604400879], ["D018", 0.18506073192932904], ["D007", 0.18202939426660453], ["D015", 0.1810584472948927], ["D003", 0.1790664249044875], ["D012", 0.17674641409678477], ["D009", 0.17359382180778127], ["D005", 0.1677216805635357], ["D014", 0.16207506266678962], ["D023", 0.16065099756515377], ["D006", 0.14975765302862043], ["D011", 0.13695495020971402], ["D024", 0.08428970774914993], ["D010", 0.03353114462166963], ["D016", -0.05182062364566496]], "abstain": false, "online_ms": 77.7021599933505, "success": true}
{"scale": 24, "query_id": "Q01", "category": "lexical", "relevant": ["D001"], "method": "hybrid", "ranking": [["D001", 0.9], ["D021", 0.58], ["D019", 0.04], ["D020", 0.04], ["D002", 0.03], ["D017", 0.03], ["D009", 0.02], ["D011", 0.02]], "abstain": false, "online_ms": 405.51862004213035, "api_roundtrip_ms": 405.2840010263026, "success": true, "usage": {"input_tokens": 1082, "output_tokens": 156}}
{"scale": 24, "query_id": "Q01", "category": "lexical", "relevant": ["D001"], "method": "direct", "ranking": [["D001", 1.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 170.44923990033567, "api_roundtrip_ms": 170.44923990033567, "success": true, "choice": "D001", "answer_exists": 0.96, "usage": {"input_tokens": 2191, "output_tokens": 284}}
{"scale": 24, "query_id": "Q02", "category": "paraphrase", "relevant": ["D001"], "method": "bm25", "ranking": [["D024", 3.995169544371821], ["D016", 2.3507356804810926], ["D009", 1.8700008099388574], ["D017", 1.8344052636129868], ["D013", 1.684594827996067], ["D010", 1.6433953917785264], ["D001", 1.638188440692515], ["D019", 1.4508386932463027], ["D007", 0.9094355546760173], ["D020", 0.9094355546760173], ["D011", 0.8422974139980335], ["D021", 0.8422974139980335], ["D002", 0.8190942203462575], ["D006", 0.8079655027972079], ["D012", 0.6570083321652723], ["D008", 0.6381292847064859], ["D015", 0.6381292847064859], ["D022", 0.6290908633624464], ["D003", 0.6203049053586775], ["D005", 0.6203049053586775], ["D014", 0.5874853439239013], ["D004", 0.0], ["D018", 0.0], ["D023", 0.0]], "abstain": false, "online_ms": 0.8696720469743013, "success": true}
{"scale": 24, "query_id": "Q02", "category": "paraphrase", "relevant": ["D001"], "method": "embedding", "ranking": [["D001", 0.4402755801120583], ["D021", 0.2557983095309726], ["D009", 0.18668665853933203], ["D006", 0.17945263325685373], ["D008", 0.1749852407748696], ["D005", 0.17115687108254538], ["D011", 0.15474728260429044], ["D020", 0.13665678440193196], ["D013", 0.12505993263119988], ["D019", 0.10935645046105022], ["D004", 0.066626161951212], ["D016", 0.06311209665322237], ["D024", 0.06286940480652792], ["D010", 0.058011300312918616], ["D023", 0.04518953875962658], ["D014", 0.03690685507236984], ["D017", 0.031012673720796573], ["D018", 0.02366174895299457], ["D015", 0.02250666353010273], ["D003", 0.022165011400088683], ["D002", 0.017417372032627113], ["D022", 0.011362330718564718], ["D012", -0.011265423917461869], ["D007", -0.07431247641268209]], "abstain": true, "online_ms": 68.74619401060045, "success": true}
{"scale": 24, "query_id": "Q02", "category": "paraphrase", "relevant": ["D001"], "method": "hybrid", "ranking": [["D001", 0.93], ["D013", 0.05], ["D009", 0.04], ["D019", 0.04], ["D010", 0.03], ["D017", 0.03], ["D016", 0.02], ["D024", 0.02]], "abstain": false, "online_ms": 175.87079387158155, "api_roundtrip_ms": 175.00112182460725, "success": true, "usage": {"input_tokens": 1086, "output_tokens": 156}}
{"scale": 24, "query_id": "Q02", "category": "paraphrase", "relevant": ["D001"], "method": "direct", "ranking": [["D001", 1.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 198.9425008650869, "api_roundtrip_ms": 198.9425008650869, "success": true, "choice": "D001", "answer_exists": 0.93, "usage": {"input_tokens": 2196, "output_tokens": 284}}
{"scale": 24, "query_id": "Q03", "category": "lexical_near_match", "relevant": ["D002"], "method": "bm25", "ranking": [["D002", 11.469637856293863], ["D022", 11.199624092777272], ["D001", 2.1240865063395664], ["D023", 2.003187938144989], ["D007", 1.8305039174029436], ["D005", 1.7793738454827268], ["D018", 0.6894148718840293], ["D020", 0.4936511304929877], ["D017", 0.48665908825125087], ["D004", 0.4798623494007226], ["D019", 0.4798623494007226], ["D006", 0.4668229397302539], ["D010", 0.4544734290160181], ["D003", 0.0], ["D008", 0.0], ["D009", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D021", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 0.5240710452198982, "success": true}
{"scale": 24, "query_id": "Q03", "category": "lexical_near_match", "relevant": ["D002"], "method": "embedding", "ranking": [["D022", 0.7274855545005242], ["D002", 0.6975945230542233], ["D014", 0.2873719600625226], ["D007", 0.2553272054696394], ["D012", 0.19711742265459503], ["D004", 0.18809806415512592], ["D003", 0.14001499816786572], ["D008", 0.13981238278774155], ["D020", 0.1349192158212011], ["D006", 0.13088616499186762], ["D013", 0.12956668273146565], ["D001", 0.12432207791871996], ["D009", 0.12320766618557014], ["D005", 0.12167369469614717], ["D021", 0.11893879011758689], ["D018", 0.1184549385794453], ["D024", 0.11560103164487368], ["D017", 0.11549284473224998], ["D019", 0.10039747585548421], ["D023", 0.09509450160629793], ["D015", 0.078600789762301], ["D016", -0.009696166929470956], ["D011", -0.02683455768542218], ["D010", -0.041410072918794956]], "abstain": false, "online_ms": 56.71566003002226, "success": true}
{"scale": 24, "query_id": "Q03", "category": "lexical_near_match", "relevant": ["D002"], "method": "hybrid", "ranking": [["D002", 0.94], ["D022", 0.14], ["D007", 0.04], ["D001", 0.03], ["D005", 0.03], ["D018", 0.03], ["D020", 0.03], ["D023", 0.03]], "abstain": false, "online_ms": 151.3145340140909, "api_roundtrip_ms": 150.790462968871, "success": true, "usage": {"input_tokens": 1094, "output_tokens": 156}}
{"scale": 24, "query_id": "Q03", "category": "lexical_near_match", "relevant": ["D002"], "method": "direct", "ranking": [["D002", 1.0], ["D001", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 159.65615399181843, "api_roundtrip_ms": 159.65615399181843, "success": true, "choice": "D002", "answer_exists": 0.96, "usage": {"input_tokens": 2192, "output_tokens": 284}}
{"scale": 24, "query_id": "Q04", "category": "paraphrase", "relevant": ["D003"], "method": "bm25", "ranking": [["D006", 3.621220193878821], ["D010", 3.411199420085075], ["D012", 2.1915949281750993], ["D022", 1.6688864893670066], ["D003", 1.6455786216763773], ["D019", 1.6455786216763773], ["D014", 1.558513102440101], ["D007", 0.9094355546760173], ["D020", 0.9094355546760173], ["D024", 0.687518680398259], ["D008", 0.6381292847064859], ["D015", 0.6381292847064859], ["D017", 0.6290908633624464], ["D005", 0.6203049053586775], ["D001", 0.0], ["D002", 0.0], ["D004", 0.0], ["D009", 0.0], ["D011", 0.0], ["D013", 0.0], ["D016", 0.0], ["D018", 0.0], ["D021", 0.0], ["D023", 0.0]], "abstain": false, "online_ms": 0.8664720226079226, "success": true}
{"scale": 24, "query_id": "Q04", "category": "paraphrase", "relevant": ["D003"], "method": "embedding", "ranking": [["D003", 0.4327496613225438], ["D012", 0.25646052600664226], ["D017", 0.23513917820015545], ["D018", 0.2329963131132281], ["D005", 0.19876749750028602], ["D024", 0.17540777578816236], ["D020", 0.17346574390727376], ["D019", 0.16448434558229147], ["D021", 0.1567727457615331], ["D010", 0.15239707061675425], ["D001", 0.1501002762514631], ["D006", 0.11502069175761731], ["D009", 0.10657030758760697], ["D011", 0.10254220576687265], ["D013", 0.09124125175442259], ["D002", 0.08451782386142317], ["D014", 0.026296473409296858], ["D015", 0.026213062098984538], ["D022", 0.005308738088002623], ["D007", -0.018857585537333778], ["D016", -0.023875098006937313], ["D008", -0.03565524949809383], ["D023", -0.03882615642192029], ["D004", -0.07819329634288764]], "abstain": true, "online_ms": 81.98079792782664, "success": true}
{"scale": 24, "query_id": "Q04", "category": "paraphrase", "relevant": ["D003"], "method": "hybrid", "ranking": [["D003", 0.94], ["D012", 0.04], ["D019", 0.04], ["D007", 0.03], ["D010", 0.03], ["D014", 0.03], ["D022", 0.03], ["D006", 0.02]], "abstain": false, "online_ms": 207.2969952132553, "api_roundtrip_ms": 206.43052319064736, "success": true, "usage": {"input_tokens": 1111, "output_tokens": 156}}
{"scale": 24, "query_id": "Q04", "category": "paraphrase", "relevant": ["D003"], "method": "direct", "ranking": [["D003", 1.0], ["D001", 0.0], ["D002", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 186.85695296153426, "api_roundtrip_ms": 186.85695296153426, "success": true, "choice": "D003", "answer_exists": 0.96, "usage": {"input_tokens": 2195, "output_tokens": 284}}
{"scale": 24, "query_id": "Q05", "category": "lexical_near_match", "relevant": ["D004"], "method": "bm25", "ranking": [["D004", 10.576971267392999], ["D012", 7.651772461740746], ["D023", 7.185611868928882], ["D005", 4.841754299345545], ["D008", 3.986056396374619], ["D001", 3.888757832795431], ["D013", 3.36068112421336], ["D006", 3.2607848634206165], ["D011", 3.0586352015335017], ["D014", 3.0553015924839806], ["D002", 2.988208006707244], ["D003", 2.9005677055909684], ["D007", 2.728306664028052], ["D015", 2.4570003940585208], ["D017", 2.4295291980302345], ["D019", 2.4026803194371364], ["D024", 2.334919277991796], ["D020", 2.185694124088989], ["D018", 2.086026454941793], ["D010", 2.0317748020102844], ["D022", 1.8872877302281603], ["D021", 1.800438334667788], ["D009", 1.3966568155884855], ["D016", 1.3540770171174747]], "abstain": false, "online_ms": 0.7858858443796635, "success": true}
{"scale": 24, "query_id": "Q05", "category": "lexical_near_match", "relevant": ["D004"], "method": "embedding", "ranking": [["D023", 0.5547065206016768], ["D004", 0.49969279422684626], ["D020", 0.2868581536887582], ["D017", 0.2729352032321344], ["D015", 0.25167296976914144], ["D021", 0.24341873566369648], ["D007", 0.2393325050731542], ["D019", 0.23708821618919346], ["D005", 0.2358485473159117], ["D018", 0.2333664810805291], ["D002", 0.19892674315703657], ["D024", 0.18432410931373924], ["D022", 0.16839286834732603], ["D001", 0.15983240146579608], ["D011", 0.13705184323500053], ["D003", 0.1286492355912397], ["D014", 0.12615665790439134], ["D008", 0.1238846604588454], ["D010", 0.12364693198132569], ["D013", 0.10982731154219216], ["D012", 0.0785856031168452], ["D009", 0.05457202110732226], ["D006", 0.041208459462796915], ["D016", -0.009398723831526075]], "abstain": false, "online_ms": 58.86010592803359, "success": true}
{"scale": 24, "query_id": "Q05", "category": "lexical_near_match", "relevant": ["D004"], "method": "hybrid", "ranking": [["D004", 0.94], ["D023", 0.12], ["D001", 0.03], ["D005", 0.03], ["D008", 0.03], ["D006", 0.02], ["D012", 0.02], ["D013", 0.02]], "abstain": false, "online_ms": 151.33098792284727, "api_roundtrip_ms": 150.5451020784676, "success": true, "usage": {"input_tokens": 1090, "output_tokens": 156}}
{"scale": 24, "query_id": "Q05", "category": "lexical_near_match", "relevant": ["D004"], "method": "direct", "ranking": [["D004", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 147.54131296649575, "api_roundtrip_ms": 147.54131296649575, "success": true, "choice": "D004", "answer_exists": 0.95, "usage": {"input_tokens": 2197, "output_tokens": 284}}
{"scale": 24, "query_id": "Q06", "category": "paraphrase", "relevant": ["D005"], "method": "bm25", "ranking": [["D024", 3.3279972617061726], ["D005", 3.0942800364530494], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0]], "abstain": false, "online_ms": 0.2772561274468899, "success": true}
{"scale": 24, "query_id": "Q06", "category": "paraphrase", "relevant": ["D005"], "method": "embedding", "ranking": [["D005", 0.49670701813767376], ["D024", 0.47959845114456623], ["D006", 0.22660189914756848], ["D003", 0.1891883396389753], ["D018", 0.15380006671187396], ["D011", 0.14215519816403727], ["D010", 0.14123566204826749], ["D017", 0.13275802282000723], ["D016", 0.11957533181370934], ["D012", 0.11009633774300105], ["D014", 0.10888867792691376], ["D020", 0.10789953425768635], ["D019", 0.07568542448831339], ["D001", 0.055622477939453824], ["D002", 0.04653081768584745], ["D008", 0.03912643605563951], ["D021", 0.033779871628438304], ["D013", 0.02831391239903775], ["D022", 0.02039835613169766], ["D009", -0.017516456158348286], ["D007", -0.02107806102366925], ["D023", -0.031856213136817524], ["D004", -0.053641181425369555], ["D015", -0.07188938160505043]], "abstain": true, "online_ms": 62.40284093655646, "success": true}
{"scale": 24, "query_id": "Q06", "category": "paraphrase", "relevant": ["D005"], "method": "hybrid", "ranking": [["D005", 0.91], ["D024", 0.14], ["D003", 0.1], ["D002", 0.03], ["D001", 0.02], ["D004", 0.02], ["D006", 0.02], ["D007", 0.02]], "abstain": false, "online_ms": 178.39953512884676, "api_roundtrip_ms": 178.12227900139987, "success": true, "usage": {"input_tokens": 1095, "output_tokens": 156}}
{"scale": 24, "query_id": "Q06", "category": "paraphrase", "relevant": ["D005"], "method": "direct", "ranking": [["D005", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 163.90352486632764, "api_roundtrip_ms": 163.90352486632764, "success": true, "choice": "D005", "answer_exists": 0.91, "usage": {"input_tokens": 2190, "output_tokens": 284}}
{"scale": 24, "query_id": "Q07", "category": "paraphrase", "relevant": ["D006"], "method": "bm25", "ranking": [["D003", 3.837226663643622], ["D007", 3.68403149359553], ["D013", 3.2354994789962546], ["D015", 3.125075077917808], ["D006", 3.1221633137436466], ["D011", 3.0844765176563254], ["D016", 3.02777418903983], ["D024", 2.387123734586289], ["D014", 1.2339081242800396], ["D004", 1.0430132274708965], ["D005", 1.0430132274708965], ["D018", 1.0430132274708965], ["D012", 0.928446304681826], ["D008", 0.9094355546760173], ["D017", 0.900219167333894], ["D021", 0.900219167333894], ["D019", 0.8911877070392296], ["D001", 0.8823356632279322], ["D002", 0.8823356632279322], ["D009", 0.6983284077942428], ["D023", 0.6983284077942428], ["D020", 0.6381292847064859], ["D010", 0.5874853439239013], ["D022", 0.0]], "abstain": false, "online_ms": 0.5308501422405243, "success": true}
{"scale": 24, "query_id": "Q07", "category": "paraphrase", "relevant": ["D006"], "method": "embedding", "ranking": [["D006", 0.6270487928766544], ["D013", 0.3115791106968373], ["D001", 0.22894914581688042], ["D012", 0.21696601265324275], ["D003", 0.20252247271295354], ["D011", 0.17812924859597395], ["D005", 0.15383670548625714], ["D018", 0.12959818012156019], ["D014", 0.119739514885011], ["D021", 0.11541997219410464], ["D007", 0.1147114745041185], ["D024", 0.09931668589280244], ["D016", 0.09443828144190924], ["D022", 0.0873861167900342], ["D017", 0.05987670861851133], ["D008", 0.05178500647641378], ["D020", 0.045676900104553095], ["D002", 0.03913601174305339], ["D009", 0.02221654084117416], ["D019", 0.005154368409081329], ["D010", -0.004885032503228682], ["D023", -0.005799477857763103], ["D015", -0.01189124019340399], ["D004", -0.05906934368785312]], "abstain": false, "online_ms": 80.8103340677917, "success": true}
{"scale": 24, "query_id": "Q07", "category": "paraphrase", "relevant": ["D006"], "method": "hybrid", "ranking": [["D006", 0.92], ["D011", 0.07], ["D013", 0.03], ["D016", 0.03], ["D003", 0.02], ["D007", 0.02], ["D015", 0.02], ["D024", 0.02]], "abstain": false, "online_ms": 152.48006395995617, "api_roundtrip_ms": 151.94921381771564, "success": true, "usage": {"input_tokens": 1097, "output_tokens": 156}}
{"scale": 24, "query_id": "Q07", "category": "paraphrase", "relevant": ["D006"], "method": "direct", "ranking": [["D006", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 232.6217640656978, "api_roundtrip_ms": 232.6217640656978, "success": true, "choice": "D006", "answer_exists": 0.91, "usage": {"input_tokens": 2196, "output_tokens": 284}}
{"scale": 24, "query_id": "Q08", "category": "lexical", "relevant": ["D007"], "method": "bm25", "ranking": [["D007", 18.112393319547337], ["D006", 6.2127927288617455], ["D008", 4.177682624088518], ["D022", 3.2219558322326245], ["D018", 3.1967649792113], ["D016", 3.02777418903983], ["D020", 2.853768807948277], ["D003", 1.6199937495168681], ["D011", 1.5966206964538692], ["D021", 1.3868782555851449], ["D002", 1.3555885069871194], ["D023", 1.2385490436824051], ["D014", 1.2339081242800396], ["D013", 1.051242128673823], ["D004", 1.0430132274708965], ["D005", 1.0430132274708965], ["D012", 0.928446304681826], ["D015", 0.9094355546760173], ["D017", 0.900219167333894], ["D019", 0.8911877070392296], ["D001", 0.8823356632279322], ["D009", 0.6983284077942428], ["D010", 0.5874853439239013], ["D024", 0.0]], "abstain": false, "online_ms": 0.5861690733581781, "success": true}
{"scale": 24, "query_id": "Q08", "category": "lexical", "relevant": ["D007"], "method": "embedding", "ranking": [["D007", 0.7549383462819507], ["D015", 0.3311831712101577], ["D017", 0.2950429353045404], ["D018", 0.24249966880922952], ["D006", 0.2241891782123394], ["D023", 0.20777015508222757], ["D005", 0.19579202684555913], ["D019", 0.1705617616361778], ["D016", 0.14111965224237566], ["D013", 0.13573284524329285], ["D004", 0.1353407438220747], ["D020", 0.13265646904207734], ["D011", 0.12636897506280817], ["D022", 0.11110473835102563], ["D021", 0.10289044398598703], ["D010", 0.10201598867807657], ["D003", 0.10087137687292669], ["D024", 0.09429658445305787], ["D002", 0.07873821240977294], ["D012", 0.05400205958219055], ["D014", 0.019422300217870364], ["D009", 0.016215314720259454], ["D001", -0.016827302298939716], ["D008", -0.03064532421618082]], "abstain": false, "online_ms": 126.21161993592978, "success": true}
{"scale": 24, "query_id": "Q08", "category": "lexical", "relevant": ["D007"], "method": "hybrid", "ranking": [["D007", 0.96], ["D016", 0.03], ["D003", 0.02], ["D006", 0.02], ["D008", 0.02], ["D018", 0.02], ["D020", 0.02], ["D022", 0.02]], "abstain": false, "online_ms": 169.37729017809033, "api_roundtrip_ms": 168.79112110473216, "success": true, "usage": {"input_tokens": 1116, "output_tokens": 156}}
{"scale": 24, "query_id": "Q08", "category": "lexical", "relevant": ["D007"], "method": "direct", "ranking": [["D007", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 158.2757099531591, "api_roundtrip_ms": 158.2757099531591, "success": true, "choice": "D007", "answer_exists": 0.97, "usage": {"input_tokens": 2202, "output_tokens": 284}}
{"scale": 24, "query_id": "Q09", "category": "paraphrase", "relevant": ["D008"], "method": "bm25", "ranking": [["D008", 2.2156395232417907], ["D015", 2.2156395232417907], ["D009", 0.9350004049694287], ["D024", 0.9205271293872732], ["D013", 0.8422974139980335], ["D021", 0.8422974139980335], ["D001", 0.8190942203462575], ["D006", 0.8079655027972079], ["D010", 0.7865912776160447], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D007", 0.0], ["D011", 0.0], ["D012", 0.0], ["D014", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D022", 0.0], ["D023", 0.0]], "abstain": false, "online_ms": 0.5726469680666924, "success": true}
{"scale": 24, "query_id": "Q09", "category": "paraphrase", "relevant": ["D008"], "method": "embedding", "ranking": [["D008", 0.521109412999173], ["D005", 0.2310366671997951], ["D016", 0.19059059464340586], ["D023", 0.1804602923972295], ["D004", 0.15935338593782467], ["D021", 0.14706624571413945], ["D015", 0.09024252293013689], ["D001", 0.08574552736483301], ["D012", 0.08502365157749779], ["D018", 0.05757638154117412], ["D017", 0.05140092801695177], ["D010", 0.04660392798029302], ["D019", 0.03831816844766943], ["D020", 0.03388584202209162], ["D024", 0.033537102456500927], ["D011", 0.03046854666105037], ["D003", 0.022903571556759966], ["D006", 0.017881903447695056], ["D007", 0.015195171960549803], ["D022", 0.014588364245537666], ["D014", 0.009079587133956554], ["D013", -0.0017022452019404485], ["D002", -0.016663892160945062], ["D009", -0.06147063154285941]], "abstain": false, "online_ms": 59.22329402528703, "success": true}
{"scale": 24, "query_id": "Q09", "category": "paraphrase", "relevant": ["D008"], "method": "hybrid", "ranking": [["D008", 0.95], ["D021", 0.09], ["D001", 0.08], ["D015", 0.04], ["D013", 0.03], ["D024", 0.03], ["D006", 0.02], ["D009", 0.02]], "abstain": false, "online_ms": 174.49614987708628, "api_roundtrip_ms": 173.9235029090196, "success": true, "usage": {"input_tokens": 1073, "output_tokens": 156}}
{"scale": 24, "query_id": "Q09", "category": "paraphrase", "relevant": ["D008"], "method": "direct", "ranking": [["D008", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 146.4485451579094, "api_roundtrip_ms": 146.4485451579094, "success": true, "choice": "D008", "answer_exists": 0.95, "usage": {"input_tokens": 2191, "output_tokens": 284}}
{"scale": 24, "query_id": "Q10", "category": "lexical", "relevant": ["D009"], "method": "bm25", "ranking": [["D009", 13.383919649510313], ["D017", 1.3868782555851449], ["D021", 1.3868782555851449], ["D019", 1.3710500564399521], ["D001", 1.3555885069871194], ["D002", 1.3555885069871194], ["D023", 1.2385490436824051], ["D014", 1.2339081242800396], ["D003", 1.1401314001161456], ["D013", 1.051242128673823], ["D004", 1.0430132274708965], ["D005", 1.0430132274708965], ["D018", 1.0430132274708965], ["D010", 1.0419587729399193], ["D006", 1.026935952288301], ["D012", 0.928446304681826], ["D007", 0.9094355546760173], ["D008", 0.9094355546760173], ["D015", 0.9094355546760173], ["D011", 0.900219167333894], ["D024", 0.7414877705896269], ["D016", 0.6770385085587374], ["D020", 0.6381292847064859], ["D022", 0.0]], "abstain": false, "online_ms": 0.4075341857969761, "success": true}
{"scale": 24, "query_id": "Q10", "category": "lexical", "relevant": ["D009"], "method": "embedding", "ranking": [["D009", 0.7674877793097047], ["D001", 0.2863885916023007], ["D020", 0.22570302843330964], ["D019", 0.20419203440070477], ["D021", 0.1776865794313885], ["D015", 0.15605529929937556], ["D018", 0.15511409565528383], ["D003", 0.14755771670702061], ["D013", 0.14246223526189264], ["D017", 0.12906552179981218], ["D016", 0.11941923367687238], ["D023", 0.10436988655785488], ["D008", 0.10025548635319681], ["D004", 0.09245984580194866], ["D010", 0.09082467177939185], ["D011", 0.08996984111277231], ["D005", 0.0776538953941675], ["D006", 0.07170514145456208], ["D002", 0.05845631903983869], ["D024", 0.054018580026193884], ["D022", 0.042802092233920244], ["D007", 0.00869423940876415], ["D012", -0.02513680926971918], ["D014", -0.03555247917582241]], "abstain": false, "online_ms": 66.41540117561817, "success": true}
{"scale": 24, "query_id": "Q10", "category": "lexical", "relevant": ["D009"], "method": "hybrid", "ranking": [["D009", 0.94], ["D021", 0.05], ["D001", 0.04], ["D019", 0.04], ["D002", 0.02], ["D014", 0.02], ["D017", 0.02], ["D023", 0.02]], "abstain": false, "online_ms": 151.8635752145201, "api_roundtrip_ms": 151.45604102872312, "success": true, "usage": {"input_tokens": 1079, "output_tokens": 156}}
{"scale": 24, "query_id": "Q10", "category": "lexical", "relevant": ["D009"], "method": "direct", "ranking": [["D009", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 175.11736205779016, "api_roundtrip_ms": 175.11736205779016, "success": true, "choice": "D009", "answer_exists": 0.97, "usage": {"input_tokens": 2189, "output_tokens": 284}}
{"scale": 24, "query_id": "Q11", "category": "paraphrase", "relevant": ["D010"], "method": "bm25", "ranking": [["D010", 6.738234728709007], ["D024", 2.989341790577322], ["D018", 2.7754413268258222], ["D004", 2.5658888043425154], ["D006", 2.520694844306856], ["D014", 2.467816248560079], ["D002", 2.447238336097323], ["D017", 2.2870974229190386], ["D003", 2.280262800232291], ["D019", 2.262237763479182], ["D013", 2.102484257347646], ["D005", 2.086026454941793], ["D012", 1.856892609363652], ["D007", 1.8188711093520347], ["D008", 1.8188711093520347], ["D015", 1.8188711093520347], ["D011", 1.800438334667788], ["D021", 1.800438334667788], ["D020", 1.7699096999059594], ["D001", 1.7646713264558644], ["D009", 1.3966568155884855], ["D023", 1.3966568155884855], ["D016", 1.3540770171174747], ["D022", 0.48665908825125087]], "abstain": false, "online_ms": 0.769197940826416, "success": true}
{"scale": 24, "query_id": "Q11", "category": "paraphrase", "relevant": ["D010"], "method": "embedding", "ranking": [["D010", 0.5369246307161977], ["D016", 0.19307894763678324], ["D018", 0.1065759503876064], ["D003", 0.10376373683457941], ["D005", 0.09987912938912306], ["D024", 0.08755307855587775], ["D009", 0.0836491734749707], ["D017", 0.08203927279358628], ["D012", 0.07353300243341351], ["D021", 0.06139207742144606], ["D008", 0.053684142861207956], ["D020", 0.05063394612726679], ["D011", 0.04088402761175074], ["D022", 0.022895721105322637], ["D002", 0.020343412532273175], ["D001", -0.00029835219166703987], ["D014", -0.006666647549008992], ["D023", -0.015861831748639046], ["D004", -0.019880882199464923], ["D013", -0.025318199764615593], ["D007", -0.02872110265346106], ["D019", -0.03956961418849127], ["D015", -0.04910973578283043], ["D006", -0.08673093599971779]], "abstain": false, "online_ms": 62.42070905864239, "success": true}
{"scale": 24, "query_id": "Q11", "category": "paraphrase", "relevant": ["D010"], "method": "hybrid", "ranking": [["D010", 0.95], ["D014", 0.03], ["D017", 0.03], ["D002", 0.02], ["D004", 0.02], ["D006", 0.02], ["D018", 0.02], ["D024", 0.02]], "abstain": false, "online_ms": 147.72484079003334, "api_roundtrip_ms": 146.95564284920692, "success": true, "usage": {"input_tokens": 1102, "output_tokens": 156}}
{"scale": 24, "query_id": "Q11", "category": "paraphrase", "relevant": ["D010"], "method": "direct", "ranking": [["D010", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 180.64168700948358, "api_roundtrip_ms": 180.64168700948358, "success": true, "choice": "D010", "answer_exists": 0.96, "usage": {"input_tokens": 2194, "output_tokens": 284}}
{"scale": 24, "query_id": "Q12", "category": "paraphrase", "relevant": ["D011"], "method": "bm25", "ranking": [["D011", 12.548563616466161], ["D008", 4.322160778302016], ["D023", 4.274891695139383], ["D014", 3.5066228554810905], ["D001", 3.479675013326686], ["D005", 3.442691978312301], ["D021", 3.1914550355350366], ["D002", 2.579125187238499], ["D013", 2.309438995539537], ["D006", 2.2338489111323154], ["D017", 2.0159691189475915], ["D019", 1.9913549617986297], ["D010", 1.898762887102401], ["D022", 1.8872877302281603], ["D007", 1.8188711093520347], ["D003", 1.760436305474823], ["D012", 1.5854546368470983], ["D015", 1.5475648393825032], ["D020", 1.5475648393825032], ["D024", 1.429006450987886], ["D009", 1.2385490436824051], ["D004", 1.0430132274708965], ["D018", 1.0430132274708965], ["D016", 0.6770385085587374]], "abstain": false, "online_ms": 1.0592679027467966, "success": true}
{"scale": 24, "query_id": "Q12", "category": "paraphrase", "relevant": ["D011"], "method": "embedding", "ranking": [["D011", 0.531393288880624], ["D021", 0.19783540531563706], ["D006", 0.19586849139337714], ["D001", 0.1747674499896656], ["D017", 0.1637037805748701], ["D009", 0.12764092148624778], ["D003", 0.11915782391935704], ["D016", 0.10409439005308765], ["D020", 0.10086408849036226], ["D023", 0.0886241461327978], ["D018", 0.08493834516946473], ["D010", 0.07748809473666933], ["D013", 0.07543301013272638], ["D019", 0.06690303453800273], ["D007", 0.054573300137014544], ["D005", 0.05021391326531516], ["D012", 0.036564980585488176], ["D022", 0.03542054192335102], ["D004", 0.0353245430853148], ["D015", 0.031847641112019494], ["D002", 0.0012853638207935593], ["D024", -0.0055880930619555645], ["D008", -0.019654159628885823], ["D014", -0.09159441682436434]], "abstain": false, "online_ms": 66.72807689756155, "success": true}
{"scale": 24, "query_id": "Q12", "category": "paraphrase", "relevant": ["D011"], "method": "hybrid", "ranking": [["D011", 0.92], ["D001", 0.06], ["D021", 0.06], ["D002", 0.03], ["D005", 0.03], ["D008", 0.03], ["D014", 0.03], ["D023", 0.02]], "abstain": false, "online_ms": 297.9292587842792, "api_roundtrip_ms": 296.86999088153243, "success": true, "usage": {"input_tokens": 1086, "output_tokens": 156}}
{"scale": 24, "query_id": "Q12", "category": "paraphrase", "relevant": ["D011"], "method": "direct", "ranking": [["D011", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 154.52696895226836, "api_roundtrip_ms": 154.52696895226836, "success": true, "choice": "D011", "answer_exists": 0.92, "usage": {"input_tokens": 2197, "output_tokens": 284}}
{"scale": 24, "query_id": "Q13", "category": "paraphrase", "relevant": ["D012"], "method": "bm25", "ranking": [["D012", 8.176397555631517], ["D014", 2.2049358827962395], ["D003", 2.1654051164338455], ["D006", 2.0243496707792774], ["D019", 1.9164614233569293], ["D013", 1.051242128673823], ["D004", 1.0430132274708965], ["D005", 1.0430132274708965], ["D018", 1.0430132274708965], ["D022", 1.0397956260045602], ["D007", 0.9094355546760173], ["D008", 0.9094355546760173], ["D015", 0.9094355546760173], ["D011", 0.900219167333894], ["D017", 0.900219167333894], ["D021", 0.900219167333894], ["D001", 0.8823356632279322], ["D002", 0.8823356632279322], ["D009", 0.6983284077942428], ["D023", 0.6983284077942428], ["D016", 0.6770385085587374], ["D020", 0.6381292847064859], ["D010", 0.5874853439239013], ["D024", 0.0]], "abstain": false, "online_ms": 0.7814578711986542, "success": true}
{"scale": 24, "query_id": "Q13", "category": "paraphrase", "relevant": ["D012"], "method": "embedding", "ranking": [["D012", 0.5817161334512592], ["D003", 0.15479385871337736], ["D019", 0.1431522050534386], ["D020", 0.11746624398591471], ["D001", 0.09116542254379963], ["D013", 0.08905273262934957], ["D005", 0.08789788153717512], ["D018", 0.0868245215587655], ["D015", 0.07657745631573444], ["D024", 0.0758960460207482], ["D021", 0.07579242632665806], ["D008", 0.07352568854291097], ["D006", 0.06695918607269799], ["D007", 0.048742911949170936], ["D017", 0.03953687072510701], ["D022", 0.03565071750218987], ["D023", 0.03350772266924838], ["D002", 0.018759132140008232], ["D004", 0.009256159006602302], ["D010", -0.000922788650562785], ["D014", -0.0019770680092379422], ["D011", -0.0024637612235901343], ["D009", -0.019288674362830483], ["D016", -0.11239947836824388]], "abstain": false, "online_ms": 83.18011206574738, "success": true}
{"scale": 24, "query_id": "Q13", "category": "paraphrase", "relevant": ["D012"], "method": "hybrid", "ranking": [["D012", 0.9], ["D019", 0.04], ["D003", 0.03], ["D005", 0.03], ["D004", 0.02], ["D006", 0.02], ["D013", 0.02], ["D014", 0.02]], "abstain": false, "online_ms": 134.15040681138635, "api_roundtrip_ms": 133.3689489401877, "success": true, "usage": {"input_tokens": 1102, "output_tokens": 156}}
{"scale": 24, "query_id": "Q13", "category": "paraphrase", "relevant": ["D012"], "method": "direct", "ranking": [["D012", 0.99], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 196.9173881225288, "api_roundtrip_ms": 196.9173881225288, "success": true, "choice": "D012", "answer_exists": 0.78, "usage": {"input_tokens": 2196, "output_tokens": 284}}
{"scale": 24, "query_id": "Q14", "category": "lexical", "relevant": ["D013"], "method": "bm25", "ranking": [["D013", 9.884963000280429], ["D022", 5.028629756276883], ["D012", 4.347692255179795], ["D014", 2.2049358827962395], ["D003", 2.1654051164338455], ["D006", 2.0243496707792774], ["D024", 1.9721797258302889], ["D019", 1.9164614233569293], ["D004", 1.0430132274708965], ["D005", 1.0430132274708965], ["D018", 1.0430132274708965], ["D007", 0.9094355546760173], ["D008", 0.9094355546760173], ["D015", 0.9094355546760173], ["D011", 0.900219167333894], ["D017", 0.900219167333894], ["D021", 0.900219167333894], ["D001", 0.8823356632279322], ["D002", 0.8823356632279322], ["D009", 0.6983284077942428], ["D023", 0.6983284077942428], ["D016", 0.6770385085587374], ["D020", 0.6381292847064859], ["D010", 0.5874853439239013]], "abstain": false, "online_ms": 0.5411249585449696, "success": true}
{"scale": 24, "query_id": "Q14", "category": "lexical", "relevant": ["D013"], "method": "embedding", "ranking": [["D013", 0.6623055838786226], ["D021", 0.2625019768019452], ["D006", 0.26150977764041744], ["D001", 0.2535476661204469], ["D018", 0.22886755816027743], ["D003", 0.21246719815587894], ["D023", 0.18393511741257834], ["D012", 0.18030877658258188], ["D017", 0.1798833805722383], ["D007", 0.17725876221666592], ["D014", 0.1652518863144353], ["D002", 0.1482694058166685], ["D022", 0.14244382978425507], ["D020", 0.13272481426356253], ["D004", 0.1058038167824456], ["D019", 0.10409548159817436], ["D015", 0.10306759741021213], ["D011", 0.07732636879356489], ["D005", 0.07330500692429164], ["D024", 0.0634005301707592], ["D008", 0.05024898512759374], ["D009", 0.01881459946018253], ["D010", -0.055677377199901526], ["D016", -0.06210955855243161]], "abstain": false, "online_ms": 68.83217394351959, "success": true}
{"scale": 24, "query_id": "Q14", "category": "lexical", "relevant": ["D013"], "method": "hybrid", "ranking": [["D013", 0.96], ["D006", 0.03], ["D003", 0.02], ["D012", 0.02], ["D014", 0.02], ["D019", 0.02], ["D022", 0.02], ["D024", 0.02]], "abstain": false, "online_ms": 175.15942105092108, "api_roundtrip_ms": 174.6182960923761, "success": true, "usage": {"input_tokens": 1085, "output_tokens": 156}}
{"scale": 24, "query_id": "Q14", "category": "lexical", "relevant": ["D013"], "method": "direct", "ranking": [["D013", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 162.98560402356088, "api_roundtrip_ms": 162.98560402356088, "success": true, "choice": "D013", "answer_exists": 0.97, "usage": {"input_tokens": 2190, "output_tokens": 284}}
{"scale": 24, "query_id": "Q15", "category": "paraphrase", "relevant": ["D014"], "method": "bm25", "ranking": [["D014", 11.624498833622573], ["D002", 4.771093496023363], ["D003", 4.445667916666136], ["D012", 4.319925510055305], ["D006", 4.0782215753558795], ["D019", 3.6988368374353886], ["D022", 3.224052976326992], ["D013", 3.153726386021469], ["D004", 3.1290396824126896], ["D005", 3.1290396824126896], ["D018", 3.1290396824126896], ["D007", 2.728306664028052], ["D008", 2.728306664028052], ["D015", 2.728306664028052], ["D011", 2.7006575020016816], ["D017", 2.7006575020016816], ["D021", 2.7006575020016816], ["D001", 2.6470069896837964], ["D009", 2.094985223382728], ["D023", 2.094985223382728], ["D016", 2.031115525676212], ["D020", 1.9143878541194577], ["D010", 1.7624560317717037], ["D024", 0.0]], "abstain": false, "online_ms": 0.42852689512073994, "success": true}
{"scale": 24, "query_id": "Q15", "category": "paraphrase", "relevant": ["D014"], "method": "embedding", "ranking": [["D014", 0.47793676503659277], ["D002", 0.2072216716722146], ["D020", 0.19718774688630425], ["D024", 0.18131412370133865], ["D008", 0.17898294722014862], ["D012", 0.16907767215024683], ["D022", 0.16035799030620557], ["D005", 0.15904362760927943], ["D010", 0.15536387857985626], ["D009", 0.1491054645203158], ["D013", 0.14688533235239923], ["D006", 0.13341857001053986], ["D001", 0.11772153743700944], ["D018", 0.11728649287880995], ["D021", 0.11560620851878081], ["D003", 0.11462883279162614], ["D007", 0.07775343430202011], ["D019", 0.0705632292677274], ["D017", 0.06307342451078485], ["D015", 0.0530048343198721], ["D016", 0.04283298305981989], ["D011", 0.024605138942985737], ["D023", 0.022121395597846406], ["D004", 0.004816552908114766]], "abstain": true, "online_ms": 88.37096812203526, "success": true}
{"scale": 24, "query_id": "Q15", "category": "paraphrase", "relevant": ["D014"], "method": "hybrid", "ranking": [["D014", 0.95], ["D002", 0.03], ["D019", 0.03], ["D022", 0.03], ["D003", 0.02], ["D006", 0.02], ["D012", 0.02], ["D013", 0.02]], "abstain": false, "online_ms": 142.80816982500255, "api_roundtrip_ms": 142.3796429298818, "success": true, "usage": {"input_tokens": 1101, "output_tokens": 156}}
{"scale": 24, "query_id": "Q15", "category": "paraphrase", "relevant": ["D014"], "method": "direct", "ranking": [["D014", 0.99], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 147.06279593519866, "api_roundtrip_ms": 147.06279593519866, "success": true, "choice": "D014", "answer_exists": 0.94, "usage": {"input_tokens": 2197, "output_tokens": 284}}
{"scale": 24, "query_id": "Q16", "category": "lexical", "relevant": ["D015"], "method": "bm25", "ranking": [["D015", 6.820739379564246], ["D019", 3.93312559722313], ["D016", 2.3507356804810926], ["D001", 2.1240865063395664], ["D020", 1.8305039174029436], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D017", 0.0], ["D018", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 0.48714899457991123, "success": true}
{"scale": 24, "query_id": "Q16", "category": "lexical", "relevant": ["D015"], "method": "embedding", "ranking": [["D015", 0.7715060935693836], ["D019", 0.45283979800719254], ["D020", 0.34855870552585255], ["D023", 0.30479958567671916], ["D007", 0.2950565954378192], ["D005", 0.24972627269716258], ["D009", 0.24170177474868398], ["D004", 0.20494110607421354], ["D021", 0.20399399003808805], ["D008", 0.1760235023460204], ["D017", 0.16980828993832753], ["D001", 0.1527647743409149], ["D013", 0.1393327107362763], ["D003", 0.12619951590472528], ["D018", 0.11648569252580308], ["D022", 0.11024565525367584], ["D012", 0.10873140133827647], ["D002", 0.10556199987878412], ["D016", 0.07050211048980429], ["D024", 0.06566217551852649], ["D006", 0.035415851673922694], ["D011", 0.004459329845027667], ["D010", -0.024654912174444543], ["D014", -0.06410898302185132]], "abstain": false, "online_ms": 59.77522395551205, "success": true}
{"scale": 24, "query_id": "Q16", "category": "lexical", "relevant": ["D015"], "method": "hybrid", "ranking": [["D015", 0.95], ["D019", 0.07], ["D020", 0.07], ["D001", 0.02], ["D002", 0.02], ["D003", 0.02], ["D004", 0.02], ["D016", 0.02]], "abstain": false, "online_ms": 134.14151896722615, "api_roundtrip_ms": 133.65436997264624, "success": true, "usage": {"input_tokens": 1104, "output_tokens": 156}}
{"scale": 24, "query_id": "Q16", "category": "lexical", "relevant": ["D015"], "method": "direct", "ranking": [["D015", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 196.4501158799976, "api_roundtrip_ms": 196.4501158799976, "success": true, "choice": "D015", "answer_exists": 0.97, "usage": {"input_tokens": 2191, "output_tokens": 284}}
{"scale": 24, "query_id": "Q17", "category": "multi_evidence", "relevant": ["D017", "D018"], "method": "bm25", "ranking": [["D017", 17.763577904696174], ["D018", 13.197223451651567], ["D004", 7.042357913352719], ["D019", 5.6566142546287494], ["D003", 4.480612238442901], ["D010", 4.183839422786414], ["D006", 3.4543407237673636], ["D002", 3.3937440236156977], ["D011", 3.1932413929077383], ["D020", 3.046183626984724], ["D007", 2.8061733703380103], ["D008", 2.8061733703380103], ["D021", 2.7737565111702893], ["D023", 2.4770980873648103], ["D014", 2.467816248560079], ["D013", 2.102484257347646], ["D005", 2.086026454941793], ["D012", 1.856892609363652], ["D015", 1.8188711093520347], ["D001", 1.7646713264558644], ["D022", 1.4599772647537526], ["D009", 1.3966568155884855], ["D016", 1.3540770171174747], ["D024", 0.0]], "abstain": false, "online_ms": 1.0125648695975542, "success": true}
{"scale": 24, "query_id": "Q17", "category": "multi_evidence", "relevant": ["D017", "D018"], "method": "embedding", "ranking": [["D017", 0.831736012688957], ["D018", 0.7682638600706487], ["D007", 0.34800022423835153], ["D004", 0.330143101477888], ["D003", 0.31514600676390875], ["D020", 0.2712969202473219], ["D019", 0.266653560190121], ["D023", 0.25586654553107624], ["D021", 0.24472041900446395], ["D006", 0.19149320239390905], ["D001", 0.18810500189586865], ["D002", 0.18792360487850285], ["D022", 0.18417621362920586], ["D013", 0.14914074219596393], ["D012", 0.1438014541415752], ["D015", 0.12869050612703753], ["D009", 0.12175606378794865], ["D010", 0.1182459972905591], ["D005", 0.11349831440304901], ["D024", 0.08899874818512729], ["D008", 0.08453863328223389], ["D011", 0.08419300885965285], ["D014", 0.08194278286876826], ["D016", -0.05246998863803376]], "abstain": false, "online_ms": 57.50431213527918, "success": true}
{"scale": 24, "query_id": "Q17", "category": "multi_evidence", "relevant": ["D017", "D018"], "method": "hybrid", "ranking": [["D017", 0.96], ["D018", 0.95], ["D004", 0.04], ["D002", 0.02], ["D003", 0.02], ["D006", 0.02], ["D010", 0.02], ["D019", 0.02]], "abstain": false, "online_ms": 138.26417597010732, "api_roundtrip_ms": 137.25161110050976, "success": true, "usage": {"input_tokens": 1121, "output_tokens": 156}}
{"scale": 24, "query_id": "Q17", "category": "multi_evidence", "relevant": ["D017", "D018"], "method": "direct", "ranking": [["D018", 0.53], ["D017", 0.42], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 146.64236619137228, "api_roundtrip_ms": 146.64236619137228, "success": true, "choice": "D018", "answer_exists": 0.97, "usage": {"input_tokens": 2202, "output_tokens": 284}}
{"scale": 24, "query_id": "Q18", "category": "multi_evidence", "relevant": ["D019", "D020"], "method": "bm25", "ranking": [["D019", 18.401113736724298], ["D020", 13.356743038229002], ["D010", 5.869068810063563], ["D017", 5.729551640107184], ["D004", 5.262984067869992], ["D003", 4.480612238442901], ["D021", 4.031953378036004], ["D018", 4.016066066234987], ["D015", 3.6493750267549783], ["D006", 3.4543407237673636], ["D002", 3.3937440236156977], ["D011", 3.1932413929077383], ["D001", 2.988208006707244], ["D007", 2.8061733703380103], ["D008", 2.8061733703380103], ["D009", 2.7933304376369743], ["D023", 2.4770980873648103], ["D014", 2.467816248560079], ["D013", 2.102484257347646], ["D005", 2.086026454941793], ["D012", 1.856892609363652], ["D022", 1.4599772647537526], ["D016", 1.3540770171174747], ["D024", 0.0]], "abstain": false, "online_ms": 1.1167230550199747, "success": true}
{"scale": 24, "query_id": "Q18", "category": "multi_evidence", "relevant": ["D019", "D020"], "method": "embedding", "ranking": [["D020", 0.816765383391302], ["D019", 0.806815737483504], ["D015", 0.376372440273251], ["D021", 0.3718750484065663], ["D001", 0.341840227649351], ["D017", 0.30256526930846783], ["D002", 0.28178283614788746], ["D018", 0.2808168702719906], ["D003", 0.2499049560619302], ["D004", 0.241277596370047], ["D007", 0.2392432918297028], ["D009", 0.23913088720517822], ["D023", 0.22430258092255193], ["D012", 0.22352623515751666], ["D022", 0.184338545682595], ["D014", 0.15807361317479401], ["D011", 0.15655129931045553], ["D013", 0.1368092606201329], ["D008", 0.11987578664300419], ["D024", 0.10038372922073446], ["D005", 0.0947432790643406], ["D006", 0.06992420248467413], ["D010", 0.06754744277785815], ["D016", -0.07140257329589399]], "abstain": false, "online_ms": 59.08521614037454, "success": true}
{"scale": 24, "query_id": "Q18", "category": "multi_evidence", "relevant": ["D019", "D020"], "method": "hybrid", "ranking": [["D020", 0.96], ["D019", 0.95], ["D018", 0.05], ["D021", 0.04], ["D017", 0.03], ["D003", 0.02], ["D004", 0.02], ["D010", 0.02]], "abstain": false, "online_ms": 151.41228609718382, "api_roundtrip_ms": 150.29556304216385, "success": true, "usage": {"input_tokens": 1115, "output_tokens": 156}}
{"scale": 24, "query_id": "Q18", "category": "multi_evidence", "relevant": ["D019", "D020"], "method": "direct", "ranking": [["D020", 0.68], ["D019", 0.28], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 154.60379398427904, "api_roundtrip_ms": 154.60379398427904, "success": true, "choice": "D020", "answer_exists": 0.98, "usage": {"input_tokens": 2203, "output_tokens": 284}}
{"scale": 24, "query_id": "Q19", "category": "multi_evidence", "relevant": ["D016", "D010"], "method": "bm25", "ranking": [["D016", 13.221064191704977], ["D010", 6.614280857131381], ["D003", 3.9002565497491597], ["D014", 3.701724372840119], ["D021", 3.673975678504184], ["D002", 3.5935126772021713], ["D006", 3.5476307965951572], ["D011", 3.397059031121657], ["D007", 3.22195779452104], ["D008", 3.22195779452104], ["D022", 3.2219558322326245], ["D017", 3.187316590252933], ["D023", 3.175426495159053], ["D013", 3.153726386021469], ["D019", 3.1534254705184113], ["D004", 3.1290396824126896], ["D005", 3.1290396824126896], ["D018", 3.1290396824126896], ["D001", 3.120259833442984], ["D012", 2.785338914045478], ["D015", 2.728306664028052], ["D009", 2.635205859270891], ["D020", 1.9143878541194577], ["D024", 0.7414877705896269]], "abstain": false, "online_ms": 0.8826509583741426, "success": true}
{"scale": 24, "query_id": "Q19", "category": "multi_evidence", "relevant": ["D016", "D010"], "method": "embedding", "ranking": [["D016", 0.516802783402084], ["D010", 0.400859197632448], ["D005", 0.10032502839698929], ["D008", 0.0948826006511608], ["D009", 0.07865232223432966], ["D018", 0.07555556762351545], ["D022", 0.06561587964116526], ["D011", 0.06008241464469839], ["D002", 0.05986718304872615], ["D023", 0.040926169156283304], ["D017", 0.037664936022119774], ["D021", 0.03388892305386835], ["D020", 0.03277533381188216], ["D006", 0.0325532535645756], ["D014", 0.03168380955596148], ["D007", 0.00870402634300253], ["D004", -0.0030537120322494705], ["D024", -0.0032563447175321114], ["D013", -0.010800997915890398], ["D012", -0.015315999374122443], ["D001", -0.019579485216759954], ["D015", -0.02267423798910586], ["D019", -0.034897508237516056], ["D003", -0.04381539265625574]], "abstain": false, "online_ms": 87.01955107972026, "success": true}
{"scale": 24, "query_id": "Q19", "category": "multi_evidence", "relevant": ["D016", "D010"], "method": "hybrid", "ranking": [["D010", 0.96], ["D016", 0.96], ["D014", 0.03], ["D021", 0.03], ["D002", 0.02], ["D003", 0.02], ["D006", 0.02], ["D011", 0.02]], "abstain": false, "online_ms": 187.6104469411075, "api_roundtrip_ms": 186.72779598273337, "success": true, "usage": {"input_tokens": 1106, "output_tokens": 156}}
{"scale": 24, "query_id": "Q19", "category": "multi_evidence", "relevant": ["D016", "D010"], "method": "direct", "ranking": [["D016", 0.6900000000000001], ["D010", 0.15], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 196.4681069366634, "api_roundtrip_ms": 196.4681069366634, "success": true, "choice": "D016", "answer_exists": 0.97, "usage": {"input_tokens": 2201, "output_tokens": 284}}
{"scale": 24, "query_id": "Q20", "category": "multi_evidence", "relevant": ["D004", "D023"], "method": "bm25", "ranking": [["D004", 16.079591749152463], ["D023", 13.171299722379125], ["D008", 4.177682624088518], ["D013", 4.077796892994288], ["D015", 3.125075077917808], ["D019", 3.0449394587796332], ["D016", 2.6191553677144084], ["D006", 2.301724394815763], ["D021", 2.2291756695831784], ["D001", 1.7014298835741897], ["D009", 1.6333288127636716], ["D003", 1.6199937495168681], ["D011", 1.5966206964538692], ["D007", 1.4030866851690051], ["D010", 1.374076621539946], ["D002", 1.3555885069871194], ["D014", 1.2339081242800396], ["D005", 1.0430132274708965], ["D018", 1.0430132274708965], ["D012", 0.928446304681826], ["D024", 0.9205271293872732], ["D017", 0.900219167333894], ["D020", 0.6381292847064859], ["D022", 0.48665908825125087]], "abstain": false, "online_ms": 0.7634318899363279, "success": true}
{"scale": 24, "query_id": "Q20", "category": "multi_evidence", "relevant": ["D004", "D023"], "method": "embedding", "ranking": [["D023", 0.7426522362728387], ["D004", 0.7143166729910158], ["D007", 0.38027391940760835], ["D015", 0.3568286674959935], ["D019", 0.28669678844209445], ["D017", 0.28098233118828364], ["D020", 0.275963416734049], ["D021", 0.24942100007137638], ["D008", 0.2167158130853614], ["D018", 0.20901048499731104], ["D011", 0.19051202996072134], ["D016", 0.18715538703396734], ["D022", 0.17335736287610382], ["D002", 0.1716395348092414], ["D005", 0.1420822753539397], ["D001", 0.13236285845172432], ["D010", 0.11055842131054586], ["D003", 0.10672405766221252], ["D024", 0.1021668537416835], ["D012", 0.08286817941074823], ["D013", 0.07966791815942716], ["D014", 0.0409110364240888], ["D009", 0.035476015035227584], ["D006", -0.0124877480183672]], "abstain": false, "online_ms": 59.94084314443171, "success": true}
{"scale": 24, "query_id": "Q20", "category": "multi_evidence", "relevant": ["D004", "D023"], "method": "hybrid", "ranking": [["D004", 0.96], ["D023", 0.92], ["D019", 0.09], ["D016", 0.04], ["D008", 0.03], ["D015", 0.03], ["D006", 0.02], ["D013", 0.02]], "abstain": false, "online_ms": 191.28100597299635, "api_roundtrip_ms": 190.51757408306003, "success": true, "usage": {"input_tokens": 1104, "output_tokens": 156}}
{"scale": 24, "query_id": "Q20", "category": "multi_evidence", "relevant": ["D004", "D023"], "method": "direct", "ranking": [["D004", 0.84], ["D023", 0.07], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 201.31470612250268, "api_roundtrip_ms": 201.31470612250268, "success": true, "choice": "D004", "answer_exists": 0.97, "usage": {"input_tokens": 2199, "output_tokens": 284}}
{"scale": 24, "query_id": "Q21", "category": "negative", "relevant": [], "method": "bm25", "ranking": [["D011", 1.258196866865714], ["D013", 1.258196866865714], ["D022", 1.258196866865714], ["D002", 1.2235366802513796], ["D006", 1.2069129588440144], ["D001", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D012", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 0.41251396760344505, "success": true}
{"scale": 24, "query_id": "Q21", "category": "negative", "relevant": [], "method": "embedding", "ranking": [["D008", 0.1555669825468366], ["D010", 0.15302560079464617], ["D017", 0.14720811695932226], ["D018", 0.14068585323357108], ["D005", 0.13813996849840104], ["D004", 0.12919614003841567], ["D006", 0.1160544585964344], ["D024", 0.10425915844466979], ["D021", 0.10335175909130687], ["D002", 0.09815780129041508], ["D001", 0.09394412684385015], ["D016", 0.09370591659742478], ["D007", 0.08195148741839504], ["D020", 0.06970086764693287], ["D023", 0.06868362426075202], ["D022", 0.06296235839601991], ["D011", 0.045501388544108734], ["D003", 0.03704084098463114], ["D012", 0.03336046889199201], ["D009", 0.02613126987744269], ["D014", 0.026069920312925415], ["D019", 0.022973471543917087], ["D015", 0.012121932624726023], ["D013", -0.013763633833807756]], "abstain": true, "online_ms": 62.105737859383225, "success": true}
{"scale": 24, "query_id": "Q21", "category": "negative", "relevant": [], "method": "hybrid", "ranking": [["D001", 0.03], ["D002", 0.03], ["D004", 0.03], ["D003", 0.02], ["D006", 0.02], ["D011", 0.02], ["D013", 0.02], ["D022", 0.02]], "abstain": true, "online_ms": 174.92867587134242, "api_roundtrip_ms": 174.51616190373898, "success": true, "usage": {"input_tokens": 1091, "output_tokens": 156}}
{"scale": 24, "query_id": "Q21", "category": "negative", "relevant": [], "method": "direct", "ranking": [["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": true, "online_ms": 174.36913982965052, "api_roundtrip_ms": 174.36913982965052, "success": true, "choice": "NONE", "answer_exists": 0.04, "usage": {"input_tokens": 2191, "output_tokens": 281}}
{"scale": 24, "query_id": "Q22", "category": "negative", "relevant": [], "method": "bm25", "ranking": [["D017", 4.471354773241471], ["D018", 4.239778206682196], ["D010", 4.183839422786414], ["D014", 2.467816248560079], ["D021", 2.2870974229190386], ["D003", 2.280262800232291], ["D019", 2.262237763479182], ["D001", 2.2379241702150514], ["D002", 2.2379241702150514], ["D013", 2.102484257347646], ["D004", 2.086026454941793], ["D005", 2.086026454941793], ["D006", 2.053871904576602], ["D009", 1.936877451476648], ["D023", 1.936877451476648], ["D012", 1.856892609363652], ["D007", 1.8188711093520347], ["D008", 1.8188711093520347], ["D015", 1.8188711093520347], ["D011", 1.800438334667788], ["D016", 1.3540770171174747], ["D020", 1.2762585694129718], ["D024", 0.7414877705896269], ["D022", 0.0]], "abstain": false, "online_ms": 1.074264058843255, "success": true}
{"scale": 24, "query_id": "Q22", "category": "negative", "relevant": [], "method": "embedding", "ranking": [["D018", 0.35837365789348175], ["D017", 0.33166172190418886], ["D007", 0.2075083308727646], ["D022", 0.18400862653934624], ["D015", 0.1675178677762042], ["D003", 0.1647438272805111], ["D002", 0.15093939022330433], ["D020", 0.14104869680028403], ["D021", 0.1367785966842954], ["D004", 0.1296234901529787], ["D023", 0.12514637191933373], ["D019", 0.11685280481815778], ["D013", 0.09934899770247987], ["D011", 0.09194984781772783], ["D001", 0.08640795538815392], ["D005", 0.07026642157304841], ["D009", 0.06721040676066273], ["D006", 0.06577200291588624], ["D010", 0.058545680739783314], ["D014", 0.04158787077336097], ["D016", 0.032894468595476324], ["D024", 0.020391449218759985], ["D012", 0.018499114912789397], ["D008", 0.00237229165588281]], "abstain": true, "online_ms": 79.93172388523817, "success": true}
{"scale": 24, "query_id": "Q22", "category": "negative", "relevant": [], "method": "hybrid", "ranking": [["D001", 0.02], ["D003", 0.02], ["D010", 0.02], ["D014", 0.02], ["D017", 0.02], ["D018", 0.02], ["D019", 0.02], ["D021", 0.02]], "abstain": true, "online_ms": 287.66261017881334, "api_roundtrip_ms": 286.5883461199701, "success": true, "usage": {"input_tokens": 1108, "output_tokens": 156}}
{"scale": 24, "query_id": "Q22", "category": "negative", "relevant": [], "method": "direct", "ranking": [["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": true, "online_ms": 196.99215982109308, "api_roundtrip_ms": 196.99215982109308, "success": true, "choice": "NONE", "answer_exists": 0.03, "usage": {"input_tokens": 2197, "output_tokens": 281}}
{"scale": 24, "query_id": "Q23", "category": "negative", "relevant": [], "method": "bm25", "ranking": [["D021", 7.092456911952235], ["D001", 6.411168168878914], ["D020", 5.93040500731267], ["D022", 4.87178616070908], ["D018", 3.6400977971833246], ["D019", 1.860929644767842], ["D006", 1.4459572234759228], ["D009", 1.3966736220484888], ["D007", 0.9094355546760173], ["D010", 0.8568041141624816], ["D024", 0.687518680398259], ["D012", 0.6570083321652723], ["D008", 0.6381292847064859], ["D015", 0.6381292847064859], ["D017", 0.6290908633624464], ["D003", 0.6203049053586775], ["D005", 0.6203049053586775], ["D014", 0.5874853439239013], ["D002", 0.0], ["D004", 0.0], ["D011", 0.0], ["D013", 0.0], ["D016", 0.0], ["D023", 0.0]], "abstain": false, "online_ms": 0.42619905434548855, "success": true}
{"scale": 24, "query_id": "Q23", "category": "negative", "relevant": [], "method": "embedding", "ranking": [["D021", 0.5134064867477164], ["D020", 0.4723673808679465], ["D001", 0.4431001116987214], ["D019", 0.3491850434265724], ["D002", 0.3124476753278421], ["D018", 0.24992271708270383], ["D004", 0.24669525239124568], ["D022", 0.24547816963351754], ["D003", 0.23301365375788208], ["D017", 0.22127701697270424], ["D023", 0.20843509786131992], ["D008", 0.20705702883480523], ["D012", 0.19642080493937283], ["D005", 0.1942173606219737], ["D007", 0.18694656024427675], ["D009", 0.17229163822865623], ["D010", 0.17121058429616917], ["D014", 0.16139378962827125], ["D024", 0.12605097863486864], ["D015", 0.12273740666647735], ["D013", 0.11746583215175277], ["D011", 0.062343096648182605], ["D016", 0.051152731828690956], ["D006", 0.01669670274760637]], "abstain": false, "online_ms": 59.10571804270148, "success": true}
{"scale": 24, "query_id": "Q23", "category": "negative", "relevant": [], "method": "hybrid", "ranking": [["D020", 0.12], ["D019", 0.1], ["D021", 0.09], ["D001", 0.08], ["D009", 0.03], ["D022", 0.03], ["D006", 0.02], ["D018", 0.02]], "abstain": true, "online_ms": 186.5327910054475, "api_roundtrip_ms": 186.10659195110202, "success": true, "usage": {"input_tokens": 1089, "output_tokens": 156}}
{"scale": 24, "query_id": "Q23", "category": "negative", "relevant": [], "method": "direct", "ranking": [["D001", 0.01], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": true, "online_ms": 196.1881050374359, "api_roundtrip_ms": 196.1881050374359, "success": true, "choice": "NONE", "answer_exists": 0.05, "usage": {"input_tokens": 2193, "output_tokens": 281}}
{"scale": 24, "query_id": "Q24", "category": "negative", "relevant": [], "method": "bm25", "ranking": [["D018", 9.331823151227049], ["D017", 7.683842208814706], ["D020", 4.89500013548956], ["D019", 2.3407919941685646], ["D003", 1.860929644767842], ["D010", 1.3112775431784998], ["D022", 1.1157499516136973], ["D007", 0.9094355546760173], ["D024", 0.687518680398259], ["D002", 0.6825670096414583], ["D012", 0.6570083321652723], ["D008", 0.6381292847064859], ["D015", 0.6381292847064859], ["D005", 0.6203049053586775], ["D014", 0.5874853439239013], ["D004", 0.4798623494007226], ["D006", 0.4668229397302539], ["D001", 0.0], ["D009", 0.0], ["D011", 0.0], ["D013", 0.0], ["D016", 0.0], ["D021", 0.0], ["D023", 0.0]], "abstain": false, "online_ms": 0.9824871085584164, "success": true}
{"scale": 24, "query_id": "Q24", "category": "negative", "relevant": [], "method": "embedding", "ranking": [["D018", 0.5670013461626371], ["D017", 0.5334087184321461], ["D003", 0.26910016570181017], ["D013", 0.16991454558369828], ["D007", 0.15530437026127036], ["D023", 0.1362545559892671], ["D005", 0.13212201652310493], ["D006", 0.12588034048596916], ["D001", 0.11002119581682576], ["D020", 0.0983487627033318], ["D015", 0.0948617441613967], ["D024", 0.09476969250597281], ["D012", 0.09431491602260965], ["D010", 0.09277442439813455], ["D021", 0.09218738506669673], ["D022", 0.09185639108897115], ["D004", 0.0849409692046388], ["D011", 0.084792687748019], ["D019", 0.06421083781048312], ["D014", 0.04846036708974326], ["D008", 0.020284821617404386], ["D002", 0.015921745545675565], ["D009", -0.036006366580618586], ["D016", -0.047576006304807794]], "abstain": false, "online_ms": 60.36484590731561, "success": true}
{"scale": 24, "query_id": "Q24", "category": "negative", "relevant": [], "method": "hybrid", "ranking": [["D018", 0.18], ["D017", 0.12], ["D019", 0.04], ["D020", 0.04], ["D003", 0.03], ["D007", 0.02], ["D010", 0.02], ["D022", 0.02]], "abstain": true, "online_ms": 234.5726650673896, "api_roundtrip_ms": 233.5901779588312, "success": true, "usage": {"input_tokens": 1113, "output_tokens": 156}}
{"scale": 24, "query_id": "Q24", "category": "negative", "relevant": [], "method": "direct", "ranking": [["D018", 0.02], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": true, "online_ms": 147.02417398802936, "api_roundtrip_ms": 147.02417398802936, "success": true, "choice": "NONE", "answer_exists": 0.11, "usage": {"input_tokens": 2195, "output_tokens": 281}}
{"scale": 96, "query_id": "Q01", "category": "lexical", "relevant": ["D001"], "method": "bm25", "ranking": [["D001", 19.60854728482035], ["D021", 19.531072409255408], ["D009", 8.960045363293908], ["D019", 8.071726226900328], ["D017", 6.175279633707694], ["D002", 4.988527108245895], ["D025", 3.732108720400578], ["D043", 3.732108720400578], ["D079", 3.732108720400578], ["D061", 3.672096028762118], ["D024", 3.553010462572886], ["D020", 3.098167211837408], ["D011", 2.6977637247946635], ["D013", 2.6977637247946635], ["D023", 2.648606770805337], ["D010", 2.2733265483259077], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D012", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D018", 0.0], ["D022", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 0.5799790378659964, "success": true}
{"scale": 96, "query_id": "Q01", "category": "lexical", "relevant": ["D001"], "method": "embedding", "ranking": [["D021", 0.7597593841234898], ["D001", 0.6619542845094648], ["D020", 0.36689513919937783], ["D008", 0.35273472327747146], ["D019", 0.34287640385481816], ["D013", 0.3405361798572329], ["D079", 0.3192098110321001], ["D061", 0.28509522045740704], ["D002", 0.2850331034340474], ["D043", 0.25358244882728304], ["D022", 0.23353000044987865], ["D025", 0.23242273716797784], ["D004", 0.20243353043160633], ["D090", 0.20115355051667633], ["D017", 0.198575604400879], ["D072", 0.19401721385069598], ["D095", 0.19295667755099846], ["D077", 0.19162554135751153], ["D080", 0.18613608836110285], ["D018", 0.18506073192932904], ["D007", 0.18202939426660453], ["D015", 0.1810584472948927], ["D003", 0.1790664249044875], ["D012", 0.17674641409678477], ["D009", 0.17359382180778127], ["D091", 0.16998742348355006], ["D094", 0.16988450410326966], ["D073", 0.1695774796998202], ["D005", 0.1677216805635357], ["D082", 0.16273040882851963], ["D036", 0.16240770037789043], ["D014", 0.16207506266678962], ["D062", 0.16107090216336897], ["D023", 0.16065099756515377], ["D059", 0.16019125218566216], ["D054", 0.15875546359902218], ["D092", 0.1563912241694707], ["D041", 0.15625621139954496], ["D064", 0.1558198298734473], ["D076", 0.15231389046852345], ["D055", 0.1505580226099934], ["D081", 0.14977511275528432], ["D006", 0.14975765302862043], ["D088", 0.14935919911116255], ["D083", 0.14761571429513431], ["D089", 0.14351213792821893], ["D037", 0.1423446113380383], ["D058", 0.13856118349647456], ["D074", 0.13772529074519516], ["D011", 0.13695495020971402], ["D070", 0.1363458859780512], ["D026", 0.1349770111823935], ["D063", 0.13496789281033827], ["D071", 0.13428227832307033], ["D044", 0.12827177496001563], ["D040", 0.12563164747542072], ["D096", 0.12550320242002483], ["D065", 0.12291403636059353], ["D084", 0.12135465086059279], ["D093", 0.12117964123392785], ["D078", 0.12104288920553], ["D086", 0.11754930350860579], ["D046", 0.11589843111734911], ["D068", 0.1132966056440208], ["D045", 0.11227565589288771], ["D034", 0.10701881799212125], ["D066", 0.10697702704867426], ["D075", 0.10696762858816365], ["D069", 0.10649475052266116], ["D052", 0.10533883502014514], ["D056", 0.1052000767222966], ["D053", 0.10480189113137742], ["D087", 0.10376759032826424], ["D047", 0.10283197916193362], ["D028", 0.10255783804072133], ["D048", 0.10141116953441462], ["D038", 0.10033658365980419], ["D027", 0.09810005513078704], ["D035", 0.09609670863910304], ["D085", 0.095840875167014], ["D029", 0.09421926151582219], ["D067", 0.09151206348253081], ["D042", 0.08584671707951547], ["D030", 0.08455803650715467], ["D024", 0.08428970774914993], ["D050", 0.08261992488328664], ["D039", 0.07347428932237104], ["D057", 0.07133127758993277], ["D032", 0.07130963682679764], ["D060", 0.06544179132182865], ["D033", 0.06319489055421328], ["D051", 0.06000570823504302], ["D049", 0.054844303857349994], ["D031", 0.03713385758831722], ["D010", 0.03353114462166963], ["D016", -0.05182062364566496]], "abstain": false, "online_ms": 63.09954798780382, "success": true}
{"scale": 96, "query_id": "Q01", "category": "lexical", "relevant": ["D001"], "method": "hybrid", "ranking": [["D001", 0.92], ["D021", 0.45], ["D025", 0.1], ["D043", 0.07], ["D019", 0.04], ["D002", 0.03], ["D017", 0.03], ["D009", 0.02]], "abstain": false, "online_ms": 201.13509707152843, "api_roundtrip_ms": 200.55511803366244, "success": true, "usage": {"input_tokens": 1107, "output_tokens": 156}}
{"scale": 96, "query_id": "Q01", "category": "lexical", "relevant": ["D001"], "method": "direct", "ranking": [["D001", 1.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 199.14002204313874, "api_roundtrip_ms": 199.14002204313874, "success": true, "choice": "D001", "answer_exists": 0.96, "usage": {"input_tokens": 8603, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q02", "category": "paraphrase", "relevant": ["D001"], "method": "bm25", "ranking": [["D024", 8.222722392661172], ["D009", 5.91509803225844], ["D013", 5.395527449589327], ["D001", 5.263433269304123], ["D017", 4.712879721107402], ["D016", 4.216887190763096], ["D010", 3.811619556107211], ["D019", 3.6060721301820364], ["D011", 2.6977637247946635], ["D021", 2.6977637247946635], ["D002", 2.6317166346520615], ["D006", 2.599891155656185], ["D007", 1.3404992601935406], ["D020", 1.3404992601935406], ["D012", 0.9908592144067403], ["D008", 0.9656760297840775], ["D015", 0.9656760297840775], ["D022", 0.9535584463505304], ["D003", 0.9417412040652261], ["D005", 0.9417412040652261], ["D014", 0.8972628702137293], ["D025", 0.8665669728508755], ["D026", 0.8665669728508755], ["D027", 0.8665669728508755], ["D028", 0.8665669728508755], ["D029", 0.8665669728508755], ["D031", 0.8665669728508755], ["D033", 0.8665669728508755], ["D035", 0.8665669728508755], ["D041", 0.8665669728508755], ["D043", 0.8665669728508755], ["D044", 0.8665669728508755], ["D045", 0.8665669728508755], ["D046", 0.8665669728508755], ["D047", 0.8665669728508755], ["D049", 0.8665669728508755], ["D051", 0.8665669728508755], ["D053", 0.8665669728508755], ["D059", 0.8665669728508755], ["D079", 0.8665669728508755], ["D080", 0.8665669728508755], ["D081", 0.8665669728508755], ["D082", 0.8665669728508755], ["D083", 0.8665669728508755], ["D085", 0.8665669728508755], ["D087", 0.8665669728508755], ["D089", 0.8665669728508755], ["D095", 0.8665669728508755], ["D030", 0.8472438287482829], ["D032", 0.8472438287482829], ["D034", 0.8472438287482829], ["D036", 0.8472438287482829], ["D037", 0.8472438287482829], ["D038", 0.8472438287482829], ["D039", 0.8472438287482829], ["D040", 0.8472438287482829], ["D042", 0.8472438287482829], ["D048", 0.8472438287482829], ["D050", 0.8472438287482829], ["D052", 0.8472438287482829], ["D054", 0.8472438287482829], ["D055", 0.8472438287482829], ["D056", 0.8472438287482829], ["D057", 0.8472438287482829], ["D058", 0.8472438287482829], ["D060", 0.8472438287482829], ["D061", 0.8472438287482829], ["D062", 0.8472438287482829], ["D063", 0.8472438287482829], ["D064", 0.8472438287482829], ["D065", 0.8472438287482829], ["D067", 0.8472438287482829], ["D069", 0.8472438287482829], ["D071", 0.8472438287482829], ["D077", 0.8472438287482829], ["D084", 0.8472438287482829], ["D086", 0.8472438287482829], ["D088", 0.8472438287482829], ["D090", 0.8472438287482829], ["D091", 0.8472438287482829], ["D092", 0.8472438287482829], ["D093", 0.8472438287482829], ["D094", 0.8472438287482829], ["D096", 0.8472438287482829], ["D066", 0.8287636422334633], ["D068", 0.8287636422334633], ["D070", 0.8287636422334633], ["D072", 0.8287636422334633], ["D073", 0.8287636422334633], ["D074", 0.8287636422334633], ["D075", 0.8287636422334633], ["D076", 0.8287636422334633], ["D078", 0.8287636422334633], ["D004", 0.0], ["D018", 0.0], ["D023", 0.0]], "abstain": false, "online_ms": 1.0593368206173182, "success": true}
{"scale": 96, "query_id": "Q02", "category": "paraphrase", "relevant": ["D001"], "method": "embedding", "ranking": [["D001", 0.4402755801120583], ["D021", 0.2557983095309726], ["D065", 0.21539274536360156], ["D047", 0.21003327803876037], ["D083", 0.1961680597437431], ["D070", 0.19315025912217731], ["D009", 0.18668665853933203], ["D063", 0.18589771520630705], ["D006", 0.17945263325685373], ["D052", 0.17644570949099014], ["D045", 0.1760855817938902], ["D008", 0.1749852407748696], ["D005", 0.17115687108254538], ["D081", 0.16289157332117354], ["D058", 0.16195812646286584], ["D029", 0.15968051886839651], ["D088", 0.15626543288921332], ["D011", 0.15474728260429044], ["D072", 0.1520237742739206], ["D076", 0.14970861784705697], ["D027", 0.14767243971580604], ["D071", 0.14714211147780798], ["D034", 0.14657137904939155], ["D043", 0.14366000910058518], ["D061", 0.1423999998701724], ["D094", 0.13808496955485183], ["D020", 0.13665678440193196], ["D078", 0.13255618113865061], ["D040", 0.12683828342962405], ["D053", 0.12549169996389598], ["D013", 0.12505993263119988], ["D073", 0.12247650753437728], ["D064", 0.12243617396777175], ["D075", 0.12234270724865787], ["D077", 0.121532471988091], ["D090", 0.1213111977940097], ["D054", 0.12027308674075202], ["D055", 0.12013536940419325], ["D046", 0.11652856940998246], ["D059", 0.11558455728307775], ["D062", 0.11330069085812723], ["D025", 0.1125264488488798], ["D049", 0.11188898645157924], ["D060", 0.11114952697777754], ["D057", 0.10991246344258643], ["D067", 0.10973704097701056], ["D019", 0.10935645046105022], ["D056", 0.1084816747277407], ["D079", 0.10495965708058635], ["D074", 0.1039557380516028], ["D089", 0.10207802761802923], ["D031", 0.10046959157259232], ["D096", 0.09945933198120657], ["D068", 0.09671291538221671], ["D035", 0.09662047236372656], ["D050", 0.09513278740768762], ["D042", 0.09499756101361476], ["D069", 0.09496224188276664], ["D044", 0.0928282189429552], ["D036", 0.0921870103221926], ["D093", 0.09108864090500932], ["D037", 0.09079341479731531], ["D085", 0.09006777559053424], ["D091", 0.08950765652594345], ["D051", 0.08654102058155146], ["D066", 0.08579704304446346], ["D048", 0.08313119342070674], ["D028", 0.08191562809167413], ["D039", 0.08043551995774716], ["D041", 0.07945504359604474], ["D026", 0.07766203288555731], ["D082", 0.07686641975314645], ["D092", 0.07652356051444197], ["D033", 0.07564439707893225], ["D080", 0.07235660767740303], ["D086", 0.06947779572625017], ["D004", 0.066626161951212], ["D016", 0.06311209665322237], ["D024", 0.06286940480652792], ["D095", 0.06272985391144918], ["D010", 0.058011300312918616], ["D038", 0.05747363384767015], ["D084", 0.05121915323168946], ["D030", 0.05103746944096916], ["D032", 0.05078052012058362], ["D023", 0.04518953875962658], ["D087", 0.04071279740379782], ["D014", 0.03690685507236984], ["D017", 0.031012673720796573], ["D018", 0.02366174895299457], ["D015", 0.02250666353010273], ["D003", 0.022165011400088683], ["D002", 0.017417372032627113], ["D022", 0.011362330718564718], ["D012", -0.011265423917461869], ["D007", -0.07431247641268209]], "abstain": true, "online_ms": 77.92825507931411, "success": true}
{"scale": 96, "query_id": "Q02", "category": "paraphrase", "relevant": ["D001"], "method": "hybrid", "ranking": [["D001", 0.92], ["D013", 0.05], ["D019", 0.05], ["D009", 0.03], ["D017", 0.03], ["D010", 0.02], ["D016", 0.02], ["D024", 0.02]], "abstain": false, "online_ms": 152.90023293346167, "api_roundtrip_ms": 151.84089611284435, "success": true, "usage": {"input_tokens": 1086, "output_tokens": 156}}
{"scale": 96, "query_id": "Q02", "category": "paraphrase", "relevant": ["D001"], "method": "direct", "ranking": [["D001", 1.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 206.23020897619426, "api_roundtrip_ms": 206.23020897619426, "success": true, "choice": "D001", "answer_exists": 0.92, "usage": {"input_tokens": 8608, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q03", "category": "lexical_near_match", "relevant": ["D002"], "method": "bm25", "ranking": [["D002", 22.77148194856424], ["D022", 21.98942724840812], ["D023", 3.9188464351737347], ["D001", 3.855552378350084], ["D007", 3.620048083652325], ["D005", 3.530323147645107], ["D018", 3.3374475221635933], ["D020", 2.4466597565406674], ["D017", 2.415958358950823], ["D004", 2.3860179128374304], ["D019", 2.3860179128374304], ["D006", 2.3283094483554008], ["D010", 2.2733265483259077], ["D003", 0.0], ["D008", 0.0], ["D009", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D021", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 1.3419708702713251, "success": true}
{"scale": 96, "query_id": "Q03", "category": "lexical_near_match", "relevant": ["D002"], "method": "embedding", "ranking": [["D022", 0.7274855545005242], ["D002", 0.6975945230542233], ["D014", 0.2873719600625226], ["D007", 0.2553272054696394], ["D090", 0.23848308136656077], ["D054", 0.22616468168903042], ["D072", 0.22196426893001997], ["D080", 0.214342103455688], ["D036", 0.2084575310042808], ["D062", 0.1993583115100228], ["D012", 0.19711742265459503], ["D026", 0.1954334337502147], ["D044", 0.19406259959655403], ["D004", 0.18809806415512592], ["D003", 0.14001499816786572], ["D008", 0.13981238278774155], ["D020", 0.1349192158212011], ["D006", 0.13088616499186762], ["D013", 0.12956668273146565], ["D001", 0.12432207791871996], ["D009", 0.12320766618557014], ["D005", 0.12167369469614717], ["D021", 0.11893879011758689], ["D018", 0.1184549385794453], ["D024", 0.11560103164487368], ["D017", 0.11549284473224998], ["D019", 0.10039747585548421], ["D023", 0.09509450160629793], ["D078", 0.09219162416203729], ["D096", 0.0832168456216015], ["D015", 0.078600789762301], ["D060", 0.06938507326153973], ["D085", 0.06650436156569223], ["D042", 0.06605768226696256], ["D067", 0.05999361868816934], ["D049", 0.053259833318889824], ["D058", 0.05229584554551851], ["D076", 0.051306532388947466], ["D031", 0.04786436312546877], ["D061", 0.04472326388830795], ["D079", 0.04268246265263716], ["D071", 0.04077999608127864], ["D094", 0.03920206343204899], ["D073", 0.03891572371275449], ["D043", 0.03812356754881077], ["D055", 0.03676886864342242], ["D040", 0.03601186150630513], ["D037", 0.03515626482819305], ["D077", 0.030049092402768048], ["D063", 0.028631468819010505], ["D053", 0.027931399958757156], ["D089", 0.022161533444422597], ["D065", 0.021489095360771], ["D035", 0.02030832788553925], ["D075", 0.01928690067462518], ["D064", 0.019207231814019093], ["D025", 0.018854169544017092], ["D083", 0.018756776083531206], ["D095", 0.01874270413099743], ["D081", 0.018676599077998415], ["D047", 0.018321326650702102], ["D069", 0.01790832286542643], ["D091", 0.016571547305753498], ["D045", 0.016347119646168348], ["D059", 0.013116016002627488], ["D027", 0.012994656951024615], ["D093", 0.009783554271296985], ["D070", 0.007622717414465234], ["D041", 0.007548649896764301], ["D029", 0.005387538036364183], ["D048", 0.00378721914409535], ["D088", 0.0025107379787876333], ["D046", 0.002110446924536078], ["D051", 0.0014536914110591867], ["D092", 0.0007772814085714452], ["D057", 0.0006006341038452875], ["D087", 0.00022430270070433744], ["D074", -0.003423599863349589], ["D082", -0.0036273621269399155], ["D052", -0.003643807226703452], ["D066", -0.005289280056489111], ["D039", -0.0064499157277802185], ["D056", -0.008408176853588283], ["D016", -0.009696166929470956], ["D034", -0.010289570790808717], ["D033", -0.011324800965499558], ["D028", -0.011804058325564401], ["D084", -0.013085448988771353], ["D038", -0.017504832759485563], ["D030", -0.02154609045970512], ["D011", -0.02683455768542218], ["D068", -0.028996071022580283], ["D050", -0.03300921941328015], ["D010", -0.041410072918794956], ["D086", -0.043285726103880096], ["D032", -0.04791270820201435]], "abstain": false, "online_ms": 82.39497803151608, "success": true}
{"scale": 96, "query_id": "Q03", "category": "lexical_near_match", "relevant": ["D002"], "method": "hybrid", "ranking": [["D002", 0.93], ["D022", 0.14], ["D007", 0.04], ["D001", 0.03], ["D005", 0.03], ["D018", 0.03], ["D020", 0.03], ["D023", 0.02]], "abstain": false, "online_ms": 146.37978980317712, "api_roundtrip_ms": 145.0378189329058, "success": true, "usage": {"input_tokens": 1094, "output_tokens": 156}}
{"scale": 96, "query_id": "Q03", "category": "lexical_near_match", "relevant": ["D002"], "method": "direct", "ranking": [["D002", 1.0], ["D001", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 224.30689190514386, "api_roundtrip_ms": 224.30689190514386, "success": true, "choice": "D002", "answer_exists": 0.95, "usage": {"input_tokens": 8604, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q04", "category": "paraphrase", "relevant": ["D003"], "method": "bm25", "ranking": [["D006", 7.1172309756131344], ["D010", 5.525896062178042], ["D012", 5.0915636043353985], ["D022", 3.819120239730978], ["D003", 3.771790713824791], ["D019", 3.771790713824791], ["D014", 3.5936494518057884], ["D007", 1.3404992601935406], ["D020", 1.3404992601935406], ["D024", 1.0311970043194507], ["D008", 0.9656760297840775], ["D015", 0.9656760297840775], ["D017", 0.9535584463505304], ["D005", 0.9417412040652261], ["D025", 0.8665669728508755], ["D026", 0.8665669728508755], ["D027", 0.8665669728508755], ["D028", 0.8665669728508755], ["D029", 0.8665669728508755], ["D031", 0.8665669728508755], ["D033", 0.8665669728508755], ["D035", 0.8665669728508755], ["D041", 0.8665669728508755], ["D043", 0.8665669728508755], ["D044", 0.8665669728508755], ["D045", 0.8665669728508755], ["D046", 0.8665669728508755], ["D047", 0.8665669728508755], ["D049", 0.8665669728508755], ["D051", 0.8665669728508755], ["D053", 0.8665669728508755], ["D059", 0.8665669728508755], ["D079", 0.8665669728508755], ["D080", 0.8665669728508755], ["D081", 0.8665669728508755], ["D082", 0.8665669728508755], ["D083", 0.8665669728508755], ["D085", 0.8665669728508755], ["D087", 0.8665669728508755], ["D089", 0.8665669728508755], ["D095", 0.8665669728508755], ["D030", 0.8472438287482829], ["D032", 0.8472438287482829], ["D034", 0.8472438287482829], ["D036", 0.8472438287482829], ["D037", 0.8472438287482829], ["D038", 0.8472438287482829], ["D039", 0.8472438287482829], ["D040", 0.8472438287482829], ["D042", 0.8472438287482829], ["D048", 0.8472438287482829], ["D050", 0.8472438287482829], ["D052", 0.8472438287482829], ["D054", 0.8472438287482829], ["D055", 0.8472438287482829], ["D056", 0.8472438287482829], ["D057", 0.8472438287482829], ["D058", 0.8472438287482829], ["D060", 0.8472438287482829], ["D061", 0.8472438287482829], ["D062", 0.8472438287482829], ["D063", 0.8472438287482829], ["D064", 0.8472438287482829], ["D065", 0.8472438287482829], ["D067", 0.8472438287482829], ["D069", 0.8472438287482829], ["D071", 0.8472438287482829], ["D077", 0.8472438287482829], ["D084", 0.8472438287482829], ["D086", 0.8472438287482829], ["D088", 0.8472438287482829], ["D090", 0.8472438287482829], ["D091", 0.8472438287482829], ["D092", 0.8472438287482829], ["D093", 0.8472438287482829], ["D094", 0.8472438287482829], ["D096", 0.8472438287482829], ["D066", 0.8287636422334633], ["D068", 0.8287636422334633], ["D070", 0.8287636422334633], ["D072", 0.8287636422334633], ["D073", 0.8287636422334633], ["D074", 0.8287636422334633], ["D075", 0.8287636422334633], ["D076", 0.8287636422334633], ["D078", 0.8287636422334633], ["D001", 0.0], ["D002", 0.0], ["D004", 0.0], ["D009", 0.0], ["D011", 0.0], ["D013", 0.0], ["D016", 0.0], ["D018", 0.0], ["D021", 0.0], ["D023", 0.0]], "abstain": false, "online_ms": 1.5585811343044043, "success": true}
{"scale": 96, "query_id": "Q04", "category": "paraphrase", "relevant": ["D003"], "method": "embedding", "ranking": [["D003", 0.4327496613225438], ["D070", 0.26143042491092616], ["D012", 0.25646052600664226], ["D052", 0.2521218872717743], ["D088", 0.2515492064331333], ["D017", 0.23513917820015545], ["D018", 0.2329963131132281], ["D034", 0.22598227409092875], ["D071", 0.21253389283762508], ["D059", 0.20916581548872418], ["D077", 0.20911486966929177], ["D089", 0.2063856437173684], ["D068", 0.20027599150410674], ["D005", 0.19876749750028602], ["D086", 0.19696168961492888], ["D095", 0.19641930052997086], ["D047", 0.1964031578142441], ["D053", 0.193576809272646], ["D062", 0.19292068646564775], ["D083", 0.19267872244269466], ["D041", 0.18686958359591777], ["D065", 0.18514158397435557], ["D066", 0.1844448397816457], ["D050", 0.18438963484880552], ["D084", 0.18392958272945573], ["D048", 0.183519276354575], ["D093", 0.18254339458756563], ["D085", 0.18021948247401212], ["D072", 0.17804126401254478], ["D069", 0.17723652237408366], ["D024", 0.17540777578816236], ["D067", 0.17538333451810667], ["D020", 0.17346574390727376], ["D075", 0.17326071278799202], ["D080", 0.17101611786584223], ["D049", 0.1710025791839115], ["D031", 0.16920048799304896], ["D035", 0.16784927943891495], ["D051", 0.16765800086888616], ["D057", 0.1668190453433238], ["D019", 0.16448434558229147], ["D087", 0.16446672073493906], ["D090", 0.1641290886617664], ["D044", 0.15789345682671274], ["D021", 0.1567727457615331], ["D029", 0.1545748514288015], ["D010", 0.15239707061675425], ["D064", 0.15169647156220528], ["D054", 0.15119056932791936], ["D001", 0.1501002762514631], ["D061", 0.1459400324182019], ["D026", 0.14287568215819693], ["D032", 0.14216403854709747], ["D033", 0.1410530045165329], ["D046", 0.1410466108668073], ["D039", 0.14037282747649008], ["D043", 0.1392650326069765], ["D082", 0.13782779513233903], ["D094", 0.13727524168678923], ["D058", 0.13446565732993443], ["D030", 0.13416836570204027], ["D079", 0.13382290331607613], ["D091", 0.1329524023332947], ["D055", 0.12961698871267682], ["D073", 0.12940608637050866], ["D096", 0.12861543092194672], ["D078", 0.1237446960395209], ["D076", 0.1230000703439047], ["D036", 0.11919002502040354], ["D040", 0.11898525304733786], ["D028", 0.11538072821177583], ["D006", 0.11502069175761731], ["D037", 0.11365003410836311], ["D025", 0.11274750951351534], ["D060", 0.106978243849365], ["D009", 0.10657030758760697], ["D042", 0.10626531833585642], ["D074", 0.10452672596629721], ["D011", 0.10254220576687265], ["D056", 0.10036359875394524], ["D092", 0.09198973634556976], ["D013", 0.09124125175442259], ["D045", 0.08489829614930314], ["D002", 0.08451782386142317], ["D063", 0.08417567231327694], ["D081", 0.07903402850441388], ["D038", 0.07057191046825388], ["D027", 0.06250849360433378], ["D014", 0.026296473409296858], ["D015", 0.026213062098984538], ["D022", 0.005308738088002623], ["D007", -0.018857585537333778], ["D016", -0.023875098006937313], ["D008", -0.03565524949809383], ["D023", -0.03882615642192029], ["D004", -0.07819329634288764]], "abstain": true, "online_ms": 74.51058994047344, "success": true}
{"scale": 96, "query_id": "Q04", "category": "paraphrase", "relevant": ["D003"], "method": "hybrid", "ranking": [["D003", 0.95], ["D012", 0.04], ["D019", 0.04], ["D010", 0.03], ["D014", 0.03], ["D022", 0.03], ["D006", 0.02], ["D007", 0.02]], "abstain": false, "online_ms": 151.99624001979828, "api_roundtrip_ms": 150.43765888549387, "success": true, "usage": {"input_tokens": 1111, "output_tokens": 156}}
{"scale": 96, "query_id": "Q04", "category": "paraphrase", "relevant": ["D003"], "method": "direct", "ranking": [["D003", 1.0], ["D001", 0.0], ["D002", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 195.87633409537375, "api_roundtrip_ms": 195.87633409537375, "success": true, "choice": "D003", "answer_exists": 0.97, "usage": {"input_tokens": 8607, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q05", "category": "lexical_near_match", "relevant": ["D004"], "method": "bm25", "ranking": [["D004", 18.55733281027616], ["D012", 12.523309812742363], ["D023", 12.290243619094506], ["D005", 8.524247770683486], ["D008", 6.977943752713276], ["D001", 6.467439529618883], ["D013", 6.118051900715271], ["D006", 5.946717970382454], ["D011", 5.716849079941632], ["D002", 5.59627961298461], ["D024", 4.588492325205874], ["D014", 4.430116230003846], ["D003", 4.232330885438442], ["D025", 4.216963679373774], ["D026", 4.216963679373774], ["D027", 4.216963679373774], ["D028", 4.216963679373774], ["D029", 4.216963679373774], ["D031", 4.216963679373774], ["D033", 4.216963679373774], ["D035", 4.216963679373774], ["D041", 4.216963679373774], ["D043", 4.216963679373774], ["D044", 4.216963679373774], ["D045", 4.216963679373774], ["D046", 4.216963679373774], ["D047", 4.216963679373774], ["D049", 4.216963679373774], ["D051", 4.216963679373774], ["D053", 4.216963679373774], ["D059", 4.216963679373774], ["D079", 4.216963679373774], ["D080", 4.216963679373774], ["D081", 4.216963679373774], ["D082", 4.216963679373774], ["D083", 4.216963679373774], ["D085", 4.216963679373774], ["D087", 4.216963679373774], ["D089", 4.216963679373774], ["D095", 4.216963679373774], ["D030", 4.138377153877404], ["D032", 4.138377153877404], ["D034", 4.138377153877404], ["D036", 4.138377153877404], ["D037", 4.138377153877404], ["D038", 4.138377153877404], ["D039", 4.138377153877404], ["D040", 4.138377153877404], ["D042", 4.138377153877404], ["D048", 4.138377153877404], ["D050", 4.138377153877404], ["D052", 4.138377153877404], ["D054", 4.138377153877404], ["D055", 4.138377153877404], ["D056", 4.138377153877404], ["D057", 4.138377153877404], ["D058", 4.138377153877404], ["D060", 4.138377153877404], ["D061", 4.138377153877404], ["D062", 4.138377153877404], ["D063", 4.138377153877404], ["D064", 4.138377153877404], ["D065", 4.138377153877404], ["D067", 4.138377153877404], ["D069", 4.138377153877404], ["D071", 4.138377153877404], ["D077", 4.138377153877404], ["D084", 4.138377153877404], ["D086", 4.138377153877404], ["D088", 4.138377153877404], ["D090", 4.138377153877404], ["D091", 4.138377153877404], ["D092", 4.138377153877404], ["D093", 4.138377153877404], ["D094", 4.138377153877404], ["D096", 4.138377153877404], ["D066", 4.0627407019967166], ["D068", 4.0627407019967166], ["D070", 4.0627407019967166], ["D072", 4.0627407019967166], ["D073", 4.0627407019967166], ["D074", 4.0627407019967166], ["D075", 4.0627407019967166], ["D076", 4.0627407019967166], ["D078", 4.0627407019967166], ["D007", 4.021497780580622], ["D022", 4.012848955730165], ["D015", 3.6466745501711584], ["D017", 3.611117016912528], ["D019", 3.5762661429741773], ["D020", 3.2718513197616956], ["D010", 3.0676504280429677], ["D018", 3.0383781417473936], ["D021", 2.6575585705619975], ["D009", 2.0907656359271227], ["D016", 2.0347820765803895]], "abstain": false, "online_ms": 1.520395977422595, "success": true}
{"scale": 96, "query_id": "Q05", "category": "lexical_near_match", "relevant": ["D004"], "method": "embedding", "ranking": [["D023", 0.5547065206016768], ["D004", 0.49969279422684626], ["D020", 0.2868581536887582], ["D017", 0.2729352032321344], ["D015", 0.25167296976914144], ["D021", 0.24341873566369648], ["D007", 0.2393325050731542], ["D019", 0.23708821618919346], ["D005", 0.2358485473159117], ["D018", 0.2333664810805291], ["D073", 0.2129901382589412], ["D055", 0.20266962190479323], ["D002", 0.19892674315703657], ["D037", 0.19840089934023752], ["D091", 0.18855663418690366], ["D024", 0.18432410931373924], ["D040", 0.17009550372230248], ["D058", 0.17001540129543774], ["D022", 0.16839286834732603], ["D076", 0.16780893799616675], ["D001", 0.15983240146579608], ["D063", 0.15646671511461804], ["D066", 0.15285946426135047], ["D045", 0.14215061746909427], ["D048", 0.14214459767298243], ["D094", 0.13994961994259467], ["D011", 0.13705184323500053], ["D078", 0.1330304924602006], ["D003", 0.1286492355912397], ["D014", 0.12615665790439134], ["D027", 0.1253871860857206], ["D008", 0.1238846604588454], ["D010", 0.12364693198132569], ["D084", 0.11829499614938611], ["D030", 0.11382104435478231], ["D061", 0.11286920512209714], ["D081", 0.11145436505084416], ["D013", 0.10982731154219216], ["D072", 0.10976344795401541], ["D064", 0.10919815995071641], ["D042", 0.10762557970928463], ["D062", 0.10638037354317509], ["D060", 0.1049795598475499], ["D043", 0.10319477765522846], ["D069", 0.10058320858851305], ["D077", 0.0987086900126134], ["D071", 0.09827773951615089], ["D065", 0.09748787713091478], ["D046", 0.09344059801068731], ["D096", 0.09103004973315591], ["D068", 0.09078423743163083], ["D070", 0.09038326742004915], ["D075", 0.08737403501239176], ["D053", 0.08546283681897149], ["D028", 0.08233157495282953], ["D074", 0.08167088457593358], ["D025", 0.08157615671734139], ["D059", 0.08043816691124607], ["D054", 0.07877139490486743], ["D012", 0.0785856031168452], ["D052", 0.07855542631385655], ["D036", 0.07768532257879411], ["D047", 0.0771445319029837], ["D026", 0.07685566339361055], ["D079", 0.07662828542039832], ["D044", 0.07565289464878647], ["D090", 0.07541687566000804], ["D050", 0.0744214082870096], ["D051", 0.07384397520818707], ["D029", 0.07164201375267737], ["D033", 0.06702840605954552], ["D056", 0.06700906850394202], ["D035", 0.06695335649106283], ["D057", 0.06692862105676307], ["D080", 0.06517377635777943], ["D067", 0.062470855633575864], ["D041", 0.06089544750628901], ["D034", 0.06074516409112458], ["D083", 0.05795964306615651], ["D089", 0.05770452448075514], ["D039", 0.05684215665646475], ["D032", 0.05677192928921106], ["D009", 0.05457202110732226], ["D095", 0.05357468556887233], ["D087", 0.050529240596076365], ["D086", 0.05014914614335235], ["D082", 0.04973357563192876], ["D093", 0.04779500876107089], ["D038", 0.044925279982582514], ["D031", 0.044483427736501435], ["D006", 0.041208459462796915], ["D049", 0.03910585947321521], ["D092", 0.03749721552642438], ["D088", 0.03254795669925696], ["D085", 0.01698888926401481], ["D016", -0.009398723831526075]], "abstain": false, "online_ms": 52.187377819791436, "success": true}
{"scale": 96, "query_id": "Q05", "category": "lexical_near_match", "relevant": ["D004"], "method": "hybrid", "ranking": [["D004", 0.93], ["D023", 0.13], ["D001", 0.03], ["D005", 0.03], ["D006", 0.02], ["D008", 0.02], ["D012", 0.02], ["D013", 0.02]], "abstain": false, "online_ms": 186.3655149936676, "api_roundtrip_ms": 184.845119016245, "success": true, "usage": {"input_tokens": 1090, "output_tokens": 156}}
{"scale": 96, "query_id": "Q05", "category": "lexical_near_match", "relevant": ["D004"], "method": "direct", "ranking": [["D004", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 194.96351294219494, "api_roundtrip_ms": 194.96351294219494, "success": true, "choice": "D004", "answer_exists": 0.95, "usage": {"input_tokens": 8609, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q06", "category": "paraphrase", "relevant": ["D005"], "method": "bm25", "ranking": [["D024", 4.214216273765295], ["D005", 3.958537642626194], ["D028", 3.732108720400578], ["D046", 3.732108720400578], ["D082", 3.732108720400578], ["D064", 3.672096028762118], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 1.1224180925637484, "success": true}
{"scale": 96, "query_id": "Q06", "category": "paraphrase", "relevant": ["D005"], "method": "embedding", "ranking": [["D005", 0.49670701813767376], ["D024", 0.47959845114456623], ["D046", 0.30465518322619745], ["D082", 0.27204216527622005], ["D028", 0.26813793086268145], ["D006", 0.22660189914756848], ["D064", 0.21552377614912407], ["D003", 0.1891883396389753], ["D018", 0.15380006671187396], ["D050", 0.1429524243579275], ["D011", 0.14215519816403727], ["D010", 0.14123566204826749], ["D054", 0.13521856893411838], ["D036", 0.13428792209291499], ["D032", 0.13361356657781018], ["D017", 0.13275802282000723], ["D047", 0.12375042738261213], ["D016", 0.11957533181370934], ["D086", 0.1189398342604974], ["D090", 0.11872500447571534], ["D012", 0.11009633774300105], ["D014", 0.10888867792691376], ["D068", 0.10854642209267051], ["D020", 0.10789953425768635], ["D039", 0.10476478676448324], ["D057", 0.09652068682469202], ["D029", 0.09295576266012097], ["D072", 0.091011169123138], ["D059", 0.08673081198920145], ["D041", 0.08413075902031028], ["D083", 0.08202832173339641], ["D093", 0.07853298521875134], ["D019", 0.07568542448831339], ["D052", 0.07290601887498077], ["D035", 0.06723435494022079], ["D055", 0.06103309533282156], ["D053", 0.06061030386689584], ["D095", 0.059245371877304345], ["D026", 0.058406774318225704], ["D034", 0.058219240794041754], ["D044", 0.05779809632602158], ["D025", 0.05653071025682918], ["D001", 0.055622477939453824], ["D043", 0.05522876171536441], ["D048", 0.05488061716651869], ["D037", 0.051113207486391865], ["D075", 0.050695972587833586], ["D002", 0.04653081768584745], ["D051", 0.04565452538497558], ["D058", 0.04557724628230342], ["D030", 0.045072519060283915], ["D056", 0.04433341880020275], ["D033", 0.04264186507644785], ["D080", 0.04233969313986842], ["D065", 0.04191688656274654], ["D089", 0.04057398355625612], ["D008", 0.03912643605563951], ["D040", 0.03815964171318479], ["D045", 0.03771762580046831], ["D042", 0.03684927928666584], ["D038", 0.03627109856132313], ["D021", 0.033779871628438304], ["D077", 0.03358589505943393], ["D088", 0.033086022877585344], ["D060", 0.029261890060420123], ["D091", 0.02911112209005202], ["D013", 0.02831391239903775], ["D087", 0.027417525907621976], ["D027", 0.02683759020401951], ["D079", 0.02632866234113509], ["D049", 0.025666850697584516], ["D031", 0.02399598906813112], ["D022", 0.02039835613169766], ["D070", 0.02005004686790053], ["D094", 0.01791367013719294], ["D084", 0.013260468392703888], ["D092", 0.012810632963743782], ["D071", 0.005596075336273621], ["D085", 0.005146526782361209], ["D081", 0.004183713758892822], ["D096", 0.003883463056534992], ["D062", 0.0034735461764066724], ["D069", 8.184606913188598e-05], ["D074", -0.0016740104845814965], ["D061", -0.00408384435396902], ["D073", -0.007987944838240025], ["D066", -0.008956425616151061], ["D009", -0.017516456158348286], ["D078", -0.017537020453775344], ["D007", -0.02107806102366925], ["D076", -0.022167876964688728], ["D063", -0.02451247623463719], ["D067", -0.029948720607847527], ["D023", -0.031856213136817524], ["D004", -0.053641181425369555], ["D015", -0.07188938160505043]], "abstain": true, "online_ms": 60.659256065264344, "success": true}
{"scale": 96, "query_id": "Q06", "category": "paraphrase", "relevant": ["D005"], "method": "hybrid", "ranking": [["D005", 0.89], ["D024", 0.15], ["D028", 0.04], ["D001", 0.03], ["D002", 0.03], ["D046", 0.03], ["D064", 0.03], ["D082", 0.03]], "abstain": false, "online_ms": 184.44288009777665, "api_roundtrip_ms": 183.3204620052129, "success": true, "usage": {"input_tokens": 1133, "output_tokens": 156}}
{"scale": 96, "query_id": "Q06", "category": "paraphrase", "relevant": ["D005"], "method": "direct", "ranking": [["D005", 0.97], ["D024", 0.01], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 208.89315917156637, "api_roundtrip_ms": 208.89315917156637, "success": true, "choice": "D005", "answer_exists": 0.84, "usage": {"input_tokens": 8602, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q07", "category": "paraphrase", "relevant": ["D006"], "method": "bm25", "ranking": [["D029", 6.392685465404982], ["D047", 6.392685465404982], ["D083", 6.392685465404982], ["D065", 6.28450176822192], ["D041", 6.092902910162332], ["D059", 6.092902910162332], ["D095", 6.092902910162332], ["D077", 5.989539747265429], ["D007", 5.9175295964523835], ["D006", 5.308134950287844], ["D011", 5.281092846856297], ["D016", 5.234278229053291], ["D003", 4.666672228632696], ["D024", 4.274110224104062], ["D013", 2.482939142018348], ["D015", 2.306175289977618], ["D025", 2.108481839686887], ["D026", 2.108481839686887], ["D027", 2.108481839686887], ["D028", 2.108481839686887], ["D031", 2.108481839686887], ["D033", 2.108481839686887], ["D035", 2.108481839686887], ["D043", 2.108481839686887], ["D044", 2.108481839686887], ["D045", 2.108481839686887], ["D046", 2.108481839686887], ["D049", 2.108481839686887], ["D051", 2.108481839686887], ["D053", 2.108481839686887], ["D079", 2.108481839686887], ["D080", 2.108481839686887], ["D081", 2.108481839686887], ["D082", 2.108481839686887], ["D085", 2.108481839686887], ["D087", 2.108481839686887], ["D089", 2.108481839686887], ["D030", 2.069188576938702], ["D032", 2.069188576938702], ["D034", 2.069188576938702], ["D036", 2.069188576938702], ["D037", 2.069188576938702], ["D038", 2.069188576938702], ["D039", 2.069188576938702], ["D040", 2.069188576938702], ["D042", 2.069188576938702], ["D048", 2.069188576938702], ["D050", 2.069188576938702], ["D052", 2.069188576938702], ["D054", 2.069188576938702], ["D055", 2.069188576938702], ["D056", 2.069188576938702], ["D057", 2.069188576938702], ["D058", 2.069188576938702], ["D060", 2.069188576938702], ["D061", 2.069188576938702], ["D062", 2.069188576938702], ["D063", 2.069188576938702], ["D064", 2.069188576938702], ["D067", 2.069188576938702], ["D069", 2.069188576938702], ["D071", 2.069188576938702], ["D084", 2.069188576938702], ["D086", 2.069188576938702], ["D088", 2.069188576938702], ["D090", 2.069188576938702], ["D091", 2.069188576938702], ["D092", 2.069188576938702], ["D093", 2.069188576938702], ["D094", 2.069188576938702], ["D096", 2.069188576938702], ["D066", 2.0313703509983583], ["D068", 2.0313703509983583], ["D070", 2.0313703509983583], ["D072", 2.0313703509983583], ["D073", 2.0313703509983583], ["D074", 2.0313703509983583], ["D075", 2.0313703509983583], ["D076", 2.0313703509983583], ["D078", 2.0313703509983583], ["D014", 1.7664266798950585], ["D004", 1.5191890708736968], ["D005", 1.5191890708736968], ["D018", 1.5191890708736968], ["D012", 1.3645705760161992], ["D008", 1.3404992601935406], ["D017", 1.3287792852809988], ["D021", 1.3287792852809988], ["D019", 1.3172624694544757], ["D001", 1.3059435756343993], ["D002", 1.3059435756343993], ["D009", 1.0453828179635614], ["D023", 1.0453828179635614], ["D020", 0.9656760297840775], ["D010", 0.8972628702137293], ["D022", 0.0]], "abstain": false, "online_ms": 1.6239560209214687, "success": true}
{"scale": 96, "query_id": "Q07", "category": "paraphrase", "relevant": ["D006"], "method": "embedding", "ranking": [["D006", 0.6270487928766544], ["D013", 0.3115791106968373], ["D083", 0.2603098651779336], ["D065", 0.2592219486536239], ["D047", 0.2477508549636242], ["D001", 0.22894914581688042], ["D012", 0.21696601265324275], ["D003", 0.20252247271295354], ["D029", 0.18959793683523216], ["D011", 0.17812924859597395], ["D077", 0.16548440146463894], ["D072", 0.16315650405642712], ["D005", 0.15383670548625714], ["D074", 0.13415070004576524], ["D018", 0.12959818012156019], ["D090", 0.1294703350823641], ["D041", 0.12927398659572198], ["D059", 0.12690883503819594], ["D014", 0.119739514885011], ["D021", 0.11541997219410464], ["D007", 0.1147114745041185], ["D062", 0.10750968240145442], ["D095", 0.10725564341861962], ["D071", 0.10554397744184806], ["D056", 0.0993404809211554], ["D024", 0.09931668589280244], ["D054", 0.09880919998593615], ["D016", 0.09443828144190924], ["D092", 0.09411247245552704], ["D036", 0.08857670143744953], ["D075", 0.08784030905431028], ["D022", 0.0873861167900342], ["D064", 0.08648591743071886], ["D070", 0.08216258539957076], ["D038", 0.06608865431396467], ["D017", 0.05987670861851133], ["D080", 0.059743177254378464], ["D082", 0.051887565718814845], ["D008", 0.05178500647641378], ["D093", 0.051704921907602314], ["D089", 0.051131803453062424], ["D046", 0.04849135325293555], ["D088", 0.048480198694404335], ["D020", 0.045676900104553095], ["D073", 0.045590365906585176], ["D052", 0.04307274309367172], ["D044", 0.04113628431432131], ["D002", 0.03913601174305339], ["D066", 0.03828500066393086], ["D069", 0.03602505250138953], ["D026", 0.035705277205550376], ["D028", 0.03563663587609954], ["D035", 0.03454823629042253], ["D068", 0.03241293845705591], ["D053", 0.03150435959172701], ["D061", 0.030696219168359327], ["D034", 0.02282957826506838], ["D009", 0.02221654084117416], ["D091", 0.021749167230647754], ["D057", 0.0205272320699885], ["D076", 0.01858708945638049], ["D039", 0.014371958171595827], ["D063", 0.010409942131146509], ["D055", 0.008457052064629657], ["D048", 0.007211777236151667], ["D019", 0.005154368409081329], ["D067", 0.0030340194610931764], ["D078", 0.0018480050705810876], ["D084", 0.0016287234884305377], ["D086", 0.001413582491382642], ["D010", -0.004885032503228682], ["D023", -0.005799477857763103], ["D050", -0.007080828284324143], ["D094", -0.007986980552745309], ["D037", -0.011220606146866118], ["D033", -0.011628627676476832], ["D015", -0.01189124019340399], ["D079", -0.01388180606796353], ["D030", -0.015734704980195642], ["D058", -0.015965314152924886], ["D043", -0.021077552081853836], ["D025", -0.02228815390955873], ["D085", -0.025626200965425422], ["D032", -0.0259616132811], ["D051", -0.026234541100878656], ["D081", -0.026972580009990463], ["D087", -0.030834907839919254], ["D040", -0.03242168550341437], ["D096", -0.033545037912135534], ["D045", -0.03544374343041093], ["D027", -0.03819162916690537], ["D031", -0.045485600583688154], ["D049", -0.04763303077731372], ["D042", -0.0477551614971975], ["D060", -0.04961434342092272], ["D004", -0.05906934368785312]], "abstain": false, "online_ms": 53.6824488081038, "success": true}
{"scale": 96, "query_id": "Q07", "category": "paraphrase", "relevant": ["D006"], "method": "hybrid", "ranking": [["D029", 0.04], ["D041", 0.03], ["D047", 0.03], ["D059", 0.03], ["D065", 0.03], ["D077", 0.03], ["D083", 0.03], ["D095", 0.03]], "abstain": true, "online_ms": 192.3011620528996, "api_roundtrip_ms": 190.67720603197813, "success": true, "usage": {"input_tokens": 1199, "output_tokens": 156}}
{"scale": 96, "query_id": "Q07", "category": "paraphrase", "relevant": ["D006"], "method": "direct", "ranking": [["D006", 0.99], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 207.0347759872675, "api_roundtrip_ms": 207.0347759872675, "success": true, "choice": "D006", "answer_exists": 0.91, "usage": {"input_tokens": 8608, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q08", "category": "lexical", "relevant": ["D007"], "method": "bm25", "ranking": [["D007", 28.917066410795293], ["D006", 10.582728431060149], ["D008", 6.88320562623646], ["D030", 6.836783576013712], ["D048", 6.836783576013712], ["D084", 6.836783576013712], ["D066", 6.718443155844247], ["D022", 5.473154875929621], ["D016", 5.234278229053291], ["D025", 2.9750488125377625], ["D026", 2.9750488125377625], ["D027", 2.9750488125377625], ["D028", 2.9750488125377625], ["D029", 2.9750488125377625], ["D031", 2.9750488125377625], ["D033", 2.9750488125377625], ["D035", 2.9750488125377625], ["D041", 2.9750488125377625], ["D043", 2.9750488125377625], ["D044", 2.9750488125377625], ["D045", 2.9750488125377625], ["D046", 2.9750488125377625], ["D047", 2.9750488125377625], ["D049", 2.9750488125377625], ["D051", 2.9750488125377625], ["D053", 2.9750488125377625], ["D059", 2.9750488125377625], ["D079", 2.9750488125377625], ["D080", 2.9750488125377625], ["D081", 2.9750488125377625], ["D082", 2.9750488125377625], ["D083", 2.9750488125377625], ["D085", 2.9750488125377625], ["D087", 2.9750488125377625], ["D089", 2.9750488125377625], ["D095", 2.9750488125377625], ["D032", 2.916432405686985], ["D034", 2.916432405686985], ["D036", 2.916432405686985], ["D037", 2.916432405686985], ["D038", 2.916432405686985], ["D039", 2.916432405686985], ["D040", 2.916432405686985], ["D042", 2.916432405686985], ["D050", 2.916432405686985], ["D052", 2.916432405686985], ["D054", 2.916432405686985], ["D055", 2.916432405686985], ["D056", 2.916432405686985], ["D057", 2.916432405686985], ["D058", 2.916432405686985], ["D060", 2.916432405686985], ["D061", 2.916432405686985], ["D062", 2.916432405686985], ["D063", 2.916432405686985], ["D064", 2.916432405686985], ["D065", 2.916432405686985], ["D067", 2.916432405686985], ["D069", 2.916432405686985], ["D071", 2.916432405686985], ["D077", 2.916432405686985], ["D086", 2.916432405686985], ["D088", 2.916432405686985], ["D090", 2.916432405686985], ["D091", 2.916432405686985], ["D092", 2.916432405686985], ["D093", 2.916432405686985], ["D094", 2.916432405686985], ["D096", 2.916432405686985], ["D068", 2.8601339932318215], ["D070", 2.8601339932318215], ["D072", 2.8601339932318215], ["D073", 2.8601339932318215], ["D074", 2.8601339932318215], ["D075", 2.8601339932318215], ["D076", 2.8601339932318215], ["D078", 2.8601339932318215], ["D011", 2.6575585705619975], ["D003", 2.587036044751834], ["D018", 2.460930274938923], ["D021", 2.282337731631529], ["D002", 2.2361568490613273], ["D023", 2.0907656359271227], ["D020", 1.931352059568155], ["D014", 1.7664266798950585], ["D013", 1.529380695667818], ["D004", 1.5191890708736968], ["D005", 1.5191890708736968], ["D012", 1.3645705760161992], ["D015", 1.3404992601935406], ["D017", 1.3287792852809988], ["D019", 1.3172624694544757], ["D001", 1.3059435756343993], ["D009", 1.0453828179635614], ["D010", 0.8972628702137293], ["D024", 0.0]], "abstain": false, "online_ms": 1.204783096909523, "success": true}
{"scale": 96, "query_id": "Q08", "category": "lexical", "relevant": ["D007"], "method": "embedding", "ranking": [["D007", 0.7549383462819507], ["D015", 0.3311831712101577], ["D017", 0.2950429353045404], ["D018", 0.24249966880922952], ["D006", 0.2241891782123394], ["D066", 0.2160454244592687], ["D023", 0.20777015508222757], ["D005", 0.19579202684555913], ["D019", 0.1705617616361778], ["D084", 0.16835065288631526], ["D048", 0.1654397416710355], ["D016", 0.14111965224237566], ["D013", 0.13573284524329285], ["D004", 0.1353407438220747], ["D020", 0.13265646904207734], ["D011", 0.12636897506280817], ["D073", 0.11112008629603887], ["D022", 0.11110473835102563], ["D021", 0.10289044398598703], ["D010", 0.10201598867807657], ["D003", 0.10087137687292669], ["D030", 0.09760760530283832], ["D024", 0.09429658445305787], ["D074", 0.0833078434881295], ["D002", 0.07873821240977294], ["D091", 0.07580618270125963], ["D055", 0.06197550245889262], ["D056", 0.059561959524875], ["D037", 0.05839848682301363], ["D012", 0.05400205958219055], ["D076", 0.040199014052887796], ["D092", 0.036598859659593704], ["D068", 0.027622479401806198], ["D038", 0.022867569335026598], ["D072", 0.022698226537426106], ["D014", 0.019422300217870364], ["D009", 0.016215314720259454], ["D075", 0.008553197161821194], ["D058", 0.007816634785094666], ["D063", 0.0032976438375529535], ["D040", -0.002409510432675975], ["D094", -0.003732527883670657], ["D070", -0.00482318455979317], ["D050", -0.007253510902288488], ["D086", -0.008680829686254717], ["D090", -0.008936913058476888], ["D071", -0.013910574464926197], ["D001", -0.016827302298939716], ["D054", -0.018062241452138625], ["D077", -0.018543159773887034], ["D036", -0.0200097286975736], ["D032", -0.02132125434933927], ["D065", -0.022697981849535663], ["D069", -0.023191862554103798], ["D062", -0.024333949833800758], ["D008", -0.03064532421618082], ["D052", -0.03520106803046556], ["D045", -0.03662439539395044], ["D057", -0.038321710847908017], ["D081", -0.03929131275707176], ["D061", -0.03966382546635262], ["D053", -0.04417489696822745], ["D067", -0.0451963605246746], ["D064", -0.046252950476150044], ["D093", -0.04752621282332432], ["D047", -0.047582061442695445], ["D078", -0.050931335924977963], ["D027", -0.05357134201357383], ["D039", -0.054617305312430406], ["D059", -0.05563577747748693], ["D035", -0.05974588228171547], ["D089", -0.06108760622583585], ["D051", -0.06254243470202439], ["D044", -0.06313502427465917], ["D034", -0.06416831340670778], ["D088", -0.06537612897505846], ["D029", -0.06642910028257093], ["D083", -0.06818731019134328], ["D095", -0.06888808491339232], ["D046", -0.0726081799328995], ["D080", -0.0734582466678458], ["D041", -0.07427026875537188], ["D043", -0.07825331339825714], ["D033", -0.07875045134170719], ["D087", -0.07988101469008617], ["D079", -0.0829658771557345], ["D026", -0.08312957227319887], ["D060", -0.08689665334376048], ["D028", -0.08745979768810136], ["D049", -0.08850138434994259], ["D025", -0.09356454701880584], ["D031", -0.09368178457353195], ["D042", -0.09834758427830045], ["D096", -0.09870112389434865], ["D082", -0.09903326819560188], ["D085", -0.09936964374618752]], "abstain": false, "online_ms": 79.28552594967186, "success": true}
{"scale": 96, "query_id": "Q08", "category": "lexical", "relevant": ["D007"], "method": "hybrid", "ranking": [["D007", 0.95], ["D030", 0.04], ["D048", 0.04], ["D066", 0.04], ["D084", 0.04], ["D006", 0.02], ["D008", 0.02], ["D022", 0.02]], "abstain": false, "online_ms": 189.0875161625445, "api_roundtrip_ms": 187.88273306563497, "success": true, "usage": {"input_tokens": 1170, "output_tokens": 156}}
{"scale": 96, "query_id": "Q08", "category": "lexical", "relevant": ["D007"], "method": "direct", "ranking": [["D007", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 194.76062688045204, "api_roundtrip_ms": 194.76062688045204, "success": true, "choice": "D007", "answer_exists": 0.97, "usage": {"input_tokens": 8614, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q09", "category": "paraphrase", "relevant": ["D008"], "method": "bm25", "ranking": [["D008", 4.002538578742545], ["D015", 4.002538578742545], ["D009", 2.95754901612922], ["D024", 2.9174151642376596], ["D013", 2.6977637247946635], ["D021", 2.6977637247946635], ["D001", 2.6317166346520615], ["D006", 2.599891155656185], ["D010", 2.5384948684917017], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D007", 0.0], ["D011", 0.0], ["D012", 0.0], ["D014", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D022", 0.0], ["D023", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 0.6309689488261938, "success": true}
{"scale": 96, "query_id": "Q09", "category": "paraphrase", "relevant": ["D008"], "method": "embedding", "ranking": [["D008", 0.521109412999173], ["D005", 0.2310366671997951], ["D016", 0.19059059464340586], ["D023", 0.1804602923972295], ["D081", 0.17022729707891654], ["D004", 0.15935338593782467], ["D027", 0.15379041371805718], ["D021", 0.14706624571413945], ["D063", 0.1334543525958701], ["D045", 0.12388477231646762], ["D015", 0.09024252293013689], ["D001", 0.08574552736483301], ["D012", 0.08502365157749779], ["D092", 0.08195672451802376], ["D079", 0.07777935020791674], ["D025", 0.07253442916147243], ["D038", 0.07225597734114285], ["D056", 0.0644451650514068], ["D043", 0.06036806758102356], ["D018", 0.05757638154117412], ["D017", 0.05140092801695177], ["D010", 0.04660392798029302], ["D061", 0.0427303340603453], ["D074", 0.04195115824952097], ["D019", 0.03831816844766943], ["D020", 0.03388584202209162], ["D024", 0.033537102456500927], ["D011", 0.03046854666105037], ["D042", 0.027378260736219944], ["D003", 0.022903571556759966], ["D096", 0.022490073359514893], ["D006", 0.017881903447695056], ["D036", 0.016751625092630576], ["D032", 0.01575833015490312], ["D007", 0.015195171960549803], ["D022", 0.014588364245537666], ["D014", 0.009079587133956554], ["D029", 0.008760259617184673], ["D086", 0.008610923017366778], ["D037", 0.005637744603621105], ["D060", 0.00521117364691851], ["D083", 0.0015924813151343697], ["D028", -0.0009707990060374271], ["D013", -0.0017022452019404485], ["D050", -0.0033453770966790607], ["D030", -0.004619592124312637], ["D078", -0.005303909312518548], ["D090", -0.007631769006943743], ["D047", -0.010464155209426033], ["D033", -0.01182592567095831], ["D035", -0.014618089071468512], ["D082", -0.015193441499342401], ["D002", -0.016663892160945062], ["D041", -0.01725451166925074], ["D054", -0.018561751614829862], ["D040", -0.01959929460619923], ["D055", -0.021593592636374014], ["D087", -0.022142481552055133], ["D072", -0.02370037628079315], ["D068", -0.0237479150747406], ["D084", -0.024554821249758513], ["D048", -0.027121852646775902], ["D095", -0.027938274812173154], ["D091", -0.02926353749207495], ["D031", -0.031099953692279476], ["D046", -0.03202249251277729], ["D051", -0.03373730522884795], ["D065", -0.035693670224772045], ["D034", -0.037286939959315035], ["D089", -0.037352327775215396], ["D039", -0.0404541246111568], ["D059", -0.040898102075141135], ["D073", -0.041395060645773], ["D064", -0.04899825271623799], ["D088", -0.04902570108571466], ["D058", -0.04923140522718689], ["D085", -0.05057823109156728], ["D066", -0.0522398573191485], ["D049", -0.052246854306288046], ["D093", -0.052826437425018635], ["D094", -0.053981794166110236], ["D077", -0.054831187476829676], ["D053", -0.05688968461273124], ["D069", -0.058924184998393005], ["D071", -0.05894096440073752], ["D052", -0.0608702805327503], ["D057", -0.061282129522076303], ["D009", -0.06147063154285941], ["D076", -0.06287036066592391], ["D026", -0.06598152756533499], ["D067", -0.06718934569732066], ["D080", -0.07335929932961757], ["D070", -0.07728126652181327], ["D075", -0.08163186380078502], ["D044", -0.09084764375848446], ["D062", -0.10373187394075667]], "abstain": false, "online_ms": 59.54252299852669, "success": true}
{"scale": 96, "query_id": "Q09", "category": "paraphrase", "relevant": ["D008"], "method": "hybrid", "ranking": [["D008", 0.95], ["D021", 0.08], ["D001", 0.07], ["D015", 0.04], ["D013", 0.03], ["D024", 0.03], ["D006", 0.02], ["D009", 0.02]], "abstain": false, "online_ms": 185.3413439821452, "api_roundtrip_ms": 184.710375033319, "success": true, "usage": {"input_tokens": 1073, "output_tokens": 156}}
{"scale": 96, "query_id": "Q09", "category": "paraphrase", "relevant": ["D008"], "method": "direct", "ranking": [["D008", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 195.588142843917, "api_roundtrip_ms": 195.588142843917, "success": true, "choice": "D008", "answer_exists": 0.94, "usage": {"input_tokens": 8603, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q10", "category": "lexical", "relevant": ["D009"], "method": "bm25", "ranking": [["D009", 23.513261159143624], ["D017", 3.744737644231822], ["D021", 3.744737644231822], ["D019", 3.703280382291906], ["D023", 3.6939895887688983], ["D001", 3.662754049228233], ["D002", 3.662754049228233], ["D024", 3.553010462572886], ["D010", 3.1705894185396373], ["D014", 1.7664266798950585], ["D003", 1.645294840686608], ["D013", 1.529380695667818], ["D004", 1.5191890708736968], ["D005", 1.5191890708736968], ["D018", 1.5191890708736968], ["D006", 1.4992079569123493], ["D012", 1.3645705760161992], ["D007", 1.3404992601935406], ["D008", 1.3404992601935406], ["D015", 1.3404992601935406], ["D011", 1.3287792852809988], ["D025", 1.2419148668360116], ["D026", 1.2419148668360116], ["D027", 1.2419148668360116], ["D028", 1.2419148668360116], ["D029", 1.2419148668360116], ["D031", 1.2419148668360116], ["D033", 1.2419148668360116], ["D035", 1.2419148668360116], ["D041", 1.2419148668360116], ["D043", 1.2419148668360116], ["D044", 1.2419148668360116], ["D045", 1.2419148668360116], ["D046", 1.2419148668360116], ["D047", 1.2419148668360116], ["D049", 1.2419148668360116], ["D051", 1.2419148668360116], ["D053", 1.2419148668360116], ["D059", 1.2419148668360116], ["D079", 1.2419148668360116], ["D080", 1.2419148668360116], ["D081", 1.2419148668360116], ["D082", 1.2419148668360116], ["D083", 1.2419148668360116], ["D085", 1.2419148668360116], ["D087", 1.2419148668360116], ["D089", 1.2419148668360116], ["D095", 1.2419148668360116], ["D030", 1.2219447481904193], ["D032", 1.2219447481904193], ["D034", 1.2219447481904193], ["D036", 1.2219447481904193], ["D037", 1.2219447481904193], ["D038", 1.2219447481904193], ["D039", 1.2219447481904193], ["D040", 1.2219447481904193], ["D042", 1.2219447481904193], ["D048", 1.2219447481904193], ["D050", 1.2219447481904193], ["D052", 1.2219447481904193], ["D054", 1.2219447481904193], ["D055", 1.2219447481904193], ["D056", 1.2219447481904193], ["D057", 1.2219447481904193], ["D058", 1.2219447481904193], ["D060", 1.2219447481904193], ["D061", 1.2219447481904193], ["D062", 1.2219447481904193], ["D063", 1.2219447481904193], ["D064", 1.2219447481904193], ["D065", 1.2219447481904193], ["D067", 1.2219447481904193], ["D069", 1.2219447481904193], ["D071", 1.2219447481904193], ["D077", 1.2219447481904193], ["D084", 1.2219447481904193], ["D086", 1.2219447481904193], ["D088", 1.2219447481904193], ["D090", 1.2219447481904193], ["D091", 1.2219447481904193], ["D092", 1.2219447481904193], ["D093", 1.2219447481904193], ["D094", 1.2219447481904193], ["D096", 1.2219447481904193], ["D066", 1.2026067087648948], ["D068", 1.2026067087648948], ["D070", 1.2026067087648948], ["D072", 1.2026067087648948], ["D073", 1.2026067087648948], ["D074", 1.2026067087648948], ["D075", 1.2026067087648948], ["D076", 1.2026067087648948], ["D078", 1.2026067087648948], ["D016", 1.0173910382901947], ["D020", 0.9656760297840775], ["D022", 0.0]], "abstain": false, "online_ms": 0.6719990633428097, "success": true}
{"scale": 96, "query_id": "Q10", "category": "lexical", "relevant": ["D009"], "method": "embedding", "ranking": [["D009", 0.7674877793097047], ["D094", 0.5622005192387038], ["D091", 0.4994964471596598], ["D085", 0.4929681841297052], ["D093", 0.4465674197073595], ["D089", 0.4358719204175869], ["D095", 0.42493603656169066], ["D080", 0.4126644389362282], ["D088", 0.4104996881521787], ["D096", 0.38663852138799976], ["D082", 0.37295063348711976], ["D079", 0.3703817981570543], ["D087", 0.3688016003710376], ["D081", 0.3581362345868344], ["D084", 0.35679285672500627], ["D090", 0.3541996828648019], ["D083", 0.34395790490877665], ["D086", 0.3406264131819066], ["D058", 0.3354987629935179], ["D092", 0.3326257479281468], ["D076", 0.2965153908524693], ["D073", 0.29397146671065927], ["D055", 0.29315576935499355], ["D049", 0.2875123263810972], ["D001", 0.2863885916023007], ["D067", 0.2640757883968178], ["D075", 0.2324874930673687], ["D040", 0.23151318563467732], ["D057", 0.22735904631363943], ["D020", 0.22570302843330964], ["D059", 0.22425312059755906], ["D070", 0.221888458924384], ["D062", 0.21855280542120092], ["D077", 0.2159507290763562], ["D052", 0.21424511679457944], ["D071", 0.21417606887166582], ["D031", 0.20732269717900959], ["D019", 0.20419203440070477], ["D044", 0.20218128629203608], ["D037", 0.20125570563623452], ["D053", 0.1993550614050275], ["D078", 0.1983476338822172], ["D045", 0.19401391295156684], ["D048", 0.19383888074934202], ["D066", 0.19004144733277442], ["D072", 0.18507505952099482], ["D060", 0.18480167647768703], ["D043", 0.18093838158477865], ["D021", 0.1776865794313885], ["D063", 0.17527736246337952], ["D047", 0.17247129237555273], ["D051", 0.17060289073739093], ["D061", 0.16989021845075808], ["D050", 0.16932235318420424], ["D046", 0.16603585863176995], ["D054", 0.1646919515081798], ["D064", 0.16282130227941094], ["D065", 0.1618108447070268], ["D069", 0.16015973605693007], ["D068", 0.16006516495715303], ["D056", 0.1583252519947128], ["D015", 0.15605529929937556], ["D018", 0.15511409565528383], ["D074", 0.1500548718667425], ["D003", 0.14755771670702061], ["D013", 0.14246223526189264], ["D017", 0.12906552179981218], ["D039", 0.12497077659586747], ["D016", 0.11941923367687238], ["D041", 0.11911270270600686], ["D034", 0.11519619596501116], ["D042", 0.10930682083999997], ["D026", 0.10440434449981423], ["D023", 0.10436988655785488], ["D008", 0.10025548635319681], ["D035", 0.09533914871202576], ["D004", 0.09245984580194866], ["D010", 0.09082467177939185], ["D011", 0.08996984111277231], ["D027", 0.08801989523744783], ["D030", 0.08006222335571492], ["D033", 0.0778343608197999], ["D005", 0.0776538953941675], ["D032", 0.07319869040883804], ["D006", 0.07170514145456208], ["D025", 0.06968037407744107], ["D029", 0.06883546491506638], ["D002", 0.05845631903983869], ["D038", 0.05807643855434059], ["D036", 0.05702803002700747], ["D024", 0.054018580026193884], ["D028", 0.05063397595902313], ["D022", 0.042802092233920244], ["D007", 0.00869423940876415], ["D012", -0.02513680926971918], ["D014", -0.03555247917582241]], "abstain": false, "online_ms": 57.86911305040121, "success": true}
{"scale": 96, "query_id": "Q10", "category": "lexical", "relevant": ["D009"], "method": "hybrid", "ranking": [["D009", 0.95], ["D001", 0.04], ["D019", 0.04], ["D021", 0.03], ["D002", 0.02], ["D017", 0.02], ["D023", 0.02], ["D024", 0.01]], "abstain": false, "online_ms": 188.08924895711243, "api_roundtrip_ms": 187.41724989376962, "success": true, "usage": {"input_tokens": 1069, "output_tokens": 156}}
{"scale": 96, "query_id": "Q10", "category": "lexical", "relevant": ["D009"], "method": "direct", "ranking": [["D009", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 244.9099300429225, "api_roundtrip_ms": 244.9099300429225, "success": true, "choice": "D009", "answer_exists": 0.97, "usage": {"input_tokens": 8601, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q11", "category": "paraphrase", "relevant": ["D010"], "method": "bm25", "ranking": [["D010", 12.57339503787843], ["D018", 6.375825663910987], ["D002", 5.9206568548431395], ["D004", 5.424396054584824], ["D006", 5.3267253621801], ["D017", 5.07351692951282], ["D019", 5.020542851746382], ["D024", 4.887581161649737], ["D020", 4.378011816108822], ["D014", 3.532853359790117], ["D003", 3.290589681373216], ["D013", 3.058761391335636], ["D005", 3.0383781417473936], ["D012", 2.7291411520323985], ["D007", 2.680998520387081], ["D008", 2.680998520387081], ["D015", 2.680998520387081], ["D011", 2.6575585705619975], ["D021", 2.6575585705619975], ["D001", 2.6118871512687987], ["D025", 2.483829733672023], ["D026", 2.483829733672023], ["D027", 2.483829733672023], ["D028", 2.483829733672023], ["D029", 2.483829733672023], ["D031", 2.483829733672023], ["D033", 2.483829733672023], ["D035", 2.483829733672023], ["D041", 2.483829733672023], ["D043", 2.483829733672023], ["D044", 2.483829733672023], ["D045", 2.483829733672023], ["D046", 2.483829733672023], ["D047", 2.483829733672023], ["D049", 2.483829733672023], ["D051", 2.483829733672023], ["D053", 2.483829733672023], ["D059", 2.483829733672023], ["D079", 2.483829733672023], ["D080", 2.483829733672023], ["D081", 2.483829733672023], ["D082", 2.483829733672023], ["D083", 2.483829733672023], ["D085", 2.483829733672023], ["D087", 2.483829733672023], ["D089", 2.483829733672023], ["D095", 2.483829733672023], ["D030", 2.4438894963808386], ["D032", 2.4438894963808386], ["D034", 2.4438894963808386], ["D036", 2.4438894963808386], ["D037", 2.4438894963808386], ["D038", 2.4438894963808386], ["D039", 2.4438894963808386], ["D040", 2.4438894963808386], ["D042", 2.4438894963808386], ["D048", 2.4438894963808386], ["D050", 2.4438894963808386], ["D052", 2.4438894963808386], ["D054", 2.4438894963808386], ["D055", 2.4438894963808386], ["D056", 2.4438894963808386], ["D057", 2.4438894963808386], ["D058", 2.4438894963808386], ["D060", 2.4438894963808386], ["D061", 2.4438894963808386], ["D062", 2.4438894963808386], ["D063", 2.4438894963808386], ["D064", 2.4438894963808386], ["D065", 2.4438894963808386], ["D067", 2.4438894963808386], ["D069", 2.4438894963808386], ["D071", 2.4438894963808386], ["D077", 2.4438894963808386], ["D084", 2.4438894963808386], ["D086", 2.4438894963808386], ["D088", 2.4438894963808386], ["D090", 2.4438894963808386], ["D091", 2.4438894963808386], ["D092", 2.4438894963808386], ["D093", 2.4438894963808386], ["D094", 2.4438894963808386], ["D096", 2.4438894963808386], ["D022", 2.415958358950823], ["D066", 2.4052134175297897], ["D068", 2.4052134175297897], ["D070", 2.4052134175297897], ["D072", 2.4052134175297897], ["D073", 2.4052134175297897], ["D074", 2.4052134175297897], ["D075", 2.4052134175297897], ["D076", 2.4052134175297897], ["D078", 2.4052134175297897], ["D009", 2.0907656359271227], ["D023", 2.0907656359271227], ["D016", 2.0347820765803895]], "abstain": false, "online_ms": 0.7535011973232031, "success": true}
{"scale": 96, "query_id": "Q11", "category": "paraphrase", "relevant": ["D010"], "method": "embedding", "ranking": [["D010", 0.5369246307161977], ["D086", 0.3697630803921326], ["D032", 0.3329227198139363], ["D050", 0.32107219179107527], ["D068", 0.3042979590418787], ["D016", 0.19307894763678324], ["D084", 0.15226976060909592], ["D092", 0.150273476401987], ["D087", 0.13188683093000694], ["D081", 0.13035803594694756], ["D089", 0.1294931195617876], ["D088", 0.1294471265202122], ["D048", 0.12285043065265136], ["D034", 0.12240632037767978], ["D079", 0.12213188331063589], ["D030", 0.11929414891242421], ["D033", 0.11673461707748321], ["D038", 0.11625964356430743], ["D056", 0.11342955668306383], ["D093", 0.10953721438163551], ["D051", 0.10807750409002742], ["D018", 0.1065759503876064], ["D035", 0.10489106776545523], ["D052", 0.10409584511839393], ["D003", 0.10376373683457941], ["D005", 0.09987912938912306], ["D066", 0.09967118852629919], ["D027", 0.09777900468262749], ["D045", 0.09698264651484967], ["D025", 0.09558358000016078], ["D095", 0.09017585631900432], ["D024", 0.08755307855587775], ["D074", 0.08699218108966286], ["D043", 0.08669358887967063], ["D082", 0.08481204568605083], ["D039", 0.08379706928758643], ["D009", 0.0836491734749707], ["D017", 0.08203927279358628], ["D080", 0.07933659582051386], ["D053", 0.07861450324845559], ["D070", 0.07772687914459295], ["D041", 0.07627299285338854], ["D012", 0.07353300243341351], ["D085", 0.06860629008728533], ["D063", 0.06833475801697277], ["D057", 0.06743459663890211], ["D028", 0.06697049228452909], ["D090", 0.06356750725663676], ["D026", 0.06211925046288734], ["D069", 0.06189298166883225], ["D021", 0.06139207742144606], ["D059", 0.05404352511467218], ["D071", 0.05402621028554884], ["D008", 0.053684142861207956], ["D096", 0.052310662088885046], ["D031", 0.05217249640557603], ["D061", 0.051612438017742804], ["D020", 0.05063394612726679], ["D036", 0.047674319506849985], ["D046", 0.04614420013673851], ["D091", 0.04507381343436527], ["D075", 0.043409621774253504], ["D044", 0.04222825873745721], ["D011", 0.04088402761175074], ["D042", 0.0381522518162863], ["D049", 0.03553713058470731], ["D054", 0.035528219247796276], ["D083", 0.031648677568834355], ["D037", 0.030917058655594333], ["D094", 0.02893992276992106], ["D077", 0.028831654338973854], ["D060", 0.024798182723666046], ["D022", 0.022895721105322637], ["D029", 0.021818251176883508], ["D002", 0.020343412532273175], ["D064", 0.02020985802781067], ["D040", 0.01923776708224499], ["D072", 0.017444765797480957], ["D062", 0.016262028251241754], ["D055", 0.008674817255688872], ["D047", 0.008456787448879496], ["D067", 0.004308753331446088], ["D078", 0.0037213626375751877], ["D058", 0.00022277515683961566], ["D001", -0.00029835219166703987], ["D014", -0.006666647549008992], ["D073", -0.007682572425024851], ["D023", -0.015861831748639046], ["D004", -0.019880882199464923], ["D065", -0.023370866137249997], ["D013", -0.025318199764615593], ["D007", -0.02872110265346106], ["D076", -0.02969949448944369], ["D019", -0.03956961418849127], ["D015", -0.04910973578283043], ["D006", -0.08673093599971779]], "abstain": false, "online_ms": 58.49043000489473, "success": true}
{"scale": 96, "query_id": "Q11", "category": "paraphrase", "relevant": ["D010"], "method": "hybrid", "ranking": [["D010", 0.95], ["D017", 0.03], ["D018", 0.03], ["D002", 0.02], ["D004", 0.02], ["D006", 0.02], ["D019", 0.02], ["D024", 0.02]], "abstain": false, "online_ms": 194.5226590614766, "api_roundtrip_ms": 193.76915786415339, "success": true, "usage": {"input_tokens": 1104, "output_tokens": 156}}
{"scale": 96, "query_id": "Q11", "category": "paraphrase", "relevant": ["D010"], "method": "direct", "ranking": [["D010", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 289.9744769092649, "api_roundtrip_ms": 289.9744769092649, "success": true, "choice": "D010", "answer_exists": 0.96, "usage": {"input_tokens": 8606, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q12", "category": "paraphrase", "relevant": ["D011"], "method": "bm25", "ranking": [["D011", 20.438866724773746], ["D023", 8.64880748136258], ["D001", 7.518306427578317], ["D021", 7.319360312595628], ["D008", 6.883205626236461], ["D002", 6.647146510944044], ["D033", 6.092902910162332], ["D051", 6.092902910162332], ["D087", 6.092902910162332], ["D014", 6.027275922420285], ["D005", 5.99125342258403], ["D069", 5.989539747265429], ["D017", 4.698296090582352], ["D019", 4.645021586357132], ["D013", 4.5886712050474525], ["D024", 4.584207466892337], ["D006", 4.447510013470104], ["D010", 4.443714106155146], ["D022", 4.012848955730165], ["D009", 3.6939895887688983], ["D007", 2.680998520387081], ["D003", 2.587036044751834], ["D012", 2.3554297904229395], ["D015", 2.306175289977618], ["D020", 2.306175289977618], ["D025", 2.108481839686887], ["D026", 2.108481839686887], ["D027", 2.108481839686887], ["D028", 2.108481839686887], ["D029", 2.108481839686887], ["D031", 2.108481839686887], ["D035", 2.108481839686887], ["D041", 2.108481839686887], ["D043", 2.108481839686887], ["D044", 2.108481839686887], ["D045", 2.108481839686887], ["D046", 2.108481839686887], ["D047", 2.108481839686887], ["D049", 2.108481839686887], ["D053", 2.108481839686887], ["D059", 2.108481839686887], ["D079", 2.108481839686887], ["D080", 2.108481839686887], ["D081", 2.108481839686887], ["D082", 2.108481839686887], ["D083", 2.108481839686887], ["D085", 2.108481839686887], ["D089", 2.108481839686887], ["D095", 2.108481839686887], ["D030", 2.069188576938702], ["D032", 2.069188576938702], ["D034", 2.069188576938702], ["D036", 2.069188576938702], ["D037", 2.069188576938702], ["D038", 2.069188576938702], ["D039", 2.069188576938702], ["D040", 2.069188576938702], ["D042", 2.069188576938702], ["D048", 2.069188576938702], ["D050", 2.069188576938702], ["D052", 2.069188576938702], ["D054", 2.069188576938702], ["D055", 2.069188576938702], ["D056", 2.069188576938702], ["D057", 2.069188576938702], ["D058", 2.069188576938702], ["D060", 2.069188576938702], ["D061", 2.069188576938702], ["D062", 2.069188576938702], ["D063", 2.069188576938702], ["D064", 2.069188576938702], ["D065", 2.069188576938702], ["D067", 2.069188576938702], ["D071", 2.069188576938702], ["D077", 2.069188576938702], ["D084", 2.069188576938702], ["D086", 2.069188576938702], ["D088", 2.069188576938702], ["D090", 2.069188576938702], ["D091", 2.069188576938702], ["D092", 2.069188576938702], ["D093", 2.069188576938702], ["D094", 2.069188576938702], ["D096", 2.069188576938702], ["D066", 2.0313703509983583], ["D068", 2.0313703509983583], ["D070", 2.0313703509983583], ["D072", 2.0313703509983583], ["D073", 2.0313703509983583], ["D074", 2.0313703509983583], ["D075", 2.0313703509983583], ["D076", 2.0313703509983583], ["D078", 2.0313703509983583], ["D004", 1.5191890708736968], ["D018", 1.5191890708736968], ["D016", 1.0173910382901947]], "abstain": false, "online_ms": 0.7233829237520695, "success": true}
{"scale": 96, "query_id": "Q12", "category": "paraphrase", "relevant": ["D011"], "method": "embedding", "ranking": [["D011", 0.531393288880624], ["D069", 0.4289518403629073], ["D087", 0.4111946529083013], ["D051", 0.40209216761627137], ["D033", 0.3702905163656415], ["D070", 0.3190375188250224], ["D088", 0.2887973538661237], ["D074", 0.286323779307152], ["D071", 0.2832481162452951], ["D077", 0.27763130629766275], ["D034", 0.2712642869153915], ["D092", 0.2695236967518716], ["D064", 0.26378721349789425], ["D075", 0.26084830205097703], ["D062", 0.2598049827152876], ["D072", 0.258252787123321], ["D052", 0.2579770127791544], ["D089", 0.2483751099101164], ["D066", 0.2470589694620131], ["D056", 0.24434707389434923], ["D093", 0.24313064498732842], ["D065", 0.24143662612286776], ["D084", 0.2312954473026976], ["D078", 0.23068760857154813], ["D095", 0.23039447318848466], ["D082", 0.22647380244749343], ["D041", 0.22036549781063522], ["D038", 0.21938063209646397], ["D083", 0.2155258860302527], ["D090", 0.21468557587972692], ["D080", 0.21103895542231033], ["D059", 0.21092912097945526], ["D063", 0.20721460812412731], ["D068", 0.20489085109652821], ["D048", 0.20362345019874795], ["D096", 0.2013199369597278], ["D053", 0.20083484741759658], ["D086", 0.19862586453596404], ["D061", 0.1985036679535242], ["D021", 0.19783540531563706], ["D035", 0.19623515748753634], ["D006", 0.19586849139337714], ["D067", 0.19439369192031392], ["D047", 0.19372660494005062], ["D057", 0.19316175039669775], ["D028", 0.19222457054169328], ["D046", 0.19158366058739523], ["D039", 0.18965007843709636], ["D081", 0.1862348069865402], ["D076", 0.18615022374726542], ["D073", 0.18084365380338355], ["D054", 0.17919262878653497], ["D094", 0.17837831789238007], ["D001", 0.1747674499896656], ["D030", 0.17371104141811225], ["D085", 0.16977886746070894], ["D050", 0.1658346298864305], ["D044", 0.16395411059377074], ["D017", 0.1637037805748701], ["D060", 0.1633654741370218], ["D029", 0.16271813000792792], ["D079", 0.1593349977505091], ["D026", 0.15875625465795298], ["D042", 0.15852156312753146], ["D091", 0.15801117273353144], ["D031", 0.15401610627362544], ["D036", 0.15289061480323163], ["D040", 0.14743660728834804], ["D045", 0.1471084693679457], ["D027", 0.14637724671167973], ["D058", 0.14355107923564006], ["D043", 0.1367586107435503], ["D049", 0.13429658556026453], ["D025", 0.13363175833465735], ["D032", 0.1335319749187631], ["D009", 0.12764092148624778], ["D055", 0.12595150406582933], ["D037", 0.12589636115842204], ["D003", 0.11915782391935704], ["D016", 0.10409439005308765], ["D020", 0.10086408849036226], ["D023", 0.0886241461327978], ["D018", 0.08493834516946473], ["D010", 0.07748809473666933], ["D013", 0.07543301013272638], ["D019", 0.06690303453800273], ["D007", 0.054573300137014544], ["D005", 0.05021391326531516], ["D012", 0.036564980585488176], ["D022", 0.03542054192335102], ["D004", 0.0353245430853148], ["D015", 0.031847641112019494], ["D002", 0.0012853638207935593], ["D024", -0.0055880930619555645], ["D008", -0.019654159628885823], ["D014", -0.09159441682436434]], "abstain": false, "online_ms": 63.77824302762747, "success": true}
{"scale": 96, "query_id": "Q12", "category": "paraphrase", "relevant": ["D011"], "method": "hybrid", "ranking": [["D011", 0.91], ["D033", 0.21], ["D051", 0.17], ["D001", 0.06], ["D021", 0.05], ["D002", 0.03], ["D008", 0.03], ["D023", 0.03]], "abstain": false, "online_ms": 161.3528688903898, "api_roundtrip_ms": 160.62948596663773, "success": true, "usage": {"input_tokens": 1107, "output_tokens": 156}}
{"scale": 96, "query_id": "Q12", "category": "paraphrase", "relevant": ["D011"], "method": "direct", "ranking": [["D011", 0.97], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 277.51329191960394, "api_roundtrip_ms": 277.51329191960394, "success": true, "choice": "D011", "answer_exists": 0.88, "usage": {"input_tokens": 8609, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q13", "category": "paraphrase", "relevant": ["D012"], "method": "bm25", "ranking": [["D012", 13.340628581819175], ["D034", 5.142295918517146], ["D052", 5.142295918517146], ["D088", 5.142295918517146], ["D070", 5.06091587137732], ["D003", 4.475344350446173], ["D014", 4.462813261487118], ["D006", 4.260809610208788], ["D019", 4.147311979214041], ["D022", 2.8655617933804476], ["D013", 1.529380695667818], ["D004", 1.5191890708736968], ["D005", 1.5191890708736968], ["D018", 1.5191890708736968], ["D007", 1.3404992601935406], ["D008", 1.3404992601935406], ["D015", 1.3404992601935406], ["D011", 1.3287792852809988], ["D017", 1.3287792852809988], ["D021", 1.3287792852809988], ["D001", 1.3059435756343993], ["D002", 1.3059435756343993], ["D025", 1.2419148668360116], ["D026", 1.2419148668360116], ["D027", 1.2419148668360116], ["D028", 1.2419148668360116], ["D029", 1.2419148668360116], ["D031", 1.2419148668360116], ["D033", 1.2419148668360116], ["D035", 1.2419148668360116], ["D041", 1.2419148668360116], ["D043", 1.2419148668360116], ["D044", 1.2419148668360116], ["D045", 1.2419148668360116], ["D046", 1.2419148668360116], ["D047", 1.2419148668360116], ["D049", 1.2419148668360116], ["D051", 1.2419148668360116], ["D053", 1.2419148668360116], ["D059", 1.2419148668360116], ["D079", 1.2419148668360116], ["D080", 1.2419148668360116], ["D081", 1.2419148668360116], ["D082", 1.2419148668360116], ["D083", 1.2419148668360116], ["D085", 1.2419148668360116], ["D087", 1.2419148668360116], ["D089", 1.2419148668360116], ["D095", 1.2419148668360116], ["D030", 1.2219447481904193], ["D032", 1.2219447481904193], ["D036", 1.2219447481904193], ["D037", 1.2219447481904193], ["D038", 1.2219447481904193], ["D039", 1.2219447481904193], ["D040", 1.2219447481904193], ["D042", 1.2219447481904193], ["D048", 1.2219447481904193], ["D050", 1.2219447481904193], ["D054", 1.2219447481904193], ["D055", 1.2219447481904193], ["D056", 1.2219447481904193], ["D057", 1.2219447481904193], ["D058", 1.2219447481904193], ["D060", 1.2219447481904193], ["D061", 1.2219447481904193], ["D062", 1.2219447481904193], ["D063", 1.2219447481904193], ["D064", 1.2219447481904193], ["D065", 1.2219447481904193], ["D067", 1.2219447481904193], ["D069", 1.2219447481904193], ["D071", 1.2219447481904193], ["D077", 1.2219447481904193], ["D084", 1.2219447481904193], ["D086", 1.2219447481904193], ["D090", 1.2219447481904193], ["D091", 1.2219447481904193], ["D092", 1.2219447481904193], ["D093", 1.2219447481904193], ["D094", 1.2219447481904193], ["D096", 1.2219447481904193], ["D066", 1.2026067087648948], ["D068", 1.2026067087648948], ["D072", 1.2026067087648948], ["D073", 1.2026067087648948], ["D074", 1.2026067087648948], ["D075", 1.2026067087648948], ["D076", 1.2026067087648948], ["D078", 1.2026067087648948], ["D009", 1.0453828179635614], ["D023", 1.0453828179635614], ["D016", 1.0173910382901947], ["D020", 0.9656760297840775], ["D010", 0.8972628702137293], ["D024", 0.0]], "abstain": false, "online_ms": 18.13894114457071, "success": true}
{"scale": 96, "query_id": "Q13", "category": "paraphrase", "relevant": ["D012"], "method": "embedding", "ranking": [["D012", 0.5817161334512592], ["D052", 0.20919998503888276], ["D003", 0.15479385871337736], ["D070", 0.1513088336912924], ["D019", 0.1431522050534386], ["D088", 0.13185177096390294], ["D034", 0.12408603500569597], ["D020", 0.11746624398591471], ["D001", 0.09116542254379963], ["D013", 0.08905273262934957], ["D005", 0.08789788153717512], ["D018", 0.0868245215587655], ["D015", 0.07657745631573444], ["D024", 0.0758960460207482], ["D021", 0.07579242632665806], ["D008", 0.07352568854291097], ["D006", 0.06695918607269799], ["D007", 0.048742911949170936], ["D017", 0.03953687072510701], ["D022", 0.03565071750218987], ["D023", 0.03350772266924838], ["D002", 0.018759132140008232], ["D053", 0.01753042171014017], ["D058", 0.01156650653453022], ["D004", 0.009256159006602302], ["D051", 0.007517616348412829], ["D057", 0.006772090842501745], ["D048", 0.0051021712992269505], ["D047", 0.0038136161843797256], ["D054", 0.003753201621886384], ["D043", 0.00034735866401841564], ["D010", -0.000922788650562785], ["D014", -0.0019770680092379422], ["D011", -0.0024637612235901343], ["D044", -0.0038121026858914456], ["D049", -0.00710545223428757], ["D059", -0.01497464314672134], ["D050", -0.015996999697939385], ["D009", -0.019288674362830483], ["D045", -0.019308099504844543], ["D046", -0.021301324139002098], ["D055", -0.026898313265342515], ["D060", -0.03489214475677593], ["D071", -0.04402784570391026], ["D089", -0.04837801033389737], ["D066", -0.0504378515680747], ["D094", -0.05109678482491886], ["D084", -0.05357951195174501], ["D087", -0.055859824605962324], ["D090", -0.0563933268958157], ["D069", -0.056427013813157414], ["D040", -0.05711516884162508], ["D093", -0.05755579768018053], ["D072", -0.05908356068108368], ["D030", -0.06055830965943134], ["D076", -0.060567080871469337], ["D035", -0.06130933653439724], ["D075", -0.06221981507834535], ["D083", -0.06286421531119693], ["D079", -0.06329837957701259], ["D061", -0.06446686526641143], ["D086", -0.06568557932608185], ["D062", -0.06653511270399187], ["D085", -0.06795315263237878], ["D039", -0.06845199920240466], ["D036", -0.06857932791986289], ["D065", -0.06878664456925342], ["D067", -0.07005221652976656], ["D033", -0.07043053233334137], ["D068", -0.07057158810375158], ["D025", -0.07149291659574109], ["D080", -0.0718493763211404], ["D029", -0.07194531491001083], ["D056", -0.07269892055422345], ["D026", -0.07684300106647124], ["D063", -0.0779719740935953], ["D031", -0.07880427300924238], ["D032", -0.081480538648057], ["D073", -0.0844982734196736], ["D077", -0.08503124467714052], ["D081", -0.08509331422108682], ["D095", -0.08854079200742257], ["D027", -0.08877570541888588], ["D078", -0.09031859051522392], ["D096", -0.09077664113119188], ["D091", -0.09159312760509271], ["D064", -0.09288401184000258], ["D041", -0.09507034788984453], ["D082", -0.09568797193365396], ["D037", -0.09579750617504598], ["D028", -0.09912204642109372], ["D042", -0.10398160458091368], ["D016", -0.11239947836824388], ["D074", -0.12856463486815412], ["D038", -0.1286642020466267], ["D092", -0.12892727451980757]], "abstain": false, "online_ms": 57.40958615206182, "success": true}
{"scale": 96, "query_id": "Q13", "category": "paraphrase", "relevant": ["D012"], "method": "hybrid", "ranking": [["D012", 0.91], ["D003", 0.04], ["D034", 0.03], ["D052", 0.03], ["D070", 0.03], ["D088", 0.03], ["D006", 0.02], ["D014", 0.02]], "abstain": false, "online_ms": 166.31233016960323, "api_roundtrip_ms": 148.17338902503252, "success": true, "usage": {"input_tokens": 1159, "output_tokens": 156}}
{"scale": 96, "query_id": "Q13", "category": "paraphrase", "relevant": ["D012"], "method": "direct", "ranking": [["D012", 0.78], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 188.1815600208938, "api_roundtrip_ms": 188.1815600208938, "success": true, "choice": "D012", "answer_exists": 0.67, "usage": {"input_tokens": 8608, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q14", "category": "lexical", "relevant": ["D013"], "method": "bm25", "ranking": [["D013", 15.212575642479102], ["D022", 9.305746255124701], ["D012", 9.179727732349757], ["D035", 4.97402358723659], ["D053", 4.97402358723659], ["D089", 4.97402358723659], ["D071", 4.894040776952537], ["D003", 4.475344350446173], ["D014", 4.462813261487118], ["D006", 4.260809610208788], ["D019", 4.147311979214041], ["D024", 3.865667805992172], ["D004", 1.5191890708736968], ["D005", 1.5191890708736968], ["D018", 1.5191890708736968], ["D007", 1.3404992601935406], ["D008", 1.3404992601935406], ["D015", 1.3404992601935406], ["D011", 1.3287792852809988], ["D017", 1.3287792852809988], ["D021", 1.3287792852809988], ["D001", 1.3059435756343993], ["D002", 1.3059435756343993], ["D025", 1.2419148668360116], ["D026", 1.2419148668360116], ["D027", 1.2419148668360116], ["D028", 1.2419148668360116], ["D029", 1.2419148668360116], ["D031", 1.2419148668360116], ["D033", 1.2419148668360116], ["D041", 1.2419148668360116], ["D043", 1.2419148668360116], ["D044", 1.2419148668360116], ["D045", 1.2419148668360116], ["D046", 1.2419148668360116], ["D047", 1.2419148668360116], ["D049", 1.2419148668360116], ["D051", 1.2419148668360116], ["D059", 1.2419148668360116], ["D079", 1.2419148668360116], ["D080", 1.2419148668360116], ["D081", 1.2419148668360116], ["D082", 1.2419148668360116], ["D083", 1.2419148668360116], ["D085", 1.2419148668360116], ["D087", 1.2419148668360116], ["D095", 1.2419148668360116], ["D030", 1.2219447481904193], ["D032", 1.2219447481904193], ["D034", 1.2219447481904193], ["D036", 1.2219447481904193], ["D037", 1.2219447481904193], ["D038", 1.2219447481904193], ["D039", 1.2219447481904193], ["D040", 1.2219447481904193], ["D042", 1.2219447481904193], ["D048", 1.2219447481904193], ["D050", 1.2219447481904193], ["D052", 1.2219447481904193], ["D054", 1.2219447481904193], ["D055", 1.2219447481904193], ["D056", 1.2219447481904193], ["D057", 1.2219447481904193], ["D058", 1.2219447481904193], ["D060", 1.2219447481904193], ["D061", 1.2219447481904193], ["D062", 1.2219447481904193], ["D063", 1.2219447481904193], ["D064", 1.2219447481904193], ["D065", 1.2219447481904193], ["D067", 1.2219447481904193], ["D069", 1.2219447481904193], ["D077", 1.2219447481904193], ["D084", 1.2219447481904193], ["D086", 1.2219447481904193], ["D088", 1.2219447481904193], ["D090", 1.2219447481904193], ["D091", 1.2219447481904193], ["D092", 1.2219447481904193], ["D093", 1.2219447481904193], ["D094", 1.2219447481904193], ["D096", 1.2219447481904193], ["D066", 1.2026067087648948], ["D068", 1.2026067087648948], ["D070", 1.2026067087648948], ["D072", 1.2026067087648948], ["D073", 1.2026067087648948], ["D074", 1.2026067087648948], ["D075", 1.2026067087648948], ["D076", 1.2026067087648948], ["D078", 1.2026067087648948], ["D009", 1.0453828179635614], ["D023", 1.0453828179635614], ["D016", 1.0173910382901947], ["D020", 0.9656760297840775], ["D010", 0.8972628702137293]], "abstain": false, "online_ms": 0.7727430202066898, "success": true}
{"scale": 96, "query_id": "Q14", "category": "lexical", "relevant": ["D013"], "method": "embedding", "ranking": [["D013", 0.6623055838786226], ["D021", 0.2625019768019452], ["D006", 0.26150977764041744], ["D001", 0.2535476661204469], ["D018", 0.22886755816027743], ["D071", 0.2230558603389874], ["D003", 0.21246719815587894], ["D072", 0.20114652818481618], ["D023", 0.18393511741257834], ["D012", 0.18030877658258188], ["D017", 0.1798833805722383], ["D007", 0.17725876221666592], ["D053", 0.1760095826149344], ["D014", 0.1652518863144353], ["D054", 0.155553698820789], ["D002", 0.1482694058166685], ["D062", 0.14457167204841223], ["D022", 0.14244382978425507], ["D077", 0.13364168623373063], ["D020", 0.13272481426356253], ["D090", 0.13188880616923687], ["D073", 0.12863456325162662], ["D089", 0.12211939354633664], ["D075", 0.1208971402558197], ["D061", 0.11558653237011679], ["D078", 0.10761648296395127], ["D004", 0.1058038167824456], ["D055", 0.10447747907253217], ["D019", 0.10409548159817436], ["D015", 0.10306759741021213], ["D076", 0.10237902197180367], ["D044", 0.09722700626260261], ["D064", 0.09042021664285335], ["D059", 0.08767241627024182], ["D011", 0.07732636879356489], ["D058", 0.0772816091945759], ["D005", 0.07330500692429164], ["D069", 0.07182244599592733], ["D043", 0.07019179806049478], ["D035", 0.0682653774020261], ["D080", 0.06692294921316426], ["D091", 0.06615527216567234], ["D057", 0.06582473769427766], ["D067", 0.06507734898898156], ["D065", 0.06341467724045588], ["D024", 0.0634005301707592], ["D036", 0.06003336145665216], ["D060", 0.06000837929693523], ["D070", 0.05695675923560868], ["D066", 0.054087006887061355], ["D008", 0.05024898512759374], ["D074", 0.04580888377174934], ["D046", 0.04016028488522088], ["D063", 0.0388204674402209], ["D079", 0.038613520865168886], ["D094", 0.037357302247109134], ["D093", 0.03691368663226373], ["D048", 0.035611987398113366], ["D096", 0.03541917584215716], ["D095", 0.03474469788046315], ["D052", 0.033846189161010544], ["D068", 0.03354717105784926], ["D047", 0.02812202643136586], ["D009", 0.01881459946018253], ["D037", 0.016455323118182576], ["D049", 0.015454755382042216], ["D026", 0.008158034607527238], ["D041", 0.00594828986630782], ["D056", 0.0034651373006017658], ["D042", 0.003312723288005654], ["D050", 0.0032450078141668323], ["D045", 0.000830906530659592], ["D082", 7.2019703722010775e-06], ["D040", -0.00401588866174336], ["D051", -0.007433513661843031], ["D084", -0.007706938621471376], ["D083", -0.011899135198828868], ["D088", -0.012356560350160082], ["D039", -0.012448476022423847], ["D085", -0.01294025412677231], ["D025", -0.020254503187335557], ["D092", -0.03208597588838322], ["D086", -0.03618245661018418], ["D081", -0.04181020938455697], ["D087", -0.0444345796492252], ["D028", -0.04652485362643454], ["D031", -0.04985018324959135], ["D029", -0.05291650436656595], ["D010", -0.055677377199901526], ["D034", -0.0583082908524483], ["D030", -0.06072097108580009], ["D016", -0.06210955855243161], ["D033", -0.06753633736756035], ["D038", -0.07399213933132023], ["D032", -0.07827623452440768], ["D027", -0.08005467313000739]], "abstain": false, "online_ms": 65.29040494933724, "success": true}
{"scale": 96, "query_id": "Q14", "category": "lexical", "relevant": ["D013"], "method": "hybrid", "ranking": [["D013", 0.96], ["D035", 0.03], ["D053", 0.03], ["D071", 0.03], ["D089", 0.03], ["D003", 0.02], ["D012", 0.02], ["D022", 0.02]], "abstain": false, "online_ms": 136.1227580346167, "api_roundtrip_ms": 135.35001501441002, "success": true, "usage": {"input_tokens": 1136, "output_tokens": 156}}
{"scale": 96, "query_id": "Q14", "category": "lexical", "relevant": ["D013"], "method": "direct", "ranking": [["D013", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 216.28674399107695, "api_roundtrip_ms": 216.28674399107695, "success": true, "choice": "D013", "answer_exists": 0.97, "usage": {"input_tokens": 8602, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q15", "category": "paraphrase", "relevant": ["D014"], "method": "bm25", "ranking": [["D014", 16.99588872229515], ["D012", 8.194416117977255], ["D002", 7.7733831052532825], ["D003", 7.7659340318193895], ["D036", 7.586185414897985], ["D054", 7.586185414897985], ["D090", 7.586185414897985], ["D072", 7.46612928890711], ["D006", 7.259225524033487], ["D022", 6.817875354955746], ["D019", 6.781836918122992], ["D013", 4.588142087003454], ["D004", 4.55756721262109], ["D005", 4.55756721262109], ["D018", 4.55756721262109], ["D007", 4.021497780580622], ["D008", 4.021497780580622], ["D015", 4.021497780580622], ["D011", 3.9863378558429963], ["D017", 3.9863378558429963], ["D021", 3.9863378558429963], ["D001", 3.917830726903198], ["D025", 3.725744600508035], ["D026", 3.725744600508035], ["D027", 3.725744600508035], ["D028", 3.725744600508035], ["D029", 3.725744600508035], ["D031", 3.725744600508035], ["D033", 3.725744600508035], ["D035", 3.725744600508035], ["D041", 3.725744600508035], ["D043", 3.725744600508035], ["D044", 3.725744600508035], ["D045", 3.725744600508035], ["D046", 3.725744600508035], ["D047", 3.725744600508035], ["D049", 3.725744600508035], ["D051", 3.725744600508035], ["D053", 3.725744600508035], ["D059", 3.725744600508035], ["D079", 3.725744600508035], ["D080", 3.725744600508035], ["D081", 3.725744600508035], ["D082", 3.725744600508035], ["D083", 3.725744600508035], ["D085", 3.725744600508035], ["D087", 3.725744600508035], ["D089", 3.725744600508035], ["D095", 3.725744600508035], ["D030", 3.6658342445712577], ["D032", 3.6658342445712577], ["D034", 3.6658342445712577], ["D037", 3.6658342445712577], ["D038", 3.6658342445712577], ["D039", 3.6658342445712577], ["D040", 3.6658342445712577], ["D042", 3.6658342445712577], ["D048", 3.6658342445712577], ["D050", 3.6658342445712577], ["D052", 3.6658342445712577], ["D055", 3.6658342445712577], ["D056", 3.6658342445712577], ["D057", 3.6658342445712577], ["D058", 3.6658342445712577], ["D060", 3.6658342445712577], ["D061", 3.6658342445712577], ["D062", 3.6658342445712577], ["D063", 3.6658342445712577], ["D064", 3.6658342445712577], ["D065", 3.6658342445712577], ["D067", 3.6658342445712577], ["D069", 3.6658342445712577], ["D071", 3.6658342445712577], ["D077", 3.6658342445712577], ["D084", 3.6658342445712577], ["D086", 3.6658342445712577], ["D088", 3.6658342445712577], ["D091", 3.6658342445712577], ["D092", 3.6658342445712577], ["D093", 3.6658342445712577], ["D094", 3.6658342445712577], ["D096", 3.6658342445712577], ["D066", 3.6078201262946843], ["D068", 3.6078201262946843], ["D070", 3.6078201262946843], ["D073", 3.6078201262946843], ["D074", 3.6078201262946843], ["D075", 3.6078201262946843], ["D076", 3.6078201262946843], ["D078", 3.6078201262946843], ["D009", 3.136148453890684], ["D023", 3.136148453890684], ["D016", 3.052173114870584], ["D020", 2.8970280893522324], ["D010", 2.691788610641188], ["D024", 0.0]], "abstain": false, "online_ms": 0.8867068681865931, "success": true}
{"scale": 96, "query_id": "Q15", "category": "paraphrase", "relevant": ["D014"], "method": "embedding", "ranking": [["D014", 0.47793676503659277], ["D036", 0.36619975166057805], ["D072", 0.35534211662642246], ["D090", 0.35242172905131713], ["D054", 0.31428369777376813], ["D026", 0.2089473036403237], ["D002", 0.2072216716722146], ["D020", 0.19718774688630425], ["D080", 0.18294774001394715], ["D024", 0.18131412370133865], ["D008", 0.17898294722014862], ["D062", 0.17141247809527865], ["D044", 0.17026693618716118], ["D012", 0.16907767215024683], ["D030", 0.16162605320430667], ["D022", 0.16035799030620557], ["D005", 0.15904362760927943], ["D048", 0.1585981921437003], ["D010", 0.15536387857985626], ["D084", 0.15224513194734962], ["D066", 0.1516638822349135], ["D009", 0.1491054645203158], ["D013", 0.14688533235239923], ["D031", 0.14128327331829477], ["D029", 0.13961685889615144], ["D035", 0.13867935004335705], ["D028", 0.13504302716570066], ["D037", 0.13362609154796543], ["D006", 0.13341857001053986], ["D042", 0.13103885572838692], ["D083", 0.12862585083524403], ["D085", 0.12740010343747468], ["D047", 0.12692448083837832], ["D041", 0.12297746468295719], ["D001", 0.11772153743700944], ["D025", 0.11759246778021165], ["D064", 0.11742350380349892], ["D018", 0.11728649287880995], ["D049", 0.11671754153974068], ["D046", 0.11592014063274796], ["D078", 0.11571072258721332], ["D021", 0.11560620851878081], ["D003", 0.11462883279162614], ["D065", 0.11347121256041065], ["D082", 0.11338961445313575], ["D067", 0.11293384114708449], ["D089", 0.10930406944046242], ["D096", 0.10831665502411084], ["D053", 0.10671390202808306], ["D071", 0.10314324422159005], ["D060", 0.10067069691999465], ["D095", 0.09819713996301169], ["D055", 0.09745596075828544], ["D043", 0.09738873811306835], ["D061", 0.09736963540198212], ["D073", 0.09683530389692965], ["D079", 0.09652889510687497], ["D091", 0.09637085636138257], ["D059", 0.09495718700527828], ["D027", 0.09475126866010802], ["D077", 0.09377123269344462], ["D038", 0.09032273715028885], ["D032", 0.08430682015506036], ["D039", 0.0838549237843816], ["D045", 0.08279502188395786], ["D034", 0.07948932783946551], ["D007", 0.07775343430202011], ["D070", 0.07636477311921724], ["D033", 0.07621175707328992], ["D052", 0.07232061413097839], ["D074", 0.07180524122904436], ["D040", 0.07179124516057911], ["D081", 0.0710966533388398], ["D019", 0.0705632292677274], ["D092", 0.06937114641194385], ["D056", 0.0691204680643384], ["D063", 0.06896727014448006], ["D017", 0.06307342451078485], ["D088", 0.06294821224579543], ["D093", 0.06281810428324318], ["D086", 0.06242981010994262], ["D068", 0.06218033128722588], ["D075", 0.058098130071254125], ["D057", 0.05674294261365872], ["D087", 0.05604038873871673], ["D050", 0.05564609078264025], ["D069", 0.055520354103743834], ["D051", 0.05368949561296525], ["D015", 0.0530048343198721], ["D058", 0.046694858419913644], ["D016", 0.04283298305981989], ["D076", 0.042447745766269446], ["D094", 0.03902142615430944], ["D011", 0.024605138942985737], ["D023", 0.022121395597846406], ["D004", 0.004816552908114766]], "abstain": true, "online_ms": 77.93148001655936, "success": true}
{"scale": 96, "query_id": "Q15", "category": "paraphrase", "relevant": ["D014"], "method": "hybrid", "ranking": [["D014", 0.95], ["D002", 0.03], ["D036", 0.03], ["D054", 0.03], ["D072", 0.03], ["D090", 0.03], ["D003", 0.02], ["D012", 0.02]], "abstain": false, "online_ms": 145.21203190088272, "api_roundtrip_ms": 144.32532503269613, "success": true, "usage": {"input_tokens": 1158, "output_tokens": 156}}
{"scale": 96, "query_id": "Q15", "category": "paraphrase", "relevant": ["D014"], "method": "direct", "ranking": [["D014", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 207.49249309301376, "api_roundtrip_ms": 207.49249309301376, "success": true, "choice": "D014", "answer_exists": 0.92, "usage": {"input_tokens": 8609, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q16", "category": "lexical", "relevant": ["D015"], "method": "bm25", "ranking": [["D015", 7.733698723283276], ["D019", 6.059192819135275], ["D073", 4.646608264993576], ["D076", 4.646608264993576], ["D016", 4.216887190763096], ["D001", 3.855552378350084], ["D037", 2.797308946339495], ["D040", 2.797308946339495], ["D055", 2.797308946339495], ["D058", 2.797308946339495], ["D091", 2.797308946339495], ["D094", 2.797308946339495], ["D020", 2.210651669300889], ["D061", 1.924017256919783], ["D062", 1.924017256919783], ["D063", 1.924017256919783], ["D064", 1.924017256919783], ["D065", 1.924017256919783], ["D067", 1.924017256919783], ["D069", 1.924017256919783], ["D071", 1.924017256919783], ["D077", 1.924017256919783], ["D066", 1.893568481208112], ["D068", 1.893568481208112], ["D070", 1.893568481208112], ["D072", 1.893568481208112], ["D074", 1.893568481208112], ["D075", 1.893568481208112], ["D078", 1.893568481208112], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D017", 0.0], ["D018", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D038", 0.0], ["D039", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D056", 0.0], ["D057", 0.0], ["D059", 0.0], ["D060", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D092", 0.0], ["D093", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 0.8588850032538176, "success": true}
{"scale": 96, "query_id": "Q16", "category": "lexical", "relevant": ["D015"], "method": "embedding", "ranking": [["D015", 0.7715060935693836], ["D073", 0.49506285147276674], ["D019", 0.45283979800719254], ["D076", 0.43871793012682336], ["D091", 0.37964767438838687], ["D037", 0.35226724693097855], ["D055", 0.35104954149111395], ["D020", 0.34855870552585255], ["D094", 0.31694903942744246], ["D058", 0.3063926238995548], ["D023", 0.30479958567671916], ["D040", 0.29513568029009285], ["D007", 0.2950565954378192], ["D005", 0.24972627269716258], ["D009", 0.24170177474868398], ["D070", 0.23260353663772892], ["D075", 0.22112457167940874], ["D063", 0.22082566505034676], ["D069", 0.21515865060445447], ["D067", 0.20676811008932444], ["D004", 0.20494110607421354], ["D021", 0.20399399003808805], ["D071", 0.20300047747455163], ["D066", 0.19274299701081954], ["D062", 0.19194501693126942], ["D064", 0.186743644445672], ["D078", 0.18224572867223798], ["D008", 0.1760235023460204], ["D061", 0.17197449487406868], ["D017", 0.16980828993832753], ["D077", 0.16860985010211182], ["D001", 0.1527647743409149], ["D068", 0.15129562224302173], ["D013", 0.1393327107362763], ["D074", 0.13739511555726874], ["D065", 0.13584196900973095], ["D072", 0.1312886891742316], ["D003", 0.12619951590472528], ["D018", 0.11648569252580308], ["D022", 0.11024565525367584], ["D012", 0.10873140133827647], ["D002", 0.10556199987878412], ["D052", 0.0987244272344012], ["D081", 0.08976074455786232], ["D088", 0.08269754354362721], ["D045", 0.07661763469192608], ["D034", 0.07536977234286049], ["D093", 0.07202054105371883], ["D016", 0.07050211048980429], ["D057", 0.06966020336498815], ["D024", 0.06566217551852649], ["D049", 0.06368280240052149], ["D027", 0.06341134550838377], ["D085", 0.05701494508581233], ["D051", 0.05549245831719857], ["D039", 0.05343566116769266], ["D053", 0.052467802132087446], ["D031", 0.05028074619782694], ["D087", 0.04927390291151567], ["D089", 0.048948074113003316], ["D048", 0.04515901323031295], ["D033", 0.04505388974159604], ["D084", 0.04389844781331236], ["D080", 0.04071336622543839], ["D035", 0.03684889543406457], ["D096", 0.036386063984146746], ["D006", 0.035415851673922694], ["D044", 0.033175704733881164], ["D042", 0.03257310044982656], ["D046", 0.03019228829126236], ["D086", 0.026174482925047413], ["D060", 0.024829641019955058], ["D043", 0.02380319573245609], ["D079", 0.023073558124537544], ["D082", 0.022295999108994494], ["D030", 0.021252430794911438], ["D026", 0.01900666508356212], ["D059", 0.01316456072859738], ["D050", 0.01215681672816927], ["D028", 0.007988858583510054], ["D056", 0.005222907235158829], ["D011", 0.004459329845027667], ["D092", 0.0038345722345003563], ["D047", -0.0013968828686597556], ["D032", -0.0021041195785253394], ["D029", -0.0025436858690796645], ["D095", -0.0027141943222715277], ["D025", -0.003215227497711644], ["D090", -0.005472151037172048], ["D083", -0.006457443887640235], ["D038", -0.011541784350672638], ["D054", -0.012104186015774631], ["D036", -0.012393473344860044], ["D041", -0.013764424022009496], ["D010", -0.024654912174444543], ["D014", -0.06410898302185132]], "abstain": false, "online_ms": 59.4671000726521, "success": true}
{"scale": 96, "query_id": "Q16", "category": "lexical", "relevant": ["D015"], "method": "hybrid", "ranking": [["D015", 0.96], ["D019", 0.07], ["D073", 0.04], ["D037", 0.03], ["D040", 0.03], ["D076", 0.03], ["D001", 0.02], ["D016", 0.02]], "abstain": false, "online_ms": 179.90355798974633, "api_roundtrip_ms": 179.04467298649251, "success": true, "usage": {"input_tokens": 1167, "output_tokens": 156}}
{"scale": 96, "query_id": "Q16", "category": "lexical", "relevant": ["D015"], "method": "direct", "ranking": [["D015", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 196.7876988928765, "api_roundtrip_ms": 196.7876988928765, "success": true, "choice": "D015", "answer_exists": 0.97, "usage": {"input_tokens": 8603, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q17", "category": "multi_evidence", "relevant": ["D017", "D018"], "method": "bm25", "ranking": [["D017", 33.59149789223591], ["D018", 26.193988717072166], ["D004", 13.418305256939458], ["D019", 11.945253639513258], ["D010", 8.3206236633159], ["D003", 8.195449477449756], ["D002", 7.781083401696995], ["D020", 7.47617902794623], ["D006", 7.164653679091317], ["D011", 5.315117141123995], ["D007", 4.612350579955236], ["D008", 4.612350579955236], ["D021", 4.564675463263058], ["D022", 4.323075251651884], ["D025", 4.216963679373774], ["D026", 4.216963679373774], ["D027", 4.216963679373774], ["D028", 4.216963679373774], ["D029", 4.216963679373774], ["D031", 4.216963679373774], ["D033", 4.216963679373774], ["D035", 4.216963679373774], ["D041", 4.216963679373774], ["D043", 4.216963679373774], ["D044", 4.216963679373774], ["D045", 4.216963679373774], ["D046", 4.216963679373774], ["D047", 4.216963679373774], ["D049", 4.216963679373774], ["D051", 4.216963679373774], ["D053", 4.216963679373774], ["D059", 4.216963679373774], ["D079", 4.216963679373774], ["D080", 4.216963679373774], ["D081", 4.216963679373774], ["D082", 4.216963679373774], ["D083", 4.216963679373774], ["D085", 4.216963679373774], ["D087", 4.216963679373774], ["D089", 4.216963679373774], ["D095", 4.216963679373774], ["D023", 4.1815312718542454], ["D030", 4.138377153877404], ["D032", 4.138377153877404], ["D034", 4.138377153877404], ["D036", 4.138377153877404], ["D037", 4.138377153877404], ["D038", 4.138377153877404], ["D039", 4.138377153877404], ["D040", 4.138377153877404], ["D042", 4.138377153877404], ["D048", 4.138377153877404], ["D050", 4.138377153877404], ["D052", 4.138377153877404], ["D054", 4.138377153877404], ["D055", 4.138377153877404], ["D056", 4.138377153877404], ["D057", 4.138377153877404], ["D058", 4.138377153877404], ["D060", 4.138377153877404], ["D061", 4.138377153877404], ["D062", 4.138377153877404], ["D063", 4.138377153877404], ["D064", 4.138377153877404], ["D065", 4.138377153877404], ["D067", 4.138377153877404], ["D069", 4.138377153877404], ["D071", 4.138377153877404], ["D077", 4.138377153877404], ["D084", 4.138377153877404], ["D086", 4.138377153877404], ["D088", 4.138377153877404], ["D090", 4.138377153877404], ["D091", 4.138377153877404], ["D092", 4.138377153877404], ["D093", 4.138377153877404], ["D094", 4.138377153877404], ["D096", 4.138377153877404], ["D066", 4.0627407019967166], ["D068", 4.0627407019967166], ["D070", 4.0627407019967166], ["D072", 4.0627407019967166], ["D073", 4.0627407019967166], ["D074", 4.0627407019967166], ["D075", 4.0627407019967166], ["D076", 4.0627407019967166], ["D078", 4.0627407019967166], ["D014", 3.532853359790117], ["D013", 3.058761391335636], ["D005", 3.0383781417473936], ["D012", 2.7291411520323985], ["D015", 2.680998520387081], ["D001", 2.6118871512687987], ["D009", 2.0907656359271227], ["D016", 2.0347820765803895], ["D024", 0.0]], "abstain": false, "online_ms": 1.3501900248229504, "success": true}
{"scale": 96, "query_id": "Q17", "category": "multi_evidence", "relevant": ["D017", "D018"], "method": "embedding", "ranking": [["D017", 0.831736012688957], ["D018", 0.7682638600706487], ["D007", 0.34800022423835153], ["D004", 0.330143101477888], ["D003", 0.31514600676390875], ["D020", 0.2712969202473219], ["D019", 0.266653560190121], ["D023", 0.25586654553107624], ["D021", 0.24472041900446395], ["D084", 0.21239146662800462], ["D066", 0.205350151005471], ["D091", 0.2029314617053375], ["D006", 0.19149320239390905], ["D001", 0.18810500189586865], ["D002", 0.18792360487850285], ["D022", 0.18417621362920586], ["D073", 0.17639396051891154], ["D037", 0.17573977679136274], ["D093", 0.1743292672029261], ["D094", 0.17206514340248974], ["D075", 0.16639789054241183], ["D030", 0.1642552231109094], ["D048", 0.15917570264013736], ["D040", 0.1584434201017406], ["D039", 0.154130570476531], ["D013", 0.14914074219596393], ["D076", 0.14671178831441883], ["D012", 0.1438014541415752], ["D077", 0.14155313425919053], ["D069", 0.1369511729369048], ["D087", 0.13638222716112014], ["D095", 0.1350075769644402], ["D055", 0.13483409757479478], ["D089", 0.13297601117685534], ["D041", 0.13173970494341938], ["D071", 0.13077148085290682], ["D015", 0.12869050612703753], ["D009", 0.12175606378794865], ["D033", 0.12123498610122892], ["D010", 0.1182459972905591], ["D035", 0.11442079283961958], ["D079", 0.11370308646135674], ["D005", 0.11349831440304901], ["D061", 0.11163873966415179], ["D058", 0.11103761163381584], ["D057", 0.11052384640169591], ["D086", 0.1087819986372836], ["D072", 0.10821991301707823], ["D068", 0.10721865082765022], ["D090", 0.10575990541228736], ["D065", 0.10173619656048924], ["D064", 0.10060248804459358], ["D070", 0.09980629416860717], ["D081", 0.09915991683920983], ["D029", 0.0986266250975248], ["D063", 0.0982681644768999], ["D083", 0.09748139640972338], ["D082", 0.09217883499681831], ["D028", 0.09151939810730778], ["D024", 0.08899874818512729], ["D034", 0.08684725169024005], ["D025", 0.08661010405051761], ["D059", 0.08596307741634082], ["D032", 0.08559546876200823], ["D062", 0.0851317270311247], ["D080", 0.08483410261385183], ["D088", 0.08471189966906731], ["D008", 0.08453863328223389], ["D011", 0.08419300885965285], ["D051", 0.08318961970621863], ["D014", 0.08194278286876826], ["D036", 0.07974798981497835], ["D078", 0.07888027108543606], ["D027", 0.07884668964457157], ["D092", 0.07649231448077086], ["D096", 0.07568539254719397], ["D042", 0.07464725555385562], ["D031", 0.07350571041613983], ["D074", 0.07221200835276037], ["D053", 0.06808700580465138], ["D026", 0.0621756587569835], ["D085", 0.060129311516106315], ["D067", 0.05725928359843894], ["D038", 0.05677992934853772], ["D050", 0.05411555376490879], ["D047", 0.052173495815448986], ["D043", 0.04740528001888712], ["D052", 0.04418611257769356], ["D045", 0.04411672005030777], ["D046", 0.03715998951694205], ["D054", 0.03438455401036865], ["D056", 0.02817224294478323], ["D060", 0.013569957219506937], ["D044", 0.012956746455049906], ["D049", 0.005502028833737342], ["D016", -0.05246998863803376]], "abstain": false, "online_ms": 62.35857401043177, "success": true}
{"scale": 96, "query_id": "Q17", "category": "multi_evidence", "relevant": ["D017", "D018"], "method": "hybrid", "ranking": [["D017", 0.96], ["D018", 0.95], ["D020", 0.07], ["D004", 0.04], ["D003", 0.03], ["D019", 0.03], ["D002", 0.02], ["D010", 0.02]], "abstain": false, "online_ms": 137.1591619681567, "api_roundtrip_ms": 135.80897194333375, "success": true, "usage": {"input_tokens": 1118, "output_tokens": 156}}
{"scale": 96, "query_id": "Q17", "category": "multi_evidence", "relevant": ["D017", "D018"], "method": "direct", "ranking": [["D017", 0.7], ["D018", 0.27], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 190.23776496760547, "api_roundtrip_ms": 190.23776496760547, "success": true, "choice": "D017", "answer_exists": 0.97, "usage": {"input_tokens": 8614, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q18", "category": "multi_evidence", "relevant": ["D019", "D020"], "method": "bm25", "ranking": [["D019", 33.40624487681644], ["D020", 24.863130310425696], ["D017", 12.085121000467753], ["D010", 11.684210035627398], ["D040", 10.607782128979016], ["D058", 10.607782128979016], ["D094", 10.607782128979016], ["D076", 10.429763299618932], ["D004", 9.88798210929435], ["D018", 9.397203051857076], ["D003", 8.195449477449756], ["D002", 7.781083401696995], ["D021", 7.623965972642692], ["D006", 7.164653679091317], ["D037", 6.9356861002169], ["D055", 6.9356861002169], ["D091", 6.9356861002169], ["D073", 6.815780485782181], ["D001", 5.59627961298461], ["D009", 5.444655212286474], ["D011", 5.315117141123995], ["D015", 4.8916501896879705], ["D007", 4.612350579955236], ["D008", 4.612350579955236], ["D022", 4.323075251651884], ["D025", 4.216963679373774], ["D026", 4.216963679373774], ["D027", 4.216963679373774], ["D028", 4.216963679373774], ["D029", 4.216963679373774], ["D031", 4.216963679373774], ["D033", 4.216963679373774], ["D035", 4.216963679373774], ["D041", 4.216963679373774], ["D043", 4.216963679373774], ["D044", 4.216963679373774], ["D045", 4.216963679373774], ["D046", 4.216963679373774], ["D047", 4.216963679373774], ["D049", 4.216963679373774], ["D051", 4.216963679373774], ["D053", 4.216963679373774], ["D059", 4.216963679373774], ["D079", 4.216963679373774], ["D080", 4.216963679373774], ["D081", 4.216963679373774], ["D082", 4.216963679373774], ["D083", 4.216963679373774], ["D085", 4.216963679373774], ["D087", 4.216963679373774], ["D089", 4.216963679373774], ["D095", 4.216963679373774], ["D023", 4.1815312718542454], ["D030", 4.138377153877404], ["D032", 4.138377153877404], ["D034", 4.138377153877404], ["D036", 4.138377153877404], ["D038", 4.138377153877404], ["D039", 4.138377153877404], ["D042", 4.138377153877404], ["D048", 4.138377153877404], ["D050", 4.138377153877404], ["D052", 4.138377153877404], ["D054", 4.138377153877404], ["D056", 4.138377153877404], ["D057", 4.138377153877404], ["D060", 4.138377153877404], ["D061", 4.138377153877404], ["D062", 4.138377153877404], ["D063", 4.138377153877404], ["D064", 4.138377153877404], ["D065", 4.138377153877404], ["D067", 4.138377153877404], ["D069", 4.138377153877404], ["D071", 4.138377153877404], ["D077", 4.138377153877404], ["D084", 4.138377153877404], ["D086", 4.138377153877404], ["D088", 4.138377153877404], ["D090", 4.138377153877404], ["D092", 4.138377153877404], ["D093", 4.138377153877404], ["D096", 4.138377153877404], ["D066", 4.0627407019967166], ["D068", 4.0627407019967166], ["D070", 4.0627407019967166], ["D072", 4.0627407019967166], ["D074", 4.0627407019967166], ["D075", 4.0627407019967166], ["D078", 4.0627407019967166], ["D014", 3.532853359790117], ["D013", 3.058761391335636], ["D005", 3.0383781417473936], ["D012", 2.7291411520323985], ["D016", 2.0347820765803895], ["D024", 0.0]], "abstain": false, "online_ms": 1.133267069235444, "success": true}
{"scale": 96, "query_id": "Q18", "category": "multi_evidence", "relevant": ["D019", "D020"], "method": "embedding", "ranking": [["D020", 0.816765383391302], ["D019", 0.806815737483504], ["D015", 0.376372440273251], ["D021", 0.3718750484065663], ["D076", 0.3697500896319427], ["D058", 0.3562100406170881], ["D094", 0.35142362131392935], ["D001", 0.341840227649351], ["D073", 0.32942062637522324], ["D017", 0.30256526930846783], ["D055", 0.29765323976596914], ["D040", 0.2973515238972111], ["D091", 0.28723093987675724], ["D002", 0.28178283614788746], ["D018", 0.2808168702719906], ["D070", 0.2713980281736911], ["D003", 0.2499049560619302], ["D004", 0.241277596370047], ["D007", 0.2392432918297028], ["D009", 0.23913088720517822], ["D037", 0.2386539462476182], ["D023", 0.22430258092255193], ["D052", 0.2240337708139257], ["D012", 0.22352623515751666], ["D077", 0.20494570129656248], ["D066", 0.19920338732012177], ["D072", 0.1985311753082744], ["D062", 0.19714759043063051], ["D088", 0.1903789199898658], ["D022", 0.184338545682595], ["D065", 0.172376018526313], ["D064", 0.1723180114066854], ["D048", 0.16614270355712524], ["D071", 0.16576273789578028], ["D078", 0.16558654427607614], ["D067", 0.16441563923422173], ["D059", 0.16437423076400282], ["D068", 0.1637183994065962], ["D069", 0.15829574166357469], ["D014", 0.15807361317479401], ["D011", 0.15655129931045553], ["D075", 0.15562024751326287], ["D034", 0.15281411745708626], ["D084", 0.14598659444907428], ["D013", 0.1368092606201329], ["D047", 0.13593712014061266], ["D095", 0.13562708251313016], ["D044", 0.13437397383187005], ["D054", 0.13236465448873008], ["D090", 0.1321314440668278], ["D049", 0.13213035312071267], ["D046", 0.12734705461279486], ["D061", 0.12726475855738809], ["D050", 0.12715011583170155], ["D080", 0.12225968746753227], ["D053", 0.12144329312634937], ["D057", 0.12128796949346107], ["D008", 0.11987578664300419], ["D051", 0.11504573801425326], ["D083", 0.11437811518345045], ["D085", 0.11365805230334196], ["D060", 0.1115332708874905], ["D096", 0.10820641350490517], ["D086", 0.10705169945113682], ["D089", 0.10485589727257003], ["D041", 0.10275120105440028], ["D093", 0.1014324082514581], ["D082", 0.10086350947323236], ["D024", 0.10038372922073446], ["D005", 0.0947432790643406], ["D074", 0.09018718318788145], ["D087", 0.08993106721903188], ["D030", 0.08980019608219603], ["D043", 0.08931661816775537], ["D063", 0.08633760945332745], ["D031", 0.08500572657622903], ["D026", 0.07905217387104928], ["D036", 0.07730384638815267], ["D029", 0.07353333528415426], ["D006", 0.06992420248467413], ["D042", 0.06919879737480354], ["D010", 0.06754744277785815], ["D028", 0.06492316305173343], ["D079", 0.06477488357742786], ["D045", 0.06392547474111206], ["D039", 0.06175683278076795], ["D032", 0.0615820550187473], ["D035", 0.05939138131284116], ["D033", 0.0584222766416678], ["D056", 0.050525989505818464], ["D092", 0.029936721580115747], ["D081", 0.023325166851517885], ["D025", 0.01879953003247039], ["D027", 0.0009275703508953084], ["D038", -0.011821368595631581], ["D016", -0.07140257329589399]], "abstain": false, "online_ms": 61.01404712535441, "success": true}
{"scale": 96, "query_id": "Q18", "category": "multi_evidence", "relevant": ["D019", "D020"], "method": "hybrid", "ranking": [["D019", 0.96], ["D020", 0.96], ["D040", 0.06], ["D058", 0.05], ["D076", 0.04], ["D094", 0.04], ["D010", 0.02], ["D017", 0.02]], "abstain": false, "online_ms": 183.56843013316393, "api_roundtrip_ms": 182.43516306392848, "success": true, "usage": {"input_tokens": 1171, "output_tokens": 156}}
{"scale": 96, "query_id": "Q18", "category": "multi_evidence", "relevant": ["D019", "D020"], "method": "direct", "ranking": [["D020", 0.57], ["D019", 0.42], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 189.99614799395204, "api_roundtrip_ms": 189.99614799395204, "success": true, "choice": "D020", "answer_exists": 0.97, "usage": {"input_tokens": 8615, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q19", "category": "multi_evidence", "relevant": ["D016", "D010"], "method": "bm25", "ranking": [["D016", 18.918246748623265], ["D032", 10.127916901142832], ["D038", 10.127916901142832], ["D050", 10.127916901142832], ["D056", 10.127916901142832], ["D086", 10.127916901142832], ["D092", 10.127916901142832], ["D068", 9.9524202156075], ["D074", 9.9524202156075], ["D010", 9.71256588542248], ["D021", 7.35585466114435], ["D002", 7.204854473923961], ["D023", 6.830138042659582], ["D017", 6.402296214793819], ["D019", 6.337805321200857], ["D025", 6.32544551906066], ["D026", 6.32544551906066], ["D027", 6.32544551906066], ["D028", 6.32544551906066], ["D029", 6.32544551906066], ["D031", 6.32544551906066], ["D033", 6.32544551906066], ["D035", 6.32544551906066], ["D041", 6.32544551906066], ["D043", 6.32544551906066], ["D044", 6.32544551906066], ["D045", 6.32544551906066], ["D046", 6.32544551906066], ["D047", 6.32544551906066], ["D049", 6.32544551906066], ["D051", 6.32544551906066], ["D053", 6.32544551906066], ["D059", 6.32544551906066], ["D079", 6.32544551906066], ["D080", 6.32544551906066], ["D081", 6.32544551906066], ["D082", 6.32544551906066], ["D083", 6.32544551906066], ["D085", 6.32544551906066], ["D087", 6.32544551906066], ["D089", 6.32544551906066], ["D095", 6.32544551906066], ["D001", 6.274641200497031], ["D030", 6.207565730816107], ["D034", 6.207565730816107], ["D036", 6.207565730816107], ["D037", 6.207565730816107], ["D039", 6.207565730816107], ["D040", 6.207565730816107], ["D042", 6.207565730816107], ["D048", 6.207565730816107], ["D052", 6.207565730816107], ["D054", 6.207565730816107], ["D055", 6.207565730816107], ["D057", 6.207565730816107], ["D058", 6.207565730816107], ["D060", 6.207565730816107], ["D061", 6.207565730816107], ["D062", 6.207565730816107], ["D063", 6.207565730816107], ["D064", 6.207565730816107], ["D065", 6.207565730816107], ["D067", 6.207565730816107], ["D069", 6.207565730816107], ["D071", 6.207565730816107], ["D077", 6.207565730816107], ["D084", 6.207565730816107], ["D088", 6.207565730816107], ["D090", 6.207565730816107], ["D091", 6.207565730816107], ["D093", 6.207565730816107], ["D094", 6.207565730816107], ["D096", 6.207565730816107], ["D066", 6.094111052995075], ["D070", 6.094111052995075], ["D072", 6.094111052995075], ["D073", 6.094111052995075], ["D075", 6.094111052995075], ["D076", 6.094111052995075], ["D078", 6.094111052995075], ["D003", 5.87762572612505], ["D009", 5.7847552246960205], ["D022", 5.473154875929621], ["D006", 5.416588029192657], ["D011", 5.315117141123995], ["D014", 5.299280039685176], ["D007", 4.987173810364699], ["D008", 4.987173810364699], ["D013", 4.588142087003454], ["D004", 4.55756721262109], ["D005", 4.55756721262109], ["D018", 4.55756721262109], ["D012", 4.093711728048598], ["D015", 4.021497780580622], ["D024", 3.553010462572886], ["D020", 2.8970280893522324]], "abstain": false, "online_ms": 1.363077899441123, "success": true}
{"scale": 96, "query_id": "Q19", "category": "multi_evidence", "relevant": ["D016", "D010"], "method": "embedding", "ranking": [["D016", 0.516802783402084], ["D010", 0.400859197632448], ["D032", 0.36879345253235013], ["D086", 0.3188652251417347], ["D050", 0.31193336184894], ["D038", 0.3113452008527102], ["D092", 0.29743679040237037], ["D056", 0.28015314511123224], ["D068", 0.27820565753879567], ["D074", 0.2609221671788088], ["D030", 0.18352392264479372], ["D027", 0.1536489131347186], ["D048", 0.13828752089424284], ["D033", 0.13812368287016197], ["D084", 0.1369542203969544], ["D036", 0.1367679566199541], ["D035", 0.13402670921597837], ["D028", 0.12899237311828238], ["D025", 0.12068303910703765], ["D026", 0.11945170543751744], ["D081", 0.11639766559470857], ["D066", 0.10970255930649245], ["D029", 0.10959225035517556], ["D045", 0.10798425270351455], ["D037", 0.10517999305194028], ["D039", 0.10050606140965354], ["D005", 0.10032502839698929], ["D008", 0.0948826006511608], ["D041", 0.09421169609571116], ["D051", 0.09362442164694242], ["D090", 0.08664863687371602], ["D063", 0.07965703887788839], ["D009", 0.07865232223432966], ["D042", 0.07743919906964644], ["D018", 0.07555556762351545], ["D043", 0.0748917924710128], ["D040", 0.07213062255749599], ["D054", 0.07155916180943382], ["D053", 0.06949171748011765], ["D031", 0.06927163265751025], ["D087", 0.06890848772292564], ["D047", 0.06864581725399463], ["D046", 0.06623175667845435], ["D072", 0.06612125934982713], ["D022", 0.06561587964116526], ["D044", 0.06436791900812416], ["D080", 0.06412669528458367], ["D034", 0.06338067354343913], ["D079", 0.06078192213562984], ["D089", 0.06018584469423603], ["D011", 0.06008241464469839], ["D002", 0.05986718304872615], ["D055", 0.05801652871291982], ["D082", 0.05724193266802667], ["D083", 0.0545986617275617], ["D057", 0.051458828927968985], ["D059", 0.05020446447937498], ["D093", 0.047873175988491376], ["D091", 0.04712946290168195], ["D069", 0.04230781090725423], ["D023", 0.040926169156283304], ["D060", 0.040196479798469666], ["D095", 0.040031694534158384], ["D017", 0.037664936022119774], ["D049", 0.03721809029978172], ["D021", 0.03388892305386835], ["D020", 0.03277533381188216], ["D006", 0.0325532535645756], ["D062", 0.03194905650819857], ["D061", 0.03189759542718698], ["D014", 0.03168380955596148], ["D058", 0.030919597142195325], ["D064", 0.0283649061923735], ["D071", 0.02799276523398704], ["D073", 0.027912226754029462], ["D052", 0.02259208585684008], ["D085", 0.022465779660206554], ["D096", 0.02229601764862525], ["D065", 0.020803032539266686], ["D075", 0.01979639957054035], ["D077", 0.015193220235358813], ["D094", 0.011655370740759561], ["D078", 0.010506181496899868], ["D007", 0.00870402634300253], ["D067", 0.00394967166250423], ["D088", 0.0032171515902616223], ["D004", -0.0030537120322494705], ["D024", -0.0032563447175321114], ["D076", -0.004785759229647812], ["D013", -0.010800997915890398], ["D012", -0.015315999374122443], ["D070", -0.017282669704854734], ["D001", -0.019579485216759954], ["D015", -0.02267423798910586], ["D019", -0.034897508237516056], ["D003", -0.04381539265625574]], "abstain": false, "online_ms": 85.51482995972037, "success": true}
{"scale": 96, "query_id": "Q19", "category": "multi_evidence", "relevant": ["D016", "D010"], "method": "hybrid", "ranking": [["D016", 0.94], ["D032", 0.06], ["D038", 0.05], ["D050", 0.04], ["D056", 0.04], ["D068", 0.04], ["D086", 0.04], ["D092", 0.03]], "abstain": false, "online_ms": 146.74456603825092, "api_roundtrip_ms": 145.3814881388098, "success": true, "usage": {"input_tokens": 1201, "output_tokens": 156}}
{"scale": 96, "query_id": "Q19", "category": "multi_evidence", "relevant": ["D016", "D010"], "method": "direct", "ranking": [["D016", 0.85], ["D010", 0.12], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 194.99722099862993, "api_roundtrip_ms": 194.99722099862993, "success": true, "choice": "D016", "answer_exists": 0.96, "usage": {"input_tokens": 8613, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q20", "category": "multi_evidence", "relevant": ["D004", "D023"], "method": "bm25", "ranking": [["D004", 26.273167744151664], ["D023", 22.161207929692676], ["D008", 6.883205626236461], ["D027", 6.488617267472065], ["D045", 6.488617267472065], ["D081", 6.488617267472065], ["D063", 6.373502318903039], ["D019", 5.220595869275263], ["D013", 5.180702866813012], ["D006", 5.018063271024142], ["D021", 4.980101456426192], ["D009", 4.002931834092781], ["D001", 3.937660210286461], ["D016", 3.8957469980480246], ["D010", 3.4357577387054308], ["D025", 2.9750488125377625], ["D026", 2.9750488125377625], ["D028", 2.9750488125377625], ["D029", 2.9750488125377625], ["D031", 2.9750488125377625], ["D033", 2.9750488125377625], ["D035", 2.9750488125377625], ["D041", 2.9750488125377625], ["D043", 2.9750488125377625], ["D044", 2.9750488125377625], ["D046", 2.9750488125377625], ["D047", 2.9750488125377625], ["D049", 2.9750488125377625], ["D051", 2.9750488125377625], ["D053", 2.9750488125377625], ["D059", 2.9750488125377625], ["D079", 2.9750488125377625], ["D080", 2.9750488125377625], ["D082", 2.9750488125377625], ["D083", 2.9750488125377625], ["D085", 2.9750488125377625], ["D087", 2.9750488125377625], ["D089", 2.9750488125377625], ["D095", 2.9750488125377625], ["D024", 2.9174151642376596], ["D030", 2.916432405686985], ["D032", 2.916432405686985], ["D034", 2.916432405686985], ["D036", 2.916432405686985], ["D037", 2.916432405686985], ["D038", 2.916432405686985], ["D039", 2.916432405686985], ["D040", 2.916432405686985], ["D042", 2.916432405686985], ["D048", 2.916432405686985], ["D050", 2.916432405686985], ["D052", 2.916432405686985], ["D054", 2.916432405686985], ["D055", 2.916432405686985], ["D056", 2.916432405686985], ["D057", 2.916432405686985], ["D058", 2.916432405686985], ["D060", 2.916432405686985], ["D061", 2.916432405686985], ["D062", 2.916432405686985], ["D064", 2.916432405686985], ["D065", 2.916432405686985], ["D067", 2.916432405686985], ["D069", 2.916432405686985], ["D071", 2.916432405686985], ["D077", 2.916432405686985], ["D084", 2.916432405686985], ["D086", 2.916432405686985], ["D088", 2.916432405686985], ["D090", 2.916432405686985], ["D091", 2.916432405686985], ["D092", 2.916432405686985], ["D093", 2.916432405686985], ["D094", 2.916432405686985], ["D096", 2.916432405686985], ["D066", 2.8601339932318215], ["D068", 2.8601339932318215], ["D070", 2.8601339932318215], ["D072", 2.8601339932318215], ["D073", 2.8601339932318215], ["D074", 2.8601339932318215], ["D075", 2.8601339932318215], ["D076", 2.8601339932318215], ["D078", 2.8601339932318215], ["D011", 2.6575585705619975], ["D003", 2.587036044751834], ["D007", 2.306175289977618], ["D015", 2.306175289977618], ["D002", 2.2361568490613273], ["D014", 1.7664266798950585], ["D005", 1.5191890708736968], ["D018", 1.5191890708736968], ["D012", 1.3645705760161992], ["D017", 1.3287792852809988], ["D020", 0.9656760297840775], ["D022", 0.9535584463505304]], "abstain": false, "online_ms": 1.0876709129661322, "success": true}
{"scale": 96, "query_id": "Q20", "category": "multi_evidence", "relevant": ["D004", "D023"], "method": "embedding", "ranking": [["D023", 0.7426522362728387], ["D004", 0.7143166729910158], ["D007", 0.38027391940760835], ["D015", 0.3568286674959935], ["D027", 0.302792630686239], ["D063", 0.29474857704358354], ["D019", 0.28669678844209445], ["D017", 0.28098233118828364], ["D081", 0.27811409056220965], ["D020", 0.275963416734049], ["D045", 0.2640374730629519], ["D037", 0.259515155841055], ["D021", 0.24942100007137638], ["D040", 0.2193143780938474], ["D008", 0.2167158130853614], ["D018", 0.20901048499731104], ["D073", 0.19742839202551393], ["D011", 0.19051202996072134], ["D091", 0.18793578678023848], ["D055", 0.18771133844805893], ["D016", 0.18715538703396734], ["D022", 0.17335736287610382], ["D002", 0.1716395348092414], ["D030", 0.15882048326961495], ["D076", 0.1501357681345338], ["D058", 0.1474368035150965], ["D066", 0.1455664148945174], ["D005", 0.1420822753539397], ["D048", 0.1356176505708196], ["D001", 0.13236285845172432], ["D094", 0.12998089671084645], ["D084", 0.12412665675263597], ["D010", 0.11055842131054586], ["D003", 0.10672405766221252], ["D024", 0.1021668537416835], ["D035", 0.10011204675894887], ["D025", 0.09864061849087205], ["D038", 0.08551460428315757], ["D012", 0.08286817941074823], ["D013", 0.07966791815942716], ["D061", 0.07774545068554498], ["D033", 0.07676175833535502], ["D034", 0.07225196901828773], ["D032", 0.06793947098571343], ["D042", 0.06432108498196162], ["D074", 0.06382210268069415], ["D043", 0.06286746002960489], ["D026", 0.06062746159157], ["D028", 0.060050836970516136], ["D079", 0.05812905569876243], ["D039", 0.056692815789048875], ["D071", 0.052981475158017786], ["D053", 0.050647445842465756], ["D031", 0.04971820799731685], ["D069", 0.04639859925385107], ["D056", 0.04567171643629764], ["D078", 0.04385190156270146], ["D014", 0.0409110364240888], ["D092", 0.040678467661252715], ["D070", 0.03860555540309099], ["D068", 0.03790333152900763], ["D036", 0.035848395174923206], ["D009", 0.035476015035227584], ["D041", 0.03324865750084674], ["D075", 0.029770072344046425], ["D050", 0.027136244782437452], ["D029", 0.02577093587569978], ["D052", 0.02508729021748423], ["D051", 0.022219005416067368], ["D089", 0.01974184521901775], ["D064", 0.019569611973183434], ["D062", 0.015871780755952986], ["D057", 0.015555171631893785], ["D086", 0.015039602469456206], ["D060", 0.010302490930973119], ["D077", 0.010219685953828992], ["D096", 0.00614806170367268], ["D087", 0.005872485124581037], ["D067", 0.005383094623774613], ["D093", 0.0030259236295116163], ["D044", -0.003108031703379612], ["D046", -0.003561209775637987], ["D072", -0.005552021009116472], ["D088", -0.005804688328234669], ["D080", -0.006284617196099341], ["D006", -0.0124877480183672], ["D059", -0.012907886483376228], ["D065", -0.016383492070585554], ["D049", -0.01781873826791369], ["D090", -0.02002007117571919], ["D054", -0.021895994797384098], ["D082", -0.023200351523693676], ["D095", -0.02763320438254386], ["D085", -0.038458366003730295], ["D047", -0.04203632766167015], ["D083", -0.05129655440922104]], "abstain": false, "online_ms": 64.62321407161653, "success": true}
{"scale": 96, "query_id": "Q20", "category": "multi_evidence", "relevant": ["D004", "D023"], "method": "hybrid", "ranking": [["D004", 0.96], ["D023", 0.92], ["D019", 0.06], ["D027", 0.04], ["D008", 0.03], ["D045", 0.03], ["D063", 0.03], ["D081", 0.03]], "abstain": false, "online_ms": 183.32579685375094, "api_roundtrip_ms": 182.2381259407848, "success": true, "usage": {"input_tokens": 1151, "output_tokens": 156}}
{"scale": 96, "query_id": "Q20", "category": "multi_evidence", "relevant": ["D004", "D023"], "method": "direct", "ranking": [["D004", 0.76], ["D023", 0.18000000000000002], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": false, "online_ms": 205.00041102059186, "api_roundtrip_ms": 205.00041102059186, "success": true, "choice": "D004", "answer_exists": 0.95, "usage": {"input_tokens": 8611, "output_tokens": 1004}}
{"scale": 96, "query_id": "Q21", "category": "negative", "relevant": [], "method": "bm25", "ranking": [["D011", 3.0592905093796343], ["D013", 3.0592905093796343], ["D022", 3.0592905093796343], ["D002", 2.984392461715811], ["D006", 2.948302056557755], ["D025", 0.8665669728508755], ["D026", 0.8665669728508755], ["D027", 0.8665669728508755], ["D028", 0.8665669728508755], ["D029", 0.8665669728508755], ["D031", 0.8665669728508755], ["D033", 0.8665669728508755], ["D035", 0.8665669728508755], ["D041", 0.8665669728508755], ["D043", 0.8665669728508755], ["D044", 0.8665669728508755], ["D045", 0.8665669728508755], ["D046", 0.8665669728508755], ["D047", 0.8665669728508755], ["D049", 0.8665669728508755], ["D051", 0.8665669728508755], ["D053", 0.8665669728508755], ["D059", 0.8665669728508755], ["D079", 0.8665669728508755], ["D080", 0.8665669728508755], ["D081", 0.8665669728508755], ["D082", 0.8665669728508755], ["D083", 0.8665669728508755], ["D085", 0.8665669728508755], ["D087", 0.8665669728508755], ["D089", 0.8665669728508755], ["D095", 0.8665669728508755], ["D030", 0.8472438287482829], ["D032", 0.8472438287482829], ["D034", 0.8472438287482829], ["D036", 0.8472438287482829], ["D037", 0.8472438287482829], ["D038", 0.8472438287482829], ["D039", 0.8472438287482829], ["D040", 0.8472438287482829], ["D042", 0.8472438287482829], ["D048", 0.8472438287482829], ["D050", 0.8472438287482829], ["D052", 0.8472438287482829], ["D054", 0.8472438287482829], ["D055", 0.8472438287482829], ["D056", 0.8472438287482829], ["D057", 0.8472438287482829], ["D058", 0.8472438287482829], ["D060", 0.8472438287482829], ["D061", 0.8472438287482829], ["D062", 0.8472438287482829], ["D063", 0.8472438287482829], ["D064", 0.8472438287482829], ["D065", 0.8472438287482829], ["D067", 0.8472438287482829], ["D069", 0.8472438287482829], ["D071", 0.8472438287482829], ["D077", 0.8472438287482829], ["D084", 0.8472438287482829], ["D086", 0.8472438287482829], ["D088", 0.8472438287482829], ["D090", 0.8472438287482829], ["D091", 0.8472438287482829], ["D092", 0.8472438287482829], ["D093", 0.8472438287482829], ["D094", 0.8472438287482829], ["D096", 0.8472438287482829], ["D066", 0.8287636422334633], ["D068", 0.8287636422334633], ["D070", 0.8287636422334633], ["D072", 0.8287636422334633], ["D073", 0.8287636422334633], ["D074", 0.8287636422334633], ["D075", 0.8287636422334633], ["D076", 0.8287636422334633], ["D078", 0.8287636422334633], ["D001", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D012", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 1.1487018782645464, "success": true}
{"scale": 96, "query_id": "Q21", "category": "negative", "relevant": [], "method": "embedding", "ranking": [["D047", 0.1612266792259241], ["D008", 0.1555669825468366], ["D010", 0.15302560079464617], ["D017", 0.14720811695932226], ["D018", 0.14068585323357108], ["D083", 0.13994713148292393], ["D005", 0.13813996849840104], ["D043", 0.1295823368459256], ["D004", 0.12919614003841567], ["D045", 0.1252749263345016], ["D048", 0.12433444696430103], ["D079", 0.12054329008463917], ["D081", 0.11884158039654655], ["D006", 0.1160544585964344], ["D084", 0.11507472588647222], ["D056", 0.11496568724475079], ["D090", 0.10743167590315855], ["D050", 0.1052601153294516], ["D024", 0.10425915844466979], ["D021", 0.10335175909130687], ["D054", 0.10001397377265012], ["D002", 0.09815780129041508], ["D001", 0.09394412684385015], ["D016", 0.09370591659742478], ["D029", 0.093628246868491], ["D092", 0.09347966052878465], ["D060", 0.09003325210721735], ["D086", 0.08999445099144605], ["D027", 0.0833582367250785], ["D007", 0.08195148741839504], ["D052", 0.08037768539472624], ["D065", 0.07959880316249232], ["D044", 0.07890590580249188], ["D030", 0.07782334232211546], ["D096", 0.07586824315538981], ["D046", 0.07533092629478391], ["D058", 0.07313091161144533], ["D080", 0.07269881331341004], ["D063", 0.07175716692526263], ["D020", 0.06970086764693287], ["D025", 0.06946791930916049], ["D023", 0.06868362426075202], ["D072", 0.06796408268521506], ["D061", 0.06527404133226769], ["D036", 0.06403766650473922], ["D066", 0.0634276602459391], ["D022", 0.06296235839601991], ["D038", 0.058949933483126035], ["D032", 0.0580024300349965], ["D088", 0.05673752878546989], ["D074", 0.05125813706445735], ["D055", 0.050748660154595907], ["D082", 0.04988576169310865], ["D042", 0.04814061182500631], ["D011", 0.045501388544108734], ["D068", 0.043354563228074086], ["D026", 0.04255797631141063], ["D040", 0.04188409620868984], ["D051", 0.03904122428312069], ["D094", 0.03863076803511997], ["D003", 0.03704084098463114], ["D078", 0.03543506200546666], ["D049", 0.033711756865707064], ["D012", 0.03336046889199201], ["D028", 0.03161852733330127], ["D053", 0.029503970282264726], ["D059", 0.028673357104792616], ["D091", 0.02793591017666694], ["D009", 0.02613126987744269], ["D014", 0.026069920312925415], ["D070", 0.0251221541877878], ["D062", 0.024769700750238245], ["D034", 0.02379512265682744], ["D019", 0.022973471543917087], ["D089", 0.020768029371198607], ["D037", 0.017747354538015694], ["D057", 0.015449634101351466], ["D087", 0.012812385505191353], ["D015", 0.012121932624726023], ["D095", 0.011601074387081769], ["D085", 0.007896837700272268], ["D031", 0.007084652578260595], ["D064", 0.0046255765623786395], ["D076", 0.0025287990732104863], ["D073", -0.005980090676012229], ["D093", -0.0075522699505845], ["D033", -0.012910360690099194], ["D013", -0.013763633833807756], ["D035", -0.01481782577647939], ["D067", -0.02310026182635371], ["D071", -0.026689265995911857], ["D041", -0.031046692955747322], ["D039", -0.0325968134583081], ["D069", -0.03424018143850356], ["D077", -0.03552567620408091], ["D075", -0.04310609613155549]], "abstain": true, "online_ms": 89.05638405121863, "success": true}
{"scale": 96, "query_id": "Q21", "category": "negative", "relevant": [], "method": "hybrid", "ranking": [["D002", 0.03], ["D022", 0.03], ["D025", 0.03], ["D006", 0.02], ["D011", 0.02], ["D013", 0.02], ["D026", 0.02], ["D027", 0.02]], "abstain": true, "online_ms": 148.55600288137794, "api_roundtrip_ms": 147.4073010031134, "success": true, "usage": {"input_tokens": 1120, "output_tokens": 156}}
{"scale": 96, "query_id": "Q21", "category": "negative", "relevant": [], "method": "direct", "ranking": [["D008", 0.01], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": true, "online_ms": 193.2928920723498, "api_roundtrip_ms": 193.2928920723498, "success": true, "choice": "NONE", "answer_exists": 0.04, "usage": {"input_tokens": 8603, "output_tokens": 1001}}
{"scale": 96, "query_id": "Q22", "category": "negative", "relevant": [], "method": "bm25", "ranking": [["D010", 8.3206236633159], ["D017", 7.939078722893267], ["D039", 6.115985525142957], ["D057", 6.115985525142957], ["D093", 6.115985525142957], ["D075", 6.019196231366539], ["D018", 5.868427651506959], ["D021", 5.07351692951282], ["D019", 5.020542851746382], ["D001", 4.9686976248626324], ["D002", 4.9686976248626324], ["D009", 4.73937240673246], ["D023", 4.73937240673246], ["D024", 3.553010462572886], ["D014", 3.532853359790117], ["D003", 3.290589681373216], ["D013", 3.058761391335636], ["D004", 3.0383781417473936], ["D005", 3.0383781417473936], ["D006", 2.9984159138246986], ["D012", 2.7291411520323985], ["D007", 2.680998520387081], ["D008", 2.680998520387081], ["D015", 2.680998520387081], ["D011", 2.6575585705619975], ["D025", 2.483829733672023], ["D026", 2.483829733672023], ["D027", 2.483829733672023], ["D028", 2.483829733672023], ["D029", 2.483829733672023], ["D031", 2.483829733672023], ["D033", 2.483829733672023], ["D035", 2.483829733672023], ["D041", 2.483829733672023], ["D043", 2.483829733672023], ["D044", 2.483829733672023], ["D045", 2.483829733672023], ["D046", 2.483829733672023], ["D047", 2.483829733672023], ["D049", 2.483829733672023], ["D051", 2.483829733672023], ["D053", 2.483829733672023], ["D059", 2.483829733672023], ["D079", 2.483829733672023], ["D080", 2.483829733672023], ["D081", 2.483829733672023], ["D082", 2.483829733672023], ["D083", 2.483829733672023], ["D085", 2.483829733672023], ["D087", 2.483829733672023], ["D089", 2.483829733672023], ["D095", 2.483829733672023], ["D030", 2.4438894963808386], ["D032", 2.4438894963808386], ["D034", 2.4438894963808386], ["D036", 2.4438894963808386], ["D037", 2.4438894963808386], ["D038", 2.4438894963808386], ["D040", 2.4438894963808386], ["D042", 2.4438894963808386], ["D048", 2.4438894963808386], ["D050", 2.4438894963808386], ["D052", 2.4438894963808386], ["D054", 2.4438894963808386], ["D055", 2.4438894963808386], ["D056", 2.4438894963808386], ["D058", 2.4438894963808386], ["D060", 2.4438894963808386], ["D061", 2.4438894963808386], ["D062", 2.4438894963808386], ["D063", 2.4438894963808386], ["D064", 2.4438894963808386], ["D065", 2.4438894963808386], ["D067", 2.4438894963808386], ["D069", 2.4438894963808386], ["D071", 2.4438894963808386], ["D077", 2.4438894963808386], ["D084", 2.4438894963808386], ["D086", 2.4438894963808386], ["D088", 2.4438894963808386], ["D090", 2.4438894963808386], ["D091", 2.4438894963808386], ["D092", 2.4438894963808386], ["D094", 2.4438894963808386], ["D096", 2.4438894963808386], ["D066", 2.4052134175297897], ["D068", 2.4052134175297897], ["D070", 2.4052134175297897], ["D072", 2.4052134175297897], ["D073", 2.4052134175297897], ["D074", 2.4052134175297897], ["D076", 2.4052134175297897], ["D078", 2.4052134175297897], ["D016", 2.0347820765803895], ["D020", 1.931352059568155], ["D022", 0.0]], "abstain": false, "online_ms": 0.819311011582613, "success": true}
{"scale": 96, "query_id": "Q22", "category": "negative", "relevant": [], "method": "embedding", "ranking": [["D018", 0.35837365789348175], ["D017", 0.33166172190418886], ["D057", 0.20959767683449024], ["D007", 0.2075083308727646], ["D075", 0.20353876488653735], ["D093", 0.1969974352361173], ["D051", 0.18539148387322713], ["D022", 0.18400862653934624], ["D048", 0.17798334454346806], ["D066", 0.17257098984052316], ["D039", 0.16774389961941222], ["D015", 0.1675178677762042], ["D003", 0.1647438272805111], ["D058", 0.15635685382229964], ["D069", 0.1558560690695733], ["D084", 0.15436788051413844], ["D087", 0.1540294996572744], ["D053", 0.15139336386762142], ["D002", 0.15093939022330433], ["D055", 0.15013422051480801], ["D059", 0.1483825818150395], ["D020", 0.14104869680028403], ["D050", 0.13958489729954146], ["D073", 0.13840216589620793], ["D021", 0.1367785966842954], ["D071", 0.13562990773620404], ["D056", 0.13551733850898612], ["D089", 0.1345341788227965], ["D068", 0.1300238220542537], ["D004", 0.1296234901529787], ["D047", 0.12954273310730802], ["D086", 0.12902448163019492], ["D094", 0.1281516068121703], ["D076", 0.12673169835498382], ["D077", 0.12634918318477692], ["D095", 0.12578000803497782], ["D023", 0.12514637191933373], ["D091", 0.12463124975345638], ["D033", 0.12220155590818582], ["D043", 0.12107753649952492], ["D030", 0.1171492243312396], ["D019", 0.11685280481815778], ["D061", 0.11379995319147401], ["D074", 0.11300746576012444], ["D078", 0.1105019793186913], ["D065", 0.10870334596987881], ["D062", 0.10793722036932547], ["D060", 0.10781141299975193], ["D046", 0.10606837974602379], ["D037", 0.10585959631242632], ["D092", 0.10562653560232307], ["D040", 0.10544750488204861], ["D044", 0.10537787540264242], ["D083", 0.10175957229831145], ["D013", 0.09934899770247987], ["D072", 0.0985343710295889], ["D049", 0.09589002397595707], ["D096", 0.09525958287726605], ["D079", 0.09462574952182998], ["D064", 0.09323978853897467], ["D045", 0.09303405327094992], ["D011", 0.09194984781772783], ["D035", 0.09024239914638187], ["D001", 0.08640795538815392], ["D032", 0.0852590812087843], ["D041", 0.08406252880426412], ["D080", 0.08292849151522191], ["D054", 0.07905192637440371], ["D029", 0.07851648541081283], ["D082", 0.07582522177505102], ["D038", 0.07564328912557872], ["D085", 0.07515322487127973], ["D067", 0.07282311810915788], ["D052", 0.07278622076903019], ["D025", 0.0721667361559783], ["D063", 0.07156945604941903], ["D042", 0.07040489986888265], ["D005", 0.07026642157304841], ["D009", 0.06721040676066273], ["D090", 0.06716514522868196], ["D006", 0.06577200291588624], ["D028", 0.06550030481782076], ["D070", 0.061392657845990434], ["D031", 0.060980547789492086], ["D081", 0.06020527573332963], ["D088", 0.05854803253349154], ["D010", 0.058545680739783314], ["D027", 0.054030735053908575], ["D026", 0.05121341715820256], ["D014", 0.04158787077336097], ["D034", 0.03875402860928673], ["D016", 0.032894468595476324], ["D036", 0.03164765612108502], ["D024", 0.020391449218759985], ["D012", 0.018499114912789397], ["D008", 0.00237229165588281]], "abstain": true, "online_ms": 60.72404305450618, "success": true}
{"scale": 96, "query_id": "Q22", "category": "negative", "relevant": [], "method": "hybrid", "ranking": [["D017", 0.03], ["D018", 0.03], ["D010", 0.02], ["D021", 0.02], ["D039", 0.02], ["D057", 0.02], ["D075", 0.02], ["D093", 0.02]], "abstain": true, "online_ms": 151.7628589645028, "api_roundtrip_ms": 150.9435479529202, "success": true, "usage": {"input_tokens": 1161, "output_tokens": 156}}
{"scale": 96, "query_id": "Q22", "category": "negative", "relevant": [], "method": "direct", "ranking": [["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": true, "online_ms": 228.85637008585036, "api_roundtrip_ms": 228.85637008585036, "success": true, "choice": "NONE", "answer_exists": 0.03, "usage": {"input_tokens": 8609, "output_tokens": 1001}}
{"scale": 96, "query_id": "Q23", "category": "negative", "relevant": [], "method": "bm25", "ranking": [["D021", 11.607583379629924], ["D001", 10.76446779822437], ["D022", 8.762622344498457], ["D020", 8.735611704357144], ["D025", 6.331809638953204], ["D043", 6.331809638953204], ["D079", 6.331809638953204], ["D061", 6.213827515006967], ["D018", 4.190443018242893], ["D019", 3.963118592011314], ["D009", 3.3538895763593506], ["D006", 3.1701283918041394], ["D026", 2.5997009185526263], ["D027", 2.5997009185526263], ["D028", 2.5997009185526263], ["D029", 2.5997009185526263], ["D031", 2.5997009185526263], ["D033", 2.5997009185526263], ["D035", 2.5997009185526263], ["D041", 2.5997009185526263], ["D044", 2.5997009185526263], ["D045", 2.5997009185526263], ["D046", 2.5997009185526263], ["D047", 2.5997009185526263], ["D049", 2.5997009185526263], ["D051", 2.5997009185526263], ["D053", 2.5997009185526263], ["D059", 2.5997009185526263], ["D080", 2.5997009185526263], ["D081", 2.5997009185526263], ["D082", 2.5997009185526263], ["D083", 2.5997009185526263], ["D085", 2.5997009185526263], ["D087", 2.5997009185526263], ["D089", 2.5997009185526263], ["D095", 2.5997009185526263], ["D030", 2.5417314862448483], ["D032", 2.5417314862448483], ["D034", 2.5417314862448483], ["D036", 2.5417314862448483], ["D037", 2.5417314862448483], ["D038", 2.5417314862448483], ["D039", 2.5417314862448483], ["D040", 2.5417314862448483], ["D042", 2.5417314862448483], ["D048", 2.5417314862448483], ["D050", 2.5417314862448483], ["D052", 2.5417314862448483], ["D054", 2.5417314862448483], ["D055", 2.5417314862448483], ["D056", 2.5417314862448483], ["D057", 2.5417314862448483], ["D058", 2.5417314862448483], ["D060", 2.5417314862448483], ["D062", 2.5417314862448483], ["D063", 2.5417314862448483], ["D064", 2.5417314862448483], ["D065", 2.5417314862448483], ["D067", 2.5417314862448483], ["D069", 2.5417314862448483], ["D071", 2.5417314862448483], ["D077", 2.5417314862448483], ["D084", 2.5417314862448483], ["D086", 2.5417314862448483], ["D088", 2.5417314862448483], ["D090", 2.5417314862448483], ["D091", 2.5417314862448483], ["D092", 2.5417314862448483], ["D093", 2.5417314862448483], ["D094", 2.5417314862448483], ["D096", 2.5417314862448483], ["D066", 2.48629092670039], ["D068", 2.48629092670039], ["D070", 2.48629092670039], ["D072", 2.48629092670039], ["D073", 2.48629092670039], ["D074", 2.48629092670039], ["D075", 2.48629092670039], ["D076", 2.48629092670039], ["D078", 2.48629092670039], ["D007", 1.3404992601935406], ["D010", 1.2731246876155091], ["D024", 1.0311970043194507], ["D012", 0.9908592144067403], ["D008", 0.9656760297840775], ["D015", 0.9656760297840775], ["D017", 0.9535584463505304], ["D003", 0.9417412040652261], ["D005", 0.9417412040652261], ["D014", 0.8972628702137293], ["D002", 0.0], ["D004", 0.0], ["D011", 0.0], ["D013", 0.0], ["D016", 0.0], ["D023", 0.0]], "abstain": false, "online_ms": 1.3663950376212597, "success": true}
{"scale": 96, "query_id": "Q23", "category": "negative", "relevant": [], "method": "embedding", "ranking": [["D021", 0.5134064867477164], ["D020", 0.4723673808679465], ["D001", 0.4431001116987214], ["D019", 0.3491850434265724], ["D002", 0.3124476753278421], ["D018", 0.24992271708270383], ["D043", 0.24945897471222056], ["D004", 0.24669525239124568], ["D022", 0.24547816963351754], ["D050", 0.23666015256543493], ["D061", 0.23469710180007708], ["D003", 0.23301365375788208], ["D079", 0.23013794274948127], ["D068", 0.2287571747497767], ["D086", 0.22381372934601318], ["D017", 0.22127701697270424], ["D032", 0.20864712939214258], ["D023", 0.20843509786131992], ["D072", 0.20720922922978177], ["D008", 0.20705702883480523], ["D025", 0.20658971579981214], ["D054", 0.19829698387030992], ["D012", 0.19642080493937283], ["D005", 0.1942173606219737], ["D090", 0.19301857459224264], ["D036", 0.1905663457113812], ["D044", 0.18974239804194185], ["D062", 0.1891600517469275], ["D007", 0.18694656024427675], ["D026", 0.18379092572318118], ["D056", 0.1823727831929069], ["D080", 0.18189754505709524], ["D074", 0.17891396076351257], ["D009", 0.17229163822865623], ["D010", 0.17121058429616917], ["D048", 0.17048631010566462], ["D092", 0.1696792286514029], ["D058", 0.16340527603046623], ["D014", 0.16139378962827125], ["D052", 0.1610214224762582], ["D059", 0.1607536228185778], ["D078", 0.15717490234298448], ["D055", 0.15580970881042605], ["D077", 0.15506715390073986], ["D045", 0.15475319264923848], ["D070", 0.15336619645464727], ["D073", 0.1501590011589042], ["D060", 0.14962936815087013], ["D066", 0.14827131786698317], ["D076", 0.14742768485903943], ["D047", 0.14659900587296695], ["D042", 0.1456212727979434], ["D084", 0.1440530761133599], ["D040", 0.14185694460292866], ["D038", 0.13812211559339108], ["D096", 0.13792317081524522], ["D037", 0.13668498535914467], ["D063", 0.1356950808436176], ["D030", 0.13299720230532497], ["D046", 0.13295643003038354], ["D053", 0.1316506664685021], ["D034", 0.13123020179065698], ["D065", 0.12836893253678355], ["D041", 0.1282757581071559], ["D024", 0.12605097863486864], ["D088", 0.12577021477327316], ["D051", 0.12574186485728528], ["D064", 0.12539401068972084], ["D083", 0.1253338385806495], ["D081", 0.1251748984196899], ["D095", 0.12490282545958466], ["D015", 0.12273740666647735], ["D094", 0.12203556230208903], ["D057", 0.12122077179853195], ["D027", 0.12106733013733043], ["D069", 0.12020484227924205], ["D071", 0.12011248935193133], ["D029", 0.11908539033761968], ["D013", 0.11746583215175277], ["D028", 0.1130562653985603], ["D091", 0.1086739698047906], ["D075", 0.10677231965725639], ["D035", 0.10478722878169969], ["D089", 0.10198994310871881], ["D033", 0.09964661176255081], ["D087", 0.0947702495616474], ["D082", 0.09453211947663498], ["D093", 0.09206009443902448], ["D039", 0.08879810410907882], ["D049", 0.08102664846324696], ["D067", 0.07237449407148448], ["D011", 0.062343096648182605], ["D031", 0.05524844131647397], ["D085", 0.0530173495115958], ["D016", 0.051152731828690956], ["D006", 0.01669670274760637]], "abstain": false, "online_ms": 65.76223205775023, "success": true}
{"scale": 96, "query_id": "Q23", "category": "negative", "relevant": [], "method": "hybrid", "ranking": [["D001", 0.1], ["D021", 0.09], ["D020", 0.06], ["D025", 0.04], ["D043", 0.04], ["D079", 0.04], ["D022", 0.03], ["D061", 0.03]], "abstain": true, "online_ms": 155.5697270669043, "api_roundtrip_ms": 154.20333202928305, "success": true, "usage": {"input_tokens": 1140, "output_tokens": 156}}
{"scale": 96, "query_id": "Q23", "category": "negative", "relevant": [], "method": "direct", "ranking": [["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": true, "online_ms": 197.90842710062861, "api_roundtrip_ms": 197.90842710062861, "success": true, "choice": "NONE", "answer_exists": 0.07, "usage": {"input_tokens": 8605, "output_tokens": 1001}}
{"scale": 96, "query_id": "Q24", "category": "negative", "relevant": [], "method": "bm25", "ranking": [["D018", 18.552003537618443], ["D017", 14.801899778736095], ["D020", 10.88786480731416], ["D019", 6.349136504848744], ["D039", 4.519339857510401], ["D057", 4.519339857510401], ["D093", 4.519339857510401], ["D075", 4.442746456070213], ["D003", 3.963118592011314], ["D010", 3.546451235941417], ["D022", 3.3695168053013536], ["D002", 3.3087697035743404], ["D004", 2.3860179128374304], ["D006", 2.3283094483554008], ["D007", 1.3404992601935406], ["D024", 1.0311970043194507], ["D012", 0.9908592144067403], ["D008", 0.9656760297840775], ["D015", 0.9656760297840775], ["D005", 0.9417412040652261], ["D014", 0.8972628702137293], ["D025", 0.8665669728508755], ["D026", 0.8665669728508755], ["D027", 0.8665669728508755], ["D028", 0.8665669728508755], ["D029", 0.8665669728508755], ["D031", 0.8665669728508755], ["D033", 0.8665669728508755], ["D035", 0.8665669728508755], ["D041", 0.8665669728508755], ["D043", 0.8665669728508755], ["D044", 0.8665669728508755], ["D045", 0.8665669728508755], ["D046", 0.8665669728508755], ["D047", 0.8665669728508755], ["D049", 0.8665669728508755], ["D051", 0.8665669728508755], ["D053", 0.8665669728508755], ["D059", 0.8665669728508755], ["D079", 0.8665669728508755], ["D080", 0.8665669728508755], ["D081", 0.8665669728508755], ["D082", 0.8665669728508755], ["D083", 0.8665669728508755], ["D085", 0.8665669728508755], ["D087", 0.8665669728508755], ["D089", 0.8665669728508755], ["D095", 0.8665669728508755], ["D030", 0.8472438287482829], ["D032", 0.8472438287482829], ["D034", 0.8472438287482829], ["D036", 0.8472438287482829], ["D037", 0.8472438287482829], ["D038", 0.8472438287482829], ["D040", 0.8472438287482829], ["D042", 0.8472438287482829], ["D048", 0.8472438287482829], ["D050", 0.8472438287482829], ["D052", 0.8472438287482829], ["D054", 0.8472438287482829], ["D055", 0.8472438287482829], ["D056", 0.8472438287482829], ["D058", 0.8472438287482829], ["D060", 0.8472438287482829], ["D061", 0.8472438287482829], ["D062", 0.8472438287482829], ["D063", 0.8472438287482829], ["D064", 0.8472438287482829], ["D065", 0.8472438287482829], ["D067", 0.8472438287482829], ["D069", 0.8472438287482829], ["D071", 0.8472438287482829], ["D077", 0.8472438287482829], ["D084", 0.8472438287482829], ["D086", 0.8472438287482829], ["D088", 0.8472438287482829], ["D090", 0.8472438287482829], ["D091", 0.8472438287482829], ["D092", 0.8472438287482829], ["D094", 0.8472438287482829], ["D096", 0.8472438287482829], ["D066", 0.8287636422334633], ["D068", 0.8287636422334633], ["D070", 0.8287636422334633], ["D072", 0.8287636422334633], ["D073", 0.8287636422334633], ["D074", 0.8287636422334633], ["D076", 0.8287636422334633], ["D078", 0.8287636422334633], ["D001", 0.0], ["D009", 0.0], ["D011", 0.0], ["D013", 0.0], ["D016", 0.0], ["D021", 0.0], ["D023", 0.0]], "abstain": false, "online_ms": 0.602365005761385, "success": true}
{"scale": 96, "query_id": "Q24", "category": "negative", "relevant": [], "method": "embedding", "ranking": [["D018", 0.5670013461626371], ["D017", 0.5334087184321461], ["D003", 0.26910016570181017], ["D075", 0.19682454748665296], ["D057", 0.19639398955206416], ["D093", 0.17613643331401593], ["D013", 0.16991454558369828], ["D051", 0.15804078135539246], ["D069", 0.15762754560563602], ["D007", 0.15530437026127036], ["D039", 0.144616079181106], ["D023", 0.1362545559892671], ["D005", 0.13212201652310493], ["D006", 0.12588034048596916], ["D087", 0.12306976630717359], ["D072", 0.1154152730066659], ["D001", 0.11002119581682576], ["D068", 0.10852946870899713], ["D066", 0.10428439844317466], ["D061", 0.10118929238567362], ["D050", 0.10006812887537364], ["D071", 0.09969306813914852], ["D020", 0.0983487627033318], ["D048", 0.09824049285978649], ["D015", 0.0948617441613967], ["D077", 0.09479664004090876], ["D024", 0.09476969250597281], ["D012", 0.09431491602260965], ["D010", 0.09277442439813455], ["D021", 0.09218738506669673], ["D022", 0.09185639108897115], ["D043", 0.09164841741697961], ["D084", 0.09125402873802702], ["D064", 0.09083876882203006], ["D073", 0.09049606881516309], ["D033", 0.0882249013427093], ["D056", 0.08513566823152488], ["D004", 0.0849409692046388], ["D011", 0.084792687748019], ["D055", 0.08477049785031135], ["D086", 0.08438203181303242], ["D059", 0.08283474317124749], ["D046", 0.08110051884508375], ["D053", 0.07754968559201694], ["D074", 0.07706266638467019], ["D054", 0.07691488675829432], ["D090", 0.07499923638839458], ["D076", 0.07403063708668207], ["D091", 0.07171499589207624], ["D079", 0.07093947872742459], ["D063", 0.07083153668414582], ["D045", 0.06520701128149524], ["D019", 0.06421083781048312], ["D078", 0.06324648545291038], ["D065", 0.06288710329395075], ["D058", 0.06180925184710179], ["D032", 0.058033372053466925], ["D089", 0.0567662989689522], ["D070", 0.0560207527100251], ["D047", 0.05468603247675108], ["D082", 0.052300114341317636], ["D092", 0.05114960194986254], ["D060", 0.050776483171448304], ["D030", 0.049816585365307704], ["D037", 0.04956507906030537], ["D052", 0.048861557873093084], ["D036", 0.0488422063077901], ["D014", 0.04846036708974326], ["D095", 0.04773818854933147], ["D062", 0.04468510460472032], ["D081", 0.0444100988022306], ["D094", 0.0429272031531748], ["D035", 0.04109014938342173], ["D025", 0.040249464115301975], ["D028", 0.03486026702795719], ["D083", 0.03390629661046031], ["D041", 0.03206409651634217], ["D096", 0.030991638585657393], ["D038", 0.025664692271523522], ["D040", 0.02529334579939075], ["D008", 0.020284821617404386], ["D044", 0.019441704414566795], ["D067", 0.018902773634605456], ["D027", 0.017929365263716447], ["D029", 0.016388489178879306], ["D002", 0.015921745545675565], ["D042", 0.014845325608315089], ["D088", 0.011759694446990727], ["D049", 0.009861602698267732], ["D034", 0.001584832751382284], ["D080", -0.0023948970167331288], ["D085", -0.01985349866757559], ["D026", -0.021308550292925235], ["D031", -0.02357763372364785], ["D009", -0.036006366580618586], ["D016", -0.047576006304807794]], "abstain": false, "online_ms": 64.74674283526838, "success": true}
{"scale": 96, "query_id": "Q24", "category": "negative", "relevant": [], "method": "hybrid", "ranking": [["D018", 0.12], ["D017", 0.1], ["D020", 0.04], ["D019", 0.03], ["D039", 0.03], ["D057", 0.03], ["D075", 0.02], ["D093", 0.02]], "abstain": true, "online_ms": 149.06550105661154, "api_roundtrip_ms": 148.46313605085015, "success": true, "usage": {"input_tokens": 1163, "output_tokens": 156}}
{"scale": 96, "query_id": "Q24", "category": "negative", "relevant": [], "method": "direct", "ranking": [["D018", 0.01], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0]], "abstain": true, "online_ms": 231.03805887512863, "api_roundtrip_ms": 231.03805887512863, "success": true, "choice": "NONE", "answer_exists": 0.1, "usage": {"input_tokens": 8607, "output_tokens": 1001}}
{"scale": 240, "query_id": "Q01", "category": "lexical", "relevant": ["D001"], "method": "bm25", "ranking": [["D001", 25.12902480562712], ["D021", 24.49814210595804], ["D009", 12.535136486975201], ["D019", 11.317051625959767], ["D017", 8.783597366329143], ["D002", 7.137595061346777], ["D024", 5.150867764169482], ["D020", 4.19466092081173], ["D025", 3.9378042284889743], ["D043", 3.9378042284889743], ["D079", 3.9378042284889743], ["D097", 3.9378042284889743], ["D115", 3.9378042284889743], ["D133", 3.9378042284889743], ["D151", 3.9378042284889743], ["D169", 3.9378042284889743], ["D187", 3.9378042284889743], ["D205", 3.9378042284889743], ["D061", 3.8758895183589224], ["D223", 3.8758895183589224], ["D023", 3.8531247485048663], ["D011", 3.791646754853522], ["D013", 3.791646754853522], ["D010", 3.317515074455731], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D012", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D018", 0.0], ["D022", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 1.152136828750372, "success": true}
{"scale": 240, "query_id": "Q01", "category": "lexical", "relevant": ["D001"], "method": "embedding", "ranking": [["D021", 0.7597593841234898], ["D001", 0.6619542845094648], ["D020", 0.36689513919937783], ["D008", 0.35273472327747146], ["D019", 0.34287640385481816], ["D013", 0.3405361798572329], ["D169", 0.3391175495003458], ["D079", 0.3192098110321001], ["D187", 0.29191854344132395], ["D097", 0.2896241191749672], ["D223", 0.2854567640276959], ["D061", 0.28509522045740704], ["D002", 0.2850331034340474], ["D133", 0.28312345687464735], ["D151", 0.282483812407744], ["D185", 0.2548143080010348], ["D043", 0.25358244882728304], ["D170", 0.24081743867672187], ["D181", 0.2402391562487401], ["D180", 0.2367223224125507], ["D022", 0.23353000044987865], ["D025", 0.23242273716797784], ["D205", 0.22815702617153266], ["D115", 0.21994128070631397], ["D184", 0.2133983717497477], ["D172", 0.21228018064294157], ["D182", 0.202741864771528], ["D004", 0.20243353043160633], ["D090", 0.20115355051667633], ["D017", 0.198575604400879], ["D178", 0.19748915179418944], ["D234", 0.1963518952829969], ["D108", 0.19475814099343072], ["D239", 0.1944498985729214], ["D179", 0.19423622277195404], ["D072", 0.19401721385069598], ["D149", 0.19381357491321644], ["D171", 0.19367138000320475], ["D095", 0.19295667755099846], ["D077", 0.19162554135751153], ["D113", 0.18774982227405831], ["D080", 0.18613608836110285], ["D203", 0.18574503311275942], ["D018", 0.18506073192932904], ["D007", 0.18202939426660453], ["D145", 0.1812266039690754], ["D015", 0.1810584472948927], ["D098", 0.17929014333777674], ["D003", 0.1790664249044875], ["D167", 0.17892917753141435], ["D162", 0.1776037203197248], ["D012", 0.17674641409678477], ["D144", 0.17661906521814147], ["D174", 0.17488569943741933], ["D199", 0.17483490145533573], ["D198", 0.1743329823790406], ["D176", 0.17367179045169193], ["D009", 0.17359382180778127], ["D186", 0.171065280366836], ["D091", 0.16998742348355006], ["D235", 0.16992607539296428], ["D094", 0.16988450410326966], ["D073", 0.1695774796998202], ["D163", 0.1681155631266362], ["D005", 0.1677216805635357], ["D224", 0.16518867545679544], ["D183", 0.16455016268132616], ["D109", 0.1633153611627552], ["D177", 0.16325435843561825], ["D082", 0.16273040882851963], ["D036", 0.16240770037789043], ["D014", 0.16207506266678962], ["D148", 0.16207211981532327], ["D062", 0.16107090216336897], ["D023", 0.16065099756515377], ["D173", 0.16052502027494434], ["D059", 0.16019125218566216], ["D152", 0.16015623528070055], ["D054", 0.15875546359902218], ["D226", 0.15816099514220716], ["D188", 0.15712569207428048], ["D092", 0.1563912241694707], ["D041", 0.15625621139954496], ["D064", 0.1558198298734473], ["D202", 0.15281573996129777], ["D076", 0.15231389046852345], ["D238", 0.15201518356006677], ["D216", 0.1517880496274057], ["D166", 0.15132075790661673], ["D146", 0.1512333880396372], ["D136", 0.1508982323704919], ["D055", 0.1505580226099934], ["D110", 0.1502213400242568], ["D134", 0.14997313516992453], ["D081", 0.14977511275528432], ["D006", 0.14975765302862043], ["D088", 0.14935919911116255], ["D083", 0.14761571429513431], ["D142", 0.14727938773220905], ["D100", 0.14685251172987668], ["D112", 0.14484633894597065], ["D089", 0.14351213792821893], ["D135", 0.14317369826923249], ["D037", 0.1423446113380383], ["D221", 0.1420460597759719], ["D236", 0.14044932104727587], ["D190", 0.1403811612268489], ["D232", 0.1393191389140005], ["D196", 0.13906447926741639], ["D175", 0.138615680148222], ["D058", 0.13856118349647456], ["D143", 0.137736092040216], ["D074", 0.13772529074519516], ["D011", 0.13695495020971402], ["D070", 0.1363458859780512], ["D233", 0.1357876704879746], ["D026", 0.1349770111823935], ["D063", 0.13496789281033827], ["D200", 0.13469229125087293], ["D164", 0.13441987057384644], ["D071", 0.13428227832307033], ["D106", 0.13416594735778659], ["D154", 0.1330994503695724], ["D225", 0.13283702317198273], ["D160", 0.13258262773093576], ["D189", 0.13249667210200963], ["D206", 0.13126837214237294], ["D131", 0.1296877612516512], ["D217", 0.1296797299526251], ["D044", 0.12827177496001563], ["D227", 0.12773889960278925], ["D153", 0.12743991795320792], ["D137", 0.127249323135264], ["D161", 0.12595804359173118], ["D040", 0.12563164747542072], ["D197", 0.12558833412150391], ["D126", 0.12558023060167267], ["D096", 0.12550320242002483], ["D099", 0.12485016321394413], ["D065", 0.12291403636059353], ["D240", 0.12221961550166142], ["D084", 0.12135465086059279], ["D093", 0.12117964123392785], ["D078", 0.12104288920553], ["D168", 0.12035826215701877], ["D204", 0.12025829293888035], ["D101", 0.11996783351471547], ["D191", 0.11783338647459246], ["D155", 0.11782744948702259], ["D086", 0.11754930350860579], ["D230", 0.11592323843623314], ["D046", 0.11589843111734911], ["D150", 0.11568437112972543], ["D107", 0.11520372449173127], ["D127", 0.11453305138487775], ["D220", 0.11344707710696483], ["D068", 0.1132966056440208], ["D045", 0.11227565589288771], ["D102", 0.11225458936258718], ["D231", 0.11201147491008324], ["D138", 0.10818825410294211], ["D237", 0.1077689708953721], ["D116", 0.1075109113632007], ["D034", 0.10701881799212125], ["D066", 0.10697702704867426], ["D075", 0.10696762858816365], ["D228", 0.10693278375514738], ["D069", 0.10649475052266116], ["D052", 0.10533883502014514], ["D056", 0.1052000767222966], ["D053", 0.10480189113137742], ["D165", 0.10468314475071087], ["D087", 0.10376759032826424], ["D114", 0.10362036613094776], ["D194", 0.10352319694152916], ["D156", 0.10329253714967393], ["D192", 0.10300703773734088], ["D104", 0.10290262794674268], ["D047", 0.10283197916193362], ["D028", 0.10255783804072133], ["D147", 0.10210561703287893], ["D201", 0.10188596306456804], ["D111", 0.10153793125823506], ["D048", 0.10141116953441462], ["D140", 0.10121550093999213], ["D038", 0.10033658365980419], ["D229", 0.09845458073106989], ["D027", 0.09810005513078704], ["D035", 0.09609670863910304], ["D085", 0.095840875167014], ["D130", 0.09562795912874232], ["D029", 0.09421926151582219], ["D195", 0.0939977173406652], ["D141", 0.09280750570066551], ["D105", 0.09198013595310976], ["D208", 0.09166503765380035], ["D067", 0.09151206348253081], ["D207", 0.09145576137088804], ["D214", 0.0911836175939408], ["D193", 0.08921211593353442], ["D215", 0.08768669482704698], ["D159", 0.08743803035640214], ["D158", 0.08687804043262431], ["D218", 0.08666402530321092], ["D042", 0.08584671707951547], ["D128", 0.08567590171085476], ["D030", 0.08455803650715467], ["D024", 0.08428970774914993], ["D139", 0.08425730993299269], ["D050", 0.08261992488328664], ["D209", 0.08173964418298355], ["D222", 0.07869143939427234], ["D118", 0.07821490977780846], ["D210", 0.07680544953371124], ["D124", 0.07558903033461487], ["D157", 0.07504069602325152], ["D103", 0.07415005951455567], ["D039", 0.07347428932237104], ["D057", 0.07133127758993277], ["D032", 0.07130963682679764], ["D219", 0.06795754770430212], ["D117", 0.06759938087169162], ["D060", 0.06544179132182865], ["D033", 0.06319489055421328], ["D125", 0.06273251063671514], ["D051", 0.06000570823504302], ["D212", 0.0576915381752692], ["D049", 0.054844303857349994], ["D119", 0.05365337264501059], ["D120", 0.053226143332873566], ["D213", 0.050706146406021245], ["D132", 0.04754039641273128], ["D122", 0.044654720271549736], ["D129", 0.038649661186974424], ["D031", 0.03713385758831722], ["D123", 0.03409854534378598], ["D010", 0.03353114462166963], ["D211", 0.02598146722870735], ["D121", 0.016433615070625594], ["D016", -0.05182062364566496]], "abstain": false, "online_ms": 65.66240009851754, "success": true}
{"scale": 240, "query_id": "Q01", "category": "lexical", "relevant": ["D001"], "method": "hybrid", "ranking": [["D001", 0.92], ["D021", 0.49], ["D020", 0.05], ["D019", 0.04], ["D002", 0.03], ["D009", 0.03], ["D017", 0.03], ["D024", 0.02]], "abstain": false, "online_ms": 179.70059998333454, "api_roundtrip_ms": 178.54846315458417, "success": true, "usage": {"input_tokens": 1077, "output_tokens": 156}}
{"scale": 240, "query_id": "Q01", "category": "lexical", "relevant": ["D001"], "method": "direct", "ranking": [["D001", 1.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 325.8042079396546, "api_roundtrip_ms": 325.8042079396546, "success": true, "choice": "D001", "answer_exists": 0.96, "usage": {"input_tokens": 21283, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q02", "category": "paraphrase", "relevant": ["D001"], "method": "bm25", "ranking": [["D024", 10.76766910080632], ["D009", 8.297477593189473], ["D013", 7.583293509707044], ["D001", 7.401280308891788], ["D017", 6.41721002777801], ["D016", 5.355810065253937], ["D010", 5.109501442476259], ["D019", 4.8866497952922385], ["D011", 3.791646754853522], ["D021", 3.791646754853522], ["D002", 3.700640154445894], ["D006", 3.6567556731308883], ["D007", 1.6168511411391417], ["D020", 1.6168511411391417], ["D012", 1.1993307227521122], ["D008", 1.169469457307176], ["D015", 1.169469457307176], ["D022", 1.1550895885347132], ["D003", 1.1410590558160163], ["D005", 1.1410590558160163], ["D014", 1.088187485437232], ["D025", 1.051641224277979], ["D026", 1.051641224277979], ["D027", 1.051641224277979], ["D028", 1.051641224277979], ["D029", 1.051641224277979], ["D031", 1.051641224277979], ["D033", 1.051641224277979], ["D035", 1.051641224277979], ["D041", 1.051641224277979], ["D043", 1.051641224277979], ["D044", 1.051641224277979], ["D045", 1.051641224277979], ["D046", 1.051641224277979], ["D047", 1.051641224277979], ["D049", 1.051641224277979], ["D051", 1.051641224277979], ["D053", 1.051641224277979], ["D059", 1.051641224277979], ["D079", 1.051641224277979], ["D080", 1.051641224277979], ["D081", 1.051641224277979], ["D082", 1.051641224277979], ["D083", 1.051641224277979], ["D085", 1.051641224277979], ["D087", 1.051641224277979], ["D089", 1.051641224277979], ["D095", 1.051641224277979], ["D097", 1.051641224277979], ["D098", 1.051641224277979], ["D099", 1.051641224277979], ["D100", 1.051641224277979], ["D101", 1.051641224277979], ["D103", 1.051641224277979], ["D105", 1.051641224277979], ["D107", 1.051641224277979], ["D113", 1.051641224277979], ["D115", 1.051641224277979], ["D116", 1.051641224277979], ["D117", 1.051641224277979], ["D118", 1.051641224277979], ["D119", 1.051641224277979], ["D121", 1.051641224277979], ["D123", 1.051641224277979], ["D125", 1.051641224277979], ["D131", 1.051641224277979], ["D133", 1.051641224277979], ["D134", 1.051641224277979], ["D135", 1.051641224277979], ["D136", 1.051641224277979], ["D137", 1.051641224277979], ["D139", 1.051641224277979], ["D141", 1.051641224277979], ["D143", 1.051641224277979], ["D149", 1.051641224277979], ["D151", 1.051641224277979], ["D152", 1.051641224277979], ["D153", 1.051641224277979], ["D154", 1.051641224277979], ["D155", 1.051641224277979], ["D157", 1.051641224277979], ["D159", 1.051641224277979], ["D161", 1.051641224277979], ["D167", 1.051641224277979], ["D169", 1.051641224277979], ["D170", 1.051641224277979], ["D171", 1.051641224277979], ["D172", 1.051641224277979], ["D173", 1.051641224277979], ["D175", 1.051641224277979], ["D177", 1.051641224277979], ["D179", 1.051641224277979], ["D185", 1.051641224277979], ["D187", 1.051641224277979], ["D188", 1.051641224277979], ["D189", 1.051641224277979], ["D190", 1.051641224277979], ["D191", 1.051641224277979], ["D193", 1.051641224277979], ["D195", 1.051641224277979], ["D197", 1.051641224277979], ["D203", 1.051641224277979], ["D205", 1.051641224277979], ["D206", 1.051641224277979], ["D207", 1.051641224277979], ["D208", 1.051641224277979], ["D209", 1.051641224277979], ["D211", 1.051641224277979], ["D213", 1.051641224277979], ["D215", 1.051641224277979], ["D221", 1.051641224277979], ["D030", 1.0286109499839755], ["D032", 1.0286109499839755], ["D034", 1.0286109499839755], ["D036", 1.0286109499839755], ["D037", 1.0286109499839755], ["D038", 1.0286109499839755], ["D039", 1.0286109499839755], ["D040", 1.0286109499839755], ["D042", 1.0286109499839755], ["D048", 1.0286109499839755], ["D050", 1.0286109499839755], ["D052", 1.0286109499839755], ["D054", 1.0286109499839755], ["D055", 1.0286109499839755], ["D056", 1.0286109499839755], ["D057", 1.0286109499839755], ["D058", 1.0286109499839755], ["D060", 1.0286109499839755], ["D061", 1.0286109499839755], ["D062", 1.0286109499839755], ["D063", 1.0286109499839755], ["D064", 1.0286109499839755], ["D065", 1.0286109499839755], ["D067", 1.0286109499839755], ["D069", 1.0286109499839755], ["D071", 1.0286109499839755], ["D077", 1.0286109499839755], ["D084", 1.0286109499839755], ["D086", 1.0286109499839755], ["D088", 1.0286109499839755], ["D090", 1.0286109499839755], ["D091", 1.0286109499839755], ["D092", 1.0286109499839755], ["D093", 1.0286109499839755], ["D094", 1.0286109499839755], ["D096", 1.0286109499839755], ["D102", 1.0286109499839755], ["D104", 1.0286109499839755], ["D106", 1.0286109499839755], ["D108", 1.0286109499839755], ["D109", 1.0286109499839755], ["D110", 1.0286109499839755], ["D111", 1.0286109499839755], ["D112", 1.0286109499839755], ["D114", 1.0286109499839755], ["D120", 1.0286109499839755], ["D122", 1.0286109499839755], ["D124", 1.0286109499839755], ["D126", 1.0286109499839755], ["D127", 1.0286109499839755], ["D128", 1.0286109499839755], ["D129", 1.0286109499839755], ["D130", 1.0286109499839755], ["D132", 1.0286109499839755], ["D138", 1.0286109499839755], ["D140", 1.0286109499839755], ["D142", 1.0286109499839755], ["D144", 1.0286109499839755], ["D145", 1.0286109499839755], ["D146", 1.0286109499839755], ["D147", 1.0286109499839755], ["D148", 1.0286109499839755], ["D150", 1.0286109499839755], ["D156", 1.0286109499839755], ["D158", 1.0286109499839755], ["D160", 1.0286109499839755], ["D162", 1.0286109499839755], ["D163", 1.0286109499839755], ["D164", 1.0286109499839755], ["D165", 1.0286109499839755], ["D166", 1.0286109499839755], ["D168", 1.0286109499839755], ["D174", 1.0286109499839755], ["D176", 1.0286109499839755], ["D178", 1.0286109499839755], ["D180", 1.0286109499839755], ["D181", 1.0286109499839755], ["D182", 1.0286109499839755], ["D183", 1.0286109499839755], ["D184", 1.0286109499839755], ["D186", 1.0286109499839755], ["D192", 1.0286109499839755], ["D194", 1.0286109499839755], ["D196", 1.0286109499839755], ["D198", 1.0286109499839755], ["D199", 1.0286109499839755], ["D200", 1.0286109499839755], ["D201", 1.0286109499839755], ["D202", 1.0286109499839755], ["D204", 1.0286109499839755], ["D210", 1.0286109499839755], ["D212", 1.0286109499839755], ["D214", 1.0286109499839755], ["D216", 1.0286109499839755], ["D217", 1.0286109499839755], ["D218", 1.0286109499839755], ["D219", 1.0286109499839755], ["D220", 1.0286109499839755], ["D222", 1.0286109499839755], ["D223", 1.0286109499839755], ["D224", 1.0286109499839755], ["D225", 1.0286109499839755], ["D226", 1.0286109499839755], ["D227", 1.0286109499839755], ["D229", 1.0286109499839755], ["D231", 1.0286109499839755], ["D233", 1.0286109499839755], ["D239", 1.0286109499839755], ["D066", 1.0065677559926725], ["D068", 1.0065677559926725], ["D070", 1.0065677559926725], ["D072", 1.0065677559926725], ["D073", 1.0065677559926725], ["D074", 1.0065677559926725], ["D075", 1.0065677559926725], ["D076", 1.0065677559926725], ["D078", 1.0065677559926725], ["D228", 1.0065677559926725], ["D230", 1.0065677559926725], ["D232", 1.0065677559926725], ["D234", 1.0065677559926725], ["D235", 1.0065677559926725], ["D236", 1.0065677559926725], ["D237", 1.0065677559926725], ["D238", 1.0065677559926725], ["D240", 1.0065677559926725], ["D004", 0.0], ["D018", 0.0], ["D023", 0.0]], "abstain": false, "online_ms": 2.432691864669323, "success": true}
{"scale": 240, "query_id": "Q02", "category": "paraphrase", "relevant": ["D001"], "method": "embedding", "ranking": [["D001", 0.4402755801120583], ["D178", 0.375437294244461], ["D171", 0.3722302840797541], ["D173", 0.36866839769228066], ["D179", 0.3568477315012052], ["D184", 0.35378859298260357], ["D169", 0.34921510640185144], ["D172", 0.3372555388775721], ["D185", 0.33632196496104183], ["D170", 0.33071220402140633], ["D175", 0.32414342018954423], ["D186", 0.31893685813983197], ["D180", 0.3151647899761102], ["D183", 0.3103454395605314], ["D177", 0.30525767015175265], ["D181", 0.2993997472874184], ["D191", 0.290605045818946], ["D182", 0.27860637309160263], ["D176", 0.27565187444444683], ["D174", 0.26586632997306353], ["D196", 0.2579162534296034], ["D021", 0.2557983095309726], ["D189", 0.2553554158023231], ["D101", 0.24976431681336111], ["D187", 0.2376805587978384], ["D202", 0.23312158102791247], ["D137", 0.22939444332661946], ["D197", 0.2283168010878757], ["D142", 0.22080835672077953], ["D204", 0.21914710103705545], ["D227", 0.21831301386341712], ["D193", 0.21660549147901592], ["D119", 0.21542306620008633], ["D065", 0.21539274536360156], ["D190", 0.21200206725222587], ["D047", 0.21003327803876037], ["D135", 0.20874299967600662], ["D106", 0.20607094128072567], ["D203", 0.20005623440207773], ["D124", 0.1989970546303627], ["D232", 0.19703393604806257], ["D083", 0.1961680597437431], ["D099", 0.19381859681636945], ["D070", 0.19315025912217731], ["D201", 0.19294053181783982], ["D148", 0.19170680149409622], ["D198", 0.1913264927077004], ["D225", 0.19069780199992822], ["D188", 0.18796997305305016], ["D009", 0.18668665853933203], ["D063", 0.18589771520630705], ["D133", 0.18370812811968174], ["D199", 0.17980230253726276], ["D006", 0.17945263325685373], ["D143", 0.1778597273001472], ["D052", 0.17644570949099014], ["D045", 0.1760855817938902], ["D155", 0.175650694913426], ["D008", 0.1749852407748696], ["D097", 0.17417400960881882], ["D005", 0.17115687108254538], ["D117", 0.17082172885129437], ["D153", 0.17040284767190705], ["D195", 0.1696125715781489], ["D209", 0.16836973747402545], ["D200", 0.16696474525380264], ["D139", 0.16297347250939404], ["D207", 0.16293221891964205], ["D081", 0.16289157332117354], ["D058", 0.16195812646286584], ["D194", 0.16188304076274646], ["D112", 0.16154829323380973], ["D136", 0.16105954778829285], ["D234", 0.15976558581768446], ["D029", 0.15968051886839651], ["D107", 0.15945360285910404], ["D130", 0.15943389205304823], ["D160", 0.15844942735473472], ["D088", 0.15626543288921332], ["D011", 0.15474728260429044], ["D214", 0.15401956226609398], ["D238", 0.1538205799035744], ["D150", 0.1537391661168649], ["D149", 0.15349335635743142], ["D072", 0.1520237742739206], ["D233", 0.1519723813475573], ["D100", 0.15024410363738405], ["D076", 0.14970861784705697], ["D115", 0.14861611548457732], ["D223", 0.148511564338317], ["D027", 0.14767243971580604], ["D071", 0.14714211147780798], ["D034", 0.14657137904939155], ["D108", 0.14593865565903263], ["D145", 0.14388902632961517], ["D147", 0.1437997084211161], ["D043", 0.14366000910058518], ["D151", 0.14326467026485795], ["D103", 0.1424831685864568], ["D061", 0.1423999998701724], ["D220", 0.14238806311052674], ["D113", 0.1412797626639423], ["D146", 0.1411360262423582], ["D144", 0.14070409518790164], ["D125", 0.13946420846311125], ["D114", 0.138845491165568], ["D192", 0.13827897169948133], ["D094", 0.13808496955485183], ["D126", 0.1378687654047533], ["D240", 0.1377769653525935], ["D020", 0.13665678440193196], ["D111", 0.13480274036901585], ["D166", 0.13344580315129928], ["D078", 0.13255618113865061], ["D239", 0.12916902681963285], ["D168", 0.1288949231173116], ["D098", 0.12869016275722311], ["D205", 0.12839038378852116], ["D134", 0.1282146398464276], ["D235", 0.12753737827394968], ["D040", 0.12683828342962405], ["D226", 0.12677049273500632], ["D237", 0.12652062829055144], ["D161", 0.1258627302724881], ["D053", 0.12549169996389598], ["D013", 0.12505993263119988], ["D132", 0.12468307767747622], ["D109", 0.1241237085359359], ["D141", 0.12344961097798635], ["D073", 0.12247650753437728], ["D064", 0.12243617396777175], ["D075", 0.12234270724865787], ["D110", 0.12233275381196196], ["D224", 0.12176283461421178], ["D127", 0.12156975190781993], ["D077", 0.121532471988091], ["D090", 0.1213111977940097], ["D054", 0.12027308674075202], ["D055", 0.12013536940419325], ["D229", 0.11950856842961388], ["D105", 0.11878202503897378], ["D157", 0.11802866338611229], ["D140", 0.11684063155411448], ["D046", 0.11652856940998246], ["D131", 0.11626545919939167], ["D118", 0.11579469977117604], ["D059", 0.11558455728307775], ["D121", 0.11357959179273633], ["D062", 0.11330069085812723], ["D025", 0.1125264488488798], ["D049", 0.11188898645157924], ["D215", 0.11124124251064313], ["D060", 0.11114952697777754], ["D165", 0.11025808663197907], ["D057", 0.10991246344258643], ["D067", 0.10973704097701056], ["D129", 0.1094063301270064], ["D019", 0.10935645046105022], ["D236", 0.10916186964695465], ["D211", 0.10887752682210078], ["D056", 0.1084816747277407], ["D217", 0.10731871400722681], ["D222", 0.10692099770168895], ["D216", 0.10658568344172344], ["D116", 0.10549848348448554], ["D079", 0.10495965708058635], ["D074", 0.1039557380516028], ["D128", 0.10339770964096748], ["D089", 0.10207802761802923], ["D104", 0.10201222935043305], ["D164", 0.10115085029553675], ["D231", 0.10057881593911325], ["D031", 0.10046959157259232], ["D096", 0.09945933198120657], ["D230", 0.09927853774802378], ["D162", 0.0992300829332611], ["D154", 0.09685282370605675], ["D068", 0.09671291538221671], ["D035", 0.09662047236372656], ["D167", 0.0958415282713049], ["D138", 0.09549948481768541], ["D050", 0.09513278740768762], ["D042", 0.09499756101361476], ["D069", 0.09496224188276664], ["D208", 0.09425881569131417], ["D163", 0.0933907967548326], ["D044", 0.0928282189429552], ["D036", 0.0921870103221926], ["D102", 0.09199798214622643], ["D219", 0.09198027582547691], ["D206", 0.09194395180888215], ["D093", 0.09108864090500932], ["D037", 0.09079341479731531], ["D085", 0.09006777559053424], ["D091", 0.08950765652594345], ["D123", 0.08864313188909033], ["D152", 0.08665287503631246], ["D221", 0.08661532253314444], ["D051", 0.08654102058155146], ["D228", 0.086518985412333], ["D066", 0.08579704304446346], ["D213", 0.08570181138952543], ["D122", 0.08450344854993266], ["D048", 0.08313119342070674], ["D120", 0.08213304915970318], ["D028", 0.08191562809167413], ["D159", 0.08093299797302693], ["D039", 0.08043551995774716], ["D041", 0.07945504359604474], ["D026", 0.07766203288555731], ["D082", 0.07686641975314645], ["D092", 0.07652356051444197], ["D033", 0.07564439707893225], ["D080", 0.07235660767740303], ["D218", 0.0700763822617994], ["D086", 0.06947779572625017], ["D158", 0.06856504168534215], ["D004", 0.066626161951212], ["D016", 0.06311209665322237], ["D212", 0.0628812536143142], ["D024", 0.06286940480652792], ["D095", 0.06272985391144918], ["D210", 0.060983718430500516], ["D010", 0.058011300312918616], ["D038", 0.05747363384767015], ["D156", 0.0544657605875747], ["D084", 0.05121915323168946], ["D030", 0.05103746944096916], ["D032", 0.05078052012058362], ["D023", 0.04518953875962658], ["D087", 0.04071279740379782], ["D014", 0.03690685507236984], ["D017", 0.031012673720796573], ["D018", 0.02366174895299457], ["D015", 0.02250666353010273], ["D003", 0.022165011400088683], ["D002", 0.017417372032627113], ["D022", 0.011362330718564718], ["D012", -0.011265423917461869], ["D007", -0.07431247641268209]], "abstain": true, "online_ms": 60.755008133128285, "success": true}
{"scale": 240, "query_id": "Q02", "category": "paraphrase", "relevant": ["D001"], "method": "hybrid", "ranking": [["D001", 0.92], ["D013", 0.06], ["D019", 0.05], ["D009", 0.03], ["D017", 0.03], ["D010", 0.02], ["D016", 0.02], ["D024", 0.02]], "abstain": false, "online_ms": 165.97375296987593, "api_roundtrip_ms": 163.5410611052066, "success": true, "usage": {"input_tokens": 1086, "output_tokens": 156}}
{"scale": 240, "query_id": "Q02", "category": "paraphrase", "relevant": ["D001"], "method": "direct", "ranking": [["D001", 0.99], ["D021", 0.01], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 324.9390230048448, "api_roundtrip_ms": 324.9390230048448, "success": true, "choice": "D001", "answer_exists": 0.9, "usage": {"input_tokens": 21288, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q03", "category": "lexical_near_match", "relevant": ["D002"], "method": "bm25", "ranking": [["D002", 29.52224841869038], ["D022", 28.470709511257848], ["D023", 5.088856961634642], ["D001", 4.905887025758423], ["D018", 4.845827223524464], ["D007", 4.708745690423358], ["D005", 4.594354198838165], ["D020", 3.5653162765175974], ["D017", 3.521476927085847], ["D004", 3.4787025849620554], ["D019", 3.4787025849620554], ["D006", 3.3961973684487305], ["D010", 3.317515074455731], ["D003", 0.0], ["D008", 0.0], ["D009", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D021", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 1.639408990740776, "success": true}
{"scale": 240, "query_id": "Q03", "category": "lexical_near_match", "relevant": ["D002"], "method": "embedding", "ranking": [["D022", 0.7274855545005242], ["D002", 0.6975945230542233], ["D014", 0.2873719600625226], ["D007", 0.2553272054696394], ["D144", 0.250867320127839], ["D162", 0.24791256549114138], ["D198", 0.23852197336704303], ["D090", 0.23848308136656077], ["D152", 0.2341946008656321], ["D188", 0.2333014466611008], ["D134", 0.22751380392429407], ["D054", 0.22616468168903042], ["D072", 0.22196426893001997], ["D126", 0.21788366781174287], ["D080", 0.214342103455688], ["D234", 0.21239164451543163], ["D108", 0.20889881571899063], ["D036", 0.2084575310042808], ["D116", 0.20059450872948803], ["D062", 0.1993583115100228], ["D216", 0.19776383225622546], ["D012", 0.19711742265459503], ["D026", 0.1954334337502147], ["D044", 0.19406259959655403], ["D224", 0.19196725860569874], ["D206", 0.18995545319203436], ["D004", 0.18809806415512592], ["D180", 0.18660081474224957], ["D098", 0.1851411174532882], ["D170", 0.17588563514982525], ["D003", 0.14001499816786572], ["D008", 0.13981238278774155], ["D020", 0.1349192158212011], ["D006", 0.13088616499186762], ["D204", 0.12971476167537208], ["D013", 0.12956668273146565], ["D001", 0.12432207791871996], ["D009", 0.12320766618557014], ["D005", 0.12167369469614717], ["D021", 0.11893879011758689], ["D018", 0.1184549385794453], ["D024", 0.11560103164487368], ["D017", 0.11549284473224998], ["D168", 0.1139399609356973], ["D193", 0.11070346327803901], ["D150", 0.10476587647838959], ["D019", 0.10039747585548421], ["D023", 0.09509450160629793], ["D078", 0.09219162416203729], ["D202", 0.08994497841239704], ["D148", 0.0873804098328342], ["D240", 0.08736331874625644], ["D139", 0.08513078622879311], ["D096", 0.0832168456216015], ["D157", 0.08028823859570242], ["D187", 0.08009290359181463], ["D199", 0.07919246106342889], ["D015", 0.078600789762301], ["D145", 0.07844226304130333], ["D197", 0.07215474976469659], ["D133", 0.07155016884946154], ["D132", 0.07096501209477127], ["D060", 0.06938507326153973], ["D143", 0.06800641954316611], ["D186", 0.06695593889393439], ["D085", 0.06650436156569223], ["D042", 0.06605768226696256], ["D203", 0.06276903776520949], ["D067", 0.05999361868816934], ["D191", 0.05846487293704425], ["D189", 0.05806622432436517], ["D222", 0.05646619664158699], ["D229", 0.055552840774766604], ["D166", 0.0542005038832664], ["D049", 0.053259833318889824], ["D058", 0.05229584554551851], ["D163", 0.05215396652465715], ["D149", 0.05191665329571825], ["D076", 0.051306532388947466], ["D121", 0.050064873617516104], ["D196", 0.0490747840033569], ["D135", 0.04795485898502708], ["D031", 0.04786436312546877], ["D190", 0.04778765747715522], ["D238", 0.04708930461006433], ["D061", 0.04472326388830795], ["D175", 0.04374554878344818], ["D137", 0.043634522913309604], ["D136", 0.04344131713480316], ["D195", 0.04325783975397343], ["D079", 0.04268246265263716], ["D114", 0.040949680812357545], ["D071", 0.04077999608127864], ["D094", 0.03920206343204899], ["D223", 0.039041966845055925], ["D073", 0.03891572371275449], ["D151", 0.03815882847826409], ["D043", 0.03812356754881077], ["D201", 0.03810703853322189], ["D055", 0.03676886864342242], ["D211", 0.03621598597649688], ["D040", 0.03601186150630513], ["D235", 0.03582015940461639], ["D233", 0.035182500310852266], ["D037", 0.03515626482819305], ["D142", 0.033303471454870476], ["D161", 0.03311828096256873], ["D130", 0.031336998406426106], ["D077", 0.030049092402768048], ["D063", 0.028631468819010505], ["D192", 0.02803624293578149], ["D053", 0.027931399958757156], ["D141", 0.02738228205351389], ["D239", 0.026183156394132698], ["D147", 0.023684962034597263], ["D153", 0.023505448134202578], ["D115", 0.022845268639203022], ["D184", 0.022268545124007014], ["D225", 0.022202466823029857], ["D089", 0.022161533444422597], ["D165", 0.021903541280424772], ["D065", 0.021489095360771], ["D217", 0.02046483402222333], ["D035", 0.02030832788553925], ["D169", 0.0198864142197471], ["D160", 0.019454461094377175], ["D075", 0.01928690067462518], ["D064", 0.019207231814019093], ["D200", 0.018876711148307867], ["D025", 0.018854169544017092], ["D138", 0.018839786415086504], ["D083", 0.018756776083531206], ["D095", 0.01874270413099743], ["D103", 0.018693142949389084], ["D081", 0.018676599077998415], ["D220", 0.01864871773903354], ["D227", 0.018521564807113998], ["D047", 0.018321326650702102], ["D069", 0.01790832286542643], ["D091", 0.016571547305753498], ["D045", 0.016347119646168348], ["D167", 0.01629025259682975], ["D181", 0.01615327050689399], ["D231", 0.01537957038655021], ["D127", 0.014781302632777625], ["D155", 0.01441135356723975], ["D146", 0.014219340893279468], ["D226", 0.013693400384302896], ["D059", 0.013116016002627488], ["D027", 0.012994656951024615], ["D237", 0.012857510684611596], ["D215", 0.011052546011961817], ["D125", 0.010672563175388908], ["D093", 0.009783554271296985], ["D205", 0.007910793726598312], ["D070", 0.007622717414465234], ["D041", 0.007548649896764301], ["D029", 0.005387538036364183], ["D048", 0.00378721914409535], ["D171", 0.002852954204828133], ["D207", 0.002813489978822952], ["D194", 0.002554186452677744], ["D088", 0.0025107379787876333], ["D232", 0.00249675450070231], ["D046", 0.002110446924536078], ["D154", 0.0018184807099771647], ["D051", 0.0014536914110591867], ["D117", 0.0014163969551273768], ["D131", 0.0010434287034036607], ["D092", 0.0007772814085714452], ["D057", 0.0006006341038452875], ["D087", 0.00022430270070433744], ["D179", 0.0002046516834484785], ["D156", -0.00021989601349869763], ["D164", -0.000687539534902231], ["D185", -0.0013968854621825982], ["D173", -0.0016975264554664887], ["D074", -0.003423599863349589], ["D082", -0.0036273621269399155], ["D052", -0.003643807226703452], ["D066", -0.005289280056489111], ["D159", -0.006123249316207727], ["D039", -0.0064499157277802185], ["D209", -0.007159348585155885], ["D221", -0.007246549029966149], ["D129", -0.007392089732495315], ["D123", -0.007418318753770761], ["D119", -0.007590289555526188], ["D183", -0.007958624257301894], ["D112", -0.008180640838772846], ["D056", -0.008408176853588283], ["D236", -0.009596239870221748], ["D016", -0.009696166929470956], ["D228", -0.010036340745480148], ["D034", -0.010289570790808717], ["D033", -0.011324800965499558], ["D028", -0.011804058325564401], ["D084", -0.013085448988771353], ["D124", -0.01365320174419201], ["D172", -0.013973304176104023], ["D177", -0.014062580195041516], ["D178", -0.015326008204857147], ["D097", -0.015457454731519733], ["D219", -0.015952125298026865], ["D128", -0.017108534424297935], ["D038", -0.017504832759485563], ["D118", -0.019174222587814795], ["D140", -0.020505768093654928], ["D030", -0.02154609045970512], ["D182", -0.022305317264120418], ["D120", -0.022497803378337896], ["D109", -0.023321955410945394], ["D174", -0.023656040342626673], ["D208", -0.02506395331301054], ["D214", -0.025589310622947205], ["D213", -0.02609492541607198], ["D011", -0.02683455768542218], ["D068", -0.028996071022580283], ["D113", -0.03149741868548883], ["D218", -0.03164524625601965], ["D107", -0.032065544095532174], ["D210", -0.032458747198747744], ["D050", -0.03300921941328015], ["D099", -0.03412441686972952], ["D158", -0.03497404136571346], ["D230", -0.03548988796506078], ["D101", -0.036256952364771354], ["D106", -0.03883100870292564], ["D010", -0.041410072918794956], ["D086", -0.043285726103880096], ["D111", -0.04470872968694563], ["D105", -0.04547289813602713], ["D032", -0.04791270820201435], ["D110", -0.04840299059187396], ["D176", -0.04843116277238528], ["D122", -0.04888955644859061], ["D102", -0.05451528813389493], ["D100", -0.060041443197607916], ["D212", -0.061846658037492536], ["D104", -0.08764337449525879]], "abstain": false, "online_ms": 61.62141892127693, "success": true}
{"scale": 240, "query_id": "Q03", "category": "lexical_near_match", "relevant": ["D002"], "method": "hybrid", "ranking": [["D002", 0.94], ["D022", 0.12], ["D007", 0.04], ["D001", 0.03], ["D005", 0.03], ["D018", 0.03], ["D020", 0.03], ["D023", 0.02]], "abstain": false, "online_ms": 141.80835289880633, "api_roundtrip_ms": 140.16894390806556, "success": true, "usage": {"input_tokens": 1094, "output_tokens": 156}}
{"scale": 240, "query_id": "Q03", "category": "lexical_near_match", "relevant": ["D002"], "method": "direct", "ranking": [["D002", 1.0], ["D001", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 288.73240179382265, "api_roundtrip_ms": 288.73240179382265, "success": true, "choice": "D002", "answer_exists": 0.95, "usage": {"input_tokens": 21284, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q04", "category": "paraphrase", "relevant": ["D003"], "method": "bm25", "ranking": [["D006", 9.20893923525974], ["D012", 6.831158793614581], ["D010", 6.807908918002937], ["D022", 5.1092570357126785], ["D003", 5.047196396677108], ["D019", 5.047196396677108], ["D014", 4.81333190198483], ["D007", 1.6168511411391417], ["D020", 1.6168511411391417], ["D024", 1.2470957903183588], ["D008", 1.169469457307176], ["D015", 1.169469457307176], ["D017", 1.1550895885347132], ["D005", 1.1410590558160163], ["D025", 1.051641224277979], ["D026", 1.051641224277979], ["D027", 1.051641224277979], ["D028", 1.051641224277979], ["D029", 1.051641224277979], ["D031", 1.051641224277979], ["D033", 1.051641224277979], ["D035", 1.051641224277979], ["D041", 1.051641224277979], ["D043", 1.051641224277979], ["D044", 1.051641224277979], ["D045", 1.051641224277979], ["D046", 1.051641224277979], ["D047", 1.051641224277979], ["D049", 1.051641224277979], ["D051", 1.051641224277979], ["D053", 1.051641224277979], ["D059", 1.051641224277979], ["D079", 1.051641224277979], ["D080", 1.051641224277979], ["D081", 1.051641224277979], ["D082", 1.051641224277979], ["D083", 1.051641224277979], ["D085", 1.051641224277979], ["D087", 1.051641224277979], ["D089", 1.051641224277979], ["D095", 1.051641224277979], ["D097", 1.051641224277979], ["D098", 1.051641224277979], ["D099", 1.051641224277979], ["D100", 1.051641224277979], ["D101", 1.051641224277979], ["D103", 1.051641224277979], ["D105", 1.051641224277979], ["D107", 1.051641224277979], ["D113", 1.051641224277979], ["D115", 1.051641224277979], ["D116", 1.051641224277979], ["D117", 1.051641224277979], ["D118", 1.051641224277979], ["D119", 1.051641224277979], ["D121", 1.051641224277979], ["D123", 1.051641224277979], ["D125", 1.051641224277979], ["D131", 1.051641224277979], ["D133", 1.051641224277979], ["D134", 1.051641224277979], ["D135", 1.051641224277979], ["D136", 1.051641224277979], ["D137", 1.051641224277979], ["D139", 1.051641224277979], ["D141", 1.051641224277979], ["D143", 1.051641224277979], ["D149", 1.051641224277979], ["D151", 1.051641224277979], ["D152", 1.051641224277979], ["D153", 1.051641224277979], ["D154", 1.051641224277979], ["D155", 1.051641224277979], ["D157", 1.051641224277979], ["D159", 1.051641224277979], ["D161", 1.051641224277979], ["D167", 1.051641224277979], ["D169", 1.051641224277979], ["D170", 1.051641224277979], ["D171", 1.051641224277979], ["D172", 1.051641224277979], ["D173", 1.051641224277979], ["D175", 1.051641224277979], ["D177", 1.051641224277979], ["D179", 1.051641224277979], ["D185", 1.051641224277979], ["D187", 1.051641224277979], ["D188", 1.051641224277979], ["D189", 1.051641224277979], ["D190", 1.051641224277979], ["D191", 1.051641224277979], ["D193", 1.051641224277979], ["D195", 1.051641224277979], ["D197", 1.051641224277979], ["D203", 1.051641224277979], ["D205", 1.051641224277979], ["D206", 1.051641224277979], ["D207", 1.051641224277979], ["D208", 1.051641224277979], ["D209", 1.051641224277979], ["D211", 1.051641224277979], ["D213", 1.051641224277979], ["D215", 1.051641224277979], ["D221", 1.051641224277979], ["D030", 1.0286109499839755], ["D032", 1.0286109499839755], ["D034", 1.0286109499839755], ["D036", 1.0286109499839755], ["D037", 1.0286109499839755], ["D038", 1.0286109499839755], ["D039", 1.0286109499839755], ["D040", 1.0286109499839755], ["D042", 1.0286109499839755], ["D048", 1.0286109499839755], ["D050", 1.0286109499839755], ["D052", 1.0286109499839755], ["D054", 1.0286109499839755], ["D055", 1.0286109499839755], ["D056", 1.0286109499839755], ["D057", 1.0286109499839755], ["D058", 1.0286109499839755], ["D060", 1.0286109499839755], ["D061", 1.0286109499839755], ["D062", 1.0286109499839755], ["D063", 1.0286109499839755], ["D064", 1.0286109499839755], ["D065", 1.0286109499839755], ["D067", 1.0286109499839755], ["D069", 1.0286109499839755], ["D071", 1.0286109499839755], ["D077", 1.0286109499839755], ["D084", 1.0286109499839755], ["D086", 1.0286109499839755], ["D088", 1.0286109499839755], ["D090", 1.0286109499839755], ["D091", 1.0286109499839755], ["D092", 1.0286109499839755], ["D093", 1.0286109499839755], ["D094", 1.0286109499839755], ["D096", 1.0286109499839755], ["D102", 1.0286109499839755], ["D104", 1.0286109499839755], ["D106", 1.0286109499839755], ["D108", 1.0286109499839755], ["D109", 1.0286109499839755], ["D110", 1.0286109499839755], ["D111", 1.0286109499839755], ["D112", 1.0286109499839755], ["D114", 1.0286109499839755], ["D120", 1.0286109499839755], ["D122", 1.0286109499839755], ["D124", 1.0286109499839755], ["D126", 1.0286109499839755], ["D127", 1.0286109499839755], ["D128", 1.0286109499839755], ["D129", 1.0286109499839755], ["D130", 1.0286109499839755], ["D132", 1.0286109499839755], ["D138", 1.0286109499839755], ["D140", 1.0286109499839755], ["D142", 1.0286109499839755], ["D144", 1.0286109499839755], ["D145", 1.0286109499839755], ["D146", 1.0286109499839755], ["D147", 1.0286109499839755], ["D148", 1.0286109499839755], ["D150", 1.0286109499839755], ["D156", 1.0286109499839755], ["D158", 1.0286109499839755], ["D160", 1.0286109499839755], ["D162", 1.0286109499839755], ["D163", 1.0286109499839755], ["D164", 1.0286109499839755], ["D165", 1.0286109499839755], ["D166", 1.0286109499839755], ["D168", 1.0286109499839755], ["D174", 1.0286109499839755], ["D176", 1.0286109499839755], ["D178", 1.0286109499839755], ["D180", 1.0286109499839755], ["D181", 1.0286109499839755], ["D182", 1.0286109499839755], ["D183", 1.0286109499839755], ["D184", 1.0286109499839755], ["D186", 1.0286109499839755], ["D192", 1.0286109499839755], ["D194", 1.0286109499839755], ["D196", 1.0286109499839755], ["D198", 1.0286109499839755], ["D199", 1.0286109499839755], ["D200", 1.0286109499839755], ["D201", 1.0286109499839755], ["D202", 1.0286109499839755], ["D204", 1.0286109499839755], ["D210", 1.0286109499839755], ["D212", 1.0286109499839755], ["D214", 1.0286109499839755], ["D216", 1.0286109499839755], ["D217", 1.0286109499839755], ["D218", 1.0286109499839755], ["D219", 1.0286109499839755], ["D220", 1.0286109499839755], ["D222", 1.0286109499839755], ["D223", 1.0286109499839755], ["D224", 1.0286109499839755], ["D225", 1.0286109499839755], ["D226", 1.0286109499839755], ["D227", 1.0286109499839755], ["D229", 1.0286109499839755], ["D231", 1.0286109499839755], ["D233", 1.0286109499839755], ["D239", 1.0286109499839755], ["D066", 1.0065677559926725], ["D068", 1.0065677559926725], ["D070", 1.0065677559926725], ["D072", 1.0065677559926725], ["D073", 1.0065677559926725], ["D074", 1.0065677559926725], ["D075", 1.0065677559926725], ["D076", 1.0065677559926725], ["D078", 1.0065677559926725], ["D228", 1.0065677559926725], ["D230", 1.0065677559926725], ["D232", 1.0065677559926725], ["D234", 1.0065677559926725], ["D235", 1.0065677559926725], ["D236", 1.0065677559926725], ["D237", 1.0065677559926725], ["D238", 1.0065677559926725], ["D240", 1.0065677559926725], ["D001", 0.0], ["D002", 0.0], ["D004", 0.0], ["D009", 0.0], ["D011", 0.0], ["D013", 0.0], ["D016", 0.0], ["D018", 0.0], ["D021", 0.0], ["D023", 0.0]], "abstain": false, "online_ms": 2.1236399188637733, "success": true}
{"scale": 240, "query_id": "Q04", "category": "paraphrase", "relevant": ["D003"], "method": "embedding", "ranking": [["D003", 0.4327496613225438], ["D160", 0.2723614195709118], ["D232", 0.26974443832595557], ["D070", 0.26143042491092616], ["D012", 0.25646052600664226], ["D052", 0.2521218872717743], ["D088", 0.2515492064331333], ["D142", 0.23967462900871056], ["D214", 0.2396418008164215], ["D106", 0.23630784353123185], ["D161", 0.23565729443761302], ["D017", 0.23513917820015545], ["D124", 0.23442901165497954], ["D018", 0.2329963131132281], ["D167", 0.22629100675580288], ["D034", 0.22598227409092875], ["D233", 0.22296953062720887], ["D157", 0.21893996782041375], ["D239", 0.21734748546528304], ["D071", 0.21253389283762508], ["D155", 0.209496622774946], ["D059", 0.20916581548872418], ["D077", 0.20911486966929177], ["D165", 0.20760988602647307], ["D224", 0.20665599188229267], ["D089", 0.2063856437173684], ["D230", 0.20393700071706022], ["D158", 0.20163250119163995], ["D068", 0.20027599150410674], ["D005", 0.19876749750028602], ["D113", 0.1972028624631666], ["D086", 0.19696168961492888], ["D152", 0.19692170003223486], ["D221", 0.1968925114710025], ["D156", 0.19666495788555505], ["D095", 0.19641930052997086], ["D047", 0.1964031578142441], ["D227", 0.19553081834459896], ["D149", 0.19362166590938135], ["D053", 0.193576809272646], ["D062", 0.19292068646564775], ["D083", 0.19267872244269466], ["D107", 0.19200026909649598], ["D228", 0.19076991419980738], ["D234", 0.18865704225670757], ["D041", 0.18686958359591777], ["D159", 0.18675942724007483], ["D065", 0.18514158397435557], ["D229", 0.18504037215395724], ["D231", 0.18492166021771012], ["D066", 0.1844448397816457], ["D143", 0.18439681999811575], ["D050", 0.18438963484880552], ["D084", 0.18392958272945573], ["D048", 0.183519276354575], ["D178", 0.18319380596384777], ["D104", 0.18292506613894605], ["D093", 0.18254339458756563], ["D215", 0.18231546507161017], ["D085", 0.18021948247401212], ["D131", 0.17970185755415574], ["D237", 0.17921961400638375], ["D103", 0.17885172557819248], ["D101", 0.17840113597451257], ["D072", 0.17804126401254478], ["D196", 0.17798424827949968], ["D069", 0.17723652237408366], ["D102", 0.17603400204586525], ["D211", 0.17591711273261545], ["D024", 0.17540777578816236], ["D067", 0.17538333451810667], ["D020", 0.17346574390727376], ["D075", 0.17326071278799202], ["D098", 0.17303633060067652], ["D139", 0.1710162100509685], ["D080", 0.17101611786584223], ["D049", 0.1710025791839115], ["D105", 0.1697306244829628], ["D031", 0.16920048799304896], ["D154", 0.16874816228596728], ["D035", 0.16784927943891495], ["D051", 0.16765800086888616], ["D137", 0.16708105854420918], ["D057", 0.1668190453433238], ["D209", 0.16645821402388195], ["D125", 0.166269981696972], ["D140", 0.16547128434627217], ["D019", 0.16448434558229147], ["D087", 0.16446672073493906], ["D090", 0.1641290886617664], ["D111", 0.1640164148090576], ["D122", 0.1620518658562662], ["D151", 0.16200761445248407], ["D226", 0.1614600505755669], ["D162", 0.15847239127251878], ["D044", 0.15789345682671274], ["D166", 0.1577201369330482], ["D206", 0.1574341920484823], ["D021", 0.1567727457615331], ["D212", 0.15546240532812722], ["D141", 0.1547756420500347], ["D029", 0.1545748514288015], ["D168", 0.15440403511403628], ["D138", 0.15308060073129157], ["D223", 0.15285565785016128], ["D010", 0.15239707061675425], ["D213", 0.15178917769382863], ["D064", 0.15169647156220528], ["D054", 0.15119056932791936], ["D163", 0.1505063016076173], ["D001", 0.1501002762514631], ["D120", 0.149854106900128], ["D121", 0.14911186494079634], ["D219", 0.14761095101746127], ["D119", 0.14756208383499608], ["D210", 0.1466721753833127], ["D061", 0.1459400324182019], ["D026", 0.14287568215819693], ["D185", 0.14224678589625173], ["D108", 0.1422371554990294], ["D147", 0.1422156136442209], ["D032", 0.14216403854709747], ["D100", 0.14155919634790176], ["D129", 0.14132330244775793], ["D097", 0.1410939233008406], ["D033", 0.1410530045165329], ["D046", 0.1410466108668073], ["D039", 0.14037282747649008], ["D043", 0.1392650326069765], ["D235", 0.13863481013302242], ["D082", 0.13782779513233903], ["D094", 0.13727524168678923], ["D216", 0.13709343325575135], ["D116", 0.136785064855182], ["D058", 0.13446565732993443], ["D174", 0.1342234180196218], ["D030", 0.13416836570204027], ["D079", 0.13382290331607613], ["D091", 0.1329524023332947], ["D123", 0.1328021409530995], ["D175", 0.13249680709228823], ["D109", 0.1309452001814692], ["D126", 0.13032293536858608], ["D238", 0.13011122719115953], ["D240", 0.13010019569275205], ["D220", 0.12993812936185872], ["D055", 0.12961698871267682], ["D176", 0.12943575906958013], ["D073", 0.12940608637050866], ["D096", 0.12861543092194672], ["D208", 0.12744440314440256], ["D217", 0.12649995306640544], ["D134", 0.12572022982291992], ["D203", 0.1256601058075941], ["D078", 0.1237446960395209], ["D112", 0.12339781484791046], ["D076", 0.1230000703439047], ["D153", 0.12273747103151114], ["D136", 0.12197104164439107], ["D205", 0.1206034549170664], ["D036", 0.11919002502040354], ["D040", 0.11898525304733786], ["D114", 0.11722126701338333], ["D164", 0.11718897170192755], ["D222", 0.11610917453945854], ["D028", 0.11538072821177583], ["D193", 0.11510992467579756], ["D006", 0.11502069175761731], ["D179", 0.11463654010669364], ["D177", 0.11420259688917266], ["D127", 0.11391067576608663], ["D037", 0.11365003410836311], ["D115", 0.1134376732904889], ["D025", 0.11274750951351534], ["D148", 0.1116872443878612], ["D133", 0.1109292499897522], ["D192", 0.11073086052425521], ["D236", 0.11045608437033136], ["D118", 0.11043434271993571], ["D194", 0.11030312411589602], ["D183", 0.10976684695908792], ["D130", 0.10944505437036736], ["D144", 0.10943084906973768], ["D060", 0.106978243849365], ["D009", 0.10657030758760697], ["D042", 0.10626531833585642], ["D074", 0.10452672596629721], ["D197", 0.10369378096158802], ["D011", 0.10254220576687265], ["D170", 0.10047885092604805], ["D056", 0.10036359875394524], ["D145", 0.09999899636461759], ["D150", 0.09935572357472516], ["D173", 0.09831537354530201], ["D191", 0.09623282468166058], ["D132", 0.09251654913572183], ["D092", 0.09198973634556976], ["D225", 0.09148173851820016], ["D013", 0.09124125175442259], ["D110", 0.09012475686667162], ["D195", 0.08886673375169445], ["D180", 0.08767873973688098], ["D201", 0.08765481361085051], ["D099", 0.08551637235644557], ["D045", 0.08489829614930314], ["D002", 0.08451782386142317], ["D169", 0.08428244165872928], ["D063", 0.08417567231327694], ["D172", 0.07986378515457045], ["D218", 0.07967855857123521], ["D081", 0.07903402850441388], ["D188", 0.07777609250581358], ["D186", 0.07680860096668905], ["D184", 0.07580979243568906], ["D181", 0.07547567546141054], ["D146", 0.07525063424214178], ["D207", 0.07482373178986931], ["D198", 0.07202449682404503], ["D038", 0.07057191046825388], ["D128", 0.06957212686347206], ["D187", 0.06386203697532869], ["D027", 0.06250849360433378], ["D135", 0.059878309400971316], ["D190", 0.058960104489587356], ["D204", 0.0581255264775493], ["D199", 0.05797301784957732], ["D182", 0.05667323362604323], ["D117", 0.05306170797083005], ["D202", 0.04818046396160395], ["D171", 0.030389181880654058], ["D014", 0.026296473409296858], ["D015", 0.026213062098984538], ["D200", 0.026134182560540842], ["D189", 0.011231728535722163], ["D022", 0.005308738088002623], ["D007", -0.018857585537333778], ["D016", -0.023875098006937313], ["D008", -0.03565524949809383], ["D023", -0.03882615642192029], ["D004", -0.07819329634288764]], "abstain": true, "online_ms": 59.55181713216007, "success": true}
{"scale": 240, "query_id": "Q04", "category": "paraphrase", "relevant": ["D003"], "method": "hybrid", "ranking": [["D003", 0.95], ["D019", 0.04], ["D010", 0.03], ["D012", 0.03], ["D014", 0.03], ["D022", 0.03], ["D006", 0.02], ["D007", 0.02]], "abstain": false, "online_ms": 146.211301907897, "api_roundtrip_ms": 144.08766198903322, "success": true, "usage": {"input_tokens": 1111, "output_tokens": 156}}
{"scale": 240, "query_id": "Q04", "category": "paraphrase", "relevant": ["D003"], "method": "direct", "ranking": [["D003", 1.0], ["D001", 0.0], ["D002", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 288.5946051683277, "api_roundtrip_ms": 288.5946051683277, "success": true, "choice": "D003", "answer_exists": 0.96, "usage": {"input_tokens": 21287, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q05", "category": "lexical_near_match", "relevant": ["D004"], "method": "bm25", "ranking": [["D004", 23.431664685087593], ["D012", 15.517466456637814], ["D023", 15.446706223545224], ["D005", 10.811424212550286], ["D008", 8.82661308188535], ["D001", 8.058204815664027], ["D013", 7.825191874744647], ["D006", 7.607022386458767], ["D011", 7.34919429456923], ["D002", 7.195959171603959], ["D024", 5.964153634141481], ["D014", 5.330902515275684], ["D022", 5.2981726992468605], ["D025", 5.104531813052122], ["D026", 5.104531813052122], ["D027", 5.104531813052122], ["D028", 5.104531813052122], ["D029", 5.104531813052122], ["D031", 5.104531813052122], ["D033", 5.104531813052122], ["D035", 5.104531813052122], ["D041", 5.104531813052122], ["D043", 5.104531813052122], ["D044", 5.104531813052122], ["D045", 5.104531813052122], ["D046", 5.104531813052122], ["D047", 5.104531813052122], ["D049", 5.104531813052122], ["D051", 5.104531813052122], ["D053", 5.104531813052122], ["D059", 5.104531813052122], ["D079", 5.104531813052122], ["D080", 5.104531813052122], ["D081", 5.104531813052122], ["D082", 5.104531813052122], ["D083", 5.104531813052122], ["D085", 5.104531813052122], ["D087", 5.104531813052122], ["D089", 5.104531813052122], ["D095", 5.104531813052122], ["D097", 5.104531813052122], ["D098", 5.104531813052122], ["D099", 5.104531813052122], ["D100", 5.104531813052122], ["D101", 5.104531813052122], ["D103", 5.104531813052122], ["D105", 5.104531813052122], ["D107", 5.104531813052122], ["D113", 5.104531813052122], ["D115", 5.104531813052122], ["D116", 5.104531813052122], ["D117", 5.104531813052122], ["D118", 5.104531813052122], ["D119", 5.104531813052122], ["D121", 5.104531813052122], ["D123", 5.104531813052122], ["D125", 5.104531813052122], ["D131", 5.104531813052122], ["D133", 5.104531813052122], ["D134", 5.104531813052122], ["D135", 5.104531813052122], ["D136", 5.104531813052122], ["D137", 5.104531813052122], ["D139", 5.104531813052122], ["D141", 5.104531813052122], ["D143", 5.104531813052122], ["D149", 5.104531813052122], ["D151", 5.104531813052122], ["D152", 5.104531813052122], ["D153", 5.104531813052122], ["D154", 5.104531813052122], ["D155", 5.104531813052122], ["D157", 5.104531813052122], ["D159", 5.104531813052122], ["D161", 5.104531813052122], ["D167", 5.104531813052122], ["D169", 5.104531813052122], ["D170", 5.104531813052122], ["D171", 5.104531813052122], ["D172", 5.104531813052122], ["D173", 5.104531813052122], ["D175", 5.104531813052122], ["D177", 5.104531813052122], ["D179", 5.104531813052122], ["D185", 5.104531813052122], ["D187", 5.104531813052122], ["D188", 5.104531813052122], ["D189", 5.104531813052122], ["D190", 5.104531813052122], ["D191", 5.104531813052122], ["D193", 5.104531813052122], ["D195", 5.104531813052122], ["D197", 5.104531813052122], ["D203", 5.104531813052122], ["D205", 5.104531813052122], ["D206", 5.104531813052122], ["D207", 5.104531813052122], ["D208", 5.104531813052122], ["D209", 5.104531813052122], ["D211", 5.104531813052122], ["D213", 5.104531813052122], ["D215", 5.104531813052122], ["D221", 5.104531813052122], ["D003", 5.09747949325371], ["D030", 5.0112821525508275], ["D032", 5.0112821525508275], ["D034", 5.0112821525508275], ["D036", 5.0112821525508275], ["D037", 5.0112821525508275], ["D038", 5.0112821525508275], ["D039", 5.0112821525508275], ["D040", 5.0112821525508275], ["D042", 5.0112821525508275], ["D048", 5.0112821525508275], ["D050", 5.0112821525508275], ["D052", 5.0112821525508275], ["D054", 5.0112821525508275], ["D055", 5.0112821525508275], ["D056", 5.0112821525508275], ["D057", 5.0112821525508275], ["D058", 5.0112821525508275], ["D060", 5.0112821525508275], ["D061", 5.0112821525508275], ["D062", 5.0112821525508275], ["D063", 5.0112821525508275], ["D064", 5.0112821525508275], ["D065", 5.0112821525508275], ["D067", 5.0112821525508275], ["D069", 5.0112821525508275], ["D071", 5.0112821525508275], ["D077", 5.0112821525508275], ["D084", 5.0112821525508275], ["D086", 5.0112821525508275], ["D088", 5.0112821525508275], ["D090", 5.0112821525508275], ["D091", 5.0112821525508275], ["D092", 5.0112821525508275], ["D093", 5.0112821525508275], ["D094", 5.0112821525508275], ["D096", 5.0112821525508275], ["D102", 5.0112821525508275], ["D104", 5.0112821525508275], ["D106", 5.0112821525508275], ["D108", 5.0112821525508275], ["D109", 5.0112821525508275], ["D110", 5.0112821525508275], ["D111", 5.0112821525508275], ["D112", 5.0112821525508275], ["D114", 5.0112821525508275], ["D120", 5.0112821525508275], ["D122", 5.0112821525508275], ["D124", 5.0112821525508275], ["D126", 5.0112821525508275], ["D127", 5.0112821525508275], ["D128", 5.0112821525508275], ["D129", 5.0112821525508275], ["D130", 5.0112821525508275], ["D132", 5.0112821525508275], ["D138", 5.0112821525508275], ["D140", 5.0112821525508275], ["D142", 5.0112821525508275], ["D144", 5.0112821525508275], ["D145", 5.0112821525508275], ["D146", 5.0112821525508275], ["D147", 5.0112821525508275], ["D148", 5.0112821525508275], ["D150", 5.0112821525508275], ["D156", 5.0112821525508275], ["D158", 5.0112821525508275], ["D160", 5.0112821525508275], ["D162", 5.0112821525508275], ["D163", 5.0112821525508275], ["D164", 5.0112821525508275], ["D165", 5.0112821525508275], ["D166", 5.0112821525508275], ["D168", 5.0112821525508275], ["D174", 5.0112821525508275], ["D176", 5.0112821525508275], ["D178", 5.0112821525508275], ["D180", 5.0112821525508275], ["D181", 5.0112821525508275], ["D182", 5.0112821525508275], ["D183", 5.0112821525508275], ["D184", 5.0112821525508275], ["D186", 5.0112821525508275], ["D192", 5.0112821525508275], ["D194", 5.0112821525508275], ["D196", 5.0112821525508275], ["D198", 5.0112821525508275], ["D199", 5.0112821525508275], ["D200", 5.0112821525508275], ["D201", 5.0112821525508275], ["D202", 5.0112821525508275], ["D204", 5.0112821525508275], ["D210", 5.0112821525508275], ["D212", 5.0112821525508275], ["D214", 5.0112821525508275], ["D216", 5.0112821525508275], ["D217", 5.0112821525508275], ["D218", 5.0112821525508275], ["D219", 5.0112821525508275], ["D220", 5.0112821525508275], ["D222", 5.0112821525508275], ["D223", 5.0112821525508275], ["D224", 5.0112821525508275], ["D225", 5.0112821525508275], ["D226", 5.0112821525508275], ["D227", 5.0112821525508275], ["D229", 5.0112821525508275], ["D231", 5.0112821525508275], ["D233", 5.0112821525508275], ["D239", 5.0112821525508275], ["D066", 4.921467605401986], ["D068", 4.921467605401986], ["D070", 4.921467605401986], ["D072", 4.921467605401986], ["D073", 4.921467605401986], ["D074", 4.921467605401986], ["D075", 4.921467605401986], ["D076", 4.921467605401986], ["D078", 4.921467605401986], ["D228", 4.921467605401986], ["D230", 4.921467605401986], ["D232", 4.921467605401986], ["D234", 4.921467605401986], ["D235", 4.921467605401986], ["D236", 4.921467605401986], ["D237", 4.921467605401986], ["D238", 4.921467605401986], ["D240", 4.921467605401986], ["D007", 4.850553423417425], ["D015", 4.40317173958546], ["D017", 4.361200772391795], ["D019", 4.320045992052007], ["D020", 3.9557900557534937], ["D010", 3.713839587129864], ["D018", 3.65821060557699], ["D021", 3.2061111838570815], ["D009", 2.527748653464289], ["D016", 2.4615138070862264]], "abstain": false, "online_ms": 2.922199899330735, "success": true}
{"scale": 240, "query_id": "Q05", "category": "lexical_near_match", "relevant": ["D004"], "method": "embedding", "ranking": [["D023", 0.5547065206016768], ["D004", 0.49969279422684626], ["D020", 0.2868581536887582], ["D017", 0.2729352032321344], ["D015", 0.25167296976914144], ["D145", 0.25137206681400104], ["D021", 0.24341873566369648], ["D007", 0.2393325050731542], ["D019", 0.23708821618919346], ["D005", 0.2358485473159117], ["D018", 0.2333664810805291], ["D148", 0.22558203784546982], ["D163", 0.2179701574054796], ["D073", 0.2129901382589412], ["D217", 0.20852752639574523], ["D235", 0.2054593170495228], ["D055", 0.20266962190479323], ["D002", 0.19892674315703657], ["D037", 0.19840089934023752], ["D109", 0.19700962716766218], ["D127", 0.1951276269755407], ["D135", 0.19176927900433371], ["D091", 0.18855663418690366], ["D024", 0.18432410931373924], ["D220", 0.18148769776167883], ["D138", 0.17946240062055852], ["D199", 0.17635321316044428], ["D166", 0.17015839736141258], ["D040", 0.17009550372230248], ["D058", 0.17001540129543774], ["D022", 0.16839286834732603], ["D076", 0.16780893799616675], ["D181", 0.163299948384136], ["D001", 0.15983240146579608], ["D150", 0.15883182842490826], ["D238", 0.15813155989095182], ["D063", 0.15646671511461804], ["D156", 0.155422080910361], ["D153", 0.15540268591020573], ["D225", 0.15384563590391928], ["D066", 0.15285946426135047], ["D228", 0.1490365262490031], ["D133", 0.14836909566262058], ["D112", 0.14791284874377136], ["D130", 0.14655111353003342], ["D136", 0.1458331339802352], ["D045", 0.14215061746909427], ["D048", 0.14214459767298243], ["D094", 0.13994961994259467], ["D102", 0.1384472172276296], ["D099", 0.1373952534298742], ["D011", 0.13705184323500053], ["D207", 0.1363627648270634], ["D143", 0.1355209184214617], ["D202", 0.13547807406650278], ["D168", 0.13427899867963028], ["D184", 0.13367354426913441], ["D078", 0.1330304924602006], ["D149", 0.13065455044782315], ["D003", 0.1286492355912397], ["D137", 0.12635405662289015], ["D014", 0.12615665790439134], ["D027", 0.1253871860857206], ["D240", 0.12502774698410513], ["D008", 0.1238846604588454], ["D010", 0.12364693198132569], ["D120", 0.12255738512163171], ["D141", 0.12082032542917373], ["D142", 0.11993451957660245], ["D210", 0.11974816972066506], ["D171", 0.11900338672059993], ["D117", 0.11896251462373339], ["D084", 0.11829499614938611], ["D114", 0.11799165845895389], ["D189", 0.11794305432572426], ["D222", 0.1178890525555435], ["D174", 0.11729450713524153], ["D134", 0.1163206592061727], ["D140", 0.11573583443416115], ["D030", 0.11382104435478231], ["D151", 0.11311595706825316], ["D061", 0.11286920512209714], ["D081", 0.11145436505084416], ["D144", 0.10986713704351704], ["D013", 0.10982731154219216], ["D072", 0.10976344795401541], ["D192", 0.10945662427463365], ["D064", 0.10919815995071641], ["D042", 0.10762557970928463], ["D146", 0.10730878832041338], ["D234", 0.10676780006586051], ["D204", 0.106404384757372], ["D062", 0.10638037354317509], ["D147", 0.10617948213469863], ["D223", 0.10617265546515675], ["D060", 0.1049795598475499], ["D097", 0.10477161282653008], ["D043", 0.10319477765522846], ["D226", 0.10099344676576981], ["D069", 0.10058320858851305], ["D224", 0.10033993443159114], ["D186", 0.1003062913309355], ["D132", 0.09898701573900769], ["D077", 0.0987086900126134], ["D071", 0.09827773951615089], ["D161", 0.09765010711917338], ["D065", 0.09748787713091478], ["D162", 0.09524704247385203], ["D208", 0.09458574498714648], ["D154", 0.09417731257022238], ["D231", 0.09386007148956024], ["D046", 0.09344059801068731], ["D205", 0.09235098028888067], ["D227", 0.0923362064260419], ["D233", 0.09170769559983619], ["D152", 0.09105289433400268], ["D096", 0.09103004973315591], ["D239", 0.09096308247452814], ["D165", 0.09080376135639136], ["D068", 0.09078423743163083], ["D070", 0.09038326742004915], ["D216", 0.0897957018418977], ["D206", 0.089000777757931], ["D139", 0.0880496102147871], ["D075", 0.08737403501239176], ["D053", 0.08546283681897149], ["D115", 0.08464968432080967], ["D098", 0.08341552207237207], ["D209", 0.0832234448546407], ["D155", 0.08307280427025826], ["D028", 0.08233157495282953], ["D074", 0.08167088457593358], ["D025", 0.08157615671734139], ["D232", 0.08131356919880102], ["D230", 0.08066132776816066], ["D059", 0.08043816691124607], ["D100", 0.08028799008950424], ["D215", 0.08013157826397549], ["D213", 0.07972223937427636], ["D237", 0.0791746888630985], ["D054", 0.07877139490486743], ["D012", 0.0785856031168452], ["D052", 0.07855542631385655], ["D036", 0.07768532257879411], ["D108", 0.07752441141316832], ["D047", 0.0771445319029837], ["D026", 0.07685566339361055], ["D079", 0.07662828542039832], ["D044", 0.07565289464878647], ["D236", 0.07561688448191674], ["D090", 0.07541687566000804], ["D107", 0.0746917706466434], ["D167", 0.07449029545000233], ["D050", 0.0744214082870096], ["D187", 0.07416347420988674], ["D159", 0.07398396418990592], ["D051", 0.07384397520818707], ["D214", 0.07258046613529565], ["D158", 0.0723359674898881], ["D169", 0.07211338516033763], ["D160", 0.07204523978159978], ["D029", 0.07164201375267737], ["D113", 0.07159020875985003], ["D105", 0.070971070007405], ["D101", 0.07074970795513716], ["D221", 0.06958510392083597], ["D212", 0.06942307515481282], ["D118", 0.06881562163726129], ["D126", 0.0686537799239693], ["D116", 0.06806777340055642], ["D033", 0.06702840605954552], ["D056", 0.06700906850394202], ["D035", 0.06695335649106283], ["D164", 0.06695064489500502], ["D057", 0.06692862105676307], ["D125", 0.06666115498825029], ["D080", 0.06517377635777943], ["D123", 0.06471275013406741], ["D131", 0.06405027693128804], ["D219", 0.06340365739009719], ["D104", 0.06329888695299679], ["D067", 0.062470855633575864], ["D110", 0.06177169441533827], ["D111", 0.061274492529765204], ["D041", 0.06089544750628901], ["D034", 0.06074516409112458], ["D122", 0.0602387644702981], ["D190", 0.058005200819119876], ["D083", 0.05795964306615651], ["D089", 0.05770452448075514], ["D039", 0.05684215665646475], ["D032", 0.05677192928921106], ["D211", 0.05668496763086352], ["D170", 0.05601403674142925], ["D172", 0.054887943851403206], ["D009", 0.05457202110732226], ["D229", 0.05397937298785571], ["D095", 0.05357468556887233], ["D119", 0.0532751651271652], ["D198", 0.0525002614447292], ["D183", 0.05189158136780568], ["D128", 0.0517487391620499], ["D178", 0.05117475140932654], ["D087", 0.050529240596076365], ["D086", 0.05014914614335235], ["D180", 0.05012366141025934], ["D188", 0.04997290260484132], ["D082", 0.04973357563192876], ["D218", 0.04817930996331908], ["D129", 0.0479133354022448], ["D093", 0.04779500876107089], ["D197", 0.047117557422768984], ["D185", 0.04662901458221687], ["D106", 0.04656043047363], ["D201", 0.04618214490186572], ["D203", 0.04558656007095378], ["D194", 0.0452618690902752], ["D177", 0.045214380416679086], ["D196", 0.04519893888900532], ["D038", 0.044925279982582514], ["D157", 0.04488575383306283], ["D124", 0.04482711458952912], ["D176", 0.044555879658996475], ["D031", 0.044483427736501435], ["D103", 0.0442798614936826], ["D191", 0.04400933155137029], ["D179", 0.043137477964619565], ["D195", 0.04216764237702712], ["D173", 0.041729460381172756], ["D006", 0.041208459462796915], ["D049", 0.03910585947321521], ["D200", 0.03788775817715613], ["D182", 0.03758504003284386], ["D092", 0.03749721552642438], ["D088", 0.03254795669925696], ["D175", 0.02840877193043375], ["D193", 0.02562982605753085], ["D121", 0.02283302331088763], ["D085", 0.01698888926401481], ["D016", -0.009398723831526075]], "abstain": false, "online_ms": 59.24014188349247, "success": true}
{"scale": 240, "query_id": "Q05", "category": "lexical_near_match", "relevant": ["D004"], "method": "hybrid", "ranking": [["D004", 0.93], ["D023", 0.13], ["D001", 0.03], ["D005", 0.02], ["D006", 0.02], ["D008", 0.02], ["D012", 0.02], ["D013", 0.02]], "abstain": false, "online_ms": 157.46525302529335, "api_roundtrip_ms": 154.54305312596262, "success": true, "usage": {"input_tokens": 1090, "output_tokens": 156}}
{"scale": 240, "query_id": "Q05", "category": "lexical_near_match", "relevant": ["D004"], "method": "direct", "ranking": [["D004", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 274.12848989479244, "api_roundtrip_ms": 274.12848989479244, "success": true, "choice": "D004", "answer_exists": 0.94, "usage": {"input_tokens": 21289, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q06", "category": "paraphrase", "relevant": ["D005"], "method": "bm25", "ranking": [["D024", 4.433566819850568], ["D005", 4.17100569779639], ["D028", 3.9378042284889743], ["D046", 3.9378042284889743], ["D082", 3.9378042284889743], ["D100", 3.9378042284889743], ["D118", 3.9378042284889743], ["D136", 3.9378042284889743], ["D154", 3.9378042284889743], ["D172", 3.9378042284889743], ["D190", 3.9378042284889743], ["D208", 3.9378042284889743], ["D064", 3.8758895183589224], ["D226", 3.8758895183589224], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 1.4581058640033007, "success": true}
{"scale": 240, "query_id": "Q06", "category": "paraphrase", "relevant": ["D005"], "method": "embedding", "ranking": [["D005", 0.49670701813767376], ["D024", 0.47959845114456623], ["D190", 0.35271492585912384], ["D172", 0.31278235159673456], ["D046", 0.30465518322619745], ["D118", 0.2798837863951291], ["D100", 0.27807476146067533], ["D154", 0.2771427383025806], ["D136", 0.2747075791905364], ["D082", 0.27204216527622005], ["D208", 0.26878121845939323], ["D028", 0.26813793086268145], ["D006", 0.22660189914756848], ["D226", 0.2170188149760004], ["D064", 0.21552377614912407], ["D194", 0.21452203636168887], ["D003", 0.1891883396389753], ["D191", 0.18878819500034366], ["D198", 0.18694154025563448], ["D203", 0.1770101789592581], ["D176", 0.17224482842165145], ["D201", 0.16594796925185482], ["D180", 0.1645907999113328], ["D158", 0.1605055955523399], ["D018", 0.15380006671187396], ["D050", 0.1429524243579275], ["D162", 0.14277424639536185], ["D011", 0.14215519816403727], ["D010", 0.14123566204826749], ["D197", 0.14122837639386407], ["D140", 0.13823039086706285], ["D212", 0.13676452137346323], ["D196", 0.13571681946917186], ["D054", 0.13521856893411838], ["D183", 0.13472484664895307], ["D216", 0.1345663511647234], ["D036", 0.13428792209291499], ["D185", 0.13361689468532328], ["D032", 0.13361356657781018], ["D017", 0.13275802282000723], ["D173", 0.13145263035422786], ["D122", 0.12967943855843606], ["D165", 0.12751703859053232], ["D188", 0.12650109623268552], ["D126", 0.12642300518377275], ["D155", 0.12437271326218116], ["D047", 0.12375042738261213], ["D104", 0.12333407994356956], ["D187", 0.12301355932188598], ["D108", 0.12153854353925826], ["D195", 0.1211802245794101], ["D016", 0.11957533181370934], ["D086", 0.1189398342604974], ["D090", 0.11872500447571534], ["D199", 0.11725018106282076], ["D202", 0.11163562865285004], ["D012", 0.11009633774300105], ["D230", 0.10931606102783309], ["D014", 0.10888867792691376], ["D068", 0.10854642209267051], ["D020", 0.10789953425768635], ["D193", 0.10684825897083805], ["D219", 0.10555669767312054], ["D039", 0.10476478676448324], ["D144", 0.10145965390180067], ["D170", 0.10143517222135395], ["D178", 0.10131355795297944], ["D189", 0.10026253138880192], ["D204", 0.0995722715805726], ["D167", 0.09951585852112504], ["D234", 0.09862169697823094], ["D179", 0.09847165871415857], ["D057", 0.09652068682469202], ["D200", 0.09609297514185176], ["D192", 0.09507061336271705], ["D209", 0.09382050919103332], ["D029", 0.09295576266012097], ["D129", 0.09178835353564185], ["D119", 0.09122398965082272], ["D072", 0.091011169123138], ["D169", 0.08918762658767942], ["D177", 0.08828410109674106], ["D059", 0.08673081198920145], ["D137", 0.08603307101232507], ["D041", 0.08413075902031028], ["D101", 0.08284582756277721], ["D221", 0.08241428491999944], ["D083", 0.08202832173339641], ["D181", 0.08022299660192425], ["D152", 0.07907990365242515], ["D182", 0.07884829351111436], ["D111", 0.07874450734679327], ["D147", 0.07863431371392261], ["D093", 0.07853298521875134], ["D161", 0.07659909986598787], ["D019", 0.07568542448831339], ["D131", 0.07488886907136413], ["D052", 0.07290601887498077], ["D160", 0.07220239421546473], ["D175", 0.07185566594727719], ["D215", 0.0695513025921555], ["D184", 0.06806330703245331], ["D113", 0.0673571932636835], ["D035", 0.06723435494022079], ["D151", 0.06604833963024048], ["D171", 0.06523732582032545], ["D174", 0.06322152727526145], ["D186", 0.06265274886605242], ["D149", 0.06184713385244224], ["D163", 0.061232411380072564], ["D055", 0.06103309533282156], ["D053", 0.06061030386689584], ["D095", 0.059245371877304345], ["D206", 0.05880333807706043], ["D026", 0.058406774318225704], ["D034", 0.058219240794041754], ["D044", 0.05779809632602158], ["D214", 0.05747705694628159], ["D164", 0.05688685676733251], ["D237", 0.05663714316994839], ["D025", 0.05653071025682918], ["D001", 0.055622477939453824], ["D043", 0.05522876171536441], ["D048", 0.05488061716651869], ["D124", 0.054823615660266146], ["D217", 0.054436685294660725], ["D156", 0.054350618572832], ["D205", 0.053956539205927335], ["D168", 0.05217667055439007], ["D037", 0.051113207486391865], ["D075", 0.050695972587833586], ["D125", 0.0504886882952554], ["D116", 0.04996763444029595], ["D153", 0.04883618335589697], ["D127", 0.047893268243975856], ["D159", 0.04755497311724402], ["D227", 0.04750145378339205], ["D210", 0.04740979549504262], ["D002", 0.04653081768584745], ["D051", 0.04565452538497558], ["D058", 0.04557724628230342], ["D030", 0.045072519060283915], ["D056", 0.04433341880020275], ["D033", 0.04264186507644785], ["D080", 0.04233969313986842], ["D065", 0.04191688656274654], ["D213", 0.041645287805712604], ["D089", 0.04057398355625612], ["D239", 0.04056008089580834], ["D166", 0.0405065868198015], ["D115", 0.04004149796383692], ["D098", 0.03975592626550144], ["D123", 0.039550011631044255], ["D008", 0.03912643605563951], ["D143", 0.03863542393838563], ["D040", 0.03815964171318479], ["D045", 0.03771762580046831], ["D107", 0.03715096407270056], ["D142", 0.037096511357684596], ["D042", 0.03684927928666584], ["D038", 0.03627109856132313], ["D109", 0.03570476553665056], ["D106", 0.03542289592843495], ["D218", 0.034814430166809116], ["D220", 0.034771755021383854], ["D021", 0.033779871628438304], ["D077", 0.03358589505943393], ["D222", 0.03342406395740235], ["D141", 0.033407862892304505], ["D157", 0.033391430511233146], ["D088", 0.033086022877585344], ["D120", 0.03162522643235417], ["D097", 0.03141532398494563], ["D060", 0.029261890060420123], ["D091", 0.02911112209005202], ["D128", 0.029033126970651663], ["D207", 0.02846796219891273], ["D013", 0.02831391239903775], ["D130", 0.027667112807535046], ["D087", 0.027417525907621976], ["D027", 0.02683759020401951], ["D232", 0.02651702605124704], ["D079", 0.02632866234113509], ["D049", 0.025666850697584516], ["D145", 0.02527052343176954], ["D105", 0.024503799262454603], ["D031", 0.02399598906813112], ["D146", 0.023611027912579872], ["D134", 0.0235383129914843], ["D112", 0.022216520236631822], ["D211", 0.022143021590892657], ["D102", 0.022104773389558977], ["D132", 0.021990399654054433], ["D117", 0.020489656233796196], ["D022", 0.02039835613169766], ["D070", 0.02005004686790053], ["D099", 0.018719046111836314], ["D094", 0.01791367013719294], ["D133", 0.01696256265957815], ["D110", 0.01686967418377122], ["D121", 0.015864577335344132], ["D084", 0.013260468392703888], ["D092", 0.012810632963743782], ["D224", 0.012416017119002642], ["D114", 0.012229074303480924], ["D150", 0.01199612555249056], ["D233", 0.011855867077285337], ["D148", 0.01088080935408357], ["D139", 0.008835717242000631], ["D138", 0.00618753202971466], ["D231", 0.005954645997292805], ["D071", 0.005596075336273621], ["D103", 0.00539785413034086], ["D085", 0.005146526782361209], ["D081", 0.004183713758892822], ["D135", 0.004021807010864228], ["D096", 0.003883463056534992], ["D062", 0.0034735461764066724], ["D236", 0.0034342741178886374], ["D223", 0.000673435945650766], ["D069", 8.184606913188598e-05], ["D074", -0.0016740104845814965], ["D235", -0.003992594181016709], ["D061", -0.00408384435396902], ["D228", -0.00738678746026232], ["D073", -0.007987944838240025], ["D066", -0.008956425616151061], ["D240", -0.01107656801667107], ["D238", -0.016764805143892225], ["D009", -0.017516456158348286], ["D078", -0.017537020453775344], ["D007", -0.02107806102366925], ["D225", -0.021253650473708356], ["D076", -0.022167876964688728], ["D229", -0.022811282579602694], ["D063", -0.02451247623463719], ["D067", -0.029948720607847527], ["D023", -0.031856213136817524], ["D004", -0.053641181425369555], ["D015", -0.07188938160505043]], "abstain": true, "online_ms": 59.64811402373016, "success": true}
{"scale": 240, "query_id": "Q06", "category": "paraphrase", "relevant": ["D005"], "method": "hybrid", "ranking": [["D005", 0.91], ["D024", 0.13], ["D028", 0.04], ["D046", 0.04], ["D082", 0.04], ["D100", 0.03], ["D118", 0.03], ["D136", 0.03]], "abstain": false, "online_ms": 148.6463078763336, "api_roundtrip_ms": 147.1882020123303, "success": true, "usage": {"input_tokens": 1146, "output_tokens": 156}}
{"scale": 240, "query_id": "Q06", "category": "paraphrase", "relevant": ["D005"], "method": "direct", "ranking": [["D005", 0.99], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 328.72264413163066, "api_roundtrip_ms": 328.72264413163066, "success": true, "choice": "D005", "answer_exists": 0.94, "usage": {"input_tokens": 21282, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q07", "category": "paraphrase", "relevant": ["D006"], "method": "bm25", "ranking": [["D191", 10.118545547400817], ["D203", 10.002002927954017], ["D007", 7.280970348369186], ["D029", 6.715300448710531], ["D047", 6.715300448710531], ["D083", 6.715300448710531], ["D101", 6.715300448710531], ["D119", 6.715300448710531], ["D137", 6.715300448710531], ["D155", 6.715300448710531], ["D173", 6.715300448710531], ["D209", 6.715300448710531], ["D065", 6.60321957697464], ["D227", 6.60321957697464], ["D041", 6.598757829263731], ["D059", 6.598757829263731], ["D095", 6.598757829263731], ["D113", 6.598757829263731], ["D131", 6.598757829263731], ["D149", 6.598757829263731], ["D167", 6.598757829263731], ["D185", 6.598757829263731], ["D221", 6.598757829263731], ["D016", 6.586566968797051], ["D077", 6.488509375312512], ["D239", 6.488509375312512], ["D187", 5.955511005216348], ["D188", 5.955511005216348], ["D189", 5.955511005216348], ["D190", 5.955511005216348], ["D193", 5.955511005216348], ["D195", 5.955511005216348], ["D197", 5.955511005216348], ["D192", 5.855376421417647], ["D194", 5.855376421417647], ["D196", 5.855376421417647], ["D198", 5.855376421417647], ["D199", 5.855376421417647], ["D200", 5.855376421417647], ["D201", 5.855376421417647], ["D202", 5.855376421417647], ["D204", 5.855376421417647], ["D024", 5.4269110064666055], ["D003", 5.0551196600649915], ["D006", 4.332082633977049], ["D011", 4.222666629406508], ["D013", 2.9961439705509623], ["D015", 2.7863205984463177], ["D025", 2.5522659065260607], ["D026", 2.5522659065260607], ["D027", 2.5522659065260607], ["D028", 2.5522659065260607], ["D031", 2.5522659065260607], ["D033", 2.5522659065260607], ["D035", 2.5522659065260607], ["D043", 2.5522659065260607], ["D044", 2.5522659065260607], ["D045", 2.5522659065260607], ["D046", 2.5522659065260607], ["D049", 2.5522659065260607], ["D051", 2.5522659065260607], ["D053", 2.5522659065260607], ["D079", 2.5522659065260607], ["D080", 2.5522659065260607], ["D081", 2.5522659065260607], ["D082", 2.5522659065260607], ["D085", 2.5522659065260607], ["D087", 2.5522659065260607], ["D089", 2.5522659065260607], ["D097", 2.5522659065260607], ["D098", 2.5522659065260607], ["D099", 2.5522659065260607], ["D100", 2.5522659065260607], ["D103", 2.5522659065260607], ["D105", 2.5522659065260607], ["D107", 2.5522659065260607], ["D115", 2.5522659065260607], ["D116", 2.5522659065260607], ["D117", 2.5522659065260607], ["D118", 2.5522659065260607], ["D121", 2.5522659065260607], ["D123", 2.5522659065260607], ["D125", 2.5522659065260607], ["D133", 2.5522659065260607], ["D134", 2.5522659065260607], ["D135", 2.5522659065260607], ["D136", 2.5522659065260607], ["D139", 2.5522659065260607], ["D141", 2.5522659065260607], ["D143", 2.5522659065260607], ["D151", 2.5522659065260607], ["D152", 2.5522659065260607], ["D153", 2.5522659065260607], ["D154", 2.5522659065260607], ["D157", 2.5522659065260607], ["D159", 2.5522659065260607], ["D161", 2.5522659065260607], ["D169", 2.5522659065260607], ["D170", 2.5522659065260607], ["D171", 2.5522659065260607], ["D172", 2.5522659065260607], ["D175", 2.5522659065260607], ["D177", 2.5522659065260607], ["D179", 2.5522659065260607], ["D205", 2.5522659065260607], ["D206", 2.5522659065260607], ["D207", 2.5522659065260607], ["D208", 2.5522659065260607], ["D211", 2.5522659065260607], ["D213", 2.5522659065260607], ["D215", 2.5522659065260607], ["D030", 2.5056410762754138], ["D032", 2.5056410762754138], ["D034", 2.5056410762754138], ["D036", 2.5056410762754138], ["D037", 2.5056410762754138], ["D038", 2.5056410762754138], ["D039", 2.5056410762754138], ["D040", 2.5056410762754138], ["D042", 2.5056410762754138], ["D048", 2.5056410762754138], ["D050", 2.5056410762754138], ["D052", 2.5056410762754138], ["D054", 2.5056410762754138], ["D055", 2.5056410762754138], ["D056", 2.5056410762754138], ["D057", 2.5056410762754138], ["D058", 2.5056410762754138], ["D060", 2.5056410762754138], ["D061", 2.5056410762754138], ["D062", 2.5056410762754138], ["D063", 2.5056410762754138], ["D064", 2.5056410762754138], ["D067", 2.5056410762754138], ["D069", 2.5056410762754138], ["D071", 2.5056410762754138], ["D084", 2.5056410762754138], ["D086", 2.5056410762754138], ["D088", 2.5056410762754138], ["D090", 2.5056410762754138], ["D091", 2.5056410762754138], ["D092", 2.5056410762754138], ["D093", 2.5056410762754138], ["D094", 2.5056410762754138], ["D096", 2.5056410762754138], ["D102", 2.5056410762754138], ["D104", 2.5056410762754138], ["D106", 2.5056410762754138], ["D108", 2.5056410762754138], ["D109", 2.5056410762754138], ["D110", 2.5056410762754138], ["D111", 2.5056410762754138], ["D112", 2.5056410762754138], ["D114", 2.5056410762754138], ["D120", 2.5056410762754138], ["D122", 2.5056410762754138], ["D124", 2.5056410762754138], ["D126", 2.5056410762754138], ["D127", 2.5056410762754138], ["D128", 2.5056410762754138], ["D129", 2.5056410762754138], ["D130", 2.5056410762754138], ["D132", 2.5056410762754138], ["D138", 2.5056410762754138], ["D140", 2.5056410762754138], ["D142", 2.5056410762754138], ["D144", 2.5056410762754138], ["D145", 2.5056410762754138], ["D146", 2.5056410762754138], ["D147", 2.5056410762754138], ["D148", 2.5056410762754138], ["D150", 2.5056410762754138], ["D156", 2.5056410762754138], ["D158", 2.5056410762754138], ["D160", 2.5056410762754138], ["D162", 2.5056410762754138], ["D163", 2.5056410762754138], ["D164", 2.5056410762754138], ["D165", 2.5056410762754138], ["D166", 2.5056410762754138], ["D168", 2.5056410762754138], ["D174", 2.5056410762754138], ["D176", 2.5056410762754138], ["D178", 2.5056410762754138], ["D180", 2.5056410762754138], ["D181", 2.5056410762754138], ["D182", 2.5056410762754138], ["D183", 2.5056410762754138], ["D184", 2.5056410762754138], ["D186", 2.5056410762754138], ["D210", 2.5056410762754138], ["D212", 2.5056410762754138], ["D214", 2.5056410762754138], ["D216", 2.5056410762754138], ["D217", 2.5056410762754138], ["D218", 2.5056410762754138], ["D219", 2.5056410762754138], ["D220", 2.5056410762754138], ["D222", 2.5056410762754138], ["D223", 2.5056410762754138], ["D224", 2.5056410762754138], ["D225", 2.5056410762754138], ["D226", 2.5056410762754138], ["D229", 2.5056410762754138], ["D231", 2.5056410762754138], ["D233", 2.5056410762754138], ["D066", 2.460733802700993], ["D068", 2.460733802700993], ["D070", 2.460733802700993], ["D072", 2.460733802700993], ["D073", 2.460733802700993], ["D074", 2.460733802700993], ["D075", 2.460733802700993], ["D076", 2.460733802700993], ["D078", 2.460733802700993], ["D228", 2.460733802700993], ["D230", 2.460733802700993], ["D232", 2.460733802700993], ["D234", 2.460733802700993], ["D235", 2.460733802700993], ["D236", 2.460733802700993], ["D237", 2.460733802700993], ["D238", 2.460733802700993], ["D240", 2.460733802700993], ["D014", 2.121357514919226], ["D004", 1.829105302788495], ["D005", 1.829105302788495], ["D018", 1.829105302788495], ["D012", 1.6451670436246941], ["D008", 1.6168511411391417], ["D017", 1.6030555919285407], ["D021", 1.6030555919285407], ["D019", 1.5894934681179953], ["D001", 1.5761588949528023], ["D002", 1.5761588949528023], ["D009", 1.2638743267321444], ["D023", 1.2638743267321444], ["D020", 1.169469457307176], ["D010", 1.088187485437232], ["D022", 0.0]], "abstain": false, "online_ms": 1.5489819925278425, "success": true}
{"scale": 240, "query_id": "Q07", "category": "paraphrase", "relevant": ["D006"], "method": "embedding", "ranking": [["D006", 0.6270487928766544], ["D191", 0.3774252819367886], ["D013", 0.3115791106968373], ["D101", 0.3031428115007794], ["D203", 0.2906692426497642], ["D173", 0.2800239177044897], ["D083", 0.2603098651779336], ["D065", 0.2592219486536239], ["D227", 0.257819606204135], ["D047", 0.2477508549636242], ["D185", 0.23392759129158208], ["D001", 0.22894914581688042], ["D137", 0.22848285554588127], ["D012", 0.21696601265324275], ["D113", 0.21043920731693946], ["D198", 0.20780112303981477], ["D003", 0.20252247271295354], ["D180", 0.19971758585468216], ["D155", 0.19897736903465368], ["D197", 0.1956905773552096], ["D119", 0.19522096167451988], ["D029", 0.18959793683523216], ["D209", 0.18935047930020776], ["D196", 0.1884139999656509], ["D190", 0.18132785240155058], ["D182", 0.17981872631839296], ["D200", 0.17910923021451713], ["D011", 0.17812924859597395], ["D234", 0.16832629912083205], ["D239", 0.16625688978939118], ["D077", 0.16548440146463894], ["D188", 0.16542137807406102], ["D072", 0.16315650405642712], ["D005", 0.15383670548625714], ["D179", 0.15210663796864177], ["D170", 0.15178817251441434], ["D108", 0.1503629659654072], ["D172", 0.14943873285859804], ["D178", 0.14939022870206134], ["D149", 0.14824549536013093], ["D201", 0.14518106668880387], ["D110", 0.1401271136155511], ["D236", 0.1357761855731231], ["D074", 0.13415070004576524], ["D202", 0.13335551356330305], ["D018", 0.12959818012156019], ["D090", 0.1294703350823641], ["D183", 0.1293906038315274], ["D041", 0.12927398659572198], ["D221", 0.1282038987422277], ["D098", 0.12708363580558646], ["D059", 0.12690883503819594], ["D199", 0.12570091509480075], ["D187", 0.1244725785468199], ["D167", 0.12151739125971653], ["D014", 0.119739514885011], ["D100", 0.11773842721343522], ["D192", 0.11554632489208032], ["D021", 0.11541997219410464], ["D194", 0.11500547977851913], ["D007", 0.1147114745041185], ["D131", 0.1122828469357135], ["D224", 0.1122424442537817], ["D146", 0.11199487419265634], ["D195", 0.11159579582808125], ["D233", 0.10934559109232297], ["D107", 0.1086708107122], ["D062", 0.10750968240145442], ["D095", 0.10725564341861962], ["D071", 0.10554397744184806], ["D193", 0.10525203040633183], ["D111", 0.10121483529620408], ["D144", 0.10003334393877905], ["D056", 0.0993404809211554], ["D024", 0.09931668589280244], ["D054", 0.09880919998593615], ["D106", 0.09879145578279469], ["D181", 0.09564877242646583], ["D204", 0.09469135998302178], ["D016", 0.09443828144190924], ["D092", 0.09411247245552704], ["D126", 0.09378954530813652], ["D189", 0.09341077057692786], ["D174", 0.09250662170284205], ["D169", 0.09022926888489571], ["D216", 0.08965244346333302], ["D226", 0.08883894862192664], ["D036", 0.08857670143744953], ["D177", 0.08837169682220886], ["D237", 0.08795217231617902], ["D075", 0.08784030905431028], ["D022", 0.0873861167900342], ["D064", 0.08648591743071886], ["D232", 0.08550220171619825], ["D176", 0.08540974598331794], ["D184", 0.08281559177555929], ["D070", 0.08216258539957076], ["D164", 0.08058139906632691], ["D162", 0.07628779227565634], ["D136", 0.0683867900643271], ["D175", 0.06693052435858049], ["D038", 0.06608865431396467], ["D142", 0.06444599225912703], ["D218", 0.06407206346479905], ["D171", 0.0625273453640811], ["D128", 0.06187533820618128], ["D143", 0.06014695834904515], ["D017", 0.05987670861851133], ["D080", 0.059743177254378464], ["D097", 0.05557892540112333], ["D109", 0.05431932443977067], ["D186", 0.052736012384035316], ["D105", 0.051995426490363365], ["D082", 0.051887565718814845], ["D008", 0.05178500647641378], ["D093", 0.051704921907602314], ["D089", 0.051131803453062424], ["D235", 0.048812207235093705], ["D046", 0.04849135325293555], ["D088", 0.048480198694404335], ["D160", 0.04817783738281779], ["D165", 0.04782038327940339], ["D134", 0.04571992456235918], ["D020", 0.045676900104553095], ["D073", 0.045590365906585176], ["D147", 0.044446213957194454], ["D052", 0.04307274309367172], ["D215", 0.042446509387382314], ["D102", 0.041859595449264694], ["D044", 0.04113628431432131], ["D231", 0.04106212994614644], ["D002", 0.03913601174305339], ["D066", 0.03828500066393086], ["D152", 0.03813206459137053], ["D228", 0.03758540443103323], ["D104", 0.037369445240548194], ["D208", 0.036797310449399774], ["D069", 0.03602505250138953], ["D206", 0.035954839399370164], ["D026", 0.035705277205550376], ["D028", 0.03563663587609954], ["D103", 0.03493947421757347], ["D099", 0.03481288135545414], ["D035", 0.03454823629042253], ["D223", 0.03310401004570044], ["D230", 0.03268470912552242], ["D068", 0.03241293845705591], ["D112", 0.031807009251324805], ["D053", 0.03150435959172701], ["D161", 0.03133202824140755], ["D154", 0.03086568169758957], ["D061", 0.030696219168359327], ["D124", 0.030399300803815518], ["D116", 0.026961989511603262], ["D034", 0.02282957826506838], ["D238", 0.022583992948336493], ["D009", 0.02221654084117416], ["D091", 0.021749167230647754], ["D057", 0.0205272320699885], ["D076", 0.01858708945638049], ["D214", 0.017035027118228765], ["D118", 0.014753773932804432], ["D039", 0.014371958171595827], ["D114", 0.013402271304201227], ["D125", 0.012377152200070166], ["D219", 0.01231280659753158], ["D225", 0.011768530207804433], ["D063", 0.010409942131146509], ["D229", 0.008995550446047313], ["D055", 0.008457052064629657], ["D048", 0.007211777236151667], ["D129", 0.0058851526607401556], ["D019", 0.005154368409081329], ["D240", 0.004582798820994544], ["D138", 0.00345353292046751], ["D067", 0.0030340194610931764], ["D078", 0.0018480050705810876], ["D084", 0.0016287234884305377], ["D086", 0.001413582491382642], ["D140", 3.6223297223613934e-05], ["D145", -0.0014459739650666548], ["D141", -0.0018353260342895833], ["D133", -0.0026439674505495496], ["D163", -0.004223802453293211], ["D010", -0.004885032503228682], ["D023", -0.005799477857763103], ["D050", -0.007080828284324143], ["D094", -0.007986980552745309], ["D217", -0.008796633048833664], ["D127", -0.009222133959932715], ["D213", -0.01037276637901118], ["D037", -0.011220606146866118], ["D033", -0.011628627676476832], ["D015", -0.01189124019340399], ["D156", -0.013839946801258877], ["D079", -0.01388180606796353], ["D210", -0.015127361365802727], ["D030", -0.015734704980195642], ["D058", -0.015965314152924886], ["D157", -0.018229027890711492], ["D159", -0.0195274515298266], ["D120", -0.019766705447125308], ["D043", -0.021077552081853836], ["D148", -0.02205197425918938], ["D025", -0.02228815390955873], ["D205", -0.024552934405156976], ["D135", -0.02499109105442353], ["D139", -0.02500985816663029], ["D151", -0.025048942942852905], ["D212", -0.02522360915885705], ["D085", -0.025626200965425422], ["D032", -0.0259616132811], ["D051", -0.026234541100878656], ["D150", -0.026305067744149653], ["D081", -0.026972580009990463], ["D158", -0.027386446596312723], ["D122", -0.030100390838269285], ["D087", -0.030834907839919254], ["D166", -0.03140267203132949], ["D040", -0.03242168550341437], ["D096", -0.033545037912135534], ["D207", -0.03492167502440238], ["D045", -0.03544374343041093], ["D027", -0.03819162916690537], ["D168", -0.038751808463117], ["D153", -0.03912407468539376], ["D130", -0.03963553723880686], ["D220", -0.039656389066540565], ["D115", -0.04300216435094324], ["D123", -0.044965953954798146], ["D031", -0.045485600583688154], ["D211", -0.04725737496844762], ["D049", -0.04763303077731372], ["D042", -0.0477551614971975], ["D222", -0.049508708245723704], ["D060", -0.04961434342092272], ["D132", -0.05870287200796602], ["D004", -0.05906934368785312], ["D117", -0.06100326644940919], ["D121", -0.068673948484196]], "abstain": false, "online_ms": 61.775709968060255, "success": true}
{"scale": 240, "query_id": "Q07", "category": "paraphrase", "relevant": ["D006"], "method": "hybrid", "ranking": [["D191", 0.05], ["D083", 0.04], ["D101", 0.04], ["D119", 0.04], ["D007", 0.03], ["D029", 0.03], ["D047", 0.03], ["D203", 0.03]], "abstain": true, "online_ms": 179.193960968405, "api_roundtrip_ms": 177.64497897587717, "success": true, "usage": {"input_tokens": 1179, "output_tokens": 156}}
{"scale": 240, "query_id": "Q07", "category": "paraphrase", "relevant": ["D006"], "method": "direct", "ranking": [["D006", 0.99], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 292.9238670039922, "api_roundtrip_ms": 292.9238670039922, "success": true, "choice": "D006", "answer_exists": 0.9, "usage": {"input_tokens": 21288, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q08", "category": "lexical", "relevant": ["D007"], "method": "bm25", "ranking": [["D007", 35.277230151152565], ["D006", 13.162817454054057], ["D102", 11.024344474199179], ["D008", 8.450439805676362], ["D030", 7.517120325296488], ["D048", 7.517120325296488], ["D084", 7.517120325296488], ["D120", 7.517120325296488], ["D138", 7.517120325296488], ["D156", 7.517120325296488], ["D174", 7.517120325296488], ["D192", 7.517120325296488], ["D210", 7.517120325296488], ["D066", 7.388515991545306], ["D228", 7.388515991545306], ["D097", 7.167156810236396], ["D098", 7.167156810236396], ["D099", 7.167156810236396], ["D100", 7.167156810236396], ["D101", 7.167156810236396], ["D103", 7.167156810236396], ["D105", 7.167156810236396], ["D107", 7.167156810236396], ["D113", 7.167156810236396], ["D104", 7.04147617516208], ["D106", 7.04147617516208], ["D108", 7.04147617516208], ["D109", 7.04147617516208], ["D110", 7.04147617516208], ["D111", 7.04147617516208], ["D112", 7.04147617516208], ["D114", 7.04147617516208], ["D022", 6.749562435697262], ["D016", 6.586566968797051], ["D025", 3.6039071308040396], ["D026", 3.6039071308040396], ["D027", 3.6039071308040396], ["D028", 3.6039071308040396], ["D029", 3.6039071308040396], ["D031", 3.6039071308040396], ["D033", 3.6039071308040396], ["D035", 3.6039071308040396], ["D041", 3.6039071308040396], ["D043", 3.6039071308040396], ["D044", 3.6039071308040396], ["D045", 3.6039071308040396], ["D046", 3.6039071308040396], ["D047", 3.6039071308040396], ["D049", 3.6039071308040396], ["D051", 3.6039071308040396], ["D053", 3.6039071308040396], ["D059", 3.6039071308040396], ["D079", 3.6039071308040396], ["D080", 3.6039071308040396], ["D081", 3.6039071308040396], ["D082", 3.6039071308040396], ["D083", 3.6039071308040396], ["D085", 3.6039071308040396], ["D087", 3.6039071308040396], ["D089", 3.6039071308040396], ["D095", 3.6039071308040396], ["D115", 3.6039071308040396], ["D116", 3.6039071308040396], ["D117", 3.6039071308040396], ["D118", 3.6039071308040396], ["D119", 3.6039071308040396], ["D121", 3.6039071308040396], ["D123", 3.6039071308040396], ["D125", 3.6039071308040396], ["D131", 3.6039071308040396], ["D133", 3.6039071308040396], ["D134", 3.6039071308040396], ["D135", 3.6039071308040396], ["D136", 3.6039071308040396], ["D137", 3.6039071308040396], ["D139", 3.6039071308040396], ["D141", 3.6039071308040396], ["D143", 3.6039071308040396], ["D149", 3.6039071308040396], ["D151", 3.6039071308040396], ["D152", 3.6039071308040396], ["D153", 3.6039071308040396], ["D154", 3.6039071308040396], ["D155", 3.6039071308040396], ["D157", 3.6039071308040396], ["D159", 3.6039071308040396], ["D161", 3.6039071308040396], ["D167", 3.6039071308040396], ["D169", 3.6039071308040396], ["D170", 3.6039071308040396], ["D171", 3.6039071308040396], ["D172", 3.6039071308040396], ["D173", 3.6039071308040396], ["D175", 3.6039071308040396], ["D177", 3.6039071308040396], ["D179", 3.6039071308040396], ["D185", 3.6039071308040396], ["D187", 3.6039071308040396], ["D188", 3.6039071308040396], ["D189", 3.6039071308040396], ["D190", 3.6039071308040396], ["D191", 3.6039071308040396], ["D193", 3.6039071308040396], ["D195", 3.6039071308040396], ["D197", 3.6039071308040396], ["D203", 3.6039071308040396], ["D205", 3.6039071308040396], ["D206", 3.6039071308040396], ["D207", 3.6039071308040396], ["D208", 3.6039071308040396], ["D209", 3.6039071308040396], ["D211", 3.6039071308040396], ["D213", 3.6039071308040396], ["D215", 3.6039071308040396], ["D221", 3.6039071308040396], ["D032", 3.5342520262593893], ["D034", 3.5342520262593893], ["D036", 3.5342520262593893], ["D037", 3.5342520262593893], ["D038", 3.5342520262593893], ["D039", 3.5342520262593893], ["D040", 3.5342520262593893], ["D042", 3.5342520262593893], ["D050", 3.5342520262593893], ["D052", 3.5342520262593893], ["D054", 3.5342520262593893], ["D055", 3.5342520262593893], ["D056", 3.5342520262593893], ["D057", 3.5342520262593893], ["D058", 3.5342520262593893], ["D060", 3.5342520262593893], ["D061", 3.5342520262593893], ["D062", 3.5342520262593893], ["D063", 3.5342520262593893], ["D064", 3.5342520262593893], ["D065", 3.5342520262593893], ["D067", 3.5342520262593893], ["D069", 3.5342520262593893], ["D071", 3.5342520262593893], ["D077", 3.5342520262593893], ["D086", 3.5342520262593893], ["D088", 3.5342520262593893], ["D090", 3.5342520262593893], ["D091", 3.5342520262593893], ["D092", 3.5342520262593893], ["D093", 3.5342520262593893], ["D094", 3.5342520262593893], ["D096", 3.5342520262593893], ["D122", 3.5342520262593893], ["D124", 3.5342520262593893], ["D126", 3.5342520262593893], ["D127", 3.5342520262593893], ["D128", 3.5342520262593893], ["D129", 3.5342520262593893], ["D130", 3.5342520262593893], ["D132", 3.5342520262593893], ["D140", 3.5342520262593893], ["D142", 3.5342520262593893], ["D144", 3.5342520262593893], ["D145", 3.5342520262593893], ["D146", 3.5342520262593893], ["D147", 3.5342520262593893], ["D148", 3.5342520262593893], ["D150", 3.5342520262593893], ["D158", 3.5342520262593893], ["D160", 3.5342520262593893], ["D162", 3.5342520262593893], ["D163", 3.5342520262593893], ["D164", 3.5342520262593893], ["D165", 3.5342520262593893], ["D166", 3.5342520262593893], ["D168", 3.5342520262593893], ["D176", 3.5342520262593893], ["D178", 3.5342520262593893], ["D180", 3.5342520262593893], ["D181", 3.5342520262593893], ["D182", 3.5342520262593893], ["D183", 3.5342520262593893], ["D184", 3.5342520262593893], ["D186", 3.5342520262593893], ["D194", 3.5342520262593893], ["D196", 3.5342520262593893], ["D198", 3.5342520262593893], ["D199", 3.5342520262593893], ["D200", 3.5342520262593893], ["D201", 3.5342520262593893], ["D202", 3.5342520262593893], ["D204", 3.5342520262593893], ["D212", 3.5342520262593893], ["D214", 3.5342520262593893], ["D216", 3.5342520262593893], ["D217", 3.5342520262593893], ["D218", 3.5342520262593893], ["D219", 3.5342520262593893], ["D220", 3.5342520262593893], ["D222", 3.5342520262593893], ["D223", 3.5342520262593893], ["D224", 3.5342520262593893], ["D225", 3.5342520262593893], ["D226", 3.5342520262593893], ["D227", 3.5342520262593893], ["D229", 3.5342520262593893], ["D231", 3.5342520262593893], ["D233", 3.5342520262593893], ["D239", 3.5342520262593893], ["D068", 3.4673015586936655], ["D070", 3.4673015586936655], ["D072", 3.4673015586936655], ["D073", 3.4673015586936655], ["D074", 3.4673015586936655], ["D075", 3.4673015586936655], ["D076", 3.4673015586936655], ["D078", 3.4673015586936655], ["D230", 3.4673015586936655], ["D232", 3.4673015586936655], ["D234", 3.4673015586936655], ["D235", 3.4673015586936655], ["D236", 3.4673015586936655], ["D237", 3.4673015586936655], ["D238", 3.4673015586936655], ["D240", 3.4673015586936655], ["D011", 3.2061111838570815], ["D003", 3.119269274534863], ["D018", 2.970164358604511], ["D021", 2.758145180463254], ["D002", 2.7035241770277354], ["D023", 2.527748653464289], ["D020", 2.338938914614352], ["D014", 2.121357514919226], ["D013", 1.8410543820162493], ["D004", 1.829105302788495], ["D005", 1.829105302788495], ["D012", 1.6451670436246941], ["D015", 1.6168511411391417], ["D017", 1.6030555919285407], ["D019", 1.5894934681179953], ["D001", 1.5761588949528023], ["D009", 1.2638743267321444], ["D010", 1.088187485437232], ["D024", 0.0]], "abstain": false, "online_ms": 1.7941780388355255, "success": true}
{"scale": 240, "query_id": "Q08", "category": "lexical", "relevant": ["D007"], "method": "embedding", "ranking": [["D007", 0.7549383462819507], ["D015", 0.3311831712101577], ["D017", 0.2950429353045404], ["D156", 0.25157324303283474], ["D018", 0.24249966880922952], ["D006", 0.2241891782123394], ["D228", 0.21623064421171587], ["D066", 0.2160454244592687], ["D023", 0.20777015508222757], ["D005", 0.19579202684555913], ["D120", 0.19524036439914222], ["D138", 0.18825164693331733], ["D102", 0.18818442145785497], ["D192", 0.1805550014867027], ["D019", 0.1705617616361778], ["D084", 0.16835065288631526], ["D048", 0.1654397416710355], ["D174", 0.14533748674167907], ["D016", 0.14111965224237566], ["D163", 0.1392961891686], ["D013", 0.13573284524329285], ["D004", 0.1353407438220747], ["D020", 0.13265646904207734], ["D011", 0.12636897506280817], ["D164", 0.1134252812631386], ["D073", 0.11112008629603887], ["D022", 0.11110473835102563], ["D235", 0.11065546975880824], ["D127", 0.10758347038889701], ["D021", 0.10289044398598703], ["D010", 0.10201598867807657], ["D003", 0.10087137687292669], ["D030", 0.09760760530283832], ["D024", 0.09429658445305787], ["D109", 0.09091740667663402], ["D210", 0.08901432736968731], ["D236", 0.08365377868887602], ["D074", 0.0833078434881295], ["D002", 0.07873821240977294], ["D091", 0.07580618270125963], ["D199", 0.0745338781937924], ["D166", 0.07113023853962983], ["D145", 0.06405373654446098], ["D146", 0.06400667887242686], ["D055", 0.06197550245889262], ["D128", 0.06172200757932281], ["D158", 0.06094768262932329], ["D056", 0.059561959524875], ["D037", 0.05839848682301363], ["D217", 0.055318734570762], ["D012", 0.05400205958219055], ["D165", 0.0474559658359427], ["D110", 0.046001778083948175], ["D153", 0.045320910289358224], ["D162", 0.043972638980953486], ["D238", 0.041875787629399905], ["D130", 0.04104283921197427], ["D076", 0.040199014052887796], ["D181", 0.03904772244147153], ["D092", 0.036598859659593704], ["D122", 0.035452514996051114], ["D200", 0.02858358579839459], ["D161", 0.028285106525234607], ["D068", 0.027622479401806198], ["D230", 0.026204912644041036], ["D234", 0.023850331947915297], ["D038", 0.022867569335026598], ["D072", 0.022698226537426106], ["D218", 0.022640397552232593], ["D014", 0.019422300217870364], ["D112", 0.01720345731751528], ["D009", 0.016215314720259454], ["D160", 0.014548465271305943], ["D155", 0.012945790676618617], ["D202", 0.012269464839196664], ["D140", 0.010106470752137546], ["D182", 0.009922572243531949], ["D148", 0.00983332778810743], ["D225", 0.008801851307006461], ["D075", 0.008553197161821194], ["D058", 0.007816634785094666], ["D237", 0.007204851889918894], ["D152", 0.006029417256687278], ["D194", 0.004160302080088727], ["D126", 0.0033299754355045064], ["D063", 0.0032976438375529535], ["D104", 0.0024243503647092754], ["D159", 0.0020921557716295155], ["D154", -0.0020851224812282534], ["D232", -0.0024084130064788746], ["D040", -0.002409510432675975], ["D167", -0.003598159273771495], ["D094", -0.003732527883670657], ["D220", -0.0041317932558398995], ["D070", -0.00482318455979317], ["D144", -0.005777159546437281], ["D151", -0.00688391715205075], ["D050", -0.007253510902288488], ["D086", -0.008680829686254717], ["D090", -0.008936913058476888], ["D117", -0.009152153729347981], ["D233", -0.00925468529587263], ["D198", -0.0114012569791442], ["D108", -0.013199702627857642], ["D071", -0.013910574464926197], ["D129", -0.016768758646995237], ["D239", -0.016820782452030607], ["D001", -0.016827302298939716], ["D099", -0.017686382790628178], ["D054", -0.018062241452138625], ["D077", -0.018543159773887034], ["D227", -0.018759550468851895], ["D184", -0.019597392127316524], ["D231", -0.019773401511715673], ["D125", -0.01983649837283976], ["D036", -0.0200097286975736], ["D032", -0.02132125434933927], ["D065", -0.022697981849535663], ["D147", -0.022848275514633254], ["D212", -0.02287467083514183], ["D069", -0.023191862554103798], ["D111", -0.023682089498504193], ["D062", -0.024333949833800758], ["D216", -0.024358749804469986], ["D124", -0.02491272329954408], ["D143", -0.02501086149132859], ["D142", -0.025844340510970995], ["D135", -0.026120553525965574], ["D224", -0.02686452155580754], ["D168", -0.027163263016008934], ["D157", -0.028125180091208735], ["D189", -0.029540663752868873], ["D008", -0.03064532421618082], ["D137", -0.032059709258820596], ["D176", -0.032260443133854545], ["D052", -0.03520106803046556], ["D045", -0.03662439539395044], ["D201", -0.036640809264673835], ["D119", -0.03756486588005922], ["D196", -0.03807137994508491], ["D057", -0.038321710847908017], ["D123", -0.03845359537149147], ["D223", -0.03898432088097761], ["D081", -0.03929131275707176], ["D061", -0.03966382546635262], ["D226", -0.0397624664095751], ["D116", -0.04000973463768103], ["D131", -0.040109796869982624], ["D229", -0.04222574514303751], ["D141", -0.04278267394275413], ["D053", -0.04417489696822745], ["D107", -0.04497710926788589], ["D067", -0.0451963605246746], ["D064", -0.046252950476150044], ["D197", -0.04649548479609579], ["D093", -0.04752621282332432], ["D047", -0.047582061442695445], ["D115", -0.047691332628127504], ["D180", -0.04926794310690384], ["D191", -0.049666794722730015], ["D240", -0.050563111491586515], ["D207", -0.05062873318098253], ["D078", -0.050931335924977963], ["D113", -0.051084081351639304], ["D149", -0.05178907344475703], ["D106", -0.05297435903594192], ["D219", -0.053553053953812206], ["D027", -0.05357134201357383], ["D039", -0.054617305312430406], ["D118", -0.05505444852633982], ["D059", -0.05563577747748693], ["D171", -0.05713047483102904], ["D136", -0.057149918111670736], ["D215", -0.057998691019431066], ["D134", -0.0584686432229974], ["D203", -0.05867480981325056], ["D035", -0.05974588228171547], ["D098", -0.060420816875156914], ["D101", -0.06080848851386197], ["D089", -0.06108760622583585], ["D183", -0.06132038017545173], ["D132", -0.062129990374429844], ["D051", -0.06254243470202439], ["D097", -0.06287474227755636], ["D044", -0.06313502427465917], ["D105", -0.06338732430363547], ["D034", -0.06416831340670778], ["D195", -0.06532174537636737], ["D088", -0.06537612897505846], ["D029", -0.06642910028257093], ["D214", -0.06659735872350889], ["D133", -0.06716108801247002], ["D083", -0.06818731019134328], ["D121", -0.06822852715168447], ["D150", -0.06852859620705236], ["D095", -0.06888808491339232], ["D188", -0.07074463903662287], ["D209", -0.07089712601422135], ["D046", -0.0726081799328995], ["D080", -0.0734582466678458], ["D041", -0.07427026875537188], ["D190", -0.07527810038914823], ["D213", -0.07568672353439322], ["D178", -0.07582666624764314], ["D204", -0.07610769133642498], ["D114", -0.07666498702618671], ["D043", -0.07825331339825714], ["D221", -0.07853086687003742], ["D033", -0.07875045134170719], ["D100", -0.07893977694631651], ["D087", -0.07988101469008617], ["D139", -0.08011895333724882], ["D187", -0.08015653192558056], ["D079", -0.0829658771557345], ["D026", -0.08312957227319887], ["D193", -0.08404302477498168], ["D103", -0.08519534101392653], ["D206", -0.08600140296972081], ["D179", -0.08649267519816212], ["D060", -0.08689665334376048], ["D028", -0.08745979768810136], ["D208", -0.08818731668913526], ["D049", -0.08850138434994259], ["D173", -0.09093283597580698], ["D205", -0.0927392239791571], ["D185", -0.09327488368664658], ["D025", -0.09356454701880584], ["D031", -0.09368178457353195], ["D211", -0.09532074978248051], ["D177", -0.0960364029022037], ["D042", -0.09834758427830045], ["D096", -0.09870112389434865], ["D082", -0.09903326819560188], ["D085", -0.09936964374618752], ["D222", -0.09983188088113415], ["D170", -0.10164031571998886], ["D186", -0.1043898198101183], ["D169", -0.10918471452200801], ["D172", -0.10990356985489519], ["D175", -0.11392133449655563]], "abstain": false, "online_ms": 63.52491700090468, "success": true}
{"scale": 240, "query_id": "Q08", "category": "lexical", "relevant": ["D007"], "method": "hybrid", "ranking": [["D007", 0.94], ["D030", 0.04], ["D048", 0.04], ["D102", 0.04], ["D120", 0.04], ["D084", 0.03], ["D006", 0.02], ["D008", 0.02]], "abstain": false, "online_ms": 159.9329391028732, "api_roundtrip_ms": 158.13876106403768, "success": true, "usage": {"input_tokens": 1176, "output_tokens": 156}}
{"scale": 240, "query_id": "Q08", "category": "lexical", "relevant": ["D007"], "method": "direct", "ranking": [["D007", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 301.147298887372, "api_roundtrip_ms": 301.147298887372, "success": true, "choice": "D007", "answer_exists": 0.96, "usage": {"input_tokens": 21294, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q09", "category": "paraphrase", "relevant": ["D008"], "method": "bm25", "ranking": [["D008", 5.089109207855379], ["D015", 5.089109207855379], ["D009", 4.148738796594737], ["D024", 4.093662304021356], ["D013", 3.791646754853522], ["D021", 3.791646754853522], ["D001", 3.700640154445894], ["D006", 3.6567556731308883], ["D010", 3.572036826220859], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D007", 0.0], ["D011", 0.0], ["D012", 0.0], ["D014", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D022", 0.0], ["D023", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 2.2433768026530743, "success": true}
{"scale": 240, "query_id": "Q09", "category": "paraphrase", "relevant": ["D008"], "method": "embedding", "ranking": [["D008", 0.521109412999173], ["D153", 0.23492604450602095], ["D005", 0.2310366671997951], ["D016", 0.19059059464340586], ["D099", 0.18149855934472486], ["D023", 0.1804602923972295], ["D081", 0.17022729707891654], ["D207", 0.1647323358896202], ["D004", 0.15935338593782467], ["D151", 0.1570079673898055], ["D164", 0.15606711659373956], ["D027", 0.15379041371805718], ["D021", 0.14706624571413945], ["D117", 0.14649557008179884], ["D225", 0.13472532165946347], ["D063", 0.1334543525958701], ["D045", 0.12388477231646762], ["D110", 0.11568523966761805], ["D135", 0.11155585283265952], ["D097", 0.10602062227913386], ["D171", 0.10372653940790987], ["D189", 0.10347463182874526], ["D168", 0.09182958070444003], ["D015", 0.09024252293013689], ["D218", 0.0894982502220843], ["D205", 0.08714622450668089], ["D001", 0.08574552736483301], ["D012", 0.08502365157749779], ["D092", 0.08195672451802376], ["D128", 0.08013010370840817], ["D079", 0.07777935020791674], ["D155", 0.07675976172331368], ["D115", 0.07291911577479872], ["D025", 0.07253442916147243], ["D038", 0.07225597734114285], ["D158", 0.0685017171398279], ["D146", 0.06804490811554513], ["D056", 0.0644451650514068], ["D043", 0.06036806758102356], ["D018", 0.05757638154117412], ["D182", 0.053709190266339704], ["D017", 0.05140092801695177], ["D236", 0.051034844431305806], ["D114", 0.05044014134425001], ["D223", 0.05034545704362173], ["D200", 0.047362034857850926], ["D010", 0.04660392798029302], ["D162", 0.04600747946990326], ["D163", 0.04514120434264282], ["D061", 0.0427303340603453], ["D222", 0.042678445397061136], ["D074", 0.04195115824952097], ["D154", 0.04191095425907102], ["D159", 0.03877467457892095], ["D019", 0.03831816844766943], ["D133", 0.03685368323646425], ["D161", 0.035615680454636076], ["D167", 0.03450737911537087], ["D020", 0.03388584202209162], ["D024", 0.033537102456500927], ["D104", 0.03293289304931147], ["D011", 0.03046854666105037], ["D216", 0.02989473379112184], ["D212", 0.029543867915957037], ["D042", 0.027378260736219944], ["D187", 0.023409084360263524], ["D209", 0.02324254810626557], ["D003", 0.022903571556759966], ["D096", 0.022490073359514893], ["D156", 0.02092728039985241], ["D166", 0.020308587283528103], ["D101", 0.019501559663679453], ["D217", 0.0192520816487404], ["D169", 0.018118213789035786], ["D006", 0.017881903447695056], ["D108", 0.01786187798267766], ["D036", 0.016751625092630576], ["D032", 0.01575833015490312], ["D007", 0.015195171960549803], ["D022", 0.014588364245537666], ["D208", 0.013301351916004671], ["D132", 0.012558780580880759], ["D100", 0.0117629325158291], ["D160", 0.011524676317741896], ["D210", 0.00997518969087368], ["D014", 0.009079587133956554], ["D029", 0.008760259617184673], ["D086", 0.008610923017366778], ["D037", 0.005637744603621105], ["D060", 0.00521117364691851], ["D122", 0.003947417903122929], ["D213", 0.0035441773663859935], ["D165", 0.0024837417648297406], ["D240", 0.002483584380848102], ["D109", 0.002231488968869582], ["D215", 0.002104541999407277], ["D083", 0.0015924813151343697], ["D028", -0.0009707990060374271], ["D157", -0.000978530921406786], ["D221", -0.0013753140611783496], ["D013", -0.0017022452019404485], ["D186", -0.001740508872564342], ["D050", -0.0033453770966790607], ["D105", -0.003385454778374049], ["D030", -0.004619592124312637], ["D078", -0.005303909312518548], ["D102", -0.005912086617899746], ["D204", -0.006076255208153362], ["D150", -0.007066939905859493], ["D113", -0.007348023598503915], ["D090", -0.007631769006943743], ["D220", -0.008709364499651978], ["D152", -0.008883850721186998], ["D047", -0.010464155209426033], ["D033", -0.01182592567095831], ["D126", -0.013178319028216774], ["D176", -0.013271431484704672], ["D230", -0.014045795976166325], ["D234", -0.014568774810943583], ["D035", -0.014618089071468512], ["D082", -0.015193441499342401], ["D140", -0.015806135615127972], ["D107", -0.015899656522764274], ["D211", -0.01653625732627385], ["D002", -0.016663892160945062], ["D041", -0.01725451166925074], ["D194", -0.01815529789958615], ["D054", -0.018561751614829862], ["D040", -0.01959929460619923], ["D119", -0.02114652750549534], ["D227", -0.021521005244541765], ["D055", -0.021593592636374014], ["D087", -0.022142481552055133], ["D198", -0.022881257617748993], ["D072", -0.02370037628079315], ["D068", -0.0237479150747406], ["D180", -0.023972962140535597], ["D084", -0.024554821249758513], ["D127", -0.02490283800657168], ["D106", -0.025728646955014593], ["D112", -0.02664492177814298], ["D048", -0.027121852646775902], ["D214", -0.027125490201313558], ["D118", -0.027282579559325934], ["D095", -0.027938274812173154], ["D219", -0.02856554785087741], ["D091", -0.02926353749207495], ["D111", -0.0297373534634092], ["D120", -0.03109821212593501], ["D031", -0.031099953692279476], ["D235", -0.03117202474615304], ["D123", -0.03176993127404052], ["D046", -0.03202249251277729], ["D226", -0.03235488674618682], ["D173", -0.033268411492824064], ["D103", -0.03373243543878815], ["D051", -0.03373730522884795], ["D144", -0.034083635561114003], ["D137", -0.03551536496879152], ["D065", -0.035693670224772045], ["D131", -0.03576827695338138], ["D191", -0.03635553477769658], ["D239", -0.036356018355145736], ["D034", -0.037286939959315035], ["D089", -0.037352327775215396], ["D231", -0.04037590831404417], ["D039", -0.0404541246111568], ["D059", -0.040898102075141135], ["D145", -0.040933962400951894], ["D073", -0.041395060645773], ["D181", -0.0419017639998343], ["D233", -0.04381599182036951], ["D228", -0.04488341825785391], ["D064", -0.04899825271623799], ["D088", -0.04902570108571466], ["D058", -0.04923140522718689], ["D130", -0.05030498272486504], ["D125", -0.050370692166064], ["D085", -0.05057823109156728], ["D238", -0.05062848101558706], ["D138", -0.050904070377765565], ["D136", -0.05136117414173428], ["D229", -0.05153864442207978], ["D199", -0.05188758885295153], ["D066", -0.0522398573191485], ["D049", -0.052246854306288046], ["D093", -0.052826437425018635], ["D141", -0.053155723286159175], ["D206", -0.05389267544342575], ["D094", -0.053981794166110236], ["D174", -0.054543755409609956], ["D077", -0.054831187476829676], ["D172", -0.055350416633871156], ["D098", -0.055653932461689024], ["D121", -0.05610553421688802], ["D053", -0.05688968461273124], ["D069", -0.058924184998393005], ["D071", -0.05894096440073752], ["D149", -0.05916283126096656], ["D177", -0.05992586685012269], ["D052", -0.0608702805327503], ["D185", -0.061017355360796076], ["D057", -0.061282129522076303], ["D009", -0.06147063154285941], ["D124", -0.06267939422407981], ["D076", -0.06287036066592391], ["D190", -0.06295775268536692], ["D129", -0.06458598026839577], ["D232", -0.0656673618593768], ["D026", -0.06598152756533499], ["D067", -0.06718934569732066], ["D192", -0.06811852001572782], ["D179", -0.06831192729493557], ["D195", -0.06957593988526653], ["D237", -0.06987049524944872], ["D178", -0.07080186560453829], ["D175", -0.0708739370882569], ["D203", -0.07114799605783384], ["D143", -0.07214103803973917], ["D184", -0.07290770159183238], ["D142", -0.07330530561244987], ["D080", -0.07335929932961757], ["D148", -0.07394572378718148], ["D070", -0.07728126652181327], ["D197", -0.07871140793869913], ["D183", -0.07899769770774304], ["D193", -0.07935098768496371], ["D196", -0.07983246151121617], ["D139", -0.07993157728798742], ["D075", -0.08163186380078502], ["D116", -0.08469733275563678], ["D147", -0.08521574861269579], ["D201", -0.0869258776449563], ["D202", -0.08738656626822283], ["D044", -0.09084764375848446], ["D224", -0.09302978370583831], ["D170", -0.10091675912301917], ["D062", -0.10373187394075667], ["D188", -0.10869380137344908], ["D134", -0.10968904010460634]], "abstain": false, "online_ms": 85.78188996762037, "success": true}
{"scale": 240, "query_id": "Q09", "category": "paraphrase", "relevant": ["D008"], "method": "hybrid", "ranking": [["D008", 0.95], ["D021", 0.08], ["D001", 0.07], ["D015", 0.04], ["D013", 0.03], ["D006", 0.02], ["D009", 0.02], ["D024", 0.02]], "abstain": false, "online_ms": 198.72139068320394, "api_roundtrip_ms": 196.47801388055086, "success": true, "usage": {"input_tokens": 1073, "output_tokens": 156}}
{"scale": 240, "query_id": "Q09", "category": "paraphrase", "relevant": ["D008"], "method": "direct", "ranking": [["D008", 0.99], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 312.3571190517396, "api_roundtrip_ms": 312.3571190517396, "success": true, "choice": "D008", "answer_exists": 0.91, "usage": {"input_tokens": 21283, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q10", "category": "lexical", "relevant": ["D009"], "method": "bm25", "ranking": [["D009", 29.60240929211332], ["D024", 5.150867764169482], ["D017", 5.124532519014387], ["D021", 5.124532519014387], ["D023", 5.116999075237011], ["D019", 5.068196053080051], ["D001", 5.013113801853685], ["D002", 5.013113801853685], ["D010", 4.405702559892963], ["D014", 2.121357514919226], ["D003", 1.9782102187188466], ["D013", 1.8410543820162493], ["D004", 1.829105302788495], ["D005", 1.829105302788495], ["D018", 1.829105302788495], ["D006", 1.8056665034575514], ["D012", 1.6451670436246941], ["D007", 1.6168511411391417], ["D008", 1.6168511411391417], ["D015", 1.6168511411391417], ["D011", 1.6030555919285407], ["D025", 1.500624682248082], ["D026", 1.500624682248082], ["D027", 1.500624682248082], ["D028", 1.500624682248082], ["D029", 1.500624682248082], ["D031", 1.500624682248082], ["D033", 1.500624682248082], ["D035", 1.500624682248082], ["D041", 1.500624682248082], ["D043", 1.500624682248082], ["D044", 1.500624682248082], ["D045", 1.500624682248082], ["D046", 1.500624682248082], ["D047", 1.500624682248082], ["D049", 1.500624682248082], ["D051", 1.500624682248082], ["D053", 1.500624682248082], ["D059", 1.500624682248082], ["D079", 1.500624682248082], ["D080", 1.500624682248082], ["D081", 1.500624682248082], ["D082", 1.500624682248082], ["D083", 1.500624682248082], ["D085", 1.500624682248082], ["D087", 1.500624682248082], ["D089", 1.500624682248082], ["D095", 1.500624682248082], ["D097", 1.500624682248082], ["D098", 1.500624682248082], ["D099", 1.500624682248082], ["D100", 1.500624682248082], ["D101", 1.500624682248082], ["D103", 1.500624682248082], ["D105", 1.500624682248082], ["D107", 1.500624682248082], ["D113", 1.500624682248082], ["D115", 1.500624682248082], ["D116", 1.500624682248082], ["D117", 1.500624682248082], ["D118", 1.500624682248082], ["D119", 1.500624682248082], ["D121", 1.500624682248082], ["D123", 1.500624682248082], ["D125", 1.500624682248082], ["D131", 1.500624682248082], ["D133", 1.500624682248082], ["D134", 1.500624682248082], ["D135", 1.500624682248082], ["D136", 1.500624682248082], ["D137", 1.500624682248082], ["D139", 1.500624682248082], ["D141", 1.500624682248082], ["D143", 1.500624682248082], ["D149", 1.500624682248082], ["D151", 1.500624682248082], ["D152", 1.500624682248082], ["D153", 1.500624682248082], ["D154", 1.500624682248082], ["D155", 1.500624682248082], ["D157", 1.500624682248082], ["D159", 1.500624682248082], ["D161", 1.500624682248082], ["D167", 1.500624682248082], ["D169", 1.500624682248082], ["D170", 1.500624682248082], ["D171", 1.500624682248082], ["D172", 1.500624682248082], ["D173", 1.500624682248082], ["D175", 1.500624682248082], ["D177", 1.500624682248082], ["D179", 1.500624682248082], ["D185", 1.500624682248082], ["D187", 1.500624682248082], ["D188", 1.500624682248082], ["D189", 1.500624682248082], ["D190", 1.500624682248082], ["D191", 1.500624682248082], ["D193", 1.500624682248082], ["D195", 1.500624682248082], ["D197", 1.500624682248082], ["D203", 1.500624682248082], ["D205", 1.500624682248082], ["D206", 1.500624682248082], ["D207", 1.500624682248082], ["D208", 1.500624682248082], ["D209", 1.500624682248082], ["D211", 1.500624682248082], ["D213", 1.500624682248082], ["D215", 1.500624682248082], ["D221", 1.500624682248082], ["D030", 1.4770301262914383], ["D032", 1.4770301262914383], ["D034", 1.4770301262914383], ["D036", 1.4770301262914383], ["D037", 1.4770301262914383], ["D038", 1.4770301262914383], ["D039", 1.4770301262914383], ["D040", 1.4770301262914383], ["D042", 1.4770301262914383], ["D048", 1.4770301262914383], ["D050", 1.4770301262914383], ["D052", 1.4770301262914383], ["D054", 1.4770301262914383], ["D055", 1.4770301262914383], ["D056", 1.4770301262914383], ["D057", 1.4770301262914383], ["D058", 1.4770301262914383], ["D060", 1.4770301262914383], ["D061", 1.4770301262914383], ["D062", 1.4770301262914383], ["D063", 1.4770301262914383], ["D064", 1.4770301262914383], ["D065", 1.4770301262914383], ["D067", 1.4770301262914383], ["D069", 1.4770301262914383], ["D071", 1.4770301262914383], ["D077", 1.4770301262914383], ["D084", 1.4770301262914383], ["D086", 1.4770301262914383], ["D088", 1.4770301262914383], ["D090", 1.4770301262914383], ["D091", 1.4770301262914383], ["D092", 1.4770301262914383], ["D093", 1.4770301262914383], ["D094", 1.4770301262914383], ["D096", 1.4770301262914383], ["D102", 1.4770301262914383], ["D104", 1.4770301262914383], ["D106", 1.4770301262914383], ["D108", 1.4770301262914383], ["D109", 1.4770301262914383], ["D110", 1.4770301262914383], ["D111", 1.4770301262914383], ["D112", 1.4770301262914383], ["D114", 1.4770301262914383], ["D120", 1.4770301262914383], ["D122", 1.4770301262914383], ["D124", 1.4770301262914383], ["D126", 1.4770301262914383], ["D127", 1.4770301262914383], ["D128", 1.4770301262914383], ["D129", 1.4770301262914383], ["D130", 1.4770301262914383], ["D132", 1.4770301262914383], ["D138", 1.4770301262914383], ["D140", 1.4770301262914383], ["D142", 1.4770301262914383], ["D144", 1.4770301262914383], ["D145", 1.4770301262914383], ["D146", 1.4770301262914383], ["D147", 1.4770301262914383], ["D148", 1.4770301262914383], ["D150", 1.4770301262914383], ["D156", 1.4770301262914383], ["D158", 1.4770301262914383], ["D160", 1.4770301262914383], ["D162", 1.4770301262914383], ["D163", 1.4770301262914383], ["D164", 1.4770301262914383], ["D165", 1.4770301262914383], ["D166", 1.4770301262914383], ["D168", 1.4770301262914383], ["D174", 1.4770301262914383], ["D176", 1.4770301262914383], ["D178", 1.4770301262914383], ["D180", 1.4770301262914383], ["D181", 1.4770301262914383], ["D182", 1.4770301262914383], ["D183", 1.4770301262914383], ["D184", 1.4770301262914383], ["D186", 1.4770301262914383], ["D192", 1.4770301262914383], ["D194", 1.4770301262914383], ["D196", 1.4770301262914383], ["D198", 1.4770301262914383], ["D199", 1.4770301262914383], ["D200", 1.4770301262914383], ["D201", 1.4770301262914383], ["D202", 1.4770301262914383], ["D204", 1.4770301262914383], ["D210", 1.4770301262914383], ["D212", 1.4770301262914383], ["D214", 1.4770301262914383], ["D216", 1.4770301262914383], ["D217", 1.4770301262914383], ["D218", 1.4770301262914383], ["D219", 1.4770301262914383], ["D220", 1.4770301262914383], ["D222", 1.4770301262914383], ["D223", 1.4770301262914383], ["D224", 1.4770301262914383], ["D225", 1.4770301262914383], ["D226", 1.4770301262914383], ["D227", 1.4770301262914383], ["D229", 1.4770301262914383], ["D231", 1.4770301262914383], ["D233", 1.4770301262914383], ["D239", 1.4770301262914383], ["D066", 1.4541660467083204], ["D068", 1.4541660467083204], ["D070", 1.4541660467083204], ["D072", 1.4541660467083204], ["D073", 1.4541660467083204], ["D074", 1.4541660467083204], ["D075", 1.4541660467083204], ["D076", 1.4541660467083204], ["D078", 1.4541660467083204], ["D228", 1.4541660467083204], ["D230", 1.4541660467083204], ["D232", 1.4541660467083204], ["D234", 1.4541660467083204], ["D235", 1.4541660467083204], ["D236", 1.4541660467083204], ["D237", 1.4541660467083204], ["D238", 1.4541660467083204], ["D240", 1.4541660467083204], ["D016", 1.2307569035431132], ["D020", 1.169469457307176], ["D022", 0.0]], "abstain": false, "online_ms": 1.8882700242102146, "success": true}
{"scale": 240, "query_id": "Q10", "category": "lexical", "relevant": ["D009"], "method": "embedding", "ranking": [["D009", 0.7674877793097047], ["D094", 0.5622005192387038], ["D091", 0.4994964471596598], ["D085", 0.4929681841297052], ["D093", 0.4465674197073595], ["D089", 0.4358719204175869], ["D095", 0.42493603656169066], ["D080", 0.4126644389362282], ["D088", 0.4104996881521787], ["D096", 0.38663852138799976], ["D082", 0.37295063348711976], ["D079", 0.3703817981570543], ["D087", 0.3688016003710376], ["D081", 0.3581362345868344], ["D084", 0.35679285672500627], ["D090", 0.3541996828648019], ["D083", 0.34395790490877665], ["D086", 0.3406264131819066], ["D058", 0.3354987629935179], ["D092", 0.3326257479281468], ["D112", 0.33045203080505586], ["D184", 0.32631482816768526], ["D109", 0.31426699031528416], ["D103", 0.30093095210865534], ["D148", 0.29732850625915813], ["D238", 0.2968965236183921], ["D076", 0.2965153908524693], ["D235", 0.29555159347015275], ["D166", 0.29479900463061515], ["D073", 0.29397146671065927], ["D055", 0.29315576935499355], ["D181", 0.29147628430391215], ["D157", 0.28970423269870405], ["D049", 0.2875123263810972], ["D001", 0.2863885916023007], ["D130", 0.2839067435400127], ["D202", 0.2829743091220478], ["D175", 0.2824466205431377], ["D229", 0.27001097146708486], ["D220", 0.2646097301715695], ["D139", 0.26442582339282444], ["D067", 0.2640757883968178], ["D193", 0.263751140611024], ["D127", 0.2618326380209353], ["D163", 0.26095544027248824], ["D145", 0.254577273500718], ["D111", 0.25330541111495897], ["D199", 0.24866157418238613], ["D121", 0.24293365966198982], ["D098", 0.24182995450047634], ["D237", 0.23347211445975632], ["D075", 0.2324874930673687], ["D211", 0.23203275289056308], ["D040", 0.23151318563467732], ["D057", 0.22735904631363943], ["D217", 0.2269501078268129], ["D224", 0.22634238715531496], ["D232", 0.22571980499135622], ["D020", 0.22570302843330964], ["D113", 0.2256377626479963], ["D059", 0.22425312059755906], ["D070", 0.221888458924384], ["D062", 0.21855280542120092], ["D102", 0.21819054054816783], ["D239", 0.21815760526497519], ["D185", 0.2164272699501582], ["D077", 0.2159507290763562], ["D052", 0.21424511679457944], ["D071", 0.21417606887166582], ["D233", 0.21294166500450257], ["D186", 0.21270472593482503], ["D106", 0.2126203242028283], ["D170", 0.21166640499798428], ["D107", 0.20784146041552964], ["D183", 0.2077271102950393], ["D114", 0.20744343241774327], ["D031", 0.20732269717900959], ["D165", 0.2066735722106144], ["D019", 0.20419203440070477], ["D178", 0.20272738136476237], ["D044", 0.20218128629203608], ["D240", 0.2013383352651012], ["D037", 0.20125570563623452], ["D053", 0.1993550614050275], ["D078", 0.1983476338822172], ["D097", 0.19803143187242264], ["D099", 0.19696190377830833], ["D179", 0.19591958710145338], ["D045", 0.19401391295156684], ["D048", 0.19383888074934202], ["D108", 0.19120009876476327], ["D228", 0.1902928293908554], ["D066", 0.19004144733277442], ["D234", 0.1885791994843777], ["D168", 0.18802240588765073], ["D174", 0.1877669061608473], ["D072", 0.18507505952099482], ["D131", 0.1849976113956194], ["D147", 0.18483326049394794], ["D060", 0.18480167647768703], ["D110", 0.18433767333257658], ["D129", 0.18233228649582878], ["D160", 0.1815521994080776], ["D105", 0.1814217987809113], ["D171", 0.18129995779284958], ["D043", 0.18093838158477865], ["D204", 0.18091383619830487], ["D225", 0.1803947591347661], ["D167", 0.17905241614897693], ["D142", 0.178231954768386], ["D021", 0.1776865794313885], ["D063", 0.17527736246337952], ["D223", 0.17349009980172028], ["D169", 0.17312626485914923], ["D104", 0.1730463250967167], ["D047", 0.17247129237555273], ["D161", 0.17230029802445657], ["D124", 0.17128900395521265], ["D051", 0.17060289073739093], ["D061", 0.16989021845075808], ["D201", 0.1698155307741347], ["D100", 0.16971829780521763], ["D050", 0.16932235318420424], ["D203", 0.16918974633448947], ["D227", 0.16791118473617492], ["D149", 0.1678481273145444], ["D152", 0.16699060019426168], ["D150", 0.1664819913281702], ["D046", 0.16603585863176995], ["D196", 0.1652984566262217], ["D054", 0.1646919515081798], ["D226", 0.16460564472805692], ["D177", 0.1638440329586833], ["D101", 0.16305931207954016], ["D064", 0.16282130227941094], ["D230", 0.1620986714379566], ["D065", 0.1618108447070268], ["D231", 0.16176412600753856], ["D116", 0.16173410288198115], ["D153", 0.16057899845238022], ["D132", 0.1604363688996429], ["D125", 0.16039203511142747], ["D069", 0.16015973605693007], ["D068", 0.16006516495715303], ["D176", 0.1593064651308414], ["D056", 0.1583252519947128], ["D134", 0.15815619557174249], ["D143", 0.1578543832768716], ["D197", 0.15706104080882877], ["D015", 0.15605529929937556], ["D180", 0.15543595811052816], ["D018", 0.15511409565528383], ["D236", 0.15473990308167213], ["D188", 0.1530284550926912], ["D156", 0.1516554198717856], ["D074", 0.1500548718667425], ["D120", 0.14949857848616088], ["D151", 0.14878320243754675], ["D135", 0.14845363710701132], ["D003", 0.14755771670702061], ["D221", 0.14623340028477055], ["D219", 0.14610132799137693], ["D182", 0.1459063612832513], ["D138", 0.14537437265419564], ["D013", 0.14246223526189264], ["D159", 0.1414685806979824], ["D189", 0.14110741800991022], ["D172", 0.1405395147647847], ["D173", 0.13964609616479687], ["D214", 0.13783010174688345], ["D222", 0.13774593820610256], ["D206", 0.13740480257540386], ["D133", 0.13627332866441816], ["D155", 0.13344695341666268], ["D117", 0.13344064763070235], ["D187", 0.13297379291856465], ["D192", 0.13234316142401562], ["D141", 0.13116956978968414], ["D158", 0.1309346687010267], ["D115", 0.13075089832688588], ["D017", 0.12906552179981218], ["D146", 0.12832109185136337], ["D164", 0.12823304246499134], ["D123", 0.12508884241787174], ["D039", 0.12497077659586747], ["D215", 0.12463944963634616], ["D137", 0.12283233695310602], ["D154", 0.12229255338299189], ["D195", 0.1218706132659439], ["D162", 0.1218073113533562], ["D126", 0.12151153045837203], ["D122", 0.12143600045379414], ["D016", 0.11941923367687238], ["D041", 0.11911270270600686], ["D140", 0.1171802342167414], ["D034", 0.11519619596501116], ["D207", 0.11411087266444958], ["D128", 0.11291079838033552], ["D118", 0.11171938955374873], ["D144", 0.10963402656990259], ["D042", 0.10930682083999997], ["D194", 0.1089372439243166], ["D191", 0.10809414406594484], ["D198", 0.1057235258006361], ["D026", 0.10440434449981423], ["D213", 0.10438357808811496], ["D023", 0.10436988655785488], ["D119", 0.1038266366249981], ["D136", 0.1021180517709647], ["D210", 0.1005068089788008], ["D008", 0.10025548635319681], ["D200", 0.10006854530434718], ["D205", 0.09723352576209592], ["D190", 0.09568930421079988], ["D035", 0.09533914871202576], ["D209", 0.09355700450243107], ["D004", 0.09245984580194866], ["D212", 0.09173458887103607], ["D010", 0.09082467177939185], ["D011", 0.08996984111277231], ["D027", 0.08801989523744783], ["D216", 0.08778290769388583], ["D218", 0.08148197840344527], ["D030", 0.08006222335571492], ["D208", 0.07984659595491027], ["D033", 0.0778343608197999], ["D005", 0.0776538953941675], ["D032", 0.07319869040883804], ["D006", 0.07170514145456208], ["D025", 0.06968037407744107], ["D029", 0.06883546491506638], ["D002", 0.05845631903983869], ["D038", 0.05807643855434059], ["D036", 0.05702803002700747], ["D024", 0.054018580026193884], ["D028", 0.05063397595902313], ["D022", 0.042802092233920244], ["D007", 0.00869423940876415], ["D012", -0.02513680926971918], ["D014", -0.03555247917582241]], "abstain": false, "online_ms": 50.06620101630688, "success": true}
{"scale": 240, "query_id": "Q10", "category": "lexical", "relevant": ["D009"], "method": "hybrid", "ranking": [["D009", 0.94], ["D019", 0.04], ["D021", 0.04], ["D001", 0.03], ["D002", 0.02], ["D017", 0.02], ["D023", 0.02], ["D024", 0.01]], "abstain": false, "online_ms": 173.81491092965007, "api_roundtrip_ms": 171.92664090543985, "success": true, "usage": {"input_tokens": 1069, "output_tokens": 156}}
{"scale": 240, "query_id": "Q10", "category": "lexical", "relevant": ["D009"], "method": "direct", "ranking": [["D009", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 290.87218292988837, "api_roundtrip_ms": 290.87218292988837, "success": true, "choice": "D009", "answer_exists": 0.97, "usage": {"input_tokens": 21281, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q11", "category": "paraphrase", "relevant": ["D010"], "method": "bm25", "ranking": [["D010", 16.034778648825267], ["D018", 8.504037829101453], ["D002", 7.957492416263701], ["D004", 7.136913190539046], ["D006", 7.007530375363833], ["D017", 6.7275881109429285], ["D019", 6.657689521198046], ["D024", 6.040088670175999], ["D020", 5.90425519113195], ["D014", 4.242715029838452], ["D003", 3.9564204374376932], ["D013", 3.6821087640324985], ["D005", 3.65821060557699], ["D022", 3.521476927085847], ["D012", 3.2903340872493883], ["D007", 3.2337022822782835], ["D008", 3.2337022822782835], ["D015", 3.2337022822782835], ["D011", 3.2061111838570815], ["D021", 3.2061111838570815], ["D001", 3.1523177899056045], ["D025", 3.001249364496164], ["D026", 3.001249364496164], ["D027", 3.001249364496164], ["D028", 3.001249364496164], ["D029", 3.001249364496164], ["D031", 3.001249364496164], ["D033", 3.001249364496164], ["D035", 3.001249364496164], ["D041", 3.001249364496164], ["D043", 3.001249364496164], ["D044", 3.001249364496164], ["D045", 3.001249364496164], ["D046", 3.001249364496164], ["D047", 3.001249364496164], ["D049", 3.001249364496164], ["D051", 3.001249364496164], ["D053", 3.001249364496164], ["D059", 3.001249364496164], ["D079", 3.001249364496164], ["D080", 3.001249364496164], ["D081", 3.001249364496164], ["D082", 3.001249364496164], ["D083", 3.001249364496164], ["D085", 3.001249364496164], ["D087", 3.001249364496164], ["D089", 3.001249364496164], ["D095", 3.001249364496164], ["D097", 3.001249364496164], ["D098", 3.001249364496164], ["D099", 3.001249364496164], ["D100", 3.001249364496164], ["D101", 3.001249364496164], ["D103", 3.001249364496164], ["D105", 3.001249364496164], ["D107", 3.001249364496164], ["D113", 3.001249364496164], ["D115", 3.001249364496164], ["D116", 3.001249364496164], ["D117", 3.001249364496164], ["D118", 3.001249364496164], ["D119", 3.001249364496164], ["D121", 3.001249364496164], ["D123", 3.001249364496164], ["D125", 3.001249364496164], ["D131", 3.001249364496164], ["D133", 3.001249364496164], ["D134", 3.001249364496164], ["D135", 3.001249364496164], ["D136", 3.001249364496164], ["D137", 3.001249364496164], ["D139", 3.001249364496164], ["D141", 3.001249364496164], ["D143", 3.001249364496164], ["D149", 3.001249364496164], ["D151", 3.001249364496164], ["D152", 3.001249364496164], ["D153", 3.001249364496164], ["D154", 3.001249364496164], ["D155", 3.001249364496164], ["D157", 3.001249364496164], ["D159", 3.001249364496164], ["D161", 3.001249364496164], ["D167", 3.001249364496164], ["D169", 3.001249364496164], ["D170", 3.001249364496164], ["D171", 3.001249364496164], ["D172", 3.001249364496164], ["D173", 3.001249364496164], ["D175", 3.001249364496164], ["D177", 3.001249364496164], ["D179", 3.001249364496164], ["D185", 3.001249364496164], ["D187", 3.001249364496164], ["D188", 3.001249364496164], ["D189", 3.001249364496164], ["D190", 3.001249364496164], ["D191", 3.001249364496164], ["D193", 3.001249364496164], ["D195", 3.001249364496164], ["D197", 3.001249364496164], ["D203", 3.001249364496164], ["D205", 3.001249364496164], ["D206", 3.001249364496164], ["D207", 3.001249364496164], ["D208", 3.001249364496164], ["D209", 3.001249364496164], ["D211", 3.001249364496164], ["D213", 3.001249364496164], ["D215", 3.001249364496164], ["D221", 3.001249364496164], ["D030", 2.9540602525828765], ["D032", 2.9540602525828765], ["D034", 2.9540602525828765], ["D036", 2.9540602525828765], ["D037", 2.9540602525828765], ["D038", 2.9540602525828765], ["D039", 2.9540602525828765], ["D040", 2.9540602525828765], ["D042", 2.9540602525828765], ["D048", 2.9540602525828765], ["D050", 2.9540602525828765], ["D052", 2.9540602525828765], ["D054", 2.9540602525828765], ["D055", 2.9540602525828765], ["D056", 2.9540602525828765], ["D057", 2.9540602525828765], ["D058", 2.9540602525828765], ["D060", 2.9540602525828765], ["D061", 2.9540602525828765], ["D062", 2.9540602525828765], ["D063", 2.9540602525828765], ["D064", 2.9540602525828765], ["D065", 2.9540602525828765], ["D067", 2.9540602525828765], ["D069", 2.9540602525828765], ["D071", 2.9540602525828765], ["D077", 2.9540602525828765], ["D084", 2.9540602525828765], ["D086", 2.9540602525828765], ["D088", 2.9540602525828765], ["D090", 2.9540602525828765], ["D091", 2.9540602525828765], ["D092", 2.9540602525828765], ["D093", 2.9540602525828765], ["D094", 2.9540602525828765], ["D096", 2.9540602525828765], ["D102", 2.9540602525828765], ["D104", 2.9540602525828765], ["D106", 2.9540602525828765], ["D108", 2.9540602525828765], ["D109", 2.9540602525828765], ["D110", 2.9540602525828765], ["D111", 2.9540602525828765], ["D112", 2.9540602525828765], ["D114", 2.9540602525828765], ["D120", 2.9540602525828765], ["D122", 2.9540602525828765], ["D124", 2.9540602525828765], ["D126", 2.9540602525828765], ["D127", 2.9540602525828765], ["D128", 2.9540602525828765], ["D129", 2.9540602525828765], ["D130", 2.9540602525828765], ["D132", 2.9540602525828765], ["D138", 2.9540602525828765], ["D140", 2.9540602525828765], ["D142", 2.9540602525828765], ["D144", 2.9540602525828765], ["D145", 2.9540602525828765], ["D146", 2.9540602525828765], ["D147", 2.9540602525828765], ["D148", 2.9540602525828765], ["D150", 2.9540602525828765], ["D156", 2.9540602525828765], ["D158", 2.9540602525828765], ["D160", 2.9540602525828765], ["D162", 2.9540602525828765], ["D163", 2.9540602525828765], ["D164", 2.9540602525828765], ["D165", 2.9540602525828765], ["D166", 2.9540602525828765], ["D168", 2.9540602525828765], ["D174", 2.9540602525828765], ["D176", 2.9540602525828765], ["D178", 2.9540602525828765], ["D180", 2.9540602525828765], ["D181", 2.9540602525828765], ["D182", 2.9540602525828765], ["D183", 2.9540602525828765], ["D184", 2.9540602525828765], ["D186", 2.9540602525828765], ["D192", 2.9540602525828765], ["D194", 2.9540602525828765], ["D196", 2.9540602525828765], ["D198", 2.9540602525828765], ["D199", 2.9540602525828765], ["D200", 2.9540602525828765], ["D201", 2.9540602525828765], ["D202", 2.9540602525828765], ["D204", 2.9540602525828765], ["D210", 2.9540602525828765], ["D212", 2.9540602525828765], ["D214", 2.9540602525828765], ["D216", 2.9540602525828765], ["D217", 2.9540602525828765], ["D218", 2.9540602525828765], ["D219", 2.9540602525828765], ["D220", 2.9540602525828765], ["D222", 2.9540602525828765], ["D223", 2.9540602525828765], ["D224", 2.9540602525828765], ["D225", 2.9540602525828765], ["D226", 2.9540602525828765], ["D227", 2.9540602525828765], ["D229", 2.9540602525828765], ["D231", 2.9540602525828765], ["D233", 2.9540602525828765], ["D239", 2.9540602525828765], ["D066", 2.908332093416641], ["D068", 2.908332093416641], ["D070", 2.908332093416641], ["D072", 2.908332093416641], ["D073", 2.908332093416641], ["D074", 2.908332093416641], ["D075", 2.908332093416641], ["D076", 2.908332093416641], ["D078", 2.908332093416641], ["D228", 2.908332093416641], ["D230", 2.908332093416641], ["D232", 2.908332093416641], ["D234", 2.908332093416641], ["D235", 2.908332093416641], ["D236", 2.908332093416641], ["D237", 2.908332093416641], ["D238", 2.908332093416641], ["D240", 2.908332093416641], ["D009", 2.527748653464289], ["D023", 2.527748653464289], ["D016", 2.4615138070862264]], "abstain": false, "online_ms": 1.4542879071086645, "success": true}
{"scale": 240, "query_id": "Q11", "category": "paraphrase", "relevant": ["D010"], "method": "embedding", "ranking": [["D010", 0.5369246307161977], ["D086", 0.3697630803921326], ["D032", 0.3329227198139363], ["D104", 0.33022837773190805], ["D212", 0.324326464150713], ["D050", 0.32107219179107527], ["D194", 0.3181754717632757], ["D140", 0.3170755178080717], ["D122", 0.3135274679212653], ["D068", 0.3042979590418787], ["D176", 0.30356516359851976], ["D230", 0.3006656287938651], ["D158", 0.2980990177422624], ["D016", 0.19307894763678324], ["D084", 0.15226976060909592], ["D092", 0.150273476401987], ["D087", 0.13188683093000694], ["D081", 0.13035803594694756], ["D089", 0.1294931195617876], ["D088", 0.1294471265202122], ["D048", 0.12285043065265136], ["D034", 0.12240632037767978], ["D079", 0.12213188331063589], ["D030", 0.11929414891242421], ["D033", 0.11673461707748321], ["D038", 0.11625964356430743], ["D102", 0.11363216585866716], ["D056", 0.11342955668306383], ["D146", 0.11185747454837217], ["D214", 0.10971038959863794], ["D093", 0.10953721438163551], ["D110", 0.10889244033566796], ["D051", 0.10807750409002742], ["D210", 0.10715751305554405], ["D018", 0.1065759503876064], ["D213", 0.10642439079274069], ["D035", 0.10489106776545523], ["D052", 0.10409584511839393], ["D003", 0.10376373683457941], ["D218", 0.10295062889159376], ["D164", 0.1016297135386684], ["D005", 0.09987912938912306], ["D066", 0.09967118852629919], ["D027", 0.09777900468262749], ["D045", 0.09698264651484967], ["D215", 0.09676797463398773], ["D192", 0.09576788760278943], ["D025", 0.09558358000016078], ["D128", 0.09551574607902795], ["D141", 0.09533329956104887], ["D228", 0.0951272624651247], ["D120", 0.09355331709493073], ["D236", 0.09214179959302116], ["D207", 0.09199880349579476], ["D095", 0.09017585631900432], ["D138", 0.08954660118910426], ["D200", 0.08769159423547196], ["D024", 0.08755307855587775], ["D074", 0.08699218108966286], ["D205", 0.08672729508226892], ["D043", 0.08669358887967063], ["D156", 0.08496307785256317], ["D082", 0.08481204568605083], ["D099", 0.08383579342167415], ["D039", 0.08379706928758643], ["D174", 0.08372301370464424], ["D009", 0.0836491734749707], ["D017", 0.08203927279358628], ["D195", 0.07959237424268557], ["D080", 0.07933659582051386], ["D097", 0.07876793758018888], ["D053", 0.07861450324845559], ["D124", 0.07782151741422214], ["D070", 0.07772687914459295], ["D189", 0.07746544652499143], ["D041", 0.07627299285338854], ["D232", 0.07569993836861022], ["D182", 0.0756737557242371], ["D142", 0.07559848319250775], ["D196", 0.07542491396231937], ["D106", 0.0754212426505107], ["D012", 0.07353300243341351], ["D105", 0.07330882364709534], ["D117", 0.07263146134981396], ["D187", 0.07122690448009256], ["D219", 0.07053344627494407], ["D153", 0.0702743362500293], ["D085", 0.06860629008728533], ["D063", 0.06833475801697277], ["D057", 0.06743459663890211], ["D225", 0.06721917447132214], ["D028", 0.06697049228452909], ["D135", 0.06561610632181097], ["D231", 0.0651043675249339], ["D115", 0.06423577876938326], ["D090", 0.06356750725663676], ["D123", 0.06317684936653761], ["D026", 0.06211925046288734], ["D069", 0.06189298166883225], ["D177", 0.06187737291427385], ["D021", 0.06139207742144606], ["D159", 0.06022704772587854], ["D197", 0.05954932268237595], ["D151", 0.05867459889771278], ["D171", 0.05798785761705075], ["D107", 0.057714201916881876], ["D221", 0.0575572846978363], ["D178", 0.05613524780394458], ["D133", 0.05520324766217605], ["D059", 0.05404352511467218], ["D071", 0.05402621028554884], ["D008", 0.053684142861207956], ["D208", 0.0534202176583867], ["D169", 0.053212085033823284], ["D096", 0.052310662088885046], ["D031", 0.05217249640557603], ["D223", 0.0521651894260296], ["D233", 0.05201404406058732], ["D061", 0.051612438017742804], ["D143", 0.05136122172159642], ["D020", 0.05063394612726679], ["D125", 0.04855921716468032], ["D036", 0.047674319506849985], ["D111", 0.047600576204138406], ["D206", 0.047500479440957005], ["D046", 0.04614420013673851], ["D091", 0.04507381343436527], ["D160", 0.04434017955348531], ["D201", 0.04368684616871342], ["D075", 0.043409621774253504], ["D044", 0.04222825873745721], ["D129", 0.04187323150443918], ["D237", 0.04178551519037096], ["D179", 0.04147624603773682], ["D011", 0.04088402761175074], ["D042", 0.0381522518162863], ["D161", 0.037106171961727996], ["D147", 0.036621841604148477], ["D049", 0.03553713058470731], ["D054", 0.035528219247796276], ["D183", 0.03470132574906559], ["D211", 0.034632368467249104], ["D165", 0.034144155085403805], ["D216", 0.03349664199144592], ["D083", 0.031648677568834355], ["D037", 0.030917058655594333], ["D239", 0.029254530454775822], ["D094", 0.02893992276992106], ["D203", 0.02893701256327759], ["D077", 0.028831654338973854], ["D098", 0.027041364932811746], ["D190", 0.024826428016858058], ["D060", 0.024798182723666046], ["D222", 0.024486962458784133], ["D113", 0.023424121559703973], ["D022", 0.022895721105322637], ["D029", 0.021818251176883508], ["D100", 0.02157558060919281], ["D193", 0.021518635105158133], ["D226", 0.02056298764193252], ["D002", 0.020343412532273175], ["D188", 0.02027236499229442], ["D064", 0.02020985802781067], ["D108", 0.02004248943914818], ["D040", 0.01923776708224499], ["D217", 0.018552547190990087], ["D149", 0.018022562910178314], ["D224", 0.017503922157738334], ["D072", 0.017444765797480957], ["D136", 0.016980675184166846], ["D126", 0.016870602164592775], ["D234", 0.01683581413924722], ["D204", 0.01638789213601611], ["D198", 0.01628631083587176], ["D062", 0.016262028251241754], ["D116", 0.01625464564312501], ["D131", 0.01531426936086908], ["D185", 0.0133808104435744], ["D118", 0.012990266321756509], ["D170", 0.012372574654993765], ["D175", 0.012196863074547825], ["D134", 0.012147996260930164], ["D139", 0.010990386495350014], ["D209", 0.010059511722515763], ["D144", 0.009324571759783599], ["D055", 0.008674817255688872], ["D047", 0.008456787448879496], ["D172", 0.007201277983085123], ["D114", 0.0067752515738783645], ["D167", 0.006771638072547281], ["D150", 0.006100761194082364], ["D180", 0.005916372788528634], ["D240", 0.00538665340229761], ["D067", 0.004308753331446088], ["D229", 0.0039332544167567365], ["D078", 0.0037213626375751877], ["D154", 0.0032008608493205937], ["D186", 0.003070900631159692], ["D220", 0.002917617929230499], ["D103", 0.002888054302529145], ["D132", 0.002478247040472446], ["D058", 0.00022277515683961566], ["D001", -0.00029835219166703987], ["D168", -0.002876045808334615], ["D152", -0.002888698193088842], ["D121", -0.004741942906757196], ["D014", -0.006666647549008992], ["D073", -0.007682572425024851], ["D127", -0.008957427658511256], ["D162", -0.010091323736151018], ["D109", -0.010517655283223473], ["D199", -0.010911061521717794], ["D235", -0.011459171001999384], ["D157", -0.013156817075921432], ["D023", -0.015861831748639046], ["D181", -0.01703346181277074], ["D227", -0.01954681234159253], ["D173", -0.019813293947070286], ["D004", -0.019880882199464923], ["D191", -0.02011469149577267], ["D145", -0.020230534946757917], ["D101", -0.022844458485567064], ["D137", -0.02332810591501092], ["D065", -0.023370866137249997], ["D202", -0.023414260268930044], ["D013", -0.025318199764615593], ["D119", -0.02708406901523547], ["D007", -0.02872110265346106], ["D076", -0.02969949448944369], ["D238", -0.030982527733755993], ["D112", -0.03135955048124428], ["D163", -0.03312969177359972], ["D184", -0.033917708859959504], ["D155", -0.03625532288294783], ["D148", -0.03665397904506635], ["D130", -0.038154006005146596], ["D019", -0.03956961418849127], ["D166", -0.048392357185954436], ["D015", -0.04910973578283043], ["D006", -0.08673093599971779]], "abstain": false, "online_ms": 61.281466856598854, "success": true}
{"scale": 240, "query_id": "Q11", "category": "paraphrase", "relevant": ["D010"], "method": "hybrid", "ranking": [["D010", 0.95], ["D017", 0.03], ["D018", 0.03], ["D002", 0.02], ["D004", 0.02], ["D006", 0.02], ["D019", 0.02], ["D024", 0.02]], "abstain": false, "online_ms": 153.37361069396138, "api_roundtrip_ms": 151.91932278685272, "success": true, "usage": {"input_tokens": 1104, "output_tokens": 156}}
{"scale": 240, "query_id": "Q11", "category": "paraphrase", "relevant": ["D010"], "method": "direct", "ranking": [["D010", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 321.3860790710896, "api_roundtrip_ms": 321.3860790710896, "success": true, "choice": "D010", "answer_exists": 0.96, "usage": {"input_tokens": 21286, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q12", "category": "paraphrase", "relevant": ["D011"], "method": "bm25", "ranking": [["D011", 25.076360913394552], ["D023", 11.238351629456089], ["D001", 9.919000827612109], ["D021", 9.775379181217634], ["D002", 9.05675518355204], ["D008", 8.450439805676362], ["D014", 7.5910173854700735], ["D005", 7.564518557442676], ["D033", 6.598757829263731], ["D051", 6.598757829263731], ["D087", 6.598757829263731], ["D105", 6.598757829263731], ["D123", 6.598757829263731], ["D141", 6.598757829263731], ["D159", 6.598757829263731], ["D177", 6.598757829263731], ["D195", 6.598757829263731], ["D213", 6.598757829263731], ["D069", 6.488509375312512], ["D231", 6.488509375312512], ["D024", 6.397963554487841], ["D017", 6.279622107549102], ["D019", 6.209255108896067], ["D013", 5.984137492728397], ["D010", 5.943167176148363], ["D006", 5.801355883001215], ["D022", 5.2981726992468605], ["D009", 5.116999075237011], ["D007", 3.2337022822782835], ["D003", 3.119269274534863], ["D012", 2.844497766376806], ["D015", 2.7863205984463177], ["D020", 2.7863205984463177], ["D025", 2.5522659065260607], ["D026", 2.5522659065260607], ["D027", 2.5522659065260607], ["D028", 2.5522659065260607], ["D029", 2.5522659065260607], ["D031", 2.5522659065260607], ["D035", 2.5522659065260607], ["D041", 2.5522659065260607], ["D043", 2.5522659065260607], ["D044", 2.5522659065260607], ["D045", 2.5522659065260607], ["D046", 2.5522659065260607], ["D047", 2.5522659065260607], ["D049", 2.5522659065260607], ["D053", 2.5522659065260607], ["D059", 2.5522659065260607], ["D079", 2.5522659065260607], ["D080", 2.5522659065260607], ["D081", 2.5522659065260607], ["D082", 2.5522659065260607], ["D083", 2.5522659065260607], ["D085", 2.5522659065260607], ["D089", 2.5522659065260607], ["D095", 2.5522659065260607], ["D097", 2.5522659065260607], ["D098", 2.5522659065260607], ["D099", 2.5522659065260607], ["D100", 2.5522659065260607], ["D101", 2.5522659065260607], ["D103", 2.5522659065260607], ["D107", 2.5522659065260607], ["D113", 2.5522659065260607], ["D115", 2.5522659065260607], ["D116", 2.5522659065260607], ["D117", 2.5522659065260607], ["D118", 2.5522659065260607], ["D119", 2.5522659065260607], ["D121", 2.5522659065260607], ["D125", 2.5522659065260607], ["D131", 2.5522659065260607], ["D133", 2.5522659065260607], ["D134", 2.5522659065260607], ["D135", 2.5522659065260607], ["D136", 2.5522659065260607], ["D137", 2.5522659065260607], ["D139", 2.5522659065260607], ["D143", 2.5522659065260607], ["D149", 2.5522659065260607], ["D151", 2.5522659065260607], ["D152", 2.5522659065260607], ["D153", 2.5522659065260607], ["D154", 2.5522659065260607], ["D155", 2.5522659065260607], ["D157", 2.5522659065260607], ["D161", 2.5522659065260607], ["D167", 2.5522659065260607], ["D169", 2.5522659065260607], ["D170", 2.5522659065260607], ["D171", 2.5522659065260607], ["D172", 2.5522659065260607], ["D173", 2.5522659065260607], ["D175", 2.5522659065260607], ["D179", 2.5522659065260607], ["D185", 2.5522659065260607], ["D187", 2.5522659065260607], ["D188", 2.5522659065260607], ["D189", 2.5522659065260607], ["D190", 2.5522659065260607], ["D191", 2.5522659065260607], ["D193", 2.5522659065260607], ["D197", 2.5522659065260607], ["D203", 2.5522659065260607], ["D205", 2.5522659065260607], ["D206", 2.5522659065260607], ["D207", 2.5522659065260607], ["D208", 2.5522659065260607], ["D209", 2.5522659065260607], ["D211", 2.5522659065260607], ["D215", 2.5522659065260607], ["D221", 2.5522659065260607], ["D030", 2.5056410762754138], ["D032", 2.5056410762754138], ["D034", 2.5056410762754138], ["D036", 2.5056410762754138], ["D037", 2.5056410762754138], ["D038", 2.5056410762754138], ["D039", 2.5056410762754138], ["D040", 2.5056410762754138], ["D042", 2.5056410762754138], ["D048", 2.5056410762754138], ["D050", 2.5056410762754138], ["D052", 2.5056410762754138], ["D054", 2.5056410762754138], ["D055", 2.5056410762754138], ["D056", 2.5056410762754138], ["D057", 2.5056410762754138], ["D058", 2.5056410762754138], ["D060", 2.5056410762754138], ["D061", 2.5056410762754138], ["D062", 2.5056410762754138], ["D063", 2.5056410762754138], ["D064", 2.5056410762754138], ["D065", 2.5056410762754138], ["D067", 2.5056410762754138], ["D071", 2.5056410762754138], ["D077", 2.5056410762754138], ["D084", 2.5056410762754138], ["D086", 2.5056410762754138], ["D088", 2.5056410762754138], ["D090", 2.5056410762754138], ["D091", 2.5056410762754138], ["D092", 2.5056410762754138], ["D093", 2.5056410762754138], ["D094", 2.5056410762754138], ["D096", 2.5056410762754138], ["D102", 2.5056410762754138], ["D104", 2.5056410762754138], ["D106", 2.5056410762754138], ["D108", 2.5056410762754138], ["D109", 2.5056410762754138], ["D110", 2.5056410762754138], ["D111", 2.5056410762754138], ["D112", 2.5056410762754138], ["D114", 2.5056410762754138], ["D120", 2.5056410762754138], ["D122", 2.5056410762754138], ["D124", 2.5056410762754138], ["D126", 2.5056410762754138], ["D127", 2.5056410762754138], ["D128", 2.5056410762754138], ["D129", 2.5056410762754138], ["D130", 2.5056410762754138], ["D132", 2.5056410762754138], ["D138", 2.5056410762754138], ["D140", 2.5056410762754138], ["D142", 2.5056410762754138], ["D144", 2.5056410762754138], ["D145", 2.5056410762754138], ["D146", 2.5056410762754138], ["D147", 2.5056410762754138], ["D148", 2.5056410762754138], ["D150", 2.5056410762754138], ["D156", 2.5056410762754138], ["D158", 2.5056410762754138], ["D160", 2.5056410762754138], ["D162", 2.5056410762754138], ["D163", 2.5056410762754138], ["D164", 2.5056410762754138], ["D165", 2.5056410762754138], ["D166", 2.5056410762754138], ["D168", 2.5056410762754138], ["D174", 2.5056410762754138], ["D176", 2.5056410762754138], ["D178", 2.5056410762754138], ["D180", 2.5056410762754138], ["D181", 2.5056410762754138], ["D182", 2.5056410762754138], ["D183", 2.5056410762754138], ["D184", 2.5056410762754138], ["D186", 2.5056410762754138], ["D192", 2.5056410762754138], ["D194", 2.5056410762754138], ["D196", 2.5056410762754138], ["D198", 2.5056410762754138], ["D199", 2.5056410762754138], ["D200", 2.5056410762754138], ["D201", 2.5056410762754138], ["D202", 2.5056410762754138], ["D204", 2.5056410762754138], ["D210", 2.5056410762754138], ["D212", 2.5056410762754138], ["D214", 2.5056410762754138], ["D216", 2.5056410762754138], ["D217", 2.5056410762754138], ["D218", 2.5056410762754138], ["D219", 2.5056410762754138], ["D220", 2.5056410762754138], ["D222", 2.5056410762754138], ["D223", 2.5056410762754138], ["D224", 2.5056410762754138], ["D225", 2.5056410762754138], ["D226", 2.5056410762754138], ["D227", 2.5056410762754138], ["D229", 2.5056410762754138], ["D233", 2.5056410762754138], ["D239", 2.5056410762754138], ["D066", 2.460733802700993], ["D068", 2.460733802700993], ["D070", 2.460733802700993], ["D072", 2.460733802700993], ["D073", 2.460733802700993], ["D074", 2.460733802700993], ["D075", 2.460733802700993], ["D076", 2.460733802700993], ["D078", 2.460733802700993], ["D228", 2.460733802700993], ["D230", 2.460733802700993], ["D232", 2.460733802700993], ["D234", 2.460733802700993], ["D235", 2.460733802700993], ["D236", 2.460733802700993], ["D237", 2.460733802700993], ["D238", 2.460733802700993], ["D240", 2.460733802700993], ["D004", 1.829105302788495], ["D018", 1.829105302788495], ["D016", 1.2307569035431132]], "abstain": false, "online_ms": 3.3943720627576113, "success": true}
{"scale": 240, "query_id": "Q12", "category": "paraphrase", "relevant": ["D011"], "method": "embedding", "ranking": [["D011", 0.531393288880624], ["D141", 0.5119764906557601], ["D195", 0.48938806235390614], ["D177", 0.4827397323382957], ["D231", 0.4357408376525109], ["D069", 0.4289518403629073], ["D159", 0.42218695904507975], ["D105", 0.4199906905486455], ["D087", 0.4111946529083013], ["D051", 0.40209216761627137], ["D123", 0.3975144522178231], ["D213", 0.37096043775736454], ["D033", 0.3702905163656415], ["D142", 0.34564486072412715], ["D178", 0.34312518753743326], ["D196", 0.34287019509710637], ["D232", 0.3240432461427556], ["D146", 0.3233788080940685], ["D070", 0.3190375188250224], ["D182", 0.3124745511729957], ["D203", 0.30099508076402226], ["D236", 0.30010776989523347], ["D185", 0.2988111920240796], ["D106", 0.2987594175359798], ["D124", 0.29722373595268803], ["D149", 0.2963153131439584], ["D160", 0.2949412098983288], ["D200", 0.29361271482686035], ["D174", 0.2923270768089723], ["D143", 0.29080654485441443], ["D088", 0.2887973538661237], ["D183", 0.2876617066027326], ["D197", 0.2865140014129042], ["D074", 0.286323779307152], ["D179", 0.2854425797279937], ["D233", 0.28479379672435545], ["D192", 0.2839689845139121], ["D204", 0.28388935169230495], ["D071", 0.2832481162452951], ["D239", 0.2802897069303675], ["D172", 0.279891359312812], ["D110", 0.27877436888359775], ["D201", 0.2778783951986209], ["D077", 0.27763130629766275], ["D136", 0.2761517526993327], ["D147", 0.27461100775497443], ["D190", 0.2721699482150883], ["D034", 0.2712642869153915], ["D164", 0.27098877254342113], ["D224", 0.27098299497104483], ["D092", 0.2695236967518716], ["D234", 0.2693342378307556], ["D226", 0.2681900118239176], ["D214", 0.26757178633541945], ["D186", 0.2657421691523233], ["D165", 0.26480949294281114], ["D064", 0.26378721349789425], ["D237", 0.2636370883817048], ["D191", 0.26171741382750313], ["D075", 0.26084830205097703], ["D062", 0.2598049827152876], ["D170", 0.2590888191518412], ["D167", 0.25907162366975295], ["D072", 0.258252787123321], ["D052", 0.2579770127791544], ["D137", 0.25567423991238025], ["D107", 0.25556142690372163], ["D113", 0.2555193296498554], ["D228", 0.2536718648830574], ["D161", 0.25259154640516107], ["D138", 0.2513476902639431], ["D227", 0.24952912727132567], ["D089", 0.2483751099101164], ["D128", 0.24777654345948563], ["D102", 0.2472459674569834], ["D066", 0.2470589694620131], ["D193", 0.24669442563752148], ["D175", 0.24588336355359608], ["D111", 0.24470550440604272], ["D173", 0.24460818890932248], ["D056", 0.24434707389434923], ["D093", 0.24313064498732842], ["D176", 0.2423405746699941], ["D065", 0.24143662612286776], ["D188", 0.24023124572666898], ["D150", 0.2385646681424823], ["D131", 0.23822396911598287], ["D194", 0.23810367181000192], ["D125", 0.23563457537685034], ["D154", 0.23475385983931482], ["D100", 0.2345610735628298], ["D184", 0.23403481586984531], ["D202", 0.23357891323908536], ["D240", 0.2335389027162608], ["D180", 0.2333589215746615], ["D171", 0.23236536022788895], ["D084", 0.2312954473026976], ["D078", 0.23068760857154813], ["D169", 0.2305835126277408], ["D095", 0.23039447318848466], ["D187", 0.22855660321295965], ["D168", 0.22810641949123522], ["D139", 0.22802854159053332], ["D189", 0.2278612941103726], ["D156", 0.22751037001364544], ["D135", 0.2268441844049428], ["D082", 0.22647380244749343], ["D134", 0.22614753850897512], ["D140", 0.2260034505627432], ["D098", 0.22162552019743556], ["D041", 0.22036549781063522], ["D157", 0.21956276732819874], ["D198", 0.21952802764379092], ["D038", 0.21938063209646397], ["D144", 0.21900088044956179], ["D120", 0.2187630133971151], ["D118", 0.21859546835402954], ["D101", 0.21805473530731687], ["D225", 0.2177479447084159], ["D129", 0.21771459401415774], ["D083", 0.2155258860302527], ["D133", 0.21528292038894759], ["D090", 0.21468557587972692], ["D155", 0.21391374025245116], ["D148", 0.21300352482692167], ["D221", 0.21184267117686573], ["D230", 0.21169420192260902], ["D080", 0.21103895542231033], ["D059", 0.21092912097945526], ["D218", 0.21076775304301612], ["D063", 0.20721460812412731], ["D108", 0.20673147964071664], ["D181", 0.20498542510582243], ["D068", 0.20489085109652821], ["D223", 0.20364722597545573], ["D048", 0.20362345019874795], ["D152", 0.20251109021944058], ["D096", 0.2013199369597278], ["D053", 0.20083484741759658], ["D199", 0.19902445227831883], ["D086", 0.19862586453596404], ["D061", 0.1985036679535242], ["D229", 0.19800134752444531], ["D021", 0.19783540531563706], ["D114", 0.19638040731623987], ["D035", 0.19623515748753634], ["D006", 0.19586849139337714], ["D153", 0.1958673496502144], ["D215", 0.19449325186306035], ["D067", 0.19439369192031392], ["D047", 0.19372660494005062], ["D057", 0.19316175039669775], ["D116", 0.19254692012755764], ["D028", 0.19222457054169328], ["D046", 0.19158366058739523], ["D119", 0.19042257699940296], ["D162", 0.19021241451808663], ["D238", 0.18986172999984613], ["D208", 0.18985518121179087], ["D039", 0.18965007843709636], ["D126", 0.18955834139449726], ["D132", 0.1891015130170422], ["D158", 0.1883288629236049], ["D219", 0.18725573358806], ["D081", 0.1862348069865402], ["D099", 0.18622037922345647], ["D076", 0.18615022374726542], ["D235", 0.18592366013174727], ["D104", 0.18430994869588982], ["D151", 0.181525064241516], ["D073", 0.18084365380338355], ["D054", 0.17919262878653497], ["D094", 0.17837831789238007], ["D103", 0.1777283312021256], ["D122", 0.1750341208418053], ["D001", 0.1747674499896656], ["D030", 0.17371104141811225], ["D097", 0.1725088338859989], ["D145", 0.17079633949933515], ["D210", 0.17052214333830681], ["D112", 0.17028922000991506], ["D117", 0.1698827666215118], ["D085", 0.16977886746070894], ["D050", 0.1658346298864305], ["D166", 0.1645842266369169], ["D044", 0.16395411059377074], ["D017", 0.1637037805748701], ["D060", 0.1633654741370218], ["D029", 0.16271813000792792], ["D206", 0.162546396940409], ["D109", 0.16242791168795243], ["D209", 0.1622800098911232], ["D130", 0.16126385285855904], ["D079", 0.1593349977505091], ["D026", 0.15875625465795298], ["D042", 0.15852156312753146], ["D115", 0.1581937569764826], ["D091", 0.15801117273353144], ["D222", 0.15554877768451286], ["D127", 0.15419083115514842], ["D031", 0.15401610627362544], ["D036", 0.15289061480323163], ["D216", 0.1502916620505704], ["D211", 0.14870359828827068], ["D040", 0.14743660728834804], ["D121", 0.14723893966987825], ["D045", 0.1471084693679457], ["D207", 0.14663298012627962], ["D027", 0.14637724671167973], ["D220", 0.1442179152635311], ["D058", 0.14355107923564006], ["D163", 0.142448003357973], ["D043", 0.1367586107435503], ["D049", 0.13429658556026453], ["D205", 0.13372075378125936], ["D025", 0.13363175833465735], ["D032", 0.1335319749187631], ["D212", 0.1313235824303574], ["D009", 0.12764092148624778], ["D055", 0.12595150406582933], ["D037", 0.12589636115842204], ["D217", 0.1204619460830936], ["D003", 0.11915782391935704], ["D016", 0.10409439005308765], ["D020", 0.10086408849036226], ["D023", 0.0886241461327978], ["D018", 0.08493834516946473], ["D010", 0.07748809473666933], ["D013", 0.07543301013272638], ["D019", 0.06690303453800273], ["D007", 0.054573300137014544], ["D005", 0.05021391326531516], ["D012", 0.036564980585488176], ["D022", 0.03542054192335102], ["D004", 0.0353245430853148], ["D015", 0.031847641112019494], ["D002", 0.0012853638207935593], ["D024", -0.0055880930619555645], ["D008", -0.019654159628885823], ["D014", -0.09159441682436434]], "abstain": false, "online_ms": 61.246658908203244, "success": true}
{"scale": 240, "query_id": "Q12", "category": "paraphrase", "relevant": ["D011"], "method": "hybrid", "ranking": [["D011", 0.92], ["D001", 0.06], ["D021", 0.05], ["D008", 0.04], ["D014", 0.03], ["D023", 0.03], ["D002", 0.02], ["D005", 0.02]], "abstain": false, "online_ms": 161.61627206020057, "api_roundtrip_ms": 158.22189999744296, "success": true, "usage": {"input_tokens": 1086, "output_tokens": 156}}
{"scale": 240, "query_id": "Q12", "category": "paraphrase", "relevant": ["D011"], "method": "direct", "ranking": [["D011", 0.9], ["D177", 0.02], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 300.5882389843464, "api_roundtrip_ms": 300.5882389843464, "success": true, "choice": "D011", "answer_exists": 0.84, "usage": {"input_tokens": 21289, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q13", "category": "paraphrase", "relevant": ["D012"], "method": "bm25", "ranking": [["D012", 16.31978332087821], ["D003", 5.884347559579938], ["D014", 5.846501931466824], ["D006", 5.619161056047036], ["D019", 5.495630808979087], ["D034", 5.459898425328537], ["D052", 5.459898425328537], ["D088", 5.459898425328537], ["D106", 5.459898425328537], ["D124", 5.459898425328537], ["D142", 5.459898425328537], ["D160", 5.459898425328537], ["D178", 5.459898425328537], ["D196", 5.459898425328537], ["D214", 5.459898425328537], ["D070", 5.375380479559961], ["D232", 5.375380479559961], ["D022", 3.954167447177965], ["D013", 1.8410543820162493], ["D004", 1.829105302788495], ["D005", 1.829105302788495], ["D018", 1.829105302788495], ["D007", 1.6168511411391417], ["D008", 1.6168511411391417], ["D015", 1.6168511411391417], ["D011", 1.6030555919285407], ["D017", 1.6030555919285407], ["D021", 1.6030555919285407], ["D001", 1.5761588949528023], ["D002", 1.5761588949528023], ["D025", 1.500624682248082], ["D026", 1.500624682248082], ["D027", 1.500624682248082], ["D028", 1.500624682248082], ["D029", 1.500624682248082], ["D031", 1.500624682248082], ["D033", 1.500624682248082], ["D035", 1.500624682248082], ["D041", 1.500624682248082], ["D043", 1.500624682248082], ["D044", 1.500624682248082], ["D045", 1.500624682248082], ["D046", 1.500624682248082], ["D047", 1.500624682248082], ["D049", 1.500624682248082], ["D051", 1.500624682248082], ["D053", 1.500624682248082], ["D059", 1.500624682248082], ["D079", 1.500624682248082], ["D080", 1.500624682248082], ["D081", 1.500624682248082], ["D082", 1.500624682248082], ["D083", 1.500624682248082], ["D085", 1.500624682248082], ["D087", 1.500624682248082], ["D089", 1.500624682248082], ["D095", 1.500624682248082], ["D097", 1.500624682248082], ["D098", 1.500624682248082], ["D099", 1.500624682248082], ["D100", 1.500624682248082], ["D101", 1.500624682248082], ["D103", 1.500624682248082], ["D105", 1.500624682248082], ["D107", 1.500624682248082], ["D113", 1.500624682248082], ["D115", 1.500624682248082], ["D116", 1.500624682248082], ["D117", 1.500624682248082], ["D118", 1.500624682248082], ["D119", 1.500624682248082], ["D121", 1.500624682248082], ["D123", 1.500624682248082], ["D125", 1.500624682248082], ["D131", 1.500624682248082], ["D133", 1.500624682248082], ["D134", 1.500624682248082], ["D135", 1.500624682248082], ["D136", 1.500624682248082], ["D137", 1.500624682248082], ["D139", 1.500624682248082], ["D141", 1.500624682248082], ["D143", 1.500624682248082], ["D149", 1.500624682248082], ["D151", 1.500624682248082], ["D152", 1.500624682248082], ["D153", 1.500624682248082], ["D154", 1.500624682248082], ["D155", 1.500624682248082], ["D157", 1.500624682248082], ["D159", 1.500624682248082], ["D161", 1.500624682248082], ["D167", 1.500624682248082], ["D169", 1.500624682248082], ["D170", 1.500624682248082], ["D171", 1.500624682248082], ["D172", 1.500624682248082], ["D173", 1.500624682248082], ["D175", 1.500624682248082], ["D177", 1.500624682248082], ["D179", 1.500624682248082], ["D185", 1.500624682248082], ["D187", 1.500624682248082], ["D188", 1.500624682248082], ["D189", 1.500624682248082], ["D190", 1.500624682248082], ["D191", 1.500624682248082], ["D193", 1.500624682248082], ["D195", 1.500624682248082], ["D197", 1.500624682248082], ["D203", 1.500624682248082], ["D205", 1.500624682248082], ["D206", 1.500624682248082], ["D207", 1.500624682248082], ["D208", 1.500624682248082], ["D209", 1.500624682248082], ["D211", 1.500624682248082], ["D213", 1.500624682248082], ["D215", 1.500624682248082], ["D221", 1.500624682248082], ["D030", 1.4770301262914383], ["D032", 1.4770301262914383], ["D036", 1.4770301262914383], ["D037", 1.4770301262914383], ["D038", 1.4770301262914383], ["D039", 1.4770301262914383], ["D040", 1.4770301262914383], ["D042", 1.4770301262914383], ["D048", 1.4770301262914383], ["D050", 1.4770301262914383], ["D054", 1.4770301262914383], ["D055", 1.4770301262914383], ["D056", 1.4770301262914383], ["D057", 1.4770301262914383], ["D058", 1.4770301262914383], ["D060", 1.4770301262914383], ["D061", 1.4770301262914383], ["D062", 1.4770301262914383], ["D063", 1.4770301262914383], ["D064", 1.4770301262914383], ["D065", 1.4770301262914383], ["D067", 1.4770301262914383], ["D069", 1.4770301262914383], ["D071", 1.4770301262914383], ["D077", 1.4770301262914383], ["D084", 1.4770301262914383], ["D086", 1.4770301262914383], ["D090", 1.4770301262914383], ["D091", 1.4770301262914383], ["D092", 1.4770301262914383], ["D093", 1.4770301262914383], ["D094", 1.4770301262914383], ["D096", 1.4770301262914383], ["D102", 1.4770301262914383], ["D104", 1.4770301262914383], ["D108", 1.4770301262914383], ["D109", 1.4770301262914383], ["D110", 1.4770301262914383], ["D111", 1.4770301262914383], ["D112", 1.4770301262914383], ["D114", 1.4770301262914383], ["D120", 1.4770301262914383], ["D122", 1.4770301262914383], ["D126", 1.4770301262914383], ["D127", 1.4770301262914383], ["D128", 1.4770301262914383], ["D129", 1.4770301262914383], ["D130", 1.4770301262914383], ["D132", 1.4770301262914383], ["D138", 1.4770301262914383], ["D140", 1.4770301262914383], ["D144", 1.4770301262914383], ["D145", 1.4770301262914383], ["D146", 1.4770301262914383], ["D147", 1.4770301262914383], ["D148", 1.4770301262914383], ["D150", 1.4770301262914383], ["D156", 1.4770301262914383], ["D158", 1.4770301262914383], ["D162", 1.4770301262914383], ["D163", 1.4770301262914383], ["D164", 1.4770301262914383], ["D165", 1.4770301262914383], ["D166", 1.4770301262914383], ["D168", 1.4770301262914383], ["D174", 1.4770301262914383], ["D176", 1.4770301262914383], ["D180", 1.4770301262914383], ["D181", 1.4770301262914383], ["D182", 1.4770301262914383], ["D183", 1.4770301262914383], ["D184", 1.4770301262914383], ["D186", 1.4770301262914383], ["D192", 1.4770301262914383], ["D194", 1.4770301262914383], ["D198", 1.4770301262914383], ["D199", 1.4770301262914383], ["D200", 1.4770301262914383], ["D201", 1.4770301262914383], ["D202", 1.4770301262914383], ["D204", 1.4770301262914383], ["D210", 1.4770301262914383], ["D212", 1.4770301262914383], ["D216", 1.4770301262914383], ["D217", 1.4770301262914383], ["D218", 1.4770301262914383], ["D219", 1.4770301262914383], ["D220", 1.4770301262914383], ["D222", 1.4770301262914383], ["D223", 1.4770301262914383], ["D224", 1.4770301262914383], ["D225", 1.4770301262914383], ["D226", 1.4770301262914383], ["D227", 1.4770301262914383], ["D229", 1.4770301262914383], ["D231", 1.4770301262914383], ["D233", 1.4770301262914383], ["D239", 1.4770301262914383], ["D066", 1.4541660467083204], ["D068", 1.4541660467083204], ["D072", 1.4541660467083204], ["D073", 1.4541660467083204], ["D074", 1.4541660467083204], ["D075", 1.4541660467083204], ["D076", 1.4541660467083204], ["D078", 1.4541660467083204], ["D228", 1.4541660467083204], ["D230", 1.4541660467083204], ["D234", 1.4541660467083204], ["D235", 1.4541660467083204], ["D236", 1.4541660467083204], ["D237", 1.4541660467083204], ["D238", 1.4541660467083204], ["D240", 1.4541660467083204], ["D009", 1.2638743267321444], ["D023", 1.2638743267321444], ["D016", 1.2307569035431132], ["D020", 1.169469457307176], ["D010", 1.088187485437232], ["D024", 0.0]], "abstain": false, "online_ms": 1.9259860273450613, "success": true}
{"scale": 240, "query_id": "Q13", "category": "paraphrase", "relevant": ["D012"], "method": "embedding", "ranking": [["D012", 0.5817161334512592], ["D160", 0.2871619002627119], ["D052", 0.20919998503888276], ["D124", 0.20500828228484802], ["D142", 0.20492190729459717], ["D106", 0.20026997402410546], ["D003", 0.15479385871337736], ["D070", 0.1513088336912924], ["D232", 0.14760026349085398], ["D019", 0.1431522050534386], ["D088", 0.13185177096390294], ["D196", 0.13030611333580874], ["D161", 0.12481227876045675], ["D214", 0.12461295706297892], ["D034", 0.12408603500569597], ["D020", 0.11746624398591471], ["D178", 0.11145429527836442], ["D159", 0.09526115589806167], ["D001", 0.09116542254379963], ["D013", 0.08905273262934957], ["D005", 0.08789788153717512], ["D166", 0.0868967180737977], ["D018", 0.0868245215587655], ["D165", 0.08455730699714234], ["D157", 0.08090818216693899], ["D155", 0.0806195590498984], ["D151", 0.08012055154768176], ["D152", 0.07883954942780598], ["D015", 0.07657745631573444], ["D024", 0.0758960460207482], ["D021", 0.07579242632665806], ["D008", 0.07352568854291097], ["D156", 0.06940334438244676], ["D006", 0.06695918607269799], ["D154", 0.06348285377751883], ["D162", 0.0634077536330852], ["D167", 0.05764838515385297], ["D153", 0.0550266595681989], ["D158", 0.05090460655128447], ["D163", 0.049388768833364516], ["D007", 0.048742911949170936], ["D017", 0.03953687072510701], ["D168", 0.0357385861851609], ["D022", 0.03565071750218987], ["D023", 0.03350772266924838], ["D002", 0.018759132140008232], ["D053", 0.01753042171014017], ["D130", 0.013221721606502285], ["D058", 0.01156650653453022], ["D004", 0.009256159006602302], ["D051", 0.007517616348412829], ["D057", 0.006772090842501745], ["D048", 0.0051021712992269505], ["D047", 0.0038136161843797256], ["D054", 0.003753201621886384], ["D125", 0.001839952633336056], ["D107", 0.0016039244155104148], ["D043", 0.00034735866401841564], ["D010", -0.000922788650562785], ["D014", -0.0019770680092379422], ["D120", -0.002377489382384531], ["D112", -0.002411742510605268], ["D011", -0.0024637612235901343], ["D105", -0.0036981065622403754], ["D044", -0.0038121026858914456], ["D123", -0.005685105315955934], ["D049", -0.00710545223428757], ["D137", -0.007234880490826878], ["D097", -0.007713271372975762], ["D164", -0.007754690977061133], ["D129", -0.007872545168098995], ["D115", -0.008434313835844778], ["D143", -0.008862458058593765], ["D141", -0.008962896376613193], ["D147", -0.009671898441714734], ["D098", -0.011427717927582882], ["D111", -0.012207265395379694], ["D133", -0.01406182408019584], ["D103", -0.014669698262375542], ["D104", -0.014881689988599699], ["D059", -0.01497464314672134], ["D050", -0.015996999697939385], ["D144", -0.017285798169243718], ["D121", -0.017643458057979844], ["D102", -0.01840918320416253], ["D009", -0.019288674362830483], ["D045", -0.019308099504844543], ["D126", -0.01950807214817242], ["D122", -0.020310356213138155], ["D116", -0.020613597241136577], ["D046", -0.021301324139002098], ["D101", -0.021734344728512142], ["D148", -0.0234656005189403], ["D099", -0.023698049347015162], ["D119", -0.025783166074832393], ["D138", -0.026343166018460897], ["D055", -0.026898313265342515], ["D134", -0.027279671187985813], ["D108", -0.02729862645836827], ["D139", -0.028186434609432875], ["D117", -0.029626860133431417], ["D131", -0.029944438492587447], ["D127", -0.03087569846473748], ["D140", -0.03299880639952004], ["D135", -0.03327807716167796], ["D060", -0.03489214475677593], ["D149", -0.03607423238091654], ["D113", -0.03609345520793082], ["D118", -0.03978888820929072], ["D136", -0.04222268800830248], ["D109", -0.04292640580643725], ["D100", -0.043637483904775315], ["D071", -0.04402784570391026], ["D233", -0.04476413912341558], ["D132", -0.04498709140392659], ["D089", -0.04837801033389737], ["D114", -0.04866128445571585], ["D150", -0.04995179023891631], ["D066", -0.0504378515680747], ["D094", -0.05109678482491886], ["D198", -0.052185830895880754], ["D228", -0.053334383304574906], ["D215", -0.05341835335881582], ["D084", -0.05357951195174501], ["D192", -0.05440116796129851], ["D220", -0.05510299295553045], ["D087", -0.055859824605962324], ["D234", -0.05609957646302173], ["D197", -0.05638505388584294], ["D090", -0.0563933268958157], ["D069", -0.056427013813157414], ["D231", -0.05646343841466264], ["D040", -0.05711516884162508], ["D210", -0.0572703300114501], ["D093", -0.05755579768018053], ["D072", -0.05908356068108368], ["D238", -0.060507614292507214], ["D030", -0.06055830965943134], ["D076", -0.060567080871469337], ["D237", -0.060785008801984494], ["D035", -0.06130933653439724], ["D201", -0.06162484476268083], ["D202", -0.062204735112817086], ["D075", -0.06221981507834535], ["D083", -0.06286421531119693], ["D079", -0.06329837957701259], ["D227", -0.06420874023257976], ["D184", -0.06443270679797351], ["D061", -0.06446686526641143], ["D224", -0.06459645127136188], ["D213", -0.06497462938501326], ["D229", -0.06519255805738312], ["D223", -0.0654274894779007], ["D086", -0.06568557932608185], ["D187", -0.0657530846465209], ["D145", -0.0662453203039011], ["D219", -0.06625701235578675], ["D062", -0.06653511270399187], ["D216", -0.06783392040390906], ["D085", -0.06795315263237878], ["D209", -0.0679578617631299], ["D191", -0.06798787016758728], ["D039", -0.06845199920240466], ["D036", -0.06857932791986289], ["D193", -0.06866854245876201], ["D205", -0.06870587735494726], ["D065", -0.06878664456925342], ["D067", -0.07005221652976656], ["D033", -0.07043053233334137], ["D068", -0.07057158810375158], ["D195", -0.07093265841260946], ["D025", -0.07149291659574109], ["D174", -0.07166194646052729], ["D080", -0.0718493763211404], ["D029", -0.07194531491001083], ["D230", -0.0722474630582722], ["D056", -0.07269892055422345], ["D188", -0.07408578949300929], ["D180", -0.07411428513183876], ["D169", -0.07429215156072014], ["D194", -0.07463614876812627], ["D179", -0.0748493563158212], ["D225", -0.07559243725990442], ["D026", -0.07684300106647124], ["D206", -0.0771005091365744], ["D175", -0.07739096695493533], ["D063", -0.0779719740935953], ["D031", -0.07880427300924238], ["D211", -0.07940159251264392], ["D183", -0.0799078109291957], ["D212", -0.08048621677856559], ["D173", -0.08108492264282235], ["D032", -0.081480538648057], ["D177", -0.08245603700799983], ["D176", -0.08362530345707181], ["D128", -0.08423347960296373], ["D235", -0.08449255034927258], ["D073", -0.0844982734196736], ["D239", -0.0849096587344021], ["D077", -0.08503124467714052], ["D081", -0.08509331422108682], ["D207", -0.08605151490971287], ["D170", -0.08655563496075881], ["D146", -0.08658921385906132], ["D171", -0.08702691892470701], ["D240", -0.08802826864612084], ["D095", -0.08854079200742257], ["D189", -0.08871788448015698], ["D027", -0.08877570541888588], ["D217", -0.090146706089088], ["D078", -0.09031859051522392], ["D096", -0.09077664113119188], ["D221", -0.09119853989395917], ["D091", -0.09159312760509271], ["D226", -0.09216560283047108], ["D110", -0.09224752874517886], ["D064", -0.09288401184000258], ["D190", -0.09324931463103239], ["D203", -0.09363682210102184], ["D208", -0.09378954197914062], ["D199", -0.09385236209453096], ["D041", -0.09507034788984453], ["D186", -0.09561908243835807], ["D082", -0.09568797193365396], ["D037", -0.09579750617504598], ["D204", -0.09842786761416258], ["D028", -0.09912204642109372], ["D222", -0.10081153214213032], ["D185", -0.1021766086028987], ["D181", -0.10304767999796195], ["D042", -0.10398160458091368], ["D172", -0.10722488265987754], ["D016", -0.11239947836824388], ["D218", -0.12553923606860123], ["D074", -0.12856463486815412], ["D038", -0.1286642020466267], ["D092", -0.12892727451980757], ["D236", -0.13054953022716476], ["D200", -0.13310168461225702], ["D182", -0.13832587196283994]], "abstain": false, "online_ms": 63.50658112205565, "success": true}
{"scale": 240, "query_id": "Q13", "category": "paraphrase", "relevant": ["D012"], "method": "hybrid", "ranking": [["D012", 0.89], ["D019", 0.05], ["D003", 0.03], ["D006", 0.03], ["D014", 0.03], ["D034", 0.03], ["D052", 0.03], ["D088", 0.03]], "abstain": false, "online_ms": 179.15570293553174, "api_roundtrip_ms": 177.22971690818667, "success": true, "usage": {"input_tokens": 1142, "output_tokens": 156}}
{"scale": 240, "query_id": "Q13", "category": "paraphrase", "relevant": ["D012"], "method": "direct", "ranking": [["D012", 0.99], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 290.35858786664903, "api_roundtrip_ms": 290.35858786664903, "success": true, "choice": "D012", "answer_exists": 0.86, "usage": {"input_tokens": 21288, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q14", "category": "lexical", "relevant": ["D013"], "method": "bm25", "ranking": [["D013", 18.23072659871658], ["D012", 12.105974047511143], ["D022", 11.636096244590039], ["D003", 5.884347559579938], ["D014", 5.846501931466824], ["D006", 5.619161056047036], ["D019", 5.495630808979087], ["D035", 5.4384289107370565], ["D053", 5.4384289107370565], ["D089", 5.4384289107370565], ["D107", 5.4384289107370565], ["D125", 5.4384289107370565], ["D143", 5.4384289107370565], ["D161", 5.4384289107370565], ["D179", 5.4384289107370565], ["D197", 5.4384289107370565], ["D215", 5.4384289107370565], ["D071", 5.352919644650361], ["D233", 5.352919644650361], ["D024", 5.02129995060167], ["D004", 1.829105302788495], ["D005", 1.829105302788495], ["D018", 1.829105302788495], ["D007", 1.6168511411391417], ["D008", 1.6168511411391417], ["D015", 1.6168511411391417], ["D011", 1.6030555919285407], ["D017", 1.6030555919285407], ["D021", 1.6030555919285407], ["D001", 1.5761588949528023], ["D002", 1.5761588949528023], ["D025", 1.500624682248082], ["D026", 1.500624682248082], ["D027", 1.500624682248082], ["D028", 1.500624682248082], ["D029", 1.500624682248082], ["D031", 1.500624682248082], ["D033", 1.500624682248082], ["D041", 1.500624682248082], ["D043", 1.500624682248082], ["D044", 1.500624682248082], ["D045", 1.500624682248082], ["D046", 1.500624682248082], ["D047", 1.500624682248082], ["D049", 1.500624682248082], ["D051", 1.500624682248082], ["D059", 1.500624682248082], ["D079", 1.500624682248082], ["D080", 1.500624682248082], ["D081", 1.500624682248082], ["D082", 1.500624682248082], ["D083", 1.500624682248082], ["D085", 1.500624682248082], ["D087", 1.500624682248082], ["D095", 1.500624682248082], ["D097", 1.500624682248082], ["D098", 1.500624682248082], ["D099", 1.500624682248082], ["D100", 1.500624682248082], ["D101", 1.500624682248082], ["D103", 1.500624682248082], ["D105", 1.500624682248082], ["D113", 1.500624682248082], ["D115", 1.500624682248082], ["D116", 1.500624682248082], ["D117", 1.500624682248082], ["D118", 1.500624682248082], ["D119", 1.500624682248082], ["D121", 1.500624682248082], ["D123", 1.500624682248082], ["D131", 1.500624682248082], ["D133", 1.500624682248082], ["D134", 1.500624682248082], ["D135", 1.500624682248082], ["D136", 1.500624682248082], ["D137", 1.500624682248082], ["D139", 1.500624682248082], ["D141", 1.500624682248082], ["D149", 1.500624682248082], ["D151", 1.500624682248082], ["D152", 1.500624682248082], ["D153", 1.500624682248082], ["D154", 1.500624682248082], ["D155", 1.500624682248082], ["D157", 1.500624682248082], ["D159", 1.500624682248082], ["D167", 1.500624682248082], ["D169", 1.500624682248082], ["D170", 1.500624682248082], ["D171", 1.500624682248082], ["D172", 1.500624682248082], ["D173", 1.500624682248082], ["D175", 1.500624682248082], ["D177", 1.500624682248082], ["D185", 1.500624682248082], ["D187", 1.500624682248082], ["D188", 1.500624682248082], ["D189", 1.500624682248082], ["D190", 1.500624682248082], ["D191", 1.500624682248082], ["D193", 1.500624682248082], ["D195", 1.500624682248082], ["D203", 1.500624682248082], ["D205", 1.500624682248082], ["D206", 1.500624682248082], ["D207", 1.500624682248082], ["D208", 1.500624682248082], ["D209", 1.500624682248082], ["D211", 1.500624682248082], ["D213", 1.500624682248082], ["D221", 1.500624682248082], ["D030", 1.4770301262914383], ["D032", 1.4770301262914383], ["D034", 1.4770301262914383], ["D036", 1.4770301262914383], ["D037", 1.4770301262914383], ["D038", 1.4770301262914383], ["D039", 1.4770301262914383], ["D040", 1.4770301262914383], ["D042", 1.4770301262914383], ["D048", 1.4770301262914383], ["D050", 1.4770301262914383], ["D052", 1.4770301262914383], ["D054", 1.4770301262914383], ["D055", 1.4770301262914383], ["D056", 1.4770301262914383], ["D057", 1.4770301262914383], ["D058", 1.4770301262914383], ["D060", 1.4770301262914383], ["D061", 1.4770301262914383], ["D062", 1.4770301262914383], ["D063", 1.4770301262914383], ["D064", 1.4770301262914383], ["D065", 1.4770301262914383], ["D067", 1.4770301262914383], ["D069", 1.4770301262914383], ["D077", 1.4770301262914383], ["D084", 1.4770301262914383], ["D086", 1.4770301262914383], ["D088", 1.4770301262914383], ["D090", 1.4770301262914383], ["D091", 1.4770301262914383], ["D092", 1.4770301262914383], ["D093", 1.4770301262914383], ["D094", 1.4770301262914383], ["D096", 1.4770301262914383], ["D102", 1.4770301262914383], ["D104", 1.4770301262914383], ["D106", 1.4770301262914383], ["D108", 1.4770301262914383], ["D109", 1.4770301262914383], ["D110", 1.4770301262914383], ["D111", 1.4770301262914383], ["D112", 1.4770301262914383], ["D114", 1.4770301262914383], ["D120", 1.4770301262914383], ["D122", 1.4770301262914383], ["D124", 1.4770301262914383], ["D126", 1.4770301262914383], ["D127", 1.4770301262914383], ["D128", 1.4770301262914383], ["D129", 1.4770301262914383], ["D130", 1.4770301262914383], ["D132", 1.4770301262914383], ["D138", 1.4770301262914383], ["D140", 1.4770301262914383], ["D142", 1.4770301262914383], ["D144", 1.4770301262914383], ["D145", 1.4770301262914383], ["D146", 1.4770301262914383], ["D147", 1.4770301262914383], ["D148", 1.4770301262914383], ["D150", 1.4770301262914383], ["D156", 1.4770301262914383], ["D158", 1.4770301262914383], ["D160", 1.4770301262914383], ["D162", 1.4770301262914383], ["D163", 1.4770301262914383], ["D164", 1.4770301262914383], ["D165", 1.4770301262914383], ["D166", 1.4770301262914383], ["D168", 1.4770301262914383], ["D174", 1.4770301262914383], ["D176", 1.4770301262914383], ["D178", 1.4770301262914383], ["D180", 1.4770301262914383], ["D181", 1.4770301262914383], ["D182", 1.4770301262914383], ["D183", 1.4770301262914383], ["D184", 1.4770301262914383], ["D186", 1.4770301262914383], ["D192", 1.4770301262914383], ["D194", 1.4770301262914383], ["D196", 1.4770301262914383], ["D198", 1.4770301262914383], ["D199", 1.4770301262914383], ["D200", 1.4770301262914383], ["D201", 1.4770301262914383], ["D202", 1.4770301262914383], ["D204", 1.4770301262914383], ["D210", 1.4770301262914383], ["D212", 1.4770301262914383], ["D214", 1.4770301262914383], ["D216", 1.4770301262914383], ["D217", 1.4770301262914383], ["D218", 1.4770301262914383], ["D219", 1.4770301262914383], ["D220", 1.4770301262914383], ["D222", 1.4770301262914383], ["D223", 1.4770301262914383], ["D224", 1.4770301262914383], ["D225", 1.4770301262914383], ["D226", 1.4770301262914383], ["D227", 1.4770301262914383], ["D229", 1.4770301262914383], ["D231", 1.4770301262914383], ["D239", 1.4770301262914383], ["D066", 1.4541660467083204], ["D068", 1.4541660467083204], ["D070", 1.4541660467083204], ["D072", 1.4541660467083204], ["D073", 1.4541660467083204], ["D074", 1.4541660467083204], ["D075", 1.4541660467083204], ["D076", 1.4541660467083204], ["D078", 1.4541660467083204], ["D228", 1.4541660467083204], ["D230", 1.4541660467083204], ["D232", 1.4541660467083204], ["D234", 1.4541660467083204], ["D235", 1.4541660467083204], ["D236", 1.4541660467083204], ["D237", 1.4541660467083204], ["D238", 1.4541660467083204], ["D240", 1.4541660467083204], ["D009", 1.2638743267321444], ["D023", 1.2638743267321444], ["D016", 1.2307569035431132], ["D020", 1.169469457307176], ["D010", 1.088187485437232]], "abstain": false, "online_ms": 1.8862169235944748, "success": true}
{"scale": 240, "query_id": "Q14", "category": "lexical", "relevant": ["D013"], "method": "embedding", "ranking": [["D013", 0.6623055838786226], ["D021", 0.2625019768019452], ["D006", 0.26150977764041744], ["D001", 0.2535476661204469], ["D018", 0.22886755816027743], ["D233", 0.22823311790100326], ["D071", 0.2230558603389874], ["D003", 0.21246719815587894], ["D143", 0.2122498782769314], ["D234", 0.20472423484998048], ["D072", 0.20114652818481618], ["D023", 0.18393511741257834], ["D012", 0.18030877658258188], ["D017", 0.1798833805722383], ["D007", 0.17725876221666592], ["D053", 0.1760095826149344], ["D107", 0.16719869761546344], ["D014", 0.1652518863144353], ["D144", 0.16242370386273702], ["D054", 0.155553698820789], ["D002", 0.1482694058166685], ["D224", 0.1450830532487944], ["D062", 0.14457167204841223], ["D022", 0.14244382978425507], ["D161", 0.1372937005488513], ["D108", 0.13691074296096944], ["D239", 0.13487214962769914], ["D077", 0.13364168623373063], ["D020", 0.13272481426356253], ["D090", 0.13188880616923687], ["D073", 0.12863456325162662], ["D235", 0.12851035005484174], ["D089", 0.12211939354633664], ["D075", 0.1208971402558197], ["D237", 0.11767406941585429], ["D223", 0.1166726547293849], ["D061", 0.11558653237011679], ["D149", 0.112441722131471], ["D197", 0.11036809616583382], ["D145", 0.1086180456730471], ["D240", 0.10780006002582516], ["D078", 0.10761648296395127], ["D004", 0.1058038167824456], ["D055", 0.10447747907253217], ["D019", 0.10409548159817436], ["D162", 0.10386049152955147], ["D134", 0.10338077895337987], ["D015", 0.10306759741021213], ["D076", 0.10237902197180367], ["D238", 0.10162223013391619], ["D125", 0.10103664320494239], ["D098", 0.09880423327299644], ["D044", 0.09722700626260261], ["D179", 0.0970391966443577], ["D133", 0.09640898792691574], ["D198", 0.09467895858453601], ["D180", 0.09452406018662735], ["D226", 0.09308242655256575], ["D147", 0.09303225852344311], ["D064", 0.09042021664285335], ["D148", 0.08985475578016726], ["D059", 0.08767241627024182], ["D150", 0.08691921853208089], ["D126", 0.08182538177800149], ["D113", 0.0785843116865908], ["D011", 0.07732636879356489], ["D058", 0.0772816091945759], ["D231", 0.07557764947167435], ["D109", 0.0750897757194383], ["D005", 0.07330500692429164], ["D069", 0.07182244599592733], ["D136", 0.07079649313367567], ["D043", 0.07019179806049478], ["D163", 0.070143288914532], ["D111", 0.07009368743878329], ["D229", 0.06939612947684676], ["D035", 0.0682653774020261], ["D215", 0.06782396845014445], ["D080", 0.06692294921316426], ["D091", 0.06615527216567234], ["D227", 0.06591844282055588], ["D057", 0.06582473769427766], ["D067", 0.06507734898898156], ["D097", 0.06355052333604347], ["D065", 0.06341467724045588], ["D024", 0.0634005301707592], ["D114", 0.06284430791921286], ["D036", 0.06003336145665216], ["D060", 0.06000837929693523], ["D216", 0.05912122781170133], ["D232", 0.05887207705941475], ["D070", 0.05695675923560868], ["D228", 0.05443144940667621], ["D066", 0.054087006887061355], ["D165", 0.05273490411926088], ["D168", 0.05083033493591511], ["D142", 0.05059606010320075], ["D008", 0.05024898512759374], ["D152", 0.049351396082847034], ["D199", 0.04848727258916751], ["D112", 0.04794975489889455], ["D236", 0.046770865884539714], ["D074", 0.04580888377174934], ["D167", 0.04354827193264992], ["D137", 0.0428274737673131], ["D046", 0.04016028488522088], ["D063", 0.0388204674402209], ["D079", 0.038613520865168886], ["D181", 0.03792108246417433], ["D139", 0.03744241030143515], ["D094", 0.037357302247109134], ["D166", 0.03704316774392408], ["D138", 0.0370149931496067], ["D093", 0.03691368663226373], ["D225", 0.03677554258435403], ["D048", 0.035611987398113366], ["D096", 0.03541917584215716], ["D095", 0.03474469788046315], ["D170", 0.03414562338318622], ["D204", 0.03390350373342491], ["D052", 0.033846189161010544], ["D230", 0.033557646192459316], ["D068", 0.03354717105784926], ["D151", 0.03164750759766838], ["D141", 0.028482817404163516], ["D047", 0.02812202643136586], ["D127", 0.02714873518679263], ["D100", 0.025976768048433827], ["D146", 0.02461605956306967], ["D116", 0.024275021195625718], ["D202", 0.019128964348542943], ["D188", 0.01893200907262918], ["D009", 0.01881459946018253], ["D203", 0.018748777847419615], ["D140", 0.017143808511316368], ["D185", 0.016695723925625374], ["D037", 0.016455323118182576], ["D103", 0.016160040067306362], ["D135", 0.015675360160290107], ["D049", 0.015454755382042216], ["D186", 0.01312484537224375], ["D131", 0.012705313132060119], ["D217", 0.01107495365831945], ["D187", 0.010255326895475855], ["D101", 0.010200490286060692], ["D106", 0.00993251515835418], ["D184", 0.009796390064599744], ["D169", 0.009547426275478239], ["D183", 0.008286982392616285], ["D026", 0.008158034607527238], ["D132", 0.006157347914818128], ["D041", 0.00594828986630782], ["D206", 0.005172565684105561], ["D056", 0.0034651373006017658], ["D042", 0.003312723288005654], ["D050", 0.0032450078141668323], ["D102", 0.0029902687223915814], ["D157", 0.0019736021310322177], ["D201", 0.0008573495237624434], ["D045", 0.000830906530659592], ["D082", 7.2019703722010775e-06], ["D105", -0.0008601424513991658], ["D129", -0.001438651161205881], ["D154", -0.0025383932602061204], ["D221", -0.0038748298518030723], ["D040", -0.00401588866174336], ["D222", -0.004122388924627851], ["D115", -0.004618329886460309], ["D110", -0.005456074517562359], ["D130", -0.005835911245571736], ["D051", -0.007433513661843031], ["D084", -0.007706938621471376], ["D160", -0.0077357933474166], ["D156", -0.010611474546792066], ["D083", -0.011899135198828868], ["D088", -0.012356560350160082], ["D039", -0.012448476022423847], ["D099", -0.012686469163869996], ["D085", -0.01294025412677231], ["D220", -0.01419962876231265], ["D104", -0.015073481785747404], ["D219", -0.01722204811379065], ["D174", -0.017380805194087544], ["D192", -0.019306044821671697], ["D025", -0.020254503187335557], ["D164", -0.020839246265661707], ["D196", -0.024071639794975893], ["D205", -0.026318653784719964], ["D155", -0.027105082471500355], ["D178", -0.027361589656327012], ["D172", -0.027688703652667578], ["D159", -0.02775134266851989], ["D092", -0.03208597588838322], ["D190", -0.034982492748467986], ["D193", -0.0360352531212662], ["D086", -0.03618245661018418], ["D120", -0.03803408799065142], ["D175", -0.04000546456542187], ["D153", -0.04040081703142659], ["D081", -0.04181020938455697], ["D158", -0.04204176439715905], ["D191", -0.043110194892205286], ["D182", -0.04401792820714729], ["D124", -0.04414823369780811], ["D118", -0.044297907443890686], ["D087", -0.0444345796492252], ["D194", -0.045201052973785974], ["D028", -0.04652485362643454], ["D176", -0.046981069970604035], ["D031", -0.04985018324959135], ["D119", -0.05194723573607086], ["D029", -0.05291650436656595], ["D208", -0.053344321609279675], ["D173", -0.054393907273065076], ["D211", -0.05443840171283794], ["D010", -0.055677377199901526], ["D121", -0.056074127341716726], ["D177", -0.056163161374280735], ["D034", -0.0583082908524483], ["D200", -0.05997801788440654], ["D030", -0.06072097108580009], ["D209", -0.061608178177877136], ["D016", -0.06210955855243161], ["D171", -0.06331431981444868], ["D122", -0.06481088326018095], ["D210", -0.06686122948806328], ["D123", -0.06718659078127008], ["D033", -0.06753633736756035], ["D128", -0.06790298723570157], ["D195", -0.06906733309297297], ["D214", -0.06910721910480905], ["D189", -0.06948042749814662], ["D038", -0.07399213933132023], ["D213", -0.07427483898697844], ["D117", -0.07785222047677293], ["D032", -0.07827623452440768], ["D218", -0.07977680195228865], ["D027", -0.08005467313000739], ["D207", -0.08359850600077944], ["D212", -0.08426785185668847]], "abstain": false, "online_ms": 71.09922007657588, "success": true}
{"scale": 240, "query_id": "Q14", "category": "lexical", "relevant": ["D013"], "method": "hybrid", "ranking": [["D013", 0.95], ["D035", 0.04], ["D006", 0.03], ["D014", 0.03], ["D019", 0.03], ["D022", 0.03], ["D003", 0.02], ["D012", 0.02]], "abstain": false, "online_ms": 171.06377379968762, "api_roundtrip_ms": 169.17755687609315, "success": true, "usage": {"input_tokens": 1104, "output_tokens": 156}}
{"scale": 240, "query_id": "Q14", "category": "lexical", "relevant": ["D013"], "method": "direct", "ranking": [["D013", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 261.2985619343817, "api_roundtrip_ms": 261.2985619343817, "success": true, "choice": "D013", "answer_exists": 0.97, "usage": {"input_tokens": 21282, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q15", "category": "paraphrase", "relevant": ["D014"], "method": "bm25", "ranking": [["D014", 20.16710585086116], ["D012", 10.56732920173655], ["D003", 9.84076799701763], ["D002", 9.63436371061683], ["D006", 9.230494062962139], ["D022", 8.980700653479445], ["D019", 8.674617745215077], ["D036", 8.413958677911413], ["D054", 8.413958677911413], ["D090", 8.413958677911413], ["D108", 8.413958677911413], ["D126", 8.413958677911413], ["D144", 8.413958677911413], ["D162", 8.413958677911413], ["D180", 8.413958677911413], ["D198", 8.413958677911413], ["D216", 8.413958677911413], ["D072", 8.2837125729766], ["D234", 8.2837125729766], ["D013", 5.523163146048748], ["D004", 5.487315908365485], ["D005", 5.487315908365485], ["D018", 5.487315908365485], ["D007", 4.850553423417425], ["D008", 4.850553423417425], ["D015", 4.850553423417425], ["D011", 4.809166775785622], ["D017", 4.809166775785622], ["D021", 4.809166775785622], ["D001", 4.728476684858407], ["D025", 4.501874046744246], ["D026", 4.501874046744246], ["D027", 4.501874046744246], ["D028", 4.501874046744246], ["D029", 4.501874046744246], ["D031", 4.501874046744246], ["D033", 4.501874046744246], ["D035", 4.501874046744246], ["D041", 4.501874046744246], ["D043", 4.501874046744246], ["D044", 4.501874046744246], ["D045", 4.501874046744246], ["D046", 4.501874046744246], ["D047", 4.501874046744246], ["D049", 4.501874046744246], ["D051", 4.501874046744246], ["D053", 4.501874046744246], ["D059", 4.501874046744246], ["D079", 4.501874046744246], ["D080", 4.501874046744246], ["D081", 4.501874046744246], ["D082", 4.501874046744246], ["D083", 4.501874046744246], ["D085", 4.501874046744246], ["D087", 4.501874046744246], ["D089", 4.501874046744246], ["D095", 4.501874046744246], ["D097", 4.501874046744246], ["D098", 4.501874046744246], ["D099", 4.501874046744246], ["D100", 4.501874046744246], ["D101", 4.501874046744246], ["D103", 4.501874046744246], ["D105", 4.501874046744246], ["D107", 4.501874046744246], ["D113", 4.501874046744246], ["D115", 4.501874046744246], ["D116", 4.501874046744246], ["D117", 4.501874046744246], ["D118", 4.501874046744246], ["D119", 4.501874046744246], ["D121", 4.501874046744246], ["D123", 4.501874046744246], ["D125", 4.501874046744246], ["D131", 4.501874046744246], ["D133", 4.501874046744246], ["D134", 4.501874046744246], ["D135", 4.501874046744246], ["D136", 4.501874046744246], ["D137", 4.501874046744246], ["D139", 4.501874046744246], ["D141", 4.501874046744246], ["D143", 4.501874046744246], ["D149", 4.501874046744246], ["D151", 4.501874046744246], ["D152", 4.501874046744246], ["D153", 4.501874046744246], ["D154", 4.501874046744246], ["D155", 4.501874046744246], ["D157", 4.501874046744246], ["D159", 4.501874046744246], ["D161", 4.501874046744246], ["D167", 4.501874046744246], ["D169", 4.501874046744246], ["D170", 4.501874046744246], ["D171", 4.501874046744246], ["D172", 4.501874046744246], ["D173", 4.501874046744246], ["D175", 4.501874046744246], ["D177", 4.501874046744246], ["D179", 4.501874046744246], ["D185", 4.501874046744246], ["D187", 4.501874046744246], ["D188", 4.501874046744246], ["D189", 4.501874046744246], ["D190", 4.501874046744246], ["D191", 4.501874046744246], ["D193", 4.501874046744246], ["D195", 4.501874046744246], ["D197", 4.501874046744246], ["D203", 4.501874046744246], ["D205", 4.501874046744246], ["D206", 4.501874046744246], ["D207", 4.501874046744246], ["D208", 4.501874046744246], ["D209", 4.501874046744246], ["D211", 4.501874046744246], ["D213", 4.501874046744246], ["D215", 4.501874046744246], ["D221", 4.501874046744246], ["D030", 4.431090378874314], ["D032", 4.431090378874314], ["D034", 4.431090378874314], ["D037", 4.431090378874314], ["D038", 4.431090378874314], ["D039", 4.431090378874314], ["D040", 4.431090378874314], ["D042", 4.431090378874314], ["D048", 4.431090378874314], ["D050", 4.431090378874314], ["D052", 4.431090378874314], ["D055", 4.431090378874314], ["D056", 4.431090378874314], ["D057", 4.431090378874314], ["D058", 4.431090378874314], ["D060", 4.431090378874314], ["D061", 4.431090378874314], ["D062", 4.431090378874314], ["D063", 4.431090378874314], ["D064", 4.431090378874314], ["D065", 4.431090378874314], ["D067", 4.431090378874314], ["D069", 4.431090378874314], ["D071", 4.431090378874314], ["D077", 4.431090378874314], ["D084", 4.431090378874314], ["D086", 4.431090378874314], ["D088", 4.431090378874314], ["D091", 4.431090378874314], ["D092", 4.431090378874314], ["D093", 4.431090378874314], ["D094", 4.431090378874314], ["D096", 4.431090378874314], ["D102", 4.431090378874314], ["D104", 4.431090378874314], ["D106", 4.431090378874314], ["D109", 4.431090378874314], ["D110", 4.431090378874314], ["D111", 4.431090378874314], ["D112", 4.431090378874314], ["D114", 4.431090378874314], ["D120", 4.431090378874314], ["D122", 4.431090378874314], ["D124", 4.431090378874314], ["D127", 4.431090378874314], ["D128", 4.431090378874314], ["D129", 4.431090378874314], ["D130", 4.431090378874314], ["D132", 4.431090378874314], ["D138", 4.431090378874314], ["D140", 4.431090378874314], ["D142", 4.431090378874314], ["D145", 4.431090378874314], ["D146", 4.431090378874314], ["D147", 4.431090378874314], ["D148", 4.431090378874314], ["D150", 4.431090378874314], ["D156", 4.431090378874314], ["D158", 4.431090378874314], ["D160", 4.431090378874314], ["D163", 4.431090378874314], ["D164", 4.431090378874314], ["D165", 4.431090378874314], ["D166", 4.431090378874314], ["D168", 4.431090378874314], ["D174", 4.431090378874314], ["D176", 4.431090378874314], ["D178", 4.431090378874314], ["D181", 4.431090378874314], ["D182", 4.431090378874314], ["D183", 4.431090378874314], ["D184", 4.431090378874314], ["D186", 4.431090378874314], ["D192", 4.431090378874314], ["D194", 4.431090378874314], ["D196", 4.431090378874314], ["D199", 4.431090378874314], ["D200", 4.431090378874314], ["D201", 4.431090378874314], ["D202", 4.431090378874314], ["D204", 4.431090378874314], ["D210", 4.431090378874314], ["D212", 4.431090378874314], ["D214", 4.431090378874314], ["D217", 4.431090378874314], ["D218", 4.431090378874314], ["D219", 4.431090378874314], ["D220", 4.431090378874314], ["D222", 4.431090378874314], ["D223", 4.431090378874314], ["D224", 4.431090378874314], ["D225", 4.431090378874314], ["D226", 4.431090378874314], ["D227", 4.431090378874314], ["D229", 4.431090378874314], ["D231", 4.431090378874314], ["D233", 4.431090378874314], ["D239", 4.431090378874314], ["D066", 4.362498140124961], ["D068", 4.362498140124961], ["D070", 4.362498140124961], ["D073", 4.362498140124961], ["D074", 4.362498140124961], ["D075", 4.362498140124961], ["D076", 4.362498140124961], ["D078", 4.362498140124961], ["D228", 4.362498140124961], ["D230", 4.362498140124961], ["D232", 4.362498140124961], ["D235", 4.362498140124961], ["D236", 4.362498140124961], ["D237", 4.362498140124961], ["D238", 4.362498140124961], ["D240", 4.362498140124961], ["D009", 3.791622980196433], ["D023", 3.791622980196433], ["D016", 3.6922707106293395], ["D020", 3.508408371921528], ["D010", 3.2645624563116957], ["D024", 0.0]], "abstain": false, "online_ms": 1.8370079342275858, "success": true}
{"scale": 240, "query_id": "Q15", "category": "paraphrase", "relevant": ["D014"], "method": "embedding", "ranking": [["D014", 0.47793676503659277], ["D216", 0.36853875217056076], ["D036", 0.36619975166057805], ["D198", 0.3619205665517281], ["D108", 0.3590911347795671], ["D072", 0.35534211662642246], ["D180", 0.3543059011262291], ["D090", 0.35242172905131713], ["D234", 0.34153093481469116], ["D162", 0.34023643041208673], ["D126", 0.33219437949912944], ["D144", 0.3316842499196151], ["D054", 0.31428369777376813], ["D188", 0.2141640209449895], ["D170", 0.2125838199194326], ["D026", 0.2089473036403237], ["D002", 0.2072216716722146], ["D206", 0.20433992201166534], ["D020", 0.19718774688630425], ["D098", 0.18672085135541183], ["D192", 0.18301213359388893], ["D080", 0.18294774001394715], ["D134", 0.18190705877538504], ["D024", 0.18131412370133865], ["D008", 0.17898294722014862], ["D116", 0.17566775101362397], ["D062", 0.17141247809527865], ["D044", 0.17026693618716118], ["D174", 0.1695347709829744], ["D012", 0.16907767215024683], ["D152", 0.16697493284407863], ["D197", 0.16362539262893008], ["D193", 0.16355191540012115], ["D030", 0.16162605320430667], ["D224", 0.16104754624128917], ["D022", 0.16035799030620557], ["D210", 0.1594052081879886], ["D005", 0.15904362760927943], ["D048", 0.1585981921437003], ["D191", 0.15590302508035198], ["D010", 0.15536387857985626], ["D138", 0.15536353397102348], ["D204", 0.15419491311353395], ["D190", 0.15255456023889502], ["D084", 0.15224513194734962], ["D066", 0.1516638822349135], ["D156", 0.15090892805517409], ["D009", 0.1491054645203158], ["D199", 0.14707662803905494], ["D013", 0.14688533235239923], ["D102", 0.14504528378760645], ["D136", 0.14387721877070458], ["D187", 0.14224715095865947], ["D228", 0.14202446978941763], ["D175", 0.1418657292756395], ["D031", 0.14128327331829477], ["D203", 0.13989088931255672], ["D029", 0.13961685889615144], ["D215", 0.13892872168421883], ["D035", 0.13867935004335705], ["D186", 0.1374774358451311], ["D179", 0.1371001320029806], ["D172", 0.1363168322741587], ["D028", 0.13504302716570066], ["D037", 0.13362609154796543], ["D006", 0.13341857001053986], ["D120", 0.132579626837032], ["D211", 0.132232432170956], ["D143", 0.13206683351498694], ["D139", 0.13184172560713908], ["D209", 0.13135322290778662], ["D217", 0.13116974464160605], ["D042", 0.13103885572838692], ["D208", 0.13080705329279924], ["D137", 0.13040334637732176], ["D083", 0.12862585083524403], ["D085", 0.12740010343747468], ["D047", 0.12692448083837832], ["D185", 0.12647080383000886], ["D181", 0.1252734177661277], ["D222", 0.12475897690039853], ["D173", 0.12425427017937755], ["D041", 0.12297746468295719], ["D169", 0.1207823994757595], ["D145", 0.12011914222459565], ["D001", 0.11772153743700944], ["D025", 0.11759246778021165], ["D064", 0.11742350380349892], ["D018", 0.11728649287880995], ["D049", 0.11671754153974068], ["D221", 0.11653971921925746], ["D189", 0.1163664472533621], ["D046", 0.11592014063274796], ["D078", 0.11571072258721332], ["D021", 0.11560620851878081], ["D003", 0.11462883279162614], ["D205", 0.11454803883718156], ["D150", 0.11451485418013962], ["D196", 0.11378341150369838], ["D065", 0.11347121256041065], ["D082", 0.11338961445313575], ["D067", 0.11293384114708449], ["D100", 0.11119693863588026], ["D103", 0.11074258533690112], ["D149", 0.11046148072806725], ["D089", 0.10930406944046242], ["D121", 0.10843597858658427], ["D096", 0.10831665502411084], ["D240", 0.10751257737618963], ["D053", 0.10671390202808306], ["D155", 0.10664869501474261], ["D133", 0.1057603489650287], ["D194", 0.10545623240098434], ["D229", 0.10540336642673873], ["D157", 0.10530354984431624], ["D227", 0.10523052835040277], ["D118", 0.10515875753806753], ["D171", 0.10495052664762239], ["D226", 0.10473028287505731], ["D071", 0.10314324422159005], ["D101", 0.10258472987138106], ["D168", 0.10191387797387007], ["D200", 0.10120883149112468], ["D060", 0.10067069691999465], ["D114", 0.09956626521021993], ["D095", 0.09819713996301169], ["D055", 0.09745596075828544], ["D043", 0.09738873811306835], ["D061", 0.09736963540198212], ["D073", 0.09683530389692965], ["D079", 0.09652889510687497], ["D091", 0.09637085636138257], ["D201", 0.09575750126718552], ["D178", 0.09533011270218121], ["D059", 0.09495718700527828], ["D233", 0.09487662907446465], ["D027", 0.09475126866010802], ["D107", 0.09407755154426853], ["D207", 0.09380378696486838], ["D077", 0.09377123269344462], ["D119", 0.09337674484050158], ["D125", 0.0926359343100246], ["D132", 0.09227542992197223], ["D154", 0.09145825542188679], ["D163", 0.09111193630920775], ["D113", 0.09047462443283492], ["D038", 0.09032273715028885], ["D176", 0.08957889702909247], ["D182", 0.08953541622965677], ["D183", 0.0885744399312442], ["D161", 0.0869086890656372], ["D235", 0.08685880084224688], ["D131", 0.08664824792782955], ["D223", 0.08647635631247994], ["D135", 0.0864086115489704], ["D127", 0.08516229854094258], ["D097", 0.08483991382553935], ["D032", 0.08430682015506036], ["D239", 0.08429877528181517], ["D039", 0.0838549237843816], ["D142", 0.08372274848760451], ["D202", 0.08367656100160888], ["D109", 0.08314754039981828], ["D045", 0.08279502188395786], ["D151", 0.08157348285537595], ["D212", 0.08125268092742674], ["D195", 0.08113298390679137], ["D218", 0.08028516251064617], ["D034", 0.07948932783946551], ["D219", 0.07848836271840476], ["D007", 0.07775343430202011], ["D115", 0.07676483432717221], ["D070", 0.07636477311921724], ["D033", 0.07621175707328992], ["D146", 0.07447441428951061], ["D177", 0.07411826840505527], ["D167", 0.07276248786909853], ["D140", 0.07276202745756456], ["D214", 0.07266886189344636], ["D052", 0.07232061413097839], ["D074", 0.07180524122904436], ["D040", 0.07179124516057911], ["D081", 0.0710966533388398], ["D213", 0.07064631477734026], ["D019", 0.0705632292677274], ["D092", 0.06937114641194385], ["D056", 0.0691204680643384], ["D063", 0.06896727014448006], ["D232", 0.0680362590835221], ["D164", 0.06560224663742756], ["D141", 0.06426006340341658], ["D017", 0.06307342451078485], ["D088", 0.06294821224579543], ["D093", 0.06281810428324318], ["D086", 0.06242981010994262], ["D068", 0.06218033128722588], ["D110", 0.061607458670528], ["D160", 0.06031312854439164], ["D153", 0.06007000661186719], ["D225", 0.059955586260389535], ["D148", 0.05963035319777694], ["D220", 0.05959608589483328], ["D128", 0.05936716855615688], ["D236", 0.05912698275118431], ["D075", 0.058098130071254125], ["D184", 0.058032429271277365], ["D147", 0.0569088723884617], ["D057", 0.05674294261365872], ["D099", 0.0567389734259692], ["D087", 0.05604038873871673], ["D050", 0.05564609078264025], ["D069", 0.055520354103743834], ["D051", 0.05368949561296525], ["D015", 0.0530048343198721], ["D165", 0.05245635384100867], ["D106", 0.0514366669137718], ["D117", 0.0501690641124347], ["D230", 0.048792397107051716], ["D058", 0.046694858419913644], ["D237", 0.04629186520465544], ["D231", 0.04498233055335974], ["D158", 0.0449259363011544], ["D123", 0.04349570618207517], ["D104", 0.043460779294161304], ["D124", 0.043324611307298096], ["D111", 0.04329770859532909], ["D105", 0.043166586145925695], ["D016", 0.04283298305981989], ["D122", 0.04257136808837562], ["D076", 0.042447745766269446], ["D094", 0.03902142615430944], ["D129", 0.03756792409314672], ["D238", 0.03399052287095991], ["D112", 0.026696730429046512], ["D166", 0.025282603333966897], ["D130", 0.024815863888632134], ["D011", 0.024605138942985737], ["D159", 0.022966425085195745], ["D023", 0.022121395597846406], ["D004", 0.004816552908114766]], "abstain": true, "online_ms": 75.5876877810806, "success": true}
{"scale": 240, "query_id": "Q15", "category": "paraphrase", "relevant": ["D014"], "method": "hybrid", "ranking": [["D014", 0.94], ["D022", 0.04], ["D036", 0.04], ["D002", 0.03], ["D003", 0.02], ["D006", 0.02], ["D012", 0.02], ["D019", 0.02]], "abstain": false, "online_ms": 172.92908183299005, "api_roundtrip_ms": 171.09207389876246, "success": true, "usage": {"input_tokens": 1117, "output_tokens": 156}}
{"scale": 240, "query_id": "Q15", "category": "paraphrase", "relevant": ["D014"], "method": "direct", "ranking": [["D014", 0.99], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 317.9177241399884, "api_roundtrip_ms": 317.9177241399884, "success": true, "choice": "D014", "answer_exists": 0.93, "usage": {"input_tokens": 21289, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q16", "category": "lexical", "relevant": ["D015"], "method": "bm25", "ranking": [["D015", 9.265697379613705], ["D019", 7.198107119417692], ["D016", 5.355810065253937], ["D073", 5.1933401701993045], ["D076", 5.1933401701993045], ["D235", 5.1933401701993045], ["D238", 5.1933401701993045], ["D001", 4.905887025758423], ["D037", 2.8900006143635024], ["D040", 2.8900006143635024], ["D055", 2.8900006143635024], ["D058", 2.8900006143635024], ["D091", 2.8900006143635024], ["D094", 2.8900006143635024], ["D109", 2.8900006143635024], ["D112", 2.8900006143635024], ["D127", 2.8900006143635024], ["D130", 2.8900006143635024], ["D145", 2.8900006143635024], ["D148", 2.8900006143635024], ["D163", 2.8900006143635024], ["D166", 2.8900006143635024], ["D181", 2.8900006143635024], ["D184", 2.8900006143635024], ["D199", 2.8900006143635024], ["D202", 2.8900006143635024], ["D217", 2.8900006143635024], ["D220", 2.8900006143635024], ["D061", 2.3849952534244125], ["D062", 2.3849952534244125], ["D063", 2.3849952534244125], ["D064", 2.3849952534244125], ["D065", 2.3849952534244125], ["D067", 2.3849952534244125], ["D069", 2.3849952534244125], ["D071", 2.3849952534244125], ["D077", 2.3849952534244125], ["D223", 2.3849952534244125], ["D224", 2.3849952534244125], ["D225", 2.3849952534244125], ["D226", 2.3849952534244125], ["D227", 2.3849952534244125], ["D229", 2.3849952534244125], ["D231", 2.3849952534244125], ["D233", 2.3849952534244125], ["D239", 2.3849952534244125], ["D066", 2.3480760868420956], ["D068", 2.3480760868420956], ["D070", 2.3480760868420956], ["D072", 2.3480760868420956], ["D074", 2.3480760868420956], ["D075", 2.3480760868420956], ["D078", 2.3480760868420956], ["D228", 2.3480760868420956], ["D230", 2.3480760868420956], ["D232", 2.3480760868420956], ["D234", 2.3480760868420956], ["D236", 2.3480760868420956], ["D237", 2.3480760868420956], ["D240", 2.3480760868420956], ["D020", 2.288218357863214], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D017", 0.0], ["D018", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D038", 0.0], ["D039", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D056", 0.0], ["D057", 0.0], ["D059", 0.0], ["D060", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D092", 0.0], ["D093", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D110", 0.0], ["D111", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D128", 0.0], ["D129", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D146", 0.0], ["D147", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D164", 0.0], ["D165", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D182", 0.0], ["D183", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D200", 0.0], ["D201", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D218", 0.0], ["D219", 0.0], ["D221", 0.0], ["D222", 0.0]], "abstain": false, "online_ms": 1.2638140469789505, "success": true}
{"scale": 240, "query_id": "Q16", "category": "lexical", "relevant": ["D015"], "method": "embedding", "ranking": [["D015", 0.7715060935693836], ["D163", 0.5089154954098983], ["D235", 0.4960717433000074], ["D073", 0.49506285147276674], ["D019", 0.45283979800719254], ["D166", 0.4485773672068633], ["D238", 0.44194304002327844], ["D109", 0.4398935638241049], ["D076", 0.43871793012682336], ["D127", 0.4051950309302897], ["D091", 0.37964767438838687], ["D112", 0.37205505887704937], ["D181", 0.3695335512026845], ["D145", 0.3661639347317936], ["D199", 0.359264495726025], ["D130", 0.35414266352047047], ["D037", 0.35226724693097855], ["D055", 0.35104954149111395], ["D020", 0.34855870552585255], ["D217", 0.34834897087141636], ["D184", 0.32516750107182923], ["D094", 0.31694903942744246], ["D148", 0.31340844415428887], ["D058", 0.3063926238995548], ["D023", 0.30479958567671916], ["D202", 0.2978336190194991], ["D040", 0.29513568029009285], ["D007", 0.2950565954378192], ["D220", 0.293655014875203], ["D005", 0.24972627269716258], ["D153", 0.24332003761136795], ["D009", 0.24170177474868398], ["D232", 0.23694505905122443], ["D160", 0.23685558639835796], ["D231", 0.2329567739502132], ["D070", 0.23260353663772892], ["D225", 0.22628879403520294], ["D237", 0.22511710201610147], ["D161", 0.22293668402633704], ["D075", 0.22112457167940874], ["D063", 0.22082566505034676], ["D229", 0.22034368649950764], ["D165", 0.2160238363075403], ["D069", 0.21515865060445447], ["D233", 0.21168443688196645], ["D159", 0.2088582424643882], ["D067", 0.20676811008932444], ["D004", 0.20494110607421354], ["D021", 0.20399399003808805], ["D071", 0.20300047747455163], ["D152", 0.20298778335666334], ["D157", 0.20082837004815962], ["D226", 0.2001540933818871], ["D224", 0.1958797422448598], ["D228", 0.19326179988593187], ["D168", 0.19292799835728383], ["D066", 0.19274299701081954], ["D062", 0.19194501693126942], ["D240", 0.18681059509741962], ["D064", 0.186743644445672], ["D239", 0.18238027636834336], ["D078", 0.18224572867223798], ["D156", 0.18148476959357712], ["D154", 0.18124721317340345], ["D223", 0.1804994410651638], ["D151", 0.17985158189832096], ["D008", 0.1760235023460204], ["D061", 0.17197449487406868], ["D017", 0.16980828993832753], ["D077", 0.16860985010211182], ["D155", 0.1593281479795526], ["D230", 0.15900343671290357], ["D001", 0.1527647743409149], ["D099", 0.15249251654642942], ["D068", 0.15129562224302173], ["D167", 0.14734353270384623], ["D227", 0.1461356109919523], ["D236", 0.14365171935292584], ["D158", 0.14260910964150006], ["D164", 0.14027518561877125], ["D013", 0.1393327107362763], ["D074", 0.13739511555726874], ["D111", 0.13686221086241815], ["D106", 0.13604491542280778], ["D065", 0.13584196900973095], ["D072", 0.1312886891742316], ["D234", 0.13070749774822088], ["D105", 0.12687163566575252], ["D003", 0.12619951590472528], ["D162", 0.12343606246668651], ["D124", 0.1229442137406059], ["D178", 0.1200604374203753], ["D171", 0.11799575438902904], ["D018", 0.11648569252580308], ["D103", 0.11320436691571172], ["D117", 0.11223981021015439], ["D107", 0.1122152109945001], ["D102", 0.11082651977220603], ["D022", 0.11024565525367584], ["D012", 0.10873140133827647], ["D002", 0.10556199987878412], ["D098", 0.10530770291150104], ["D129", 0.10512264366484102], ["D123", 0.10282268445083922], ["D052", 0.0987244272344012], ["D114", 0.09798659131488716], ["D177", 0.09330850240532967], ["D097", 0.09306376245525348], ["D121", 0.09282443740329359], ["D142", 0.09250220859002152], ["D100", 0.09248993524969767], ["D183", 0.09175853433102474], ["D175", 0.09151334878867357], ["D081", 0.08976074455786232], ["D125", 0.08947893233087297], ["D196", 0.08764661654154426], ["D088", 0.08269754354362721], ["D179", 0.08235699221329089], ["D120", 0.08136423858369222], ["D189", 0.07761647352558422], ["D045", 0.07661763469192608], ["D116", 0.07639124235010751], ["D034", 0.07536977234286049], ["D174", 0.07480047459587329], ["D214", 0.07455431703731835], ["D186", 0.0727248441870557], ["D093", 0.07202054105371883], ["D104", 0.07163204179950344], ["D016", 0.07050211048980429], ["D057", 0.06966020336498815], ["D193", 0.06944232867334565], ["D132", 0.06876543225076802], ["D170", 0.06710116368853654], ["D118", 0.06579833771386644], ["D024", 0.06566217551852649], ["D049", 0.06368280240052149], ["D027", 0.06341134550838377], ["D135", 0.06220727616491631], ["D201", 0.061509397097372166], ["D207", 0.059975325871146117], ["D115", 0.05723431415177814], ["D085", 0.05701494508581233], ["D147", 0.05639251973910815], ["D110", 0.05629012047280523], ["D051", 0.05549245831719857], ["D197", 0.055415879698077194], ["D169", 0.0543622450520725], ["D195", 0.054286730966230795], ["D113", 0.053793504912534706], ["D039", 0.05343566116769266], ["D053", 0.052467802132087446], ["D172", 0.051939488072601514], ["D219", 0.05063841715626423], ["D211", 0.050634707085240566], ["D031", 0.05028074619782694], ["D087", 0.04927390291151567], ["D101", 0.04917380734586965], ["D089", 0.048948074113003316], ["D185", 0.047191970448437995], ["D122", 0.045300458710348136], ["D048", 0.04515901323031295], ["D033", 0.04505388974159604], ["D131", 0.04442208361517115], ["D139", 0.04429304679626909], ["D213", 0.04394146249987409], ["D084", 0.04389844781331236], ["D141", 0.041926622612216885], ["D080", 0.04071336622543839], ["D108", 0.038729141330000355], ["D176", 0.03854387448583725], ["D215", 0.03783381102202116], ["D035", 0.03684889543406457], ["D204", 0.03641187290680271], ["D096", 0.036386063984146746], ["D188", 0.03604578047899658], ["D006", 0.035415851673922694], ["D143", 0.03482483434811886], ["D192", 0.033627903325749095], ["D138", 0.03344954506375472], ["D044", 0.033175704733881164], ["D042", 0.03257310044982656], ["D182", 0.031318748919493614], ["D222", 0.03101722964726702], ["D046", 0.03019228829126236], ["D150", 0.027701775580067672], ["D086", 0.026174482925047413], ["D060", 0.024829641019955058], ["D043", 0.02380319573245609], ["D079", 0.023073558124537544], ["D082", 0.022295999108994494], ["D119", 0.021906433307055172], ["D173", 0.021279331977055754], ["D030", 0.021252430794911438], ["D128", 0.021006361656793295], ["D206", 0.02024280198125474], ["D026", 0.01900666508356212], ["D190", 0.018408363139793573], ["D134", 0.016555952420934418], ["D059", 0.01316456072859738], ["D050", 0.01215681672816927], ["D210", 0.011811558978796538], ["D187", 0.0114616530985421], ["D126", 0.010855985255575119], ["D203", 0.00842161649144485], ["D028", 0.007988858583510054], ["D136", 0.007379183868918799], ["D208", 0.006438133796659541], ["D056", 0.005222907235158829], ["D180", 0.004901881063448507], ["D133", 0.004467821942347523], ["D011", 0.004459329845027667], ["D092", 0.0038345722345003563], ["D194", 0.0024258766926852793], ["D047", -0.0013968828686597556], ["D032", -0.0021041195785253394], ["D029", -0.0025436858690796645], ["D095", -0.0027141943222715277], ["D025", -0.003215227497711644], ["D205", -0.004277411194419219], ["D212", -0.004885661900083771], ["D209", -0.005278752156885532], ["D090", -0.005472151037172048], ["D083", -0.006457443887640235], ["D200", -0.006568552860063161], ["D191", -0.0068599575830699516], ["D140", -0.008363098712368167], ["D038", -0.011541784350672638], ["D146", -0.011980812092093104], ["D054", -0.012104186015774631], ["D036", -0.012393473344860044], ["D041", -0.013764424022009496], ["D198", -0.015633564984017204], ["D137", -0.016025553093695896], ["D218", -0.01734130838528415], ["D149", -0.017493573313703985], ["D216", -0.01784086914225123], ["D221", -0.019449594727941527], ["D010", -0.024654912174444543], ["D144", -0.03213472663401935], ["D014", -0.06410898302185132]], "abstain": false, "online_ms": 55.144852958619595, "success": true}
{"scale": 240, "query_id": "Q16", "category": "lexical", "relevant": ["D015"], "method": "hybrid", "ranking": [["D015", 0.96], ["D019", 0.06], ["D073", 0.04], ["D076", 0.03], ["D235", 0.03], ["D238", 0.03], ["D001", 0.02], ["D016", 0.02]], "abstain": false, "online_ms": 138.63093312829733, "api_roundtrip_ms": 137.36711908131838, "success": true, "usage": {"input_tokens": 1183, "output_tokens": 156}}
{"scale": 240, "query_id": "Q16", "category": "lexical", "relevant": ["D015"], "method": "direct", "ranking": [["D015", 1.0], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 291.8708899524063, "api_roundtrip_ms": 291.8708899524063, "success": true, "choice": "D015", "answer_exists": 0.97, "usage": {"input_tokens": 21283, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q17", "category": "multi_evidence", "relevant": ["D017", "D018"], "method": "bm25", "ranking": [["D017", 43.171510005298366], ["D018", 34.03900729283465], ["D004", 17.25778582408111], ["D019", 15.71592521195483], ["D010", 10.764334347077732], ["D003", 10.331296850591215], ["D002", 10.212222980413568], ["D020", 10.09891611194368], ["D006", 9.23552294900848], ["D011", 6.412222367714163], ["D022", 5.8316561041552735], ["D007", 5.572641196892636], ["D008", 5.572641196892636], ["D021", 5.516290360926508], ["D025", 5.104531813052121], ["D026", 5.104531813052121], ["D027", 5.104531813052121], ["D028", 5.104531813052121], ["D029", 5.104531813052121], ["D031", 5.104531813052121], ["D033", 5.104531813052121], ["D035", 5.104531813052121], ["D041", 5.104531813052121], ["D043", 5.104531813052121], ["D044", 5.104531813052121], ["D045", 5.104531813052121], ["D046", 5.104531813052121], ["D047", 5.104531813052121], ["D049", 5.104531813052121], ["D051", 5.104531813052121], ["D053", 5.104531813052121], ["D059", 5.104531813052121], ["D079", 5.104531813052121], ["D080", 5.104531813052121], ["D081", 5.104531813052121], ["D082", 5.104531813052121], ["D083", 5.104531813052121], ["D085", 5.104531813052121], ["D087", 5.104531813052121], ["D089", 5.104531813052121], ["D095", 5.104531813052121], ["D097", 5.104531813052121], ["D098", 5.104531813052121], ["D099", 5.104531813052121], ["D100", 5.104531813052121], ["D101", 5.104531813052121], ["D103", 5.104531813052121], ["D105", 5.104531813052121], ["D107", 5.104531813052121], ["D113", 5.104531813052121], ["D115", 5.104531813052121], ["D116", 5.104531813052121], ["D117", 5.104531813052121], ["D118", 5.104531813052121], ["D119", 5.104531813052121], ["D121", 5.104531813052121], ["D123", 5.104531813052121], ["D125", 5.104531813052121], ["D131", 5.104531813052121], ["D133", 5.104531813052121], ["D134", 5.104531813052121], ["D135", 5.104531813052121], ["D136", 5.104531813052121], ["D137", 5.104531813052121], ["D139", 5.104531813052121], ["D141", 5.104531813052121], ["D143", 5.104531813052121], ["D149", 5.104531813052121], ["D151", 5.104531813052121], ["D152", 5.104531813052121], ["D153", 5.104531813052121], ["D154", 5.104531813052121], ["D155", 5.104531813052121], ["D157", 5.104531813052121], ["D159", 5.104531813052121], ["D161", 5.104531813052121], ["D167", 5.104531813052121], ["D169", 5.104531813052121], ["D170", 5.104531813052121], ["D171", 5.104531813052121], ["D172", 5.104531813052121], ["D173", 5.104531813052121], ["D175", 5.104531813052121], ["D177", 5.104531813052121], ["D179", 5.104531813052121], ["D185", 5.104531813052121], ["D187", 5.104531813052121], ["D188", 5.104531813052121], ["D189", 5.104531813052121], ["D190", 5.104531813052121], ["D191", 5.104531813052121], ["D193", 5.104531813052121], ["D195", 5.104531813052121], ["D197", 5.104531813052121], ["D203", 5.104531813052121], ["D205", 5.104531813052121], ["D206", 5.104531813052121], ["D207", 5.104531813052121], ["D208", 5.104531813052121], ["D209", 5.104531813052121], ["D211", 5.104531813052121], ["D213", 5.104531813052121], ["D215", 5.104531813052121], ["D221", 5.104531813052121], ["D023", 5.055497306928578], ["D030", 5.0112821525508275], ["D032", 5.0112821525508275], ["D034", 5.0112821525508275], ["D036", 5.0112821525508275], ["D037", 5.0112821525508275], ["D038", 5.0112821525508275], ["D039", 5.0112821525508275], ["D040", 5.0112821525508275], ["D042", 5.0112821525508275], ["D048", 5.0112821525508275], ["D050", 5.0112821525508275], ["D052", 5.0112821525508275], ["D054", 5.0112821525508275], ["D055", 5.0112821525508275], ["D056", 5.0112821525508275], ["D057", 5.0112821525508275], ["D058", 5.0112821525508275], ["D060", 5.0112821525508275], ["D061", 5.0112821525508275], ["D062", 5.0112821525508275], ["D063", 5.0112821525508275], ["D064", 5.0112821525508275], ["D065", 5.0112821525508275], ["D067", 5.0112821525508275], ["D069", 5.0112821525508275], ["D071", 5.0112821525508275], ["D077", 5.0112821525508275], ["D084", 5.0112821525508275], ["D086", 5.0112821525508275], ["D088", 5.0112821525508275], ["D090", 5.0112821525508275], ["D091", 5.0112821525508275], ["D092", 5.0112821525508275], ["D093", 5.0112821525508275], ["D094", 5.0112821525508275], ["D096", 5.0112821525508275], ["D102", 5.0112821525508275], ["D104", 5.0112821525508275], ["D106", 5.0112821525508275], ["D108", 5.0112821525508275], ["D109", 5.0112821525508275], ["D110", 5.0112821525508275], ["D111", 5.0112821525508275], ["D112", 5.0112821525508275], ["D114", 5.0112821525508275], ["D120", 5.0112821525508275], ["D122", 5.0112821525508275], ["D124", 5.0112821525508275], ["D126", 5.0112821525508275], ["D127", 5.0112821525508275], ["D128", 5.0112821525508275], ["D129", 5.0112821525508275], ["D130", 5.0112821525508275], ["D132", 5.0112821525508275], ["D138", 5.0112821525508275], ["D140", 5.0112821525508275], ["D142", 5.0112821525508275], ["D144", 5.0112821525508275], ["D145", 5.0112821525508275], ["D146", 5.0112821525508275], ["D147", 5.0112821525508275], ["D148", 5.0112821525508275], ["D150", 5.0112821525508275], ["D156", 5.0112821525508275], ["D158", 5.0112821525508275], ["D160", 5.0112821525508275], ["D162", 5.0112821525508275], ["D163", 5.0112821525508275], ["D164", 5.0112821525508275], ["D165", 5.0112821525508275], ["D166", 5.0112821525508275], ["D168", 5.0112821525508275], ["D174", 5.0112821525508275], ["D176", 5.0112821525508275], ["D178", 5.0112821525508275], ["D180", 5.0112821525508275], ["D181", 5.0112821525508275], ["D182", 5.0112821525508275], ["D183", 5.0112821525508275], ["D184", 5.0112821525508275], ["D186", 5.0112821525508275], ["D192", 5.0112821525508275], ["D194", 5.0112821525508275], ["D196", 5.0112821525508275], ["D198", 5.0112821525508275], ["D199", 5.0112821525508275], ["D200", 5.0112821525508275], ["D201", 5.0112821525508275], ["D202", 5.0112821525508275], ["D204", 5.0112821525508275], ["D210", 5.0112821525508275], ["D212", 5.0112821525508275], ["D214", 5.0112821525508275], ["D216", 5.0112821525508275], ["D217", 5.0112821525508275], ["D218", 5.0112821525508275], ["D219", 5.0112821525508275], ["D220", 5.0112821525508275], ["D222", 5.0112821525508275], ["D223", 5.0112821525508275], ["D224", 5.0112821525508275], ["D225", 5.0112821525508275], ["D226", 5.0112821525508275], ["D227", 5.0112821525508275], ["D229", 5.0112821525508275], ["D231", 5.0112821525508275], ["D233", 5.0112821525508275], ["D239", 5.0112821525508275], ["D066", 4.921467605401986], ["D068", 4.921467605401986], ["D070", 4.921467605401986], ["D072", 4.921467605401986], ["D073", 4.921467605401986], ["D074", 4.921467605401986], ["D075", 4.921467605401986], ["D076", 4.921467605401986], ["D078", 4.921467605401986], ["D228", 4.921467605401986], ["D230", 4.921467605401986], ["D232", 4.921467605401986], ["D234", 4.921467605401986], ["D235", 4.921467605401986], ["D236", 4.921467605401986], ["D237", 4.921467605401986], ["D238", 4.921467605401986], ["D240", 4.921467605401986], ["D014", 4.242715029838452], ["D013", 3.6821087640324985], ["D005", 3.65821060557699], ["D012", 3.2903340872493883], ["D015", 3.2337022822782835], ["D001", 3.1523177899056045], ["D009", 2.527748653464289], ["D016", 2.4615138070862264], ["D024", 0.0]], "abstain": false, "online_ms": 2.507998840883374, "success": true}
{"scale": 240, "query_id": "Q17", "category": "multi_evidence", "relevant": ["D017", "D018"], "method": "embedding", "ranking": [["D017", 0.831736012688957], ["D018", 0.7682638600706487], ["D007", 0.34800022423835153], ["D004", 0.330143101477888], ["D003", 0.31514600676390875], ["D020", 0.2712969202473219], ["D019", 0.266653560190121], ["D023", 0.25586654553107624], ["D021", 0.24472041900446395], ["D084", 0.21239146662800462], ["D228", 0.20977048090429642], ["D066", 0.205350151005471], ["D091", 0.2029314617053375], ["D006", 0.19149320239390905], ["D001", 0.18810500189586865], ["D002", 0.18792360487850285], ["D022", 0.18417621362920586], ["D156", 0.1827704355314969], ["D235", 0.17782479234240464], ["D073", 0.17639396051891154], ["D163", 0.1759130450642023], ["D037", 0.17573977679136274], ["D093", 0.1743292672029261], ["D094", 0.17206514340248974], ["D138", 0.17102872808117836], ["D237", 0.1678319290536778], ["D165", 0.16697130447677505], ["D075", 0.16639789054241183], ["D217", 0.16637603419557456], ["D102", 0.1656865184765231], ["D030", 0.1642552231109094], ["D048", 0.15917570264013736], ["D040", 0.1584434201017406], ["D210", 0.1542019571000854], ["D039", 0.154130570476531], ["D220", 0.15405799137306533], ["D166", 0.15385788636922976], ["D145", 0.14940001601176078], ["D013", 0.14914074219596393], ["D192", 0.1486592669017376], ["D238", 0.14770478256854513], ["D219", 0.14737971464917388], ["D076", 0.14671178831441883], ["D239", 0.14584341441225238], ["D109", 0.14577154360589056], ["D231", 0.144230074945145], ["D012", 0.1438014541415752], ["D120", 0.1432718305838549], ["D077", 0.14155313425919053], ["D069", 0.1369511729369048], ["D087", 0.13638222716112014], ["D095", 0.1350075769644402], ["D055", 0.13483409757479478], ["D148", 0.13305667864908396], ["D089", 0.13297601117685534], ["D233", 0.13232236155297109], ["D147", 0.13218349875723598], ["D041", 0.13173970494341938], ["D127", 0.13141238196259467], ["D071", 0.13077148085290682], ["D015", 0.12869050612703753], ["D174", 0.12836900789570949], ["D199", 0.12797204267334525], ["D221", 0.1240103463706963], ["D213", 0.12216955804806988], ["D009", 0.12175606378794865], ["D033", 0.12123498610122892], ["D010", 0.1182459972905591], ["D111", 0.11823263002331379], ["D167", 0.11774755171381081], ["D141", 0.1159537700698491], ["D035", 0.11442079283961958], ["D079", 0.11370308646135674], ["D005", 0.11349831440304901], ["D234", 0.1131782292769513], ["D223", 0.11176034644269248], ["D061", 0.11163873966415179], ["D058", 0.11103761163381584], ["D215", 0.11079416326076154], ["D057", 0.11052384640169591], ["D161", 0.11048494970328415], ["D159", 0.11025064485669434], ["D086", 0.1087819986372836], ["D072", 0.10821991301707823], ["D226", 0.1078091624190787], ["D230", 0.10749728377667887], ["D227", 0.10731120568494582], ["D068", 0.10721865082765022], ["D112", 0.10699586153496153], ["D090", 0.10575990541228736], ["D232", 0.10442177379213498], ["D129", 0.10245656572158361], ["D065", 0.10173619656048924], ["D064", 0.10060248804459358], ["D130", 0.10027262058531294], ["D225", 0.10004233009844848], ["D105", 0.09983930179344626], ["D070", 0.09980629416860717], ["D081", 0.09915991683920983], ["D029", 0.0986266250975248], ["D063", 0.0982681644768999], ["D202", 0.09758486926642608], ["D083", 0.09748139640972338], ["D149", 0.09739355013088871], ["D181", 0.09659032086033986], ["D143", 0.09545329308184274], ["D082", 0.09217883499681831], ["D201", 0.09186761850189572], ["D028", 0.09151939810730778], ["D158", 0.091364859550948], ["D209", 0.09126774415289361], ["D151", 0.09022540111105698], ["D024", 0.08899874818512729], ["D224", 0.08894470279322825], ["D113", 0.0877626511567886], ["D034", 0.08684725169024005], ["D025", 0.08661010405051761], ["D208", 0.08626372841923106], ["D059", 0.08596307741634082], ["D032", 0.08559546876200823], ["D062", 0.0851317270311247], ["D153", 0.08485633098890871], ["D080", 0.08483410261385183], ["D088", 0.08471189966906731], ["D205", 0.08465923471993027], ["D008", 0.08453863328223389], ["D011", 0.08419300885965285], ["D212", 0.0832598364545124], ["D123", 0.08321737929011785], ["D051", 0.08318961970621863], ["D154", 0.08201972020966747], ["D014", 0.08194278286876826], ["D240", 0.08144806345141645], ["D131", 0.08052795653547146], ["D214", 0.08002781535960204], ["D036", 0.07974798981497835], ["D107", 0.07919525341282002], ["D078", 0.07888027108543606], ["D027", 0.07884668964457157], ["D207", 0.07781230905907251], ["D155", 0.07649904966410323], ["D092", 0.07649231448077086], ["D160", 0.07640836680181934], ["D096", 0.07568539254719397], ["D211", 0.07517441578448106], ["D042", 0.07464725555385562], ["D236", 0.07453368372837438], ["D031", 0.07350571041613983], ["D183", 0.07261118994232621], ["D074", 0.07221200835276037], ["D222", 0.0721483491303512], ["D140", 0.07178489848262244], ["D216", 0.07015301326740675], ["D195", 0.06872092080746024], ["D053", 0.06808700580465138], ["D125", 0.06734437248512662], ["D137", 0.06635354551458567], ["D203", 0.06617895963477885], ["D184", 0.06565539603342091], ["D164", 0.06564011703388634], ["D097", 0.06492224641771768], ["D229", 0.0648366067321999], ["D142", 0.06478183392671182], ["D157", 0.0638041158887575], ["D152", 0.06316804978927151], ["D168", 0.06316791460790563], ["D133", 0.06229503189150499], ["D026", 0.0621756587569835], ["D104", 0.06046796744357749], ["D206", 0.06024921599798025], ["D085", 0.060129311516106315], ["D162", 0.05744992976232578], ["D067", 0.05725928359843894], ["D038", 0.05677992934853772], ["D218", 0.05480058826622012], ["D050", 0.05411555376490879], ["D099", 0.053747491324682393], ["D135", 0.053613908437334705], ["D197", 0.05327499668283135], ["D136", 0.0524419183647249], ["D047", 0.052173495815448986], ["D122", 0.05091506944176], ["D146", 0.04869334336216453], ["D101", 0.047777415197663695], ["D043", 0.04740528001888712], ["D194", 0.04568796797138486], ["D177", 0.0445847723160257], ["D052", 0.04418611257769356], ["D045", 0.04411672005030777], ["D115", 0.04369050533229392], ["D144", 0.0430806135680632], ["D150", 0.043036776373181734], ["D187", 0.0426520688524346], ["D100", 0.042183634138053046], ["D139", 0.04170237377488854], ["D046", 0.03715998951694205], ["D185", 0.035536621243608055], ["D108", 0.03471525615710985], ["D054", 0.03438455401036865], ["D117", 0.03391459432486245], ["D196", 0.0336929228252866], ["D119", 0.03318225501849666], ["D191", 0.03161987225393945], ["D204", 0.029975248016445077], ["D124", 0.0282636620750862], ["D056", 0.02817224294478323], ["D114", 0.028160576362033403], ["D110", 0.027855470185079723], ["D189", 0.02754993196190378], ["D118", 0.02719478235802255], ["D106", 0.02694881217570213], ["D098", 0.0258590256769429], ["D198", 0.024564297929924796], ["D134", 0.021646859609820213], ["D126", 0.02131320619660354], ["D193", 0.0189838422760663], ["D190", 0.018408242701148603], ["D132", 0.018394905238041343], ["D176", 0.018278445647087194], ["D179", 0.016762064878183408], ["D128", 0.01601907327082984], ["D060", 0.013569957219506937], ["D103", 0.0130839539893454], ["D044", 0.012956746455049906], ["D169", 0.011867568073730603], ["D116", 0.009730187413396534], ["D200", 0.005883211052763751], ["D049", 0.005502028833737342], ["D171", 0.0036422544545439695], ["D121", 0.0023265901401686925], ["D178", 0.0009826694261430118], ["D173", 0.0007524849044342335], ["D186", -0.002477824074395455], ["D188", -0.0030722278035203894], ["D180", -0.004796820470859026], ["D172", -0.008836089046676363], ["D175", -0.015152325079723432], ["D182", -0.016047256610503675], ["D170", -0.029795574272968604], ["D016", -0.05246998863803376]], "abstain": false, "online_ms": 60.34692795947194, "success": true}
{"scale": 240, "query_id": "Q17", "category": "multi_evidence", "relevant": ["D017", "D018"], "method": "hybrid", "ranking": [["D017", 0.96], ["D018", 0.95], ["D020", 0.07], ["D004", 0.04], ["D003", 0.03], ["D019", 0.03], ["D002", 0.02], ["D010", 0.02]], "abstain": false, "online_ms": 182.50501668080688, "api_roundtrip_ms": 179.9970178399235, "success": true, "usage": {"input_tokens": 1118, "output_tokens": 156}}
{"scale": 240, "query_id": "Q17", "category": "multi_evidence", "relevant": ["D017", "D018"], "method": "direct", "ranking": [["D018", 0.5700000000000001], ["D017", 0.4], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 291.8214709497988, "api_roundtrip_ms": 291.8214709497988, "success": true, "choice": "D018", "answer_exists": 0.97, "usage": {"input_tokens": 21294, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q18", "category": "multi_evidence", "relevant": ["D019", "D020"], "method": "bm25", "ranking": [["D019", 42.07335253616036], ["D020", 31.3953104826127], ["D017", 15.897204427956556], ["D010", 15.145806732191346], ["D004", 12.663431625242948], ["D018", 12.596796130622941], ["D040", 11.777172285273252], ["D058", 11.777172285273252], ["D094", 11.777172285273252], ["D112", 11.777172285273252], ["D130", 11.777172285273252], ["D148", 11.777172285273252], ["D166", 11.777172285273252], ["D184", 11.777172285273252], ["D202", 11.777172285273252], ["D220", 11.777172285273252], ["D076", 11.58262334734146], ["D238", 11.58262334734146], ["D003", 10.331296850591215], ["D002", 10.212222980413568], ["D021", 9.659373471638656], ["D006", 9.23552294900848], ["D037", 7.90128276691433], ["D055", 7.90128276691433], ["D091", 7.90128276691433], ["D109", 7.90128276691433], ["D127", 7.90128276691433], ["D145", 7.90128276691433], ["D163", 7.90128276691433], ["D181", 7.90128276691433], ["D199", 7.90128276691433], ["D217", 7.90128276691433], ["D073", 7.766731688759195], ["D235", 7.766731688759195], ["D001", 7.195959171603959], ["D009", 7.061021595339888], ["D011", 6.412222367714163], ["D022", 5.8316561041552735], ["D007", 5.572641196892636], ["D008", 5.572641196892636], ["D015", 5.521920640141497], ["D025", 5.104531813052121], ["D026", 5.104531813052121], ["D027", 5.104531813052121], ["D028", 5.104531813052121], ["D029", 5.104531813052121], ["D031", 5.104531813052121], ["D033", 5.104531813052121], ["D035", 5.104531813052121], ["D041", 5.104531813052121], ["D043", 5.104531813052121], ["D044", 5.104531813052121], ["D045", 5.104531813052121], ["D046", 5.104531813052121], ["D047", 5.104531813052121], ["D049", 5.104531813052121], ["D051", 5.104531813052121], ["D053", 5.104531813052121], ["D059", 5.104531813052121], ["D079", 5.104531813052121], ["D080", 5.104531813052121], ["D081", 5.104531813052121], ["D082", 5.104531813052121], ["D083", 5.104531813052121], ["D085", 5.104531813052121], ["D087", 5.104531813052121], ["D089", 5.104531813052121], ["D095", 5.104531813052121], ["D097", 5.104531813052121], ["D098", 5.104531813052121], ["D099", 5.104531813052121], ["D100", 5.104531813052121], ["D101", 5.104531813052121], ["D103", 5.104531813052121], ["D105", 5.104531813052121], ["D107", 5.104531813052121], ["D113", 5.104531813052121], ["D115", 5.104531813052121], ["D116", 5.104531813052121], ["D117", 5.104531813052121], ["D118", 5.104531813052121], ["D119", 5.104531813052121], ["D121", 5.104531813052121], ["D123", 5.104531813052121], ["D125", 5.104531813052121], ["D131", 5.104531813052121], ["D133", 5.104531813052121], ["D134", 5.104531813052121], ["D135", 5.104531813052121], ["D136", 5.104531813052121], ["D137", 5.104531813052121], ["D139", 5.104531813052121], ["D141", 5.104531813052121], ["D143", 5.104531813052121], ["D149", 5.104531813052121], ["D151", 5.104531813052121], ["D152", 5.104531813052121], ["D153", 5.104531813052121], ["D154", 5.104531813052121], ["D155", 5.104531813052121], ["D157", 5.104531813052121], ["D159", 5.104531813052121], ["D161", 5.104531813052121], ["D167", 5.104531813052121], ["D169", 5.104531813052121], ["D170", 5.104531813052121], ["D171", 5.104531813052121], ["D172", 5.104531813052121], ["D173", 5.104531813052121], ["D175", 5.104531813052121], ["D177", 5.104531813052121], ["D179", 5.104531813052121], ["D185", 5.104531813052121], ["D187", 5.104531813052121], ["D188", 5.104531813052121], ["D189", 5.104531813052121], ["D190", 5.104531813052121], ["D191", 5.104531813052121], ["D193", 5.104531813052121], ["D195", 5.104531813052121], ["D197", 5.104531813052121], ["D203", 5.104531813052121], ["D205", 5.104531813052121], ["D206", 5.104531813052121], ["D207", 5.104531813052121], ["D208", 5.104531813052121], ["D209", 5.104531813052121], ["D211", 5.104531813052121], ["D213", 5.104531813052121], ["D215", 5.104531813052121], ["D221", 5.104531813052121], ["D023", 5.055497306928578], ["D030", 5.0112821525508275], ["D032", 5.0112821525508275], ["D034", 5.0112821525508275], ["D036", 5.0112821525508275], ["D038", 5.0112821525508275], ["D039", 5.0112821525508275], ["D042", 5.0112821525508275], ["D048", 5.0112821525508275], ["D050", 5.0112821525508275], ["D052", 5.0112821525508275], ["D054", 5.0112821525508275], ["D056", 5.0112821525508275], ["D057", 5.0112821525508275], ["D060", 5.0112821525508275], ["D061", 5.0112821525508275], ["D062", 5.0112821525508275], ["D063", 5.0112821525508275], ["D064", 5.0112821525508275], ["D065", 5.0112821525508275], ["D067", 5.0112821525508275], ["D069", 5.0112821525508275], ["D071", 5.0112821525508275], ["D077", 5.0112821525508275], ["D084", 5.0112821525508275], ["D086", 5.0112821525508275], ["D088", 5.0112821525508275], ["D090", 5.0112821525508275], ["D092", 5.0112821525508275], ["D093", 5.0112821525508275], ["D096", 5.0112821525508275], ["D102", 5.0112821525508275], ["D104", 5.0112821525508275], ["D106", 5.0112821525508275], ["D108", 5.0112821525508275], ["D110", 5.0112821525508275], ["D111", 5.0112821525508275], ["D114", 5.0112821525508275], ["D120", 5.0112821525508275], ["D122", 5.0112821525508275], ["D124", 5.0112821525508275], ["D126", 5.0112821525508275], ["D128", 5.0112821525508275], ["D129", 5.0112821525508275], ["D132", 5.0112821525508275], ["D138", 5.0112821525508275], ["D140", 5.0112821525508275], ["D142", 5.0112821525508275], ["D144", 5.0112821525508275], ["D146", 5.0112821525508275], ["D147", 5.0112821525508275], ["D150", 5.0112821525508275], ["D156", 5.0112821525508275], ["D158", 5.0112821525508275], ["D160", 5.0112821525508275], ["D162", 5.0112821525508275], ["D164", 5.0112821525508275], ["D165", 5.0112821525508275], ["D168", 5.0112821525508275], ["D174", 5.0112821525508275], ["D176", 5.0112821525508275], ["D178", 5.0112821525508275], ["D180", 5.0112821525508275], ["D182", 5.0112821525508275], ["D183", 5.0112821525508275], ["D186", 5.0112821525508275], ["D192", 5.0112821525508275], ["D194", 5.0112821525508275], ["D196", 5.0112821525508275], ["D198", 5.0112821525508275], ["D200", 5.0112821525508275], ["D201", 5.0112821525508275], ["D204", 5.0112821525508275], ["D210", 5.0112821525508275], ["D212", 5.0112821525508275], ["D214", 5.0112821525508275], ["D216", 5.0112821525508275], ["D218", 5.0112821525508275], ["D219", 5.0112821525508275], ["D222", 5.0112821525508275], ["D223", 5.0112821525508275], ["D224", 5.0112821525508275], ["D225", 5.0112821525508275], ["D226", 5.0112821525508275], ["D227", 5.0112821525508275], ["D229", 5.0112821525508275], ["D231", 5.0112821525508275], ["D233", 5.0112821525508275], ["D239", 5.0112821525508275], ["D066", 4.921467605401986], ["D068", 4.921467605401986], ["D070", 4.921467605401986], ["D072", 4.921467605401986], ["D074", 4.921467605401986], ["D075", 4.921467605401986], ["D078", 4.921467605401986], ["D228", 4.921467605401986], ["D230", 4.921467605401986], ["D232", 4.921467605401986], ["D234", 4.921467605401986], ["D236", 4.921467605401986], ["D237", 4.921467605401986], ["D240", 4.921467605401986], ["D014", 4.242715029838452], ["D013", 3.6821087640324985], ["D005", 3.65821060557699], ["D012", 3.2903340872493883], ["D016", 2.4615138070862264], ["D024", 0.0]], "abstain": false, "online_ms": 4.0307920426130295, "success": true}
{"scale": 240, "query_id": "Q18", "category": "multi_evidence", "relevant": ["D019", "D020"], "method": "embedding", "ranking": [["D020", 0.816765383391302], ["D019", 0.806815737483504], ["D166", 0.40856096912507217], ["D015", 0.376372440273251], ["D021", 0.3718750484065663], ["D076", 0.3697500896319427], ["D112", 0.3656382473942971], ["D238", 0.36494272728362154], ["D148", 0.3580618935171713], ["D058", 0.3562100406170881], ["D184", 0.3557898129364094], ["D094", 0.35142362131392935], ["D163", 0.34755735711494], ["D001", 0.341840227649351], ["D073", 0.32942062637522324], ["D235", 0.32660090755870086], ["D130", 0.32535298466314566], ["D109", 0.3236944584535428], ["D220", 0.3234771633341695], ["D202", 0.31908230198671667], ["D017", 0.30256526930846783], ["D055", 0.29765323976596914], ["D040", 0.2973515238972111], ["D181", 0.2947807964071682], ["D091", 0.28723093987675724], ["D145", 0.28617474622179523], ["D002", 0.28178283614788746], ["D018", 0.2808168702719906], ["D127", 0.2765250361373268], ["D070", 0.2713980281736911], ["D232", 0.27034568823719174], ["D199", 0.26630606104704185], ["D217", 0.2552038828652227], ["D160", 0.252035082359519], ["D003", 0.2499049560619302], ["D004", 0.241277596370047], ["D007", 0.2392432918297028], ["D009", 0.23913088720517822], ["D037", 0.2386539462476182], ["D023", 0.22430258092255193], ["D052", 0.2240337708139257], ["D012", 0.22352623515751666], ["D106", 0.22243872598265468], ["D142", 0.20651727524280683], ["D077", 0.20494570129656248], ["D239", 0.20323579187965607], ["D234", 0.20277859844049367], ["D228", 0.20088656796759635], ["D178", 0.20038019034116064], ["D156", 0.20012535367336468], ["D224", 0.20012261922656255], ["D066", 0.19920338732012177], ["D072", 0.1985311753082744], ["D062", 0.19714759043063051], ["D102", 0.19536391183780327], ["D157", 0.19323867442806636], ["D167", 0.1924883968384168], ["D088", 0.1903789199898658], ["D152", 0.18987819580943488], ["D124", 0.18741657478112211], ["D113", 0.18521133507506798], ["D022", 0.184338545682595], ["D168", 0.17982667182538956], ["D162", 0.17851104442604637], ["D227", 0.1757105108816569], ["D174", 0.17519714221816635], ["D065", 0.172376018526313], ["D064", 0.1723180114066854], ["D226", 0.17198508350063613], ["D098", 0.1704406618820742], ["D196", 0.1692513748245779], ["D214", 0.1689942078528588], ["D229", 0.16839099158656765], ["D161", 0.16750048455480412], ["D048", 0.16614270355712524], ["D071", 0.16576273789578028], ["D078", 0.16558654427607614], ["D240", 0.1654151093059082], ["D165", 0.16513080235406843], ["D067", 0.16441563923422173], ["D059", 0.16437423076400282], ["D068", 0.1637183994065962], ["D233", 0.1626581730708453], ["D230", 0.15973288778730177], ["D231", 0.15848061848212183], ["D069", 0.15829574166357469], ["D014", 0.15807361317479401], ["D155", 0.15760938569217744], ["D011", 0.15655129931045553], ["D103", 0.1564324166021534], ["D108", 0.15627187391718939], ["D100", 0.15585644464192486], ["D075", 0.15562024751326287], ["D154", 0.15414188759218547], ["D237", 0.15380463300341224], ["D034", 0.15281411745708626], ["D185", 0.14867019552198524], ["D084", 0.14598659444907428], ["D158", 0.145643733832281], ["D104", 0.145432930853019], ["D105", 0.144260393572581], ["D131", 0.14213397836310537], ["D114", 0.1419789977686366], ["D170", 0.14168410424119765], ["D101", 0.14094251452627993], ["D107", 0.13977317444199922], ["D159", 0.13972806879964225], ["D175", 0.13826900102753273], ["D111", 0.13795421051089748], ["D138", 0.13719257994685002], ["D013", 0.1368092606201329], ["D186", 0.1362539440884937], ["D047", 0.13593712014061266], ["D095", 0.13562708251313016], ["D044", 0.13437397383187005], ["D054", 0.13236465448873008], ["D192", 0.1322012107785418], ["D090", 0.1321314440668278], ["D049", 0.13213035312071267], ["D120", 0.13035099319941387], ["D176", 0.12736506698044928], ["D046", 0.12734705461279486], ["D061", 0.12726475855738809], ["D050", 0.12715011583170155], ["D139", 0.12612864657468573], ["D180", 0.12570769467174117], ["D149", 0.1256129859761446], ["D223", 0.12377823023888912], ["D080", 0.12225968746753227], ["D053", 0.12144329312634937], ["D057", 0.12128796949346107], ["D221", 0.12105765554212333], ["D008", 0.11987578664300419], ["D177", 0.11799721234647426], ["D151", 0.11731999224749882], ["D051", 0.11504573801425326], ["D193", 0.1148108697428506], ["D116", 0.11450777286242184], ["D083", 0.11437811518345045], ["D085", 0.11365805230334196], ["D183", 0.11295036619596796], ["D060", 0.1115332708874905], ["D172", 0.11120989446885993], ["D097", 0.11002232653369723], ["D179", 0.10976544231770527], ["D096", 0.10820641350490517], ["D086", 0.10705169945113682], ["D173", 0.10675640149341353], ["D203", 0.1065609999807012], ["D150", 0.10601938649340198], ["D089", 0.10485589727257003], ["D121", 0.10481954938920632], ["D210", 0.1045840990795304], ["D041", 0.10275120105440028], ["D144", 0.10268034186420995], ["D126", 0.10223926008742873], ["D204", 0.10204118860209059], ["D093", 0.1014324082514581], ["D206", 0.10101926567725425], ["D082", 0.10086350947323236], ["D024", 0.10038372922073446], ["D211", 0.10005541780990845], ["D137", 0.09816081616958014], ["D132", 0.09727192767758175], ["D122", 0.09671795299091634], ["D134", 0.09654182658480406], ["D147", 0.09532241128893301], ["D118", 0.09526049169873632], ["D198", 0.09484224428773137], ["D005", 0.0947432790643406], ["D216", 0.09291058148466416], ["D141", 0.09178650457567765], ["D125", 0.09151643992336934], ["D188", 0.09138414998131505], ["D140", 0.09107328023840876], ["D119", 0.09019205860483531], ["D074", 0.09018718318788145], ["D087", 0.08993106721903188], ["D030", 0.08980019608219603], ["D222", 0.08959613742928281], ["D043", 0.08931661816775537], ["D143", 0.08860423841245563], ["D194", 0.08829631921288392], ["D209", 0.08718968629238663], ["D169", 0.08701725206959351], ["D236", 0.08700554730252685], ["D123", 0.08662414213058436], ["D136", 0.08642386002212091], ["D063", 0.08633760945332745], ["D225", 0.08623850585166429], ["D208", 0.08506643316720469], ["D031", 0.08500572657622903], ["D191", 0.08418007792391281], ["D153", 0.08344723737990084], ["D195", 0.08145465050080646], ["D129", 0.07987437739422767], ["D215", 0.07959548687949985], ["D026", 0.07905217387104928], ["D036", 0.07730384638815267], ["D164", 0.07714227422084523], ["D212", 0.07640719805876262], ["D201", 0.07632006605456662], ["D213", 0.076045674653838], ["D219", 0.07499874513070892], ["D029", 0.07353333528415426], ["D197", 0.07139108331823407], ["D006", 0.06992420248467413], ["D099", 0.06943430546397833], ["D042", 0.06919879737480354], ["D190", 0.06903150542272538], ["D010", 0.06754744277785815], ["D110", 0.06661447559107447], ["D028", 0.06492316305173343], ["D079", 0.06477488357742786], ["D045", 0.06392547474111206], ["D039", 0.06175683278076795], ["D032", 0.0615820550187473], ["D035", 0.05939138131284116], ["D033", 0.0584222766416678], ["D133", 0.05372088175982252], ["D056", 0.050525989505818464], ["D171", 0.050426959612930755], ["D182", 0.04821619018495521], ["D115", 0.04718991823938601], ["D187", 0.044655968452680134], ["D205", 0.03355226915409288], ["D146", 0.03335656129066812], ["D092", 0.029936721580115747], ["D135", 0.027708270504369525], ["D081", 0.023325166851517885], ["D128", 0.02017275250022845], ["D025", 0.01879953003247039], ["D200", 0.017429660825957094], ["D189", 0.014364566578978872], ["D207", 0.012934194949338432], ["D117", 0.009305865312322397], ["D027", 0.0009275703508953084], ["D218", -0.0006022289203753087], ["D038", -0.011821368595631581], ["D016", -0.07140257329589399]], "abstain": false, "online_ms": 65.34029706381261, "success": true}
{"scale": 240, "query_id": "Q18", "category": "multi_evidence", "relevant": ["D019", "D020"], "method": "hybrid", "ranking": [["D019", 0.96], ["D020", 0.96], ["D040", 0.06], ["D018", 0.05], ["D058", 0.04], ["D004", 0.03], ["D010", 0.03], ["D017", 0.03]], "abstain": false, "online_ms": 177.26384522393346, "api_roundtrip_ms": 173.23305318132043, "success": true, "usage": {"input_tokens": 1143, "output_tokens": 156}}
{"scale": 240, "query_id": "Q18", "category": "multi_evidence", "relevant": ["D019", "D020"], "method": "direct", "ranking": [["D019", 0.53], ["D020", 0.45], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 301.4334610197693, "api_roundtrip_ms": 301.4334610197693, "success": true, "choice": "D019", "answer_exists": 0.97, "usage": {"input_tokens": 21295, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q19", "category": "multi_evidence", "relevant": ["D016", "D010"], "method": "bm25", "ranking": [["D016", 22.278666699337656], ["D032", 11.49979152786334], ["D038", 11.49979152786334], ["D050", 11.49979152786334], ["D056", 11.49979152786334], ["D086", 11.49979152786334], ["D092", 11.49979152786334], ["D104", 11.49979152786334], ["D110", 11.49979152786334], ["D122", 11.49979152786334], ["D128", 11.49979152786334], ["D140", 11.49979152786334], ["D146", 11.49979152786334], ["D158", 11.49979152786334], ["D164", 11.49979152786334], ["D176", 11.49979152786334], ["D182", 11.49979152786334], ["D194", 11.49979152786334], ["D200", 11.49979152786334], ["D212", 11.49979152786334], ["D218", 11.49979152786334], ["D010", 11.389522118575776], ["D068", 11.303415840954619], ["D230", 11.303415840954619], ["D074", 11.303415840954617], ["D236", 11.303415840954617], ["D021", 9.485733291406182], ["D002", 9.292796873834222], ["D023", 8.908622055433446], ["D017", 8.33064370287147], ["D019", 8.247182989316041], ["D001", 8.16543159175929], ["D025", 7.656797719578183], ["D026", 7.656797719578183], ["D027", 7.656797719578183], ["D028", 7.656797719578183], ["D029", 7.656797719578183], ["D031", 7.656797719578183], ["D033", 7.656797719578183], ["D035", 7.656797719578183], ["D041", 7.656797719578183], ["D043", 7.656797719578183], ["D044", 7.656797719578183], ["D045", 7.656797719578183], ["D046", 7.656797719578183], ["D047", 7.656797719578183], ["D049", 7.656797719578183], ["D051", 7.656797719578183], ["D053", 7.656797719578183], ["D059", 7.656797719578183], ["D079", 7.656797719578183], ["D080", 7.656797719578183], ["D081", 7.656797719578183], ["D082", 7.656797719578183], ["D083", 7.656797719578183], ["D085", 7.656797719578183], ["D087", 7.656797719578183], ["D089", 7.656797719578183], ["D095", 7.656797719578183], ["D097", 7.656797719578183], ["D098", 7.656797719578183], ["D099", 7.656797719578183], ["D100", 7.656797719578183], ["D101", 7.656797719578183], ["D103", 7.656797719578183], ["D105", 7.656797719578183], ["D107", 7.656797719578183], ["D113", 7.656797719578183], ["D115", 7.656797719578183], ["D116", 7.656797719578183], ["D117", 7.656797719578183], ["D118", 7.656797719578183], ["D119", 7.656797719578183], ["D121", 7.656797719578183], ["D123", 7.656797719578183], ["D125", 7.656797719578183], ["D131", 7.656797719578183], ["D133", 7.656797719578183], ["D134", 7.656797719578183], ["D135", 7.656797719578183], ["D136", 7.656797719578183], ["D137", 7.656797719578183], ["D139", 7.656797719578183], ["D141", 7.656797719578183], ["D143", 7.656797719578183], ["D149", 7.656797719578183], ["D151", 7.656797719578183], ["D152", 7.656797719578183], ["D153", 7.656797719578183], ["D154", 7.656797719578183], ["D155", 7.656797719578183], ["D157", 7.656797719578183], ["D159", 7.656797719578183], ["D161", 7.656797719578183], ["D167", 7.656797719578183], ["D169", 7.656797719578183], ["D170", 7.656797719578183], ["D171", 7.656797719578183], ["D172", 7.656797719578183], ["D173", 7.656797719578183], ["D175", 7.656797719578183], ["D177", 7.656797719578183], ["D179", 7.656797719578183], ["D185", 7.656797719578183], ["D187", 7.656797719578183], ["D188", 7.656797719578183], ["D189", 7.656797719578183], ["D190", 7.656797719578183], ["D191", 7.656797719578183], ["D193", 7.656797719578183], ["D195", 7.656797719578183], ["D197", 7.656797719578183], ["D203", 7.656797719578183], ["D205", 7.656797719578183], ["D206", 7.656797719578183], ["D207", 7.656797719578183], ["D208", 7.656797719578183], ["D209", 7.656797719578183], ["D211", 7.656797719578183], ["D213", 7.656797719578183], ["D215", 7.656797719578183], ["D221", 7.656797719578183], ["D009", 7.644747728701301], ["D030", 7.516923228826242], ["D034", 7.516923228826242], ["D036", 7.516923228826242], ["D037", 7.516923228826242], ["D039", 7.516923228826242], ["D040", 7.516923228826242], ["D042", 7.516923228826242], ["D048", 7.516923228826242], ["D052", 7.516923228826242], ["D054", 7.516923228826242], ["D055", 7.516923228826242], ["D057", 7.516923228826242], ["D058", 7.516923228826242], ["D060", 7.516923228826242], ["D061", 7.516923228826242], ["D062", 7.516923228826242], ["D063", 7.516923228826242], ["D064", 7.516923228826242], ["D065", 7.516923228826242], ["D067", 7.516923228826242], ["D069", 7.516923228826242], ["D071", 7.516923228826242], ["D077", 7.516923228826242], ["D084", 7.516923228826242], ["D088", 7.516923228826242], ["D090", 7.516923228826242], ["D091", 7.516923228826242], ["D093", 7.516923228826242], ["D094", 7.516923228826242], ["D096", 7.516923228826242], ["D102", 7.516923228826242], ["D106", 7.516923228826242], ["D108", 7.516923228826242], ["D109", 7.516923228826242], ["D111", 7.516923228826242], ["D112", 7.516923228826242], ["D114", 7.516923228826242], ["D120", 7.516923228826242], ["D124", 7.516923228826242], ["D126", 7.516923228826242], ["D127", 7.516923228826242], ["D129", 7.516923228826242], ["D130", 7.516923228826242], ["D132", 7.516923228826242], ["D138", 7.516923228826242], ["D142", 7.516923228826242], ["D144", 7.516923228826242], ["D145", 7.516923228826242], ["D147", 7.516923228826242], ["D148", 7.516923228826242], ["D150", 7.516923228826242], ["D156", 7.516923228826242], ["D160", 7.516923228826242], ["D162", 7.516923228826242], ["D163", 7.516923228826242], ["D165", 7.516923228826242], ["D166", 7.516923228826242], ["D168", 7.516923228826242], ["D174", 7.516923228826242], ["D178", 7.516923228826242], ["D180", 7.516923228826242], ["D181", 7.516923228826242], ["D183", 7.516923228826242], ["D184", 7.516923228826242], ["D186", 7.516923228826242], ["D192", 7.516923228826242], ["D196", 7.516923228826242], ["D198", 7.516923228826242], ["D199", 7.516923228826242], ["D201", 7.516923228826242], ["D202", 7.516923228826242], ["D204", 7.516923228826242], ["D210", 7.516923228826242], ["D214", 7.516923228826242], ["D216", 7.516923228826242], ["D217", 7.516923228826242], ["D219", 7.516923228826242], ["D220", 7.516923228826242], ["D222", 7.516923228826242], ["D223", 7.516923228826242], ["D224", 7.516923228826242], ["D225", 7.516923228826242], ["D226", 7.516923228826242], ["D227", 7.516923228826242], ["D229", 7.516923228826242], ["D231", 7.516923228826242], ["D233", 7.516923228826242], ["D239", 7.516923228826242], ["D066", 7.382201408102979], ["D070", 7.382201408102979], ["D072", 7.382201408102979], ["D073", 7.382201408102979], ["D075", 7.382201408102979], ["D076", 7.382201408102979], ["D078", 7.382201408102979], ["D228", 7.382201408102979], ["D232", 7.382201408102979], ["D234", 7.382201408102979], ["D235", 7.382201408102979], ["D237", 7.382201408102979], ["D238", 7.382201408102979], ["D240", 7.382201408102979], ["D003", 7.075689711972556], ["D022", 6.749562435697262], ["D006", 6.530995797194978], ["D011", 6.412222367714163], ["D014", 6.364072544757678], ["D007", 6.020022880724602], ["D008", 6.020022880724602], ["D013", 5.523163146048748], ["D004", 5.487315908365485], ["D005", 5.487315908365485], ["D018", 5.487315908365485], ["D024", 5.150867764169482], ["D012", 4.935501130874083], ["D015", 4.850553423417425], ["D020", 3.508408371921528]], "abstain": false, "online_ms": 2.8046260122209787, "success": true}
{"scale": 240, "query_id": "Q19", "category": "multi_evidence", "relevant": ["D016", "D010"], "method": "embedding", "ranking": [["D016", 0.516802783402084], ["D010", 0.400859197632448], ["D212", 0.3711366317570015], ["D032", 0.36879345253235013], ["D194", 0.35519921422466044], ["D176", 0.3391752378237797], ["D086", 0.3188652251417347], ["D050", 0.31193336184894], ["D038", 0.3113452008527102], ["D218", 0.3099113081563982], ["D158", 0.3091946589382259], ["D122", 0.30755412905434165], ["D164", 0.30677792973991325], ["D092", 0.29743679040237037], ["D200", 0.2972321030760566], ["D104", 0.2875172139460834], ["D182", 0.28429987499710846], ["D056", 0.28015314511123224], ["D128", 0.27880017174819377], ["D068", 0.27820565753879567], ["D140", 0.27811913073252137], ["D110", 0.2759990194547919], ["D146", 0.273192261735253], ["D230", 0.26538557014877917], ["D074", 0.2609221671788088], ["D236", 0.25299547041945125], ["D030", 0.18352392264479372], ["D210", 0.18102868547111847], ["D027", 0.1536489131347186], ["D192", 0.15339423464395474], ["D174", 0.1526993329993263], ["D207", 0.15262625148424427], ["D048", 0.13828752089424284], ["D033", 0.13812368287016197], ["D215", 0.13757743288269086], ["D084", 0.1369542203969544], ["D036", 0.1367679566199541], ["D213", 0.13651942569309464], ["D035", 0.13402670921597837], ["D216", 0.13319395335167702], ["D028", 0.12899237311828238], ["D208", 0.1260122251450594], ["D189", 0.1258088418023004], ["D025", 0.12068303910703765], ["D026", 0.11945170543751744], ["D205", 0.11663639111029862], ["D206", 0.1164892087490635], ["D081", 0.11639766559470857], ["D156", 0.1146728774220153], ["D120", 0.11374602518098828], ["D102", 0.1105679717457892], ["D066", 0.10970255930649245], ["D195", 0.10961772603268657], ["D029", 0.10959225035517556], ["D171", 0.10859947522807231], ["D045", 0.10798425270351455], ["D209", 0.10554094663161166], ["D037", 0.10517999305194028], ["D217", 0.1027992531821599], ["D228", 0.10094783995561873], ["D039", 0.10050606140965354], ["D198", 0.100393460082632], ["D005", 0.10032502839698929], ["D153", 0.09957830941207912], ["D180", 0.09915424593364378], ["D177", 0.09884055420275731], ["D219", 0.09802603549029362], ["D197", 0.09586410812296109], ["D008", 0.0948826006511608], ["D170", 0.09479150736954312], ["D041", 0.09421169609571116], ["D051", 0.09362442164694242], ["D117", 0.09029093235093193], ["D188", 0.09019329486113112], ["D138", 0.08889006016736463], ["D221", 0.08809650468605737], ["D179", 0.0872681275432888], ["D187", 0.08708739017053752], ["D190", 0.08686387142468405], ["D090", 0.08664863687371602], ["D063", 0.07965703887788839], ["D009", 0.07865232223432966], ["D191", 0.07815640782597474], ["D042", 0.07743919906964644], ["D018", 0.07555556762351545], ["D169", 0.0753276178995735], ["D172", 0.07516089666429412], ["D043", 0.0748917924710128], ["D222", 0.0742207615529005], ["D040", 0.07213062255749599], ["D054", 0.07155916180943382], ["D173", 0.07149538348856146], ["D053", 0.06949171748011765], ["D031", 0.06927163265751025], ["D199", 0.06910807560377394], ["D087", 0.06890848772292564], ["D047", 0.06864581725399463], ["D201", 0.06857612964141338], ["D099", 0.06833553074028544], ["D220", 0.06825961202559948], ["D181", 0.06788632849482854], ["D183", 0.06704077264547552], ["D046", 0.06623175667845435], ["D072", 0.06612125934982713], ["D211", 0.06569192773774332], ["D022", 0.06561587964116526], ["D044", 0.06436791900812416], ["D080", 0.06412669528458367], ["D225", 0.06408909724592046], ["D034", 0.06338067354343913], ["D203", 0.06323363833896181], ["D079", 0.06078192213562984], ["D204", 0.06072018708817363], ["D214", 0.06057756533735125], ["D089", 0.06018584469423603], ["D011", 0.06008241464469839], ["D002", 0.05986718304872615], ["D185", 0.05971973618797416], ["D055", 0.05801652871291982], ["D082", 0.05724193266802667], ["D123", 0.05568478189949423], ["D234", 0.054920316538949174], ["D126", 0.0548780871543438], ["D083", 0.0545986617275617], ["D193", 0.05322868002270653], ["D186", 0.0530961286540988], ["D159", 0.051856038603389526], ["D175", 0.051594671364328264], ["D057", 0.051458828927968985], ["D059", 0.05020446447937498], ["D151", 0.04860561248442283], ["D162", 0.04855579478491337], ["D202", 0.04841121411537372], ["D135", 0.04838182852530216], ["D093", 0.047873175988491376], ["D091", 0.04712946290168195], ["D116", 0.046878742486406756], ["D115", 0.04521631887327248], ["D108", 0.04492818255729259], ["D069", 0.04230781090725423], ["D196", 0.04151870614600194], ["D023", 0.040926169156283304], ["D184", 0.040525000226556515], ["D060", 0.040196479798469666], ["D095", 0.040031694534158384], ["D125", 0.03915687730906003], ["D118", 0.038795070083068754], ["D017", 0.037664936022119774], ["D049", 0.03721809029978172], ["D178", 0.03669844838340849], ["D161", 0.03566718975761153], ["D154", 0.03482461678280235], ["D021", 0.03388892305386835], ["D155", 0.03369307654001748], ["D141", 0.03367859380262465], ["D020", 0.03277533381188216], ["D006", 0.0325532535645756], ["D062", 0.03194905650819857], ["D061", 0.03189759542718698], ["D014", 0.03168380955596148], ["D152", 0.030960028227156863], ["D058", 0.030919597142195325], ["D127", 0.03079405745800677], ["D231", 0.029338812368849637], ["D064", 0.0283649061923735], ["D071", 0.02799276523398704], ["D073", 0.027912226754029462], ["D119", 0.027428340883669675], ["D098", 0.02603653736779666], ["D105", 0.025103211836069478], ["D129", 0.02468058993402398], ["D144", 0.022952528800728463], ["D052", 0.02259208585684008], ["D085", 0.022465779660206554], ["D096", 0.02229601764862525], ["D165", 0.021199487069720496], ["D097", 0.020874499292329967], ["D065", 0.020803032539266686], ["D075", 0.01979639957054035], ["D224", 0.019620231781275865], ["D223", 0.017420663530983305], ["D163", 0.01740258108402716], ["D226", 0.015290432439657952], ["D077", 0.015193220235358813], ["D233", 0.014131224801801234], ["D235", 0.012998996516964486], ["D109", 0.012852400330954155], ["D143", 0.012220926374162111], ["D131", 0.012028685834054456], ["D094", 0.011655370740759561], ["D132", 0.011348860036944332], ["D227", 0.010777996096540817], ["D100", 0.010532735441012651], ["D078", 0.010506181496899868], ["D168", 0.009867240175610324], ["D007", 0.00870402634300253], ["D107", 0.008613020854505547], ["D167", 0.007993345660462253], ["D237", 0.007698550175231274], ["D101", 0.0069127887469985425], ["D133", 0.005831332643261841], ["D067", 0.00394967166250423], ["D137", 0.0032792571859997007], ["D088", 0.0032171515902616223], ["D111", 0.001485352331025605], ["D239", 0.0014191038030532468], ["D134", 0.0011563909594386537], ["D240", 0.0009812445738082154], ["D136", -0.0017870395886769377], ["D145", -0.002672448954788768], ["D004", -0.0030537120322494705], ["D024", -0.0032563447175321114], ["D076", -0.004785759229647812], ["D130", -0.0064892513773927], ["D121", -0.007267361359293283], ["D147", -0.008839546607416243], ["D114", -0.009190014299413102], ["D229", -0.009317997270518621], ["D013", -0.010800997915890398], ["D166", -0.011709393336532287], ["D157", -0.012938578355012106], ["D113", -0.013869029312050467], ["D012", -0.015315999374122443], ["D124", -0.016950461853992658], ["D238", -0.017246635266498722], ["D070", -0.017282669704854734], ["D150", -0.01825866826928854], ["D001", -0.019579485216759954], ["D149", -0.020406549881997946], ["D015", -0.02267423798910586], ["D160", -0.023037746946643848], ["D112", -0.024994305768821216], ["D103", -0.02665644028350738], ["D232", -0.027450103789648073], ["D139", -0.03262793474693816], ["D019", -0.034897508237516056], ["D106", -0.036445483105231664], ["D148", -0.038566735194432114], ["D142", -0.04381340651122956], ["D003", -0.04381539265625574]], "abstain": false, "online_ms": 62.96454509720206, "success": true}
{"scale": 240, "query_id": "Q19", "category": "multi_evidence", "relevant": ["D016", "D010"], "method": "hybrid", "ranking": [["D016", 0.94], ["D032", 0.05], ["D050", 0.05], ["D038", 0.04], ["D086", 0.04], ["D092", 0.04], ["D104", 0.04], ["D056", 0.03]], "abstain": false, "online_ms": 151.8000098876655, "api_roundtrip_ms": 148.99538387544453, "success": true, "usage": {"input_tokens": 1193, "output_tokens": 156}}
{"scale": 240, "query_id": "Q19", "category": "multi_evidence", "relevant": ["D016", "D010"], "method": "direct", "ranking": [["D016", 0.77], ["D010", 0.17], ["D239", 0.01], ["D240", 0.01], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0]], "abstain": false, "online_ms": 294.9372921139002, "api_roundtrip_ms": 294.9372921139002, "success": true, "choice": "D016", "answer_exists": 0.96, "usage": {"input_tokens": 21293, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q20", "category": "multi_evidence", "relevant": ["D004", "D023"], "method": "bm25", "ranking": [["D004", 32.16003912546657], ["D023", 27.223783733260234], ["D008", 8.450439805676362], ["D027", 7.439826074099605], ["D045", 7.439826074099605], ["D081", 7.439826074099605], ["D099", 7.439826074099605], ["D117", 7.439826074099605], ["D135", 7.439826074099605], ["D153", 7.439826074099605], ["D171", 7.439826074099605], ["D189", 7.439826074099605], ["D207", 7.439826074099605], ["D063", 7.309858217656759], ["D225", 7.309858217656759], ["D013", 6.787790725404484], ["D006", 6.576418463410763], ["D019", 6.5549708573532905], ["D021", 6.549791935316776], ["D009", 5.4126131233268815], ["D001", 5.276799049398696], ["D010", 4.660224311658091], ["D016", 4.376835851025289], ["D024", 4.093662304021356], ["D025", 3.6039071308040396], ["D026", 3.6039071308040396], ["D028", 3.6039071308040396], ["D029", 3.6039071308040396], ["D031", 3.6039071308040396], ["D033", 3.6039071308040396], ["D035", 3.6039071308040396], ["D041", 3.6039071308040396], ["D043", 3.6039071308040396], ["D044", 3.6039071308040396], ["D046", 3.6039071308040396], ["D047", 3.6039071308040396], ["D049", 3.6039071308040396], ["D051", 3.6039071308040396], ["D053", 3.6039071308040396], ["D059", 3.6039071308040396], ["D079", 3.6039071308040396], ["D080", 3.6039071308040396], ["D082", 3.6039071308040396], ["D083", 3.6039071308040396], ["D085", 3.6039071308040396], ["D087", 3.6039071308040396], ["D089", 3.6039071308040396], ["D095", 3.6039071308040396], ["D097", 3.6039071308040396], ["D098", 3.6039071308040396], ["D100", 3.6039071308040396], ["D101", 3.6039071308040396], ["D103", 3.6039071308040396], ["D105", 3.6039071308040396], ["D107", 3.6039071308040396], ["D113", 3.6039071308040396], ["D115", 3.6039071308040396], ["D116", 3.6039071308040396], ["D118", 3.6039071308040396], ["D119", 3.6039071308040396], ["D121", 3.6039071308040396], ["D123", 3.6039071308040396], ["D125", 3.6039071308040396], ["D131", 3.6039071308040396], ["D133", 3.6039071308040396], ["D134", 3.6039071308040396], ["D136", 3.6039071308040396], ["D137", 3.6039071308040396], ["D139", 3.6039071308040396], ["D141", 3.6039071308040396], ["D143", 3.6039071308040396], ["D149", 3.6039071308040396], ["D151", 3.6039071308040396], ["D152", 3.6039071308040396], ["D154", 3.6039071308040396], ["D155", 3.6039071308040396], ["D157", 3.6039071308040396], ["D159", 3.6039071308040396], ["D161", 3.6039071308040396], ["D167", 3.6039071308040396], ["D169", 3.6039071308040396], ["D170", 3.6039071308040396], ["D172", 3.6039071308040396], ["D173", 3.6039071308040396], ["D175", 3.6039071308040396], ["D177", 3.6039071308040396], ["D179", 3.6039071308040396], ["D185", 3.6039071308040396], ["D187", 3.6039071308040396], ["D188", 3.6039071308040396], ["D190", 3.6039071308040396], ["D191", 3.6039071308040396], ["D193", 3.6039071308040396], ["D195", 3.6039071308040396], ["D197", 3.6039071308040396], ["D203", 3.6039071308040396], ["D205", 3.6039071308040396], ["D206", 3.6039071308040396], ["D208", 3.6039071308040396], ["D209", 3.6039071308040396], ["D211", 3.6039071308040396], ["D213", 3.6039071308040396], ["D215", 3.6039071308040396], ["D221", 3.6039071308040396], ["D030", 3.5342520262593893], ["D032", 3.5342520262593893], ["D034", 3.5342520262593893], ["D036", 3.5342520262593893], ["D037", 3.5342520262593893], ["D038", 3.5342520262593893], ["D039", 3.5342520262593893], ["D040", 3.5342520262593893], ["D042", 3.5342520262593893], ["D048", 3.5342520262593893], ["D050", 3.5342520262593893], ["D052", 3.5342520262593893], ["D054", 3.5342520262593893], ["D055", 3.5342520262593893], ["D056", 3.5342520262593893], ["D057", 3.5342520262593893], ["D058", 3.5342520262593893], ["D060", 3.5342520262593893], ["D061", 3.5342520262593893], ["D062", 3.5342520262593893], ["D064", 3.5342520262593893], ["D065", 3.5342520262593893], ["D067", 3.5342520262593893], ["D069", 3.5342520262593893], ["D071", 3.5342520262593893], ["D077", 3.5342520262593893], ["D084", 3.5342520262593893], ["D086", 3.5342520262593893], ["D088", 3.5342520262593893], ["D090", 3.5342520262593893], ["D091", 3.5342520262593893], ["D092", 3.5342520262593893], ["D093", 3.5342520262593893], ["D094", 3.5342520262593893], ["D096", 3.5342520262593893], ["D102", 3.5342520262593893], ["D104", 3.5342520262593893], ["D106", 3.5342520262593893], ["D108", 3.5342520262593893], ["D109", 3.5342520262593893], ["D110", 3.5342520262593893], ["D111", 3.5342520262593893], ["D112", 3.5342520262593893], ["D114", 3.5342520262593893], ["D120", 3.5342520262593893], ["D122", 3.5342520262593893], ["D124", 3.5342520262593893], ["D126", 3.5342520262593893], ["D127", 3.5342520262593893], ["D128", 3.5342520262593893], ["D129", 3.5342520262593893], ["D130", 3.5342520262593893], ["D132", 3.5342520262593893], ["D138", 3.5342520262593893], ["D140", 3.5342520262593893], ["D142", 3.5342520262593893], ["D144", 3.5342520262593893], ["D145", 3.5342520262593893], ["D146", 3.5342520262593893], ["D147", 3.5342520262593893], ["D148", 3.5342520262593893], ["D150", 3.5342520262593893], ["D156", 3.5342520262593893], ["D158", 3.5342520262593893], ["D160", 3.5342520262593893], ["D162", 3.5342520262593893], ["D163", 3.5342520262593893], ["D164", 3.5342520262593893], ["D165", 3.5342520262593893], ["D166", 3.5342520262593893], ["D168", 3.5342520262593893], ["D174", 3.5342520262593893], ["D176", 3.5342520262593893], ["D178", 3.5342520262593893], ["D180", 3.5342520262593893], ["D181", 3.5342520262593893], ["D182", 3.5342520262593893], ["D183", 3.5342520262593893], ["D184", 3.5342520262593893], ["D186", 3.5342520262593893], ["D192", 3.5342520262593893], ["D194", 3.5342520262593893], ["D196", 3.5342520262593893], ["D198", 3.5342520262593893], ["D199", 3.5342520262593893], ["D200", 3.5342520262593893], ["D201", 3.5342520262593893], ["D202", 3.5342520262593893], ["D204", 3.5342520262593893], ["D210", 3.5342520262593893], ["D212", 3.5342520262593893], ["D214", 3.5342520262593893], ["D216", 3.5342520262593893], ["D217", 3.5342520262593893], ["D218", 3.5342520262593893], ["D219", 3.5342520262593893], ["D220", 3.5342520262593893], ["D222", 3.5342520262593893], ["D223", 3.5342520262593893], ["D224", 3.5342520262593893], ["D226", 3.5342520262593893], ["D227", 3.5342520262593893], ["D229", 3.5342520262593893], ["D231", 3.5342520262593893], ["D233", 3.5342520262593893], ["D239", 3.5342520262593893], ["D066", 3.4673015586936655], ["D068", 3.4673015586936655], ["D070", 3.4673015586936655], ["D072", 3.4673015586936655], ["D073", 3.4673015586936655], ["D074", 3.4673015586936655], ["D075", 3.4673015586936655], ["D076", 3.4673015586936655], ["D078", 3.4673015586936655], ["D228", 3.4673015586936655], ["D230", 3.4673015586936655], ["D232", 3.4673015586936655], ["D234", 3.4673015586936655], ["D235", 3.4673015586936655], ["D236", 3.4673015586936655], ["D237", 3.4673015586936655], ["D238", 3.4673015586936655], ["D240", 3.4673015586936655], ["D011", 3.2061111838570815], ["D003", 3.119269274534863], ["D007", 2.7863205984463177], ["D015", 2.7863205984463177], ["D002", 2.7035241770277354], ["D014", 2.121357514919226], ["D005", 1.829105302788495], ["D018", 1.829105302788495], ["D012", 1.6451670436246941], ["D017", 1.6030555919285407], ["D020", 1.169469457307176], ["D022", 1.1550895885347132]], "abstain": false, "online_ms": 2.424827078357339, "success": true}
{"scale": 240, "query_id": "Q20", "category": "multi_evidence", "relevant": ["D004", "D023"], "method": "embedding", "ranking": [["D023", 0.7426522362728387], ["D004", 0.7143166729910158], ["D007", 0.38027391940760835], ["D015", 0.3568286674959935], ["D153", 0.3040144838174302], ["D027", 0.302792630686239], ["D207", 0.2991677897626345], ["D063", 0.29474857704358354], ["D019", 0.28669678844209445], ["D225", 0.2836820084371624], ["D017", 0.28098233118828364], ["D081", 0.27811409056220965], ["D020", 0.275963416734049], ["D135", 0.27562081340480815], ["D045", 0.2640374730629519], ["D037", 0.259515155841055], ["D217", 0.2528549453451401], ["D021", 0.24942100007137638], ["D117", 0.24934547969169124], ["D099", 0.2487378408485803], ["D163", 0.2392635183979955], ["D189", 0.22943813058683488], ["D040", 0.2193143780938474], ["D008", 0.2167158130853614], ["D220", 0.21527092156550648], ["D145", 0.2090487824897281], ["D018", 0.20901048499731104], ["D171", 0.20443066964827739], ["D073", 0.19742839202551393], ["D011", 0.19051202996072134], ["D091", 0.18793578678023848], ["D055", 0.18771133844805893], ["D016", 0.18715538703396734], ["D166", 0.18415165742924322], ["D235", 0.18130201884867483], ["D127", 0.1775152876386472], ["D109", 0.17675963991867452], ["D156", 0.17439822206091712], ["D022", 0.17335736287610382], ["D002", 0.1716395348092414], ["D148", 0.16913858870350842], ["D030", 0.15882048326961495], ["D076", 0.1501357681345338], ["D210", 0.14989449661304421], ["D199", 0.14974906876368738], ["D058", 0.1474368035150965], ["D138", 0.1458688455536252], ["D066", 0.1455664148945174], ["D005", 0.1420822753539397], ["D048", 0.1356176505708196], ["D228", 0.13553631504404942], ["D001", 0.13236285845172432], ["D238", 0.13177598857033407], ["D094", 0.12998089671084645], ["D084", 0.12412665675263597], ["D102", 0.12129004053483926], ["D130", 0.1207928742656404], ["D120", 0.12020951270469672], ["D112", 0.11846559379129715], ["D181", 0.11392775830315324], ["D010", 0.11055842131054586], ["D003", 0.10672405766221252], ["D024", 0.1021668537416835], ["D202", 0.10207759110798395], ["D035", 0.10011204675894887], ["D215", 0.09925428982545702], ["D025", 0.09864061849087205], ["D151", 0.09827226228496691], ["D205", 0.09618848667967263], ["D192", 0.09584057314524486], ["D161", 0.08779311612519596], ["D038", 0.08551460428315757], ["D012", 0.08286817941074823], ["D013", 0.07966791815942716], ["D218", 0.07904729801762686], ["D164", 0.07817096130551132], ["D061", 0.07774545068554498], ["D033", 0.07676175833535502], ["D174", 0.07611468607020731], ["D213", 0.07581251915906059], ["D184", 0.07308026762053209], ["D034", 0.07225196901828773], ["D214", 0.0684632065206383], ["D032", 0.06793947098571343], ["D133", 0.06734605085706018], ["D212", 0.06633486354310468], ["D223", 0.06468933053789022], ["D042", 0.06432108498196162], ["D074", 0.06382210268069415], ["D043", 0.06286746002960489], ["D026", 0.06062746159157], ["D222", 0.06045110448842875], ["D028", 0.060050836970516136], ["D146", 0.05870384977738819], ["D079", 0.05812905569876243], ["D206", 0.05681109995075], ["D208", 0.05677180684068998], ["D039", 0.056692815789048875], ["D143", 0.05626588238525872], ["D165", 0.056027777321882584], ["D158", 0.055838180966339045], ["D219", 0.0542561909711884], ["D168", 0.05320396530258807], ["D071", 0.052981475158017786], ["D236", 0.05102830211151456], ["D053", 0.050647445842465756], ["D031", 0.04971820799731685], ["D211", 0.04872509018693077], ["D159", 0.047252098223663844], ["D069", 0.04639859925385107], ["D056", 0.04567171643629764], ["D160", 0.045239666721161406], ["D078", 0.04385190156270146], ["D097", 0.042385978132946645], ["D115", 0.04204598056394517], ["D233", 0.04201289736429356], ["D014", 0.0409110364240888], ["D092", 0.040678467661252715], ["D070", 0.03860555540309099], ["D068", 0.03790333152900763], ["D152", 0.03602811856458275], ["D128", 0.035886287635099316], ["D036", 0.035848395174923206], ["D009", 0.035476015035227584], ["D110", 0.0348063358102142], ["D231", 0.0346109625221282], ["D041", 0.03324865750084674], ["D142", 0.03215880529764955], ["D154", 0.03143277391279308], ["D150", 0.030912931322556486], ["D240", 0.030609335692803146], ["D075", 0.029770072344046425], ["D221", 0.028898239878622105], ["D141", 0.027906298726851162], ["D140", 0.0275078206054191], ["D050", 0.027136244782437452], ["D029", 0.02577093587569978], ["D187", 0.02563513812351885], ["D052", 0.02508729021748423], ["D232", 0.025050882504466514], ["D216", 0.024497291039639116], ["D051", 0.022219005416067368], ["D230", 0.020573708635832095], ["D209", 0.020145093724668647], ["D089", 0.01974184521901775], ["D064", 0.019569611973183434], ["D125", 0.018532547041743862], ["D237", 0.017554164574333543], ["D147", 0.016787577215063076], ["D122", 0.016754986525791913], ["D062", 0.015871780755952986], ["D057", 0.015555171631893785], ["D086", 0.015039602469456206], ["D200", 0.014920734521800781], ["D060", 0.010302490930973119], ["D077", 0.010219685953828992], ["D197", 0.007644519684838016], ["D096", 0.00614806170367268], ["D226", 0.006002903929191766], ["D167", 0.00595048086443669], ["D087", 0.005872485124581037], ["D157", 0.005619616603630553], ["D067", 0.005383094623774613], ["D107", 0.005080864609155652], ["D123", 0.0049549678300344225], ["D162", 0.0040017452294622904], ["D093", 0.0030259236295116163], ["D114", 0.003017228689152886], ["D224", 0.0024216552037485406], ["D132", 0.0003381477296575692], ["D104", -0.00041684445253155], ["D136", -0.0011327212747964943], ["D169", -0.0018842266023299144], ["D239", -0.002697956923768275], ["D044", -0.003108031703379612], ["D046", -0.003561209775637987], ["D204", -0.005103022200307722], ["D072", -0.005552021009116472], ["D088", -0.005804688328234669], ["D155", -0.0060884690821204936], ["D105", -0.006092932623328062], ["D080", -0.006284617196099341], ["D124", -0.006501272495353393], ["D182", -0.007116489395296485], ["D134", -0.0073909660215655155], ["D194", -0.0076943345804038055], ["D129", -0.00799700325800598], ["D229", -0.008673885529138715], ["D111", -0.010341035297037338], ["D006", -0.0124877480183672], ["D059", -0.012907886483376228], ["D106", -0.013333196512210002], ["D196", -0.016037249410703416], ["D234", -0.016101890079377956], ["D065", -0.016383492070585554], ["D139", -0.016682931707141226], ["D195", -0.017278376318600047], ["D149", -0.017631218053379194], ["D049", -0.01781873826791369], ["D116", -0.019832732391121793], ["D090", -0.02002007117571919], ["D054", -0.021895994797384098], ["D082", -0.023200351523693676], ["D186", -0.02328399598499761], ["D201", -0.02332482238883286], ["D227", -0.023949916526350888], ["D144", -0.023958165774221545], ["D098", -0.024954774911108854], ["D118", -0.027488292431952166], ["D095", -0.02763320438254386], ["D179", -0.02848720658301353], ["D100", -0.03469510997385353], ["D137", -0.0351702164705438], ["D190", -0.036670420395039274], ["D176", -0.03780242892244502], ["D131", -0.038204976319191015], ["D085", -0.038458366003730295], ["D177", -0.03876879321947169], ["D188", -0.03928102904815947], ["D108", -0.041358195660484834], ["D178", -0.04178319233830623], ["D047", -0.04203632766167015], ["D126", -0.042073546892767905], ["D183", -0.04218720477757451], ["D121", -0.04496087185499473], ["D193", -0.04580326723527887], ["D113", -0.04666283370312026], ["D103", -0.047756080032883716], ["D198", -0.0497794512599425], ["D083", -0.05129655440922104], ["D203", -0.05164401613475328], ["D170", -0.06304357580885392], ["D119", -0.06572152665246139], ["D101", -0.06732011001939484], ["D172", -0.06767505531957965], ["D175", -0.0699190118278344], ["D191", -0.07238024707314619], ["D185", -0.07680789291219961], ["D180", -0.08209491162314131], ["D173", -0.0880757210444839]], "abstain": false, "online_ms": 59.800182934850454, "success": true}
{"scale": 240, "query_id": "Q20", "category": "multi_evidence", "relevant": ["D004", "D023"], "method": "hybrid", "ranking": [["D004", 0.96], ["D023", 0.91], ["D027", 0.04], ["D045", 0.04], ["D008", 0.03], ["D081", 0.03], ["D099", 0.03], ["D117", 0.03]], "abstain": false, "online_ms": 151.97249106131494, "api_roundtrip_ms": 149.5476639829576, "success": true, "usage": {"input_tokens": 1150, "output_tokens": 156}}
{"scale": 240, "query_id": "Q20", "category": "multi_evidence", "relevant": ["D004", "D023"], "method": "direct", "ranking": [["D004", 0.74], ["D023", 0.18000000000000002], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": false, "online_ms": 277.4026379920542, "api_roundtrip_ms": 277.4026379920542, "success": true, "choice": "D004", "answer_exists": 0.95, "usage": {"input_tokens": 21291, "output_tokens": 2444}}
{"scale": 240, "query_id": "Q21", "category": "negative", "relevant": [], "method": "bm25", "ranking": [["D011", 4.143083110712148], ["D013", 4.143083110712148], ["D022", 4.143083110712148], ["D002", 4.043641381698355], ["D006", 3.9956893795436637], ["D025", 1.051641224277979], ["D026", 1.051641224277979], ["D027", 1.051641224277979], ["D028", 1.051641224277979], ["D029", 1.051641224277979], ["D031", 1.051641224277979], ["D033", 1.051641224277979], ["D035", 1.051641224277979], ["D041", 1.051641224277979], ["D043", 1.051641224277979], ["D044", 1.051641224277979], ["D045", 1.051641224277979], ["D046", 1.051641224277979], ["D047", 1.051641224277979], ["D049", 1.051641224277979], ["D051", 1.051641224277979], ["D053", 1.051641224277979], ["D059", 1.051641224277979], ["D079", 1.051641224277979], ["D080", 1.051641224277979], ["D081", 1.051641224277979], ["D082", 1.051641224277979], ["D083", 1.051641224277979], ["D085", 1.051641224277979], ["D087", 1.051641224277979], ["D089", 1.051641224277979], ["D095", 1.051641224277979], ["D097", 1.051641224277979], ["D098", 1.051641224277979], ["D099", 1.051641224277979], ["D100", 1.051641224277979], ["D101", 1.051641224277979], ["D103", 1.051641224277979], ["D105", 1.051641224277979], ["D107", 1.051641224277979], ["D113", 1.051641224277979], ["D115", 1.051641224277979], ["D116", 1.051641224277979], ["D117", 1.051641224277979], ["D118", 1.051641224277979], ["D119", 1.051641224277979], ["D121", 1.051641224277979], ["D123", 1.051641224277979], ["D125", 1.051641224277979], ["D131", 1.051641224277979], ["D133", 1.051641224277979], ["D134", 1.051641224277979], ["D135", 1.051641224277979], ["D136", 1.051641224277979], ["D137", 1.051641224277979], ["D139", 1.051641224277979], ["D141", 1.051641224277979], ["D143", 1.051641224277979], ["D149", 1.051641224277979], ["D151", 1.051641224277979], ["D152", 1.051641224277979], ["D153", 1.051641224277979], ["D154", 1.051641224277979], ["D155", 1.051641224277979], ["D157", 1.051641224277979], ["D159", 1.051641224277979], ["D161", 1.051641224277979], ["D167", 1.051641224277979], ["D169", 1.051641224277979], ["D170", 1.051641224277979], ["D171", 1.051641224277979], ["D172", 1.051641224277979], ["D173", 1.051641224277979], ["D175", 1.051641224277979], ["D177", 1.051641224277979], ["D179", 1.051641224277979], ["D185", 1.051641224277979], ["D187", 1.051641224277979], ["D188", 1.051641224277979], ["D189", 1.051641224277979], ["D190", 1.051641224277979], ["D191", 1.051641224277979], ["D193", 1.051641224277979], ["D195", 1.051641224277979], ["D197", 1.051641224277979], ["D203", 1.051641224277979], ["D205", 1.051641224277979], ["D206", 1.051641224277979], ["D207", 1.051641224277979], ["D208", 1.051641224277979], ["D209", 1.051641224277979], ["D211", 1.051641224277979], ["D213", 1.051641224277979], ["D215", 1.051641224277979], ["D221", 1.051641224277979], ["D030", 1.0286109499839755], ["D032", 1.0286109499839755], ["D034", 1.0286109499839755], ["D036", 1.0286109499839755], ["D037", 1.0286109499839755], ["D038", 1.0286109499839755], ["D039", 1.0286109499839755], ["D040", 1.0286109499839755], ["D042", 1.0286109499839755], ["D048", 1.0286109499839755], ["D050", 1.0286109499839755], ["D052", 1.0286109499839755], ["D054", 1.0286109499839755], ["D055", 1.0286109499839755], ["D056", 1.0286109499839755], ["D057", 1.0286109499839755], ["D058", 1.0286109499839755], ["D060", 1.0286109499839755], ["D061", 1.0286109499839755], ["D062", 1.0286109499839755], ["D063", 1.0286109499839755], ["D064", 1.0286109499839755], ["D065", 1.0286109499839755], ["D067", 1.0286109499839755], ["D069", 1.0286109499839755], ["D071", 1.0286109499839755], ["D077", 1.0286109499839755], ["D084", 1.0286109499839755], ["D086", 1.0286109499839755], ["D088", 1.0286109499839755], ["D090", 1.0286109499839755], ["D091", 1.0286109499839755], ["D092", 1.0286109499839755], ["D093", 1.0286109499839755], ["D094", 1.0286109499839755], ["D096", 1.0286109499839755], ["D102", 1.0286109499839755], ["D104", 1.0286109499839755], ["D106", 1.0286109499839755], ["D108", 1.0286109499839755], ["D109", 1.0286109499839755], ["D110", 1.0286109499839755], ["D111", 1.0286109499839755], ["D112", 1.0286109499839755], ["D114", 1.0286109499839755], ["D120", 1.0286109499839755], ["D122", 1.0286109499839755], ["D124", 1.0286109499839755], ["D126", 1.0286109499839755], ["D127", 1.0286109499839755], ["D128", 1.0286109499839755], ["D129", 1.0286109499839755], ["D130", 1.0286109499839755], ["D132", 1.0286109499839755], ["D138", 1.0286109499839755], ["D140", 1.0286109499839755], ["D142", 1.0286109499839755], ["D144", 1.0286109499839755], ["D145", 1.0286109499839755], ["D146", 1.0286109499839755], ["D147", 1.0286109499839755], ["D148", 1.0286109499839755], ["D150", 1.0286109499839755], ["D156", 1.0286109499839755], ["D158", 1.0286109499839755], ["D160", 1.0286109499839755], ["D162", 1.0286109499839755], ["D163", 1.0286109499839755], ["D164", 1.0286109499839755], ["D165", 1.0286109499839755], ["D166", 1.0286109499839755], ["D168", 1.0286109499839755], ["D174", 1.0286109499839755], ["D176", 1.0286109499839755], ["D178", 1.0286109499839755], ["D180", 1.0286109499839755], ["D181", 1.0286109499839755], ["D182", 1.0286109499839755], ["D183", 1.0286109499839755], ["D184", 1.0286109499839755], ["D186", 1.0286109499839755], ["D192", 1.0286109499839755], ["D194", 1.0286109499839755], ["D196", 1.0286109499839755], ["D198", 1.0286109499839755], ["D199", 1.0286109499839755], ["D200", 1.0286109499839755], ["D201", 1.0286109499839755], ["D202", 1.0286109499839755], ["D204", 1.0286109499839755], ["D210", 1.0286109499839755], ["D212", 1.0286109499839755], ["D214", 1.0286109499839755], ["D216", 1.0286109499839755], ["D217", 1.0286109499839755], ["D218", 1.0286109499839755], ["D219", 1.0286109499839755], ["D220", 1.0286109499839755], ["D222", 1.0286109499839755], ["D223", 1.0286109499839755], ["D224", 1.0286109499839755], ["D225", 1.0286109499839755], ["D226", 1.0286109499839755], ["D227", 1.0286109499839755], ["D229", 1.0286109499839755], ["D231", 1.0286109499839755], ["D233", 1.0286109499839755], ["D239", 1.0286109499839755], ["D066", 1.0065677559926725], ["D068", 1.0065677559926725], ["D070", 1.0065677559926725], ["D072", 1.0065677559926725], ["D073", 1.0065677559926725], ["D074", 1.0065677559926725], ["D075", 1.0065677559926725], ["D076", 1.0065677559926725], ["D078", 1.0065677559926725], ["D228", 1.0065677559926725], ["D230", 1.0065677559926725], ["D232", 1.0065677559926725], ["D234", 1.0065677559926725], ["D235", 1.0065677559926725], ["D236", 1.0065677559926725], ["D237", 1.0065677559926725], ["D238", 1.0065677559926725], ["D240", 1.0065677559926725], ["D001", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D012", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D023", 0.0], ["D024", 0.0]], "abstain": false, "online_ms": 1.3777539134025574, "success": true}
{"scale": 240, "query_id": "Q21", "category": "negative", "relevant": [], "method": "embedding", "ranking": [["D047", 0.1612266792259241], ["D008", 0.1555669825468366], ["D010", 0.15302560079464617], ["D017", 0.14720811695932226], ["D137", 0.14125787224686073], ["D018", 0.14068585323357108], ["D083", 0.13994713148292393], ["D005", 0.13813996849840104], ["D043", 0.1295823368459256], ["D004", 0.12919614003841567], ["D155", 0.12909044771805928], ["D045", 0.1252749263345016], ["D048", 0.12433444696430103], ["D079", 0.12054329008463917], ["D081", 0.11884158039654655], ["D153", 0.11840952692430029], ["D006", 0.1160544585964344], ["D084", 0.11507472588647222], ["D056", 0.11496568724475079], ["D135", 0.11267053558289766], ["D133", 0.1108335386817958], ["D151", 0.10905040927777238], ["D090", 0.10743167590315855], ["D050", 0.1052601153294516], ["D024", 0.10425915844466979], ["D164", 0.10346129955847481], ["D021", 0.10335175909130687], ["D146", 0.10164089797185584], ["D101", 0.10112517145701723], ["D054", 0.10001397377265012], ["D115", 0.09996735307220758], ["D002", 0.09815780129041508], ["D119", 0.0973619360301285], ["D156", 0.09653581475079237], ["D138", 0.0956019792225737], ["D001", 0.09394412684385015], ["D016", 0.09370591659742478], ["D029", 0.093628246868491], ["D092", 0.09347966052878465], ["D140", 0.0925566908779339], ["D097", 0.09252088644564127], ["D162", 0.09232168784511147], ["D060", 0.09003325210721735], ["D086", 0.08999445099144605], ["D102", 0.08807029255485896], ["D099", 0.0880476495122595], ["D117", 0.08636292434460455], ["D191", 0.08494488671623142], ["D027", 0.0833582367250785], ["D120", 0.08308335922264337], ["D007", 0.08195148741839504], ["D158", 0.08164184931678746], ["D209", 0.08047334401794737], ["D052", 0.08037768539472624], ["D150", 0.07991931677019268], ["D110", 0.07970662148971541], ["D065", 0.07959880316249232], ["D126", 0.07938829105153432], ["D044", 0.07890590580249188], ["D030", 0.07782334232211546], ["D168", 0.0769912858146076], ["D207", 0.07648261005292087], ["D096", 0.07586824315538981], ["D046", 0.07533092629478391], ["D174", 0.07504932850194153], ["D128", 0.07487317985919853], ["D122", 0.0744029967637228], ["D058", 0.07313091161144533], ["D080", 0.07269881331341004], ["D108", 0.07183102628181015], ["D063", 0.07175716692526263], ["D136", 0.07175140222010559], ["D144", 0.06994498713530563], ["D020", 0.06970086764693287], ["D025", 0.06946791930916049], ["D023", 0.06868362426075202], ["D072", 0.06796408268521506], ["D189", 0.06767477021698977], ["D142", 0.06684773916720813], ["D173", 0.06622029721239792], ["D104", 0.06621051632618401], ["D187", 0.06558749255754984], ["D171", 0.06547422792811265], ["D061", 0.06527404133226769], ["D210", 0.06489273044787884], ["D227", 0.06427596384612627], ["D036", 0.06403766650473922], ["D192", 0.06374592981177463], ["D066", 0.0634276602459391], ["D022", 0.06296235839601991], ["D205", 0.06020359257586625], ["D182", 0.059906641312017006], ["D152", 0.05933404153048572], ["D169", 0.05926863529330574], ["D038", 0.058949933483126035], ["D132", 0.05810360529240281], ["D032", 0.0580024300349965], ["D114", 0.05692329136070113], ["D088", 0.05673752878546989], ["D225", 0.055461920641860694], ["D148", 0.05484680940158072], ["D216", 0.05381028725567344], ["D200", 0.05380280825402311], ["D234", 0.05301589013664629], ["D134", 0.05291541453334961], ["D176", 0.052479450379606385], ["D074", 0.05125813706445735], ["D194", 0.05108000702407574], ["D055", 0.050748660154595907], ["D082", 0.04988576169310865], ["D116", 0.049657965517653224], ["D228", 0.04965628251665753], ["D042", 0.04814061182500631], ["D180", 0.04696772745994033], ["D223", 0.04691034903617924], ["D011", 0.045501388544108734], ["D098", 0.04459679700530133], ["D198", 0.04412642529863361], ["D160", 0.044126119844624355], ["D186", 0.04407177869820958], ["D068", 0.043354563228074086], ["D212", 0.043323085978602786], ["D026", 0.04255797631141063], ["D040", 0.04188409620868984], ["D218", 0.04172236478390109], ["D204", 0.04157249075180147], ["D051", 0.03904122428312069], ["D094", 0.03863076803511997], ["D166", 0.03792356133918771], ["D003", 0.03704084098463114], ["D236", 0.03674742140350405], ["D222", 0.03573212315168163], ["D078", 0.03543506200546666], ["D154", 0.03498472699195108], ["D124", 0.03489346311319363], ["D049", 0.033711756865707064], ["D118", 0.03352120857360943], ["D012", 0.03336046889199201], ["D028", 0.03161852733330127], ["D053", 0.029503970282264726], ["D059", 0.028673357104792616], ["D091", 0.02793591017666694], ["D100", 0.026883973379133452], ["D139", 0.026841665923957918], ["D143", 0.026753306036167036], ["D145", 0.02675266098120349], ["D009", 0.02613126987744269], ["D014", 0.026069920312925415], ["D163", 0.025749550071513406], ["D206", 0.025345293565402317], ["D106", 0.025326530767306787], ["D230", 0.02519310023553464], ["D070", 0.0251221541877878], ["D062", 0.024769700750238245], ["D220", 0.024077651034437465], ["D034", 0.02379512265682744], ["D130", 0.023665145380207635], ["D019", 0.022973471543917087], ["D141", 0.02172691564262893], ["D089", 0.020768029371198607], ["D208", 0.020749617212553514], ["D170", 0.01938989297526111], ["D196", 0.019269501606313764], ["D178", 0.01921533457391886], ["D240", 0.018607410279386515], ["D037", 0.017747354538015694], ["D149", 0.01684810854425607], ["D057", 0.015449634101351466], ["D112", 0.01514926404952592], ["D087", 0.012812385505191353], ["D161", 0.012268752858757358], ["D015", 0.012121932624726023], ["D188", 0.012110895383698837], ["D095", 0.011601074387081769], ["D184", 0.011505521413159149], ["D127", 0.010887707321469068], ["D109", 0.0103958740057025], ["D214", 0.009805389335773584], ["D232", 0.00866286372140657], ["D085", 0.007896837700272268], ["D224", 0.007225410589207868], ["D157", 0.007212899562569448], ["D031", 0.007084652578260595], ["D064", 0.0046255765623786395], ["D172", 0.004578621314731256], ["D217", 0.004338379911469655], ["D190", 0.003034929094241995], ["D076", 0.0025287990732104863], ["D202", -0.00014986451750726576], ["D125", -0.0019773763999182924], ["D159", -0.0025982542525100592], ["D181", -0.0029490038690286983], ["D123", -0.005388891588127151], ["D073", -0.005980090676012229], ["D121", -0.007102173160435908], ["D093", -0.0075522699505845], ["D147", -0.007894316110938895], ["D165", -0.009770469037282917], ["D167", -0.011128532755103891], ["D103", -0.012545654143904315], ["D199", -0.01280734574848355], ["D033", -0.012910360690099194], ["D211", -0.013408177692969979], ["D226", -0.013639666563565089], ["D013", -0.013763633833807756], ["D107", -0.014815111212880563], ["D035", -0.01481782577647939], ["D238", -0.015591798782359006], ["D105", -0.016720497546966723], ["D131", -0.017601410541712964], ["D175", -0.020230731707235987], ["D235", -0.020998869734503378], ["D113", -0.021985822201106297], ["D067", -0.02310026182635371], ["D193", -0.02451746331426596], ["D215", -0.024729468929280594], ["D179", -0.025833981441508974], ["D213", -0.025920853958615632], ["D071", -0.026689265995911857], ["D129", -0.02899915159389302], ["D177", -0.029387610277685466], ["D111", -0.031031211236017445], ["D041", -0.031046692955747322], ["D197", -0.031207662363351207], ["D039", -0.0325968134583081], ["D195", -0.03382928117870655], ["D069", -0.03424018143850356], ["D183", -0.035028334018260956], ["D077", -0.03552567620408091], ["D201", -0.04030524614874534], ["D233", -0.04043715172272022], ["D185", -0.040714221748552284], ["D075", -0.04310609613155549], ["D219", -0.04334524978595408], ["D229", -0.043669262252406874], ["D203", -0.0461040092861974], ["D221", -0.04778817247764863], ["D239", -0.05311452495165681], ["D231", -0.054980564457809994], ["D237", -0.05955953752894784]], "abstain": true, "online_ms": 58.05397988297045, "success": true}
{"scale": 240, "query_id": "Q21", "category": "negative", "relevant": [], "method": "hybrid", "ranking": [["D002", 0.03], ["D022", 0.03], ["D025", 0.03], ["D006", 0.02], ["D011", 0.02], ["D013", 0.02], ["D026", 0.02], ["D027", 0.02]], "abstain": true, "online_ms": 154.90155387669802, "api_roundtrip_ms": 153.52379996329546, "success": true, "usage": {"input_tokens": 1120, "output_tokens": 156}}
{"scale": 240, "query_id": "Q21", "category": "negative", "relevant": [], "method": "direct", "ranking": [["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": true, "online_ms": 319.8599279858172, "api_roundtrip_ms": 319.8599279858172, "success": true, "choice": "NONE", "answer_exists": 0.05, "usage": {"input_tokens": 21283, "output_tokens": 2441}}
{"scale": 240, "query_id": "Q22", "category": "negative", "relevant": [], "method": "bm25", "ranking": [["D010", 10.764334347077732], ["D017", 9.758670246151755], ["D039", 6.8299497709417984], ["D057", 6.8299497709417984], ["D093", 6.8299497709417984], ["D111", 6.8299497709417984], ["D129", 6.8299497709417984], ["D147", 6.8299497709417984], ["D165", 6.8299497709417984], ["D183", 6.8299497709417984], ["D201", 6.8299497709417984], ["D219", 6.8299497709417984], ["D021", 6.7275881109429285], ["D075", 6.724223751998906], ["D237", 6.724223751998906], ["D019", 6.657689521198046], ["D018", 6.652475079633616], ["D001", 6.589272696806487], ["D002", 6.589272696806487], ["D009", 6.380873401969156], ["D023", 6.380873401969156], ["D024", 5.150867764169482], ["D014", 4.242715029838452], ["D003", 3.9564204374376932], ["D013", 3.6821087640324985], ["D004", 3.65821060557699], ["D005", 3.65821060557699], ["D006", 3.611333006915103], ["D012", 3.2903340872493883], ["D007", 3.2337022822782835], ["D008", 3.2337022822782835], ["D015", 3.2337022822782835], ["D011", 3.2061111838570815], ["D025", 3.001249364496164], ["D026", 3.001249364496164], ["D027", 3.001249364496164], ["D028", 3.001249364496164], ["D029", 3.001249364496164], ["D031", 3.001249364496164], ["D033", 3.001249364496164], ["D035", 3.001249364496164], ["D041", 3.001249364496164], ["D043", 3.001249364496164], ["D044", 3.001249364496164], ["D045", 3.001249364496164], ["D046", 3.001249364496164], ["D047", 3.001249364496164], ["D049", 3.001249364496164], ["D051", 3.001249364496164], ["D053", 3.001249364496164], ["D059", 3.001249364496164], ["D079", 3.001249364496164], ["D080", 3.001249364496164], ["D081", 3.001249364496164], ["D082", 3.001249364496164], ["D083", 3.001249364496164], ["D085", 3.001249364496164], ["D087", 3.001249364496164], ["D089", 3.001249364496164], ["D095", 3.001249364496164], ["D097", 3.001249364496164], ["D098", 3.001249364496164], ["D099", 3.001249364496164], ["D100", 3.001249364496164], ["D101", 3.001249364496164], ["D103", 3.001249364496164], ["D105", 3.001249364496164], ["D107", 3.001249364496164], ["D113", 3.001249364496164], ["D115", 3.001249364496164], ["D116", 3.001249364496164], ["D117", 3.001249364496164], ["D118", 3.001249364496164], ["D119", 3.001249364496164], ["D121", 3.001249364496164], ["D123", 3.001249364496164], ["D125", 3.001249364496164], ["D131", 3.001249364496164], ["D133", 3.001249364496164], ["D134", 3.001249364496164], ["D135", 3.001249364496164], ["D136", 3.001249364496164], ["D137", 3.001249364496164], ["D139", 3.001249364496164], ["D141", 3.001249364496164], ["D143", 3.001249364496164], ["D149", 3.001249364496164], ["D151", 3.001249364496164], ["D152", 3.001249364496164], ["D153", 3.001249364496164], ["D154", 3.001249364496164], ["D155", 3.001249364496164], ["D157", 3.001249364496164], ["D159", 3.001249364496164], ["D161", 3.001249364496164], ["D167", 3.001249364496164], ["D169", 3.001249364496164], ["D170", 3.001249364496164], ["D171", 3.001249364496164], ["D172", 3.001249364496164], ["D173", 3.001249364496164], ["D175", 3.001249364496164], ["D177", 3.001249364496164], ["D179", 3.001249364496164], ["D185", 3.001249364496164], ["D187", 3.001249364496164], ["D188", 3.001249364496164], ["D189", 3.001249364496164], ["D190", 3.001249364496164], ["D191", 3.001249364496164], ["D193", 3.001249364496164], ["D195", 3.001249364496164], ["D197", 3.001249364496164], ["D203", 3.001249364496164], ["D205", 3.001249364496164], ["D206", 3.001249364496164], ["D207", 3.001249364496164], ["D208", 3.001249364496164], ["D209", 3.001249364496164], ["D211", 3.001249364496164], ["D213", 3.001249364496164], ["D215", 3.001249364496164], ["D221", 3.001249364496164], ["D030", 2.9540602525828765], ["D032", 2.9540602525828765], ["D034", 2.9540602525828765], ["D036", 2.9540602525828765], ["D037", 2.9540602525828765], ["D038", 2.9540602525828765], ["D040", 2.9540602525828765], ["D042", 2.9540602525828765], ["D048", 2.9540602525828765], ["D050", 2.9540602525828765], ["D052", 2.9540602525828765], ["D054", 2.9540602525828765], ["D055", 2.9540602525828765], ["D056", 2.9540602525828765], ["D058", 2.9540602525828765], ["D060", 2.9540602525828765], ["D061", 2.9540602525828765], ["D062", 2.9540602525828765], ["D063", 2.9540602525828765], ["D064", 2.9540602525828765], ["D065", 2.9540602525828765], ["D067", 2.9540602525828765], ["D069", 2.9540602525828765], ["D071", 2.9540602525828765], ["D077", 2.9540602525828765], ["D084", 2.9540602525828765], ["D086", 2.9540602525828765], ["D088", 2.9540602525828765], ["D090", 2.9540602525828765], ["D091", 2.9540602525828765], ["D092", 2.9540602525828765], ["D094", 2.9540602525828765], ["D096", 2.9540602525828765], ["D102", 2.9540602525828765], ["D104", 2.9540602525828765], ["D106", 2.9540602525828765], ["D108", 2.9540602525828765], ["D109", 2.9540602525828765], ["D110", 2.9540602525828765], ["D112", 2.9540602525828765], ["D114", 2.9540602525828765], ["D120", 2.9540602525828765], ["D122", 2.9540602525828765], ["D124", 2.9540602525828765], ["D126", 2.9540602525828765], ["D127", 2.9540602525828765], ["D128", 2.9540602525828765], ["D130", 2.9540602525828765], ["D132", 2.9540602525828765], ["D138", 2.9540602525828765], ["D140", 2.9540602525828765], ["D142", 2.9540602525828765], ["D144", 2.9540602525828765], ["D145", 2.9540602525828765], ["D146", 2.9540602525828765], ["D148", 2.9540602525828765], ["D150", 2.9540602525828765], ["D156", 2.9540602525828765], ["D158", 2.9540602525828765], ["D160", 2.9540602525828765], ["D162", 2.9540602525828765], ["D163", 2.9540602525828765], ["D164", 2.9540602525828765], ["D166", 2.9540602525828765], ["D168", 2.9540602525828765], ["D174", 2.9540602525828765], ["D176", 2.9540602525828765], ["D178", 2.9540602525828765], ["D180", 2.9540602525828765], ["D181", 2.9540602525828765], ["D182", 2.9540602525828765], ["D184", 2.9540602525828765], ["D186", 2.9540602525828765], ["D192", 2.9540602525828765], ["D194", 2.9540602525828765], ["D196", 2.9540602525828765], ["D198", 2.9540602525828765], ["D199", 2.9540602525828765], ["D200", 2.9540602525828765], ["D202", 2.9540602525828765], ["D204", 2.9540602525828765], ["D210", 2.9540602525828765], ["D212", 2.9540602525828765], ["D214", 2.9540602525828765], ["D216", 2.9540602525828765], ["D217", 2.9540602525828765], ["D218", 2.9540602525828765], ["D220", 2.9540602525828765], ["D222", 2.9540602525828765], ["D223", 2.9540602525828765], ["D224", 2.9540602525828765], ["D225", 2.9540602525828765], ["D226", 2.9540602525828765], ["D227", 2.9540602525828765], ["D229", 2.9540602525828765], ["D231", 2.9540602525828765], ["D233", 2.9540602525828765], ["D239", 2.9540602525828765], ["D066", 2.908332093416641], ["D068", 2.908332093416641], ["D070", 2.908332093416641], ["D072", 2.908332093416641], ["D073", 2.908332093416641], ["D074", 2.908332093416641], ["D076", 2.908332093416641], ["D078", 2.908332093416641], ["D228", 2.908332093416641], ["D230", 2.908332093416641], ["D232", 2.908332093416641], ["D234", 2.908332093416641], ["D235", 2.908332093416641], ["D236", 2.908332093416641], ["D238", 2.908332093416641], ["D240", 2.908332093416641], ["D016", 2.4615138070862264], ["D020", 2.338938914614352], ["D022", 0.0]], "abstain": false, "online_ms": 1.236126059666276, "success": true}
{"scale": 240, "query_id": "Q22", "category": "negative", "relevant": [], "method": "embedding", "ranking": [["D018", 0.35837365789348175], ["D017", 0.33166172190418886], ["D057", 0.20959767683449024], ["D007", 0.2075083308727646], ["D111", 0.20452536417236183], ["D075", 0.20353876488653735], ["D093", 0.1969974352361173], ["D237", 0.19657106399326507], ["D051", 0.18539148387322713], ["D165", 0.18487795267384632], ["D022", 0.18400862653934624], ["D129", 0.1810546276701399], ["D048", 0.17798334454346806], ["D066", 0.17257098984052316], ["D228", 0.17178131119320567], ["D219", 0.16966716524380834], ["D102", 0.16801923085660944], ["D039", 0.16774389961941222], ["D015", 0.1675178677762042], ["D105", 0.16751404201194525], ["D003", 0.1647438272805111], ["D201", 0.15777272441975732], ["D183", 0.1572367618796795], ["D058", 0.15635685382229964], ["D069", 0.1558560690695733], ["D084", 0.15436788051413844], ["D087", 0.1540294996572744], ["D231", 0.1520320080216404], ["D053", 0.15139336386762142], ["D002", 0.15093939022330433], ["D055", 0.15013422051480801], ["D059", 0.1483825818150395], ["D120", 0.14772239168440907], ["D123", 0.14644554614935626], ["D107", 0.14630768881976702], ["D147", 0.14316549920343066], ["D020", 0.14104869680028403], ["D050", 0.13958489729954146], ["D073", 0.13840216589620793], ["D235", 0.1382223187180169], ["D195", 0.1369688431292333], ["D174", 0.13684025034271174], ["D021", 0.1367785966842954], ["D156", 0.1362939868350044], ["D071", 0.13562990773620404], ["D056", 0.13551733850898612], ["D192", 0.1354253305723618], ["D141", 0.13503535762769708], ["D089", 0.1345341788227965], ["D233", 0.13192162519662165], ["D068", 0.1300238220542537], ["D109", 0.12969851484190764], ["D004", 0.1296234901529787], ["D047", 0.12954273310730802], ["D086", 0.12902448163019492], ["D177", 0.1284467448053952], ["D094", 0.1281516068121703], ["D112", 0.12726693058282892], ["D076", 0.12673169835498382], ["D213", 0.12652368305012038], ["D077", 0.12634918318477692], ["D095", 0.12578000803497782], ["D238", 0.12534778254074933], ["D125", 0.12534113305500086], ["D023", 0.12514637191933373], ["D113", 0.12474378319271781], ["D091", 0.12463124975345638], ["D230", 0.12347074242499913], ["D239", 0.12248119524447723], ["D033", 0.12220155590818582], ["D138", 0.12200897425437679], ["D043", 0.12107753649952492], ["D104", 0.11973249233299921], ["D030", 0.1171492243312396], ["D159", 0.11686708692920524], ["D019", 0.11685280481815778], ["D127", 0.11557220793392767], ["D210", 0.11516383834350863], ["D130", 0.11499735516551617], ["D097", 0.11453234254158356], ["D061", 0.11379995319147401], ["D074", 0.11300746576012444], ["D163", 0.11254463043422368], ["D131", 0.11226598877727273], ["D166", 0.11071432551037919], ["D078", 0.1105019793186913], ["D223", 0.1103204977084019], ["D122", 0.11015842751741231], ["D220", 0.11014761842888587], ["D110", 0.11000186718158421], ["D236", 0.10890193274403752], ["D217", 0.10877257848389038], ["D065", 0.10870334596987881], ["D227", 0.10850098278209752], ["D062", 0.10793722036932547], ["D060", 0.10781141299975193], ["D202", 0.10636450198807987], ["D199", 0.10619472305513004], ["D046", 0.10606837974602379], ["D224", 0.1059423050076752], ["D037", 0.10585959631242632], ["D184", 0.10571528354280477], ["D092", 0.10562653560232307], ["D040", 0.10544750488204861], ["D044", 0.10537787540264242], ["D240", 0.10492117437714346], ["D203", 0.10271499374723755], ["D161", 0.10218154921471914], ["D101", 0.10203962407321966], ["D083", 0.10175957229831145], ["D197", 0.101139988536771], ["D143", 0.09965752940441193], ["D013", 0.09934899770247987], ["D234", 0.09890967946503683], ["D072", 0.0985343710295889], ["D181", 0.09850934953768065], ["D146", 0.09848153446101841], ["D215", 0.09829188556038222], ["D114", 0.0977415023682107], ["D049", 0.09589002397595707], ["D096", 0.09525958287726605], ["D185", 0.09484596549618765], ["D079", 0.09462574952182998], ["D145", 0.09443725628801988], ["D148", 0.09363654930040424], ["D226", 0.09335330432151082], ["D064", 0.09323978853897467], ["D045", 0.09303405327094992], ["D194", 0.09225560018162206], ["D011", 0.09194984781772783], ["D158", 0.0912210391950862], ["D164", 0.09071229034490062], ["D035", 0.09024239914638187], ["D100", 0.0890067897536315], ["D204", 0.08823346266679107], ["D179", 0.08754961669693573], ["D212", 0.0872718592377623], ["D176", 0.0870178902557774], ["D119", 0.08680894656889213], ["D200", 0.08677293012114697], ["D128", 0.08676288082623257], ["D001", 0.08640795538815392], ["D098", 0.0861801792339246], ["D103", 0.08617602438461198], ["D099", 0.08600980074262195], ["D115", 0.08560763235722965], ["D032", 0.0852590812087843], ["D221", 0.08509390945384351], ["D167", 0.08443670066071748], ["D041", 0.08406252880426412], ["D182", 0.08384474531111469], ["D080", 0.08292849151522191], ["D140", 0.0822006953640287], ["D209", 0.0798647482877636], ["D054", 0.07905192637440371], ["D187", 0.07883753929685046], ["D132", 0.0786745312958258], ["D029", 0.07851648541081283], ["D168", 0.07752248579166984], ["D149", 0.0767344589490261], ["D082", 0.07582522177505102], ["D038", 0.07564328912557872], ["D085", 0.07515322487127973], ["D218", 0.07500353048190768], ["D225", 0.07488668867396618], ["D155", 0.07482025066826999], ["D205", 0.07457785314867169], ["D173", 0.07450051332391615], ["D188", 0.07357901359117211], ["D222", 0.07335981066175604], ["D191", 0.07292094508069871], ["D067", 0.07282311810915788], ["D169", 0.07279471804991305], ["D052", 0.07278622076903019], ["D186", 0.07244274984583389], ["D137", 0.07232503981350594], ["D025", 0.0721667361559783], ["D063", 0.07156945604941903], ["D118", 0.07155233527267965], ["D042", 0.07040489986888265], ["D005", 0.07026642157304841], ["D208", 0.0701735462470221], ["D151", 0.0700064398356993], ["D229", 0.06901349762848595], ["D190", 0.0680487344372904], ["D009", 0.06721040676066273], ["D090", 0.06716514522868196], ["D006", 0.06577200291588624], ["D211", 0.06573113928655155], ["D028", 0.06550030481782076], ["D154", 0.06431376968148256], ["D116", 0.06214366206223676], ["D232", 0.061662167194238254], ["D070", 0.061392657845990434], ["D031", 0.060980547789492086], ["D175", 0.0605977839509817], ["D152", 0.060580227719672676], ["D206", 0.060249194855121604], ["D081", 0.06020527573332963], ["D193", 0.05994011356866999], ["D150", 0.05956612547238014], ["D121", 0.0594829664786474], ["D133", 0.05916167514269119], ["D157", 0.05911771851009012], ["D088", 0.05854803253349154], ["D010", 0.058545680739783314], ["D170", 0.05724586578697682], ["D172", 0.05700479320504677], ["D153", 0.055656209416927185], ["D207", 0.05542750687093918], ["D198", 0.054817800507577674], ["D027", 0.054030735053908575], ["D117", 0.05252507073172624], ["D026", 0.05121341715820256], ["D106", 0.05116505258531505], ["D108", 0.04898699017430464], ["D171", 0.045285722032586975], ["D189", 0.04475735695957038], ["D136", 0.04429973333039789], ["D124", 0.043655045636905955], ["D196", 0.041940171736438804], ["D180", 0.04181566185657962], ["D014", 0.04158787077336097], ["D134", 0.041282124846267546], ["D139", 0.04006237772954396], ["D178", 0.04004409989632487], ["D214", 0.03989508232563224], ["D126", 0.03937694558687077], ["D034", 0.03875402860928673], ["D162", 0.03821114266701274], ["D216", 0.03649365960772735], ["D135", 0.03613877675365308], ["D016", 0.032894468595476324], ["D160", 0.03220501272879232], ["D036", 0.03164765612108502], ["D144", 0.027091412231465703], ["D142", 0.023932333745493403], ["D024", 0.020391449218759985], ["D012", 0.018499114912789397], ["D008", 0.00237229165588281]], "abstain": true, "online_ms": 58.78334608860314, "success": true}
{"scale": 240, "query_id": "Q22", "category": "negative", "relevant": [], "method": "hybrid", "ranking": [["D017", 0.03], ["D010", 0.02], ["D039", 0.02], ["D057", 0.02], ["D093", 0.02], ["D111", 0.02], ["D129", 0.02], ["D147", 0.02]], "abstain": true, "online_ms": 164.4927670713514, "api_roundtrip_ms": 163.25664101168513, "success": true, "usage": {"input_tokens": 1179, "output_tokens": 156}}
{"scale": 240, "query_id": "Q22", "category": "negative", "relevant": [], "method": "direct", "ranking": [["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": true, "online_ms": 299.87303889356554, "api_roundtrip_ms": 299.87303889356554, "success": true, "choice": "NONE", "answer_exists": 0.04, "usage": {"input_tokens": 21289, "output_tokens": 2441}}
{"scale": 240, "query_id": "Q23", "category": "negative", "relevant": [], "method": "bm25", "ranking": [["D021", 14.000745523499134], ["D001", 13.085542718521925], ["D020", 11.404422861557938], ["D022", 11.118612869686109], ["D025", 7.092727901322911], ["D043", 7.092727901322911], ["D079", 7.092727901322911], ["D097", 7.092727901322911], ["D115", 7.092727901322911], ["D133", 7.092727901322911], ["D151", 7.092727901322911], ["D169", 7.092727901322911], ["D187", 7.092727901322911], ["D205", 7.092727901322911], ["D061", 6.9617223683108485], ["D223", 6.9617223683108485], ["D018", 5.457039922152125], ["D019", 5.233817357337505], ["D009", 4.533272941875599], ["D006", 4.213617721701739], ["D026", 3.1549236728339367], ["D027", 3.1549236728339367], ["D028", 3.1549236728339367], ["D029", 3.1549236728339367], ["D031", 3.1549236728339367], ["D033", 3.1549236728339367], ["D035", 3.1549236728339367], ["D041", 3.1549236728339367], ["D044", 3.1549236728339367], ["D045", 3.1549236728339367], ["D046", 3.1549236728339367], ["D047", 3.1549236728339367], ["D049", 3.1549236728339367], ["D051", 3.1549236728339367], ["D053", 3.1549236728339367], ["D059", 3.1549236728339367], ["D080", 3.1549236728339367], ["D081", 3.1549236728339367], ["D082", 3.1549236728339367], ["D083", 3.1549236728339367], ["D085", 3.1549236728339367], ["D087", 3.1549236728339367], ["D089", 3.1549236728339367], ["D095", 3.1549236728339367], ["D098", 3.1549236728339367], ["D099", 3.1549236728339367], ["D100", 3.1549236728339367], ["D101", 3.1549236728339367], ["D103", 3.1549236728339367], ["D105", 3.1549236728339367], ["D107", 3.1549236728339367], ["D113", 3.1549236728339367], ["D116", 3.1549236728339367], ["D117", 3.1549236728339367], ["D118", 3.1549236728339367], ["D119", 3.1549236728339367], ["D121", 3.1549236728339367], ["D123", 3.1549236728339367], ["D125", 3.1549236728339367], ["D131", 3.1549236728339367], ["D134", 3.1549236728339367], ["D135", 3.1549236728339367], ["D136", 3.1549236728339367], ["D137", 3.1549236728339367], ["D139", 3.1549236728339367], ["D141", 3.1549236728339367], ["D143", 3.1549236728339367], ["D149", 3.1549236728339367], ["D152", 3.1549236728339367], ["D153", 3.1549236728339367], ["D154", 3.1549236728339367], ["D155", 3.1549236728339367], ["D157", 3.1549236728339367], ["D159", 3.1549236728339367], ["D161", 3.1549236728339367], ["D167", 3.1549236728339367], ["D170", 3.1549236728339367], ["D171", 3.1549236728339367], ["D172", 3.1549236728339367], ["D173", 3.1549236728339367], ["D175", 3.1549236728339367], ["D177", 3.1549236728339367], ["D179", 3.1549236728339367], ["D185", 3.1549236728339367], ["D188", 3.1549236728339367], ["D189", 3.1549236728339367], ["D190", 3.1549236728339367], ["D191", 3.1549236728339367], ["D193", 3.1549236728339367], ["D195", 3.1549236728339367], ["D197", 3.1549236728339367], ["D203", 3.1549236728339367], ["D206", 3.1549236728339367], ["D207", 3.1549236728339367], ["D208", 3.1549236728339367], ["D209", 3.1549236728339367], ["D211", 3.1549236728339367], ["D213", 3.1549236728339367], ["D215", 3.1549236728339367], ["D221", 3.1549236728339367], ["D030", 3.0858328499519265], ["D032", 3.0858328499519265], ["D034", 3.0858328499519265], ["D036", 3.0858328499519265], ["D037", 3.0858328499519265], ["D038", 3.0858328499519265], ["D039", 3.0858328499519265], ["D040", 3.0858328499519265], ["D042", 3.0858328499519265], ["D048", 3.0858328499519265], ["D050", 3.0858328499519265], ["D052", 3.0858328499519265], ["D054", 3.0858328499519265], ["D055", 3.0858328499519265], ["D056", 3.0858328499519265], ["D057", 3.0858328499519265], ["D058", 3.0858328499519265], ["D060", 3.0858328499519265], ["D062", 3.0858328499519265], ["D063", 3.0858328499519265], ["D064", 3.0858328499519265], ["D065", 3.0858328499519265], ["D067", 3.0858328499519265], ["D069", 3.0858328499519265], ["D071", 3.0858328499519265], ["D077", 3.0858328499519265], ["D084", 3.0858328499519265], ["D086", 3.0858328499519265], ["D088", 3.0858328499519265], ["D090", 3.0858328499519265], ["D091", 3.0858328499519265], ["D092", 3.0858328499519265], ["D093", 3.0858328499519265], ["D094", 3.0858328499519265], ["D096", 3.0858328499519265], ["D102", 3.0858328499519265], ["D104", 3.0858328499519265], ["D106", 3.0858328499519265], ["D108", 3.0858328499519265], ["D109", 3.0858328499519265], ["D110", 3.0858328499519265], ["D111", 3.0858328499519265], ["D112", 3.0858328499519265], ["D114", 3.0858328499519265], ["D120", 3.0858328499519265], ["D122", 3.0858328499519265], ["D124", 3.0858328499519265], ["D126", 3.0858328499519265], ["D127", 3.0858328499519265], ["D128", 3.0858328499519265], ["D129", 3.0858328499519265], ["D130", 3.0858328499519265], ["D132", 3.0858328499519265], ["D138", 3.0858328499519265], ["D140", 3.0858328499519265], ["D142", 3.0858328499519265], ["D144", 3.0858328499519265], ["D145", 3.0858328499519265], ["D146", 3.0858328499519265], ["D147", 3.0858328499519265], ["D148", 3.0858328499519265], ["D150", 3.0858328499519265], ["D156", 3.0858328499519265], ["D158", 3.0858328499519265], ["D160", 3.0858328499519265], ["D162", 3.0858328499519265], ["D163", 3.0858328499519265], ["D164", 3.0858328499519265], ["D165", 3.0858328499519265], ["D166", 3.0858328499519265], ["D168", 3.0858328499519265], ["D174", 3.0858328499519265], ["D176", 3.0858328499519265], ["D178", 3.0858328499519265], ["D180", 3.0858328499519265], ["D181", 3.0858328499519265], ["D182", 3.0858328499519265], ["D183", 3.0858328499519265], ["D184", 3.0858328499519265], ["D186", 3.0858328499519265], ["D192", 3.0858328499519265], ["D194", 3.0858328499519265], ["D196", 3.0858328499519265], ["D198", 3.0858328499519265], ["D199", 3.0858328499519265], ["D200", 3.0858328499519265], ["D201", 3.0858328499519265], ["D202", 3.0858328499519265], ["D204", 3.0858328499519265], ["D210", 3.0858328499519265], ["D212", 3.0858328499519265], ["D214", 3.0858328499519265], ["D216", 3.0858328499519265], ["D217", 3.0858328499519265], ["D218", 3.0858328499519265], ["D219", 3.0858328499519265], ["D220", 3.0858328499519265], ["D222", 3.0858328499519265], ["D224", 3.0858328499519265], ["D225", 3.0858328499519265], ["D226", 3.0858328499519265], ["D227", 3.0858328499519265], ["D229", 3.0858328499519265], ["D231", 3.0858328499519265], ["D233", 3.0858328499519265], ["D239", 3.0858328499519265], ["D066", 3.0197032679780174], ["D068", 3.0197032679780174], ["D070", 3.0197032679780174], ["D072", 3.0197032679780174], ["D073", 3.0197032679780174], ["D074", 3.0197032679780174], ["D075", 3.0197032679780174], ["D076", 3.0197032679780174], ["D078", 3.0197032679780174], ["D228", 3.0197032679780174], ["D230", 3.0197032679780174], ["D232", 3.0197032679780174], ["D234", 3.0197032679780174], ["D235", 3.0197032679780174], ["D236", 3.0197032679780174], ["D237", 3.0197032679780174], ["D238", 3.0197032679780174], ["D240", 3.0197032679780174], ["D007", 1.6168511411391417], ["D010", 1.5374646162554], ["D024", 1.2470957903183588], ["D012", 1.1993307227521122], ["D008", 1.169469457307176], ["D015", 1.169469457307176], ["D017", 1.1550895885347132], ["D003", 1.1410590558160163], ["D005", 1.1410590558160163], ["D014", 1.088187485437232], ["D002", 0.0], ["D004", 0.0], ["D011", 0.0], ["D013", 0.0], ["D016", 0.0], ["D023", 0.0]], "abstain": false, "online_ms": 1.0029319673776627, "success": true}
{"scale": 240, "query_id": "Q23", "category": "negative", "relevant": [], "method": "embedding", "ranking": [["D021", 0.5134064867477164], ["D020", 0.4723673808679465], ["D001", 0.4431001116987214], ["D019", 0.3491850434265724], ["D002", 0.3124476753278421], ["D151", 0.26495152031222796], ["D018", 0.24992271708270383], ["D043", 0.24945897471222056], ["D133", 0.24794693874271384], ["D004", 0.24669525239124568], ["D022", 0.24547816963351754], ["D158", 0.24213588737349426], ["D140", 0.241041951565981], ["D176", 0.23940279355366229], ["D050", 0.23666015256543493], ["D061", 0.23469710180007708], ["D003", 0.23301365375788208], ["D162", 0.23171093276592677], ["D079", 0.23013794274948127], ["D068", 0.2287571747497767], ["D223", 0.22824261557039685], ["D169", 0.22676296477092645], ["D152", 0.22546425446708618], ["D187", 0.22418150135257314], ["D086", 0.22381372934601318], ["D017", 0.22127701697270424], ["D097", 0.22044352326296363], ["D194", 0.22002335743570067], ["D230", 0.2194535104447825], ["D104", 0.21513875482737457], ["D122", 0.21082402514458307], ["D115", 0.20923180082469503], ["D032", 0.20864712939214258], ["D023", 0.20843509786131992], ["D072", 0.20720922922978177], ["D008", 0.20705702883480523], ["D025", 0.20658971579981214], ["D234", 0.20193072780049315], ["D054", 0.19829698387030992], ["D144", 0.19804511902753322], ["D146", 0.19744479122375844], ["D012", 0.19642080493937283], ["D168", 0.19479660215655809], ["D170", 0.19463239330750384], ["D164", 0.19449118034621984], ["D005", 0.1942173606219737], ["D134", 0.19311374569257025], ["D090", 0.19301857459224264], ["D205", 0.1919211735634927], ["D212", 0.19083049097651997], ["D036", 0.1905663457113812], ["D098", 0.19035147653817996], ["D044", 0.18974239804194185], ["D062", 0.1891600517469275], ["D007", 0.18694656024427675], ["D026", 0.18379092572318118], ["D224", 0.18267404478317065], ["D056", 0.1823727831929069], ["D080", 0.18189754505709524], ["D180", 0.17943684899484644], ["D074", 0.17891396076351257], ["D108", 0.17875140092736347], ["D236", 0.17261211343137628], ["D009", 0.17229163822865623], ["D010", 0.17121058429616917], ["D142", 0.1707958026516074], ["D048", 0.17048631010566462], ["D216", 0.17028097004176107], ["D092", 0.1696792286514029], ["D150", 0.16910763800722178], ["D156", 0.1689363294532023], ["D116", 0.16872235649439432], ["D126", 0.1679772520102174], ["D182", 0.16713752703453102], ["D206", 0.1662909572221692], ["D166", 0.16541610755116903], ["D198", 0.16362342787319065], ["D058", 0.16340527603046623], ["D160", 0.16317400835928492], ["D148", 0.16273347439811672], ["D153", 0.16146913353026585], ["D014", 0.16139378962827125], ["D052", 0.1610214224762582], ["D059", 0.1607536228185778], ["D149", 0.16030251374346216], ["D186", 0.16025244939017685], ["D110", 0.15993572843575796], ["D138", 0.1597831103515016], ["D188", 0.15957925673991424], ["D145", 0.15804454971648318], ["D163", 0.15743485965870246], ["D078", 0.15717490234298448], ["D055", 0.15580970881042605], ["D077", 0.15506715390073986], ["D174", 0.15476353143792773], ["D045", 0.15475319264923848], ["D204", 0.15445682240188713], ["D135", 0.15421224894408297], ["D167", 0.1538073338016776], ["D070", 0.15336619645464727], ["D155", 0.15088629478459883], ["D073", 0.1501590011589042], ["D200", 0.14969666632794748], ["D060", 0.14962936815087013], ["D240", 0.14958407223145276], ["D239", 0.148893442363353], ["D066", 0.14827131786698317], ["D137", 0.14814865613659586], ["D232", 0.14802673572396818], ["D181", 0.1477072539717468], ["D076", 0.14742768485903943], ["D047", 0.14659900587296695], ["D161", 0.146307055557436], ["D042", 0.1456212727979434], ["D143", 0.14543898393410737], ["D128", 0.1448259970498853], ["D228", 0.14425497621486194], ["D084", 0.1440530761133599], ["D235", 0.14378803481881505], ["D184", 0.14230650299870368], ["D040", 0.14185694460292866], ["D238", 0.13877401283032673], ["D038", 0.13812211559339108], ["D178", 0.13809812874420824], ["D096", 0.13792317081524522], ["D102", 0.13791202795102123], ["D136", 0.13718059101443306], ["D037", 0.13668498535914467], ["D063", 0.1356950808436176], ["D171", 0.1353043257613866], ["D154", 0.13438352348295085], ["D030", 0.13299720230532497], ["D046", 0.13295643003038354], ["D053", 0.1316506664685021], ["D114", 0.13164608962821162], ["D141", 0.13159936696424426], ["D034", 0.13123020179065698], ["D185", 0.1302089660295625], ["D165", 0.1295978731850999], ["D222", 0.12887241884032635], ["D196", 0.1286592062929376], ["D065", 0.12836893253678355], ["D041", 0.1282757581071559], ["D225", 0.12760416025258073], ["D024", 0.12605097863486864], ["D227", 0.1259318293111838], ["D088", 0.12577021477327316], ["D051", 0.12574186485728528], ["D064", 0.12539401068972084], ["D083", 0.1253338385806495], ["D081", 0.1251748984196899], ["D095", 0.12490282545958466], ["D192", 0.12447914660077454], ["D132", 0.12417974029844138], ["D015", 0.12273740666647735], ["D120", 0.12234627587581509], ["D094", 0.12203556230208903], ["D159", 0.1214879654063721], ["D057", 0.12122077179853195], ["D027", 0.12106733013733043], ["D199", 0.12072632307885661], ["D069", 0.12020484227924205], ["D071", 0.12011248935193133], ["D226", 0.1191157686711225], ["D029", 0.11908539033761968], ["D218", 0.11884184519489238], ["D189", 0.11868298098531542], ["D220", 0.11851672413731146], ["D013", 0.11746583215175277], ["D231", 0.11670141120437535], ["D131", 0.11641594145471641], ["D202", 0.11434347652584992], ["D233", 0.11429268124012183], ["D217", 0.11428746381525856], ["D147", 0.11328549032542069], ["D210", 0.11326413423078324], ["D028", 0.1130562653985603], ["D113", 0.11164914843315298], ["D124", 0.11096413548728865], ["D177", 0.11044294242726839], ["D130", 0.11009176462376749], ["D099", 0.10991597353394829], ["D109", 0.10983367041245648], ["D106", 0.10979850616503156], ["D112", 0.1095623876218815], ["D179", 0.10948887141266017], ["D203", 0.10912333984170829], ["D127", 0.10909885385114511], ["D207", 0.10897111459493518], ["D091", 0.1086739698047906], ["D214", 0.10860459696885869], ["D075", 0.10677231965725639], ["D183", 0.10655420679088114], ["D173", 0.10578166489187457], ["D035", 0.10478722878169969], ["D221", 0.10462794949813223], ["D172", 0.10379865607787159], ["D089", 0.10198994310871881], ["D101", 0.10181125957564077], ["D191", 0.10163163727609958], ["D237", 0.10046375456362974], ["D033", 0.09964661176255081], ["D117", 0.09647502170717254], ["D209", 0.09643380347456731], ["D087", 0.0947702495616474], ["D119", 0.09468481142363662], ["D082", 0.09453211947663498], ["D195", 0.0933521698512611], ["D105", 0.09316875857606391], ["D093", 0.09206009443902448], ["D197", 0.09160046858839584], ["D190", 0.09151879185538513], ["D208", 0.09124382907886833], ["D123", 0.09044470739185118], ["D201", 0.09014032775974258], ["D125", 0.09010357819979717], ["D039", 0.08879810410907882], ["D100", 0.08827583558402592], ["D118", 0.08721203814125034], ["D215", 0.08686021061823862], ["D139", 0.08653338318251531], ["D107", 0.08288847111240705], ["D157", 0.08158550710256132], ["D213", 0.08139739422720386], ["D049", 0.08102664846324696], ["D111", 0.07533109215378488], ["D219", 0.07310080632000654], ["D067", 0.07237449407148448], ["D129", 0.07015769851069432], ["D229", 0.06787025437278209], ["D175", 0.06767603048102436], ["D011", 0.062343096648182605], ["D193", 0.05541046518178109], ["D031", 0.05524844131647397], ["D085", 0.0530173495115958], ["D016", 0.051152731828690956], ["D103", 0.042355063121393956], ["D121", 0.037298568962481495], ["D211", 0.03516873339299773], ["D006", 0.01669670274760637]], "abstain": false, "online_ms": 54.707740899175406, "success": true}
{"scale": 240, "query_id": "Q23", "category": "negative", "relevant": [], "method": "hybrid", "ranking": [["D020", 0.1], ["D021", 0.1], ["D001", 0.09], ["D025", 0.05], ["D043", 0.04], ["D022", 0.03], ["D079", 0.03], ["D097", 0.03]], "abstain": true, "online_ms": 161.56844492070377, "api_roundtrip_ms": 160.5655129533261, "success": true, "usage": {"input_tokens": 1132, "output_tokens": 156}}
{"scale": 240, "query_id": "Q23", "category": "negative", "relevant": [], "method": "direct", "ranking": [["D021", 0.02], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D018", 0.0], ["D019", 0.0], ["D020", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": true, "online_ms": 367.38309008069336, "api_roundtrip_ms": 367.38309008069336, "success": true, "choice": "NONE", "answer_exists": 0.07, "usage": {"input_tokens": 21285, "output_tokens": 2441}}
{"scale": 240, "query_id": "Q24", "category": "negative", "relevant": [], "method": "bm25", "ranking": [["D018", 23.815229573240824], ["D017", 18.826651416914594], ["D020", 14.465937546323847], ["D019", 8.71251994229956], ["D003", 5.233817357337505], ["D039", 4.904500468342897], ["D057", 4.904500468342897], ["D093", 4.904500468342897], ["D111", 4.904500468342897], ["D129", 4.904500468342897], ["D147", 4.904500468342897], ["D165", 4.904500468342897], ["D183", 4.904500468342897], ["D201", 4.904500468342897], ["D219", 4.904500468342897], ["D010", 4.854979690711131], ["D075", 4.822459414574938], ["D237", 4.822459414574938], ["D002", 4.805174626358097], ["D022", 4.676566515620561], ["D004", 3.4787025849620554], ["D006", 3.3961973684487305], ["D007", 1.6168511411391417], ["D024", 1.2470957903183588], ["D012", 1.1993307227521122], ["D008", 1.169469457307176], ["D015", 1.169469457307176], ["D005", 1.1410590558160163], ["D014", 1.088187485437232], ["D025", 1.051641224277979], ["D026", 1.051641224277979], ["D027", 1.051641224277979], ["D028", 1.051641224277979], ["D029", 1.051641224277979], ["D031", 1.051641224277979], ["D033", 1.051641224277979], ["D035", 1.051641224277979], ["D041", 1.051641224277979], ["D043", 1.051641224277979], ["D044", 1.051641224277979], ["D045", 1.051641224277979], ["D046", 1.051641224277979], ["D047", 1.051641224277979], ["D049", 1.051641224277979], ["D051", 1.051641224277979], ["D053", 1.051641224277979], ["D059", 1.051641224277979], ["D079", 1.051641224277979], ["D080", 1.051641224277979], ["D081", 1.051641224277979], ["D082", 1.051641224277979], ["D083", 1.051641224277979], ["D085", 1.051641224277979], ["D087", 1.051641224277979], ["D089", 1.051641224277979], ["D095", 1.051641224277979], ["D097", 1.051641224277979], ["D098", 1.051641224277979], ["D099", 1.051641224277979], ["D100", 1.051641224277979], ["D101", 1.051641224277979], ["D103", 1.051641224277979], ["D105", 1.051641224277979], ["D107", 1.051641224277979], ["D113", 1.051641224277979], ["D115", 1.051641224277979], ["D116", 1.051641224277979], ["D117", 1.051641224277979], ["D118", 1.051641224277979], ["D119", 1.051641224277979], ["D121", 1.051641224277979], ["D123", 1.051641224277979], ["D125", 1.051641224277979], ["D131", 1.051641224277979], ["D133", 1.051641224277979], ["D134", 1.051641224277979], ["D135", 1.051641224277979], ["D136", 1.051641224277979], ["D137", 1.051641224277979], ["D139", 1.051641224277979], ["D141", 1.051641224277979], ["D143", 1.051641224277979], ["D149", 1.051641224277979], ["D151", 1.051641224277979], ["D152", 1.051641224277979], ["D153", 1.051641224277979], ["D154", 1.051641224277979], ["D155", 1.051641224277979], ["D157", 1.051641224277979], ["D159", 1.051641224277979], ["D161", 1.051641224277979], ["D167", 1.051641224277979], ["D169", 1.051641224277979], ["D170", 1.051641224277979], ["D171", 1.051641224277979], ["D172", 1.051641224277979], ["D173", 1.051641224277979], ["D175", 1.051641224277979], ["D177", 1.051641224277979], ["D179", 1.051641224277979], ["D185", 1.051641224277979], ["D187", 1.051641224277979], ["D188", 1.051641224277979], ["D189", 1.051641224277979], ["D190", 1.051641224277979], ["D191", 1.051641224277979], ["D193", 1.051641224277979], ["D195", 1.051641224277979], ["D197", 1.051641224277979], ["D203", 1.051641224277979], ["D205", 1.051641224277979], ["D206", 1.051641224277979], ["D207", 1.051641224277979], ["D208", 1.051641224277979], ["D209", 1.051641224277979], ["D211", 1.051641224277979], ["D213", 1.051641224277979], ["D215", 1.051641224277979], ["D221", 1.051641224277979], ["D030", 1.0286109499839755], ["D032", 1.0286109499839755], ["D034", 1.0286109499839755], ["D036", 1.0286109499839755], ["D037", 1.0286109499839755], ["D038", 1.0286109499839755], ["D040", 1.0286109499839755], ["D042", 1.0286109499839755], ["D048", 1.0286109499839755], ["D050", 1.0286109499839755], ["D052", 1.0286109499839755], ["D054", 1.0286109499839755], ["D055", 1.0286109499839755], ["D056", 1.0286109499839755], ["D058", 1.0286109499839755], ["D060", 1.0286109499839755], ["D061", 1.0286109499839755], ["D062", 1.0286109499839755], ["D063", 1.0286109499839755], ["D064", 1.0286109499839755], ["D065", 1.0286109499839755], ["D067", 1.0286109499839755], ["D069", 1.0286109499839755], ["D071", 1.0286109499839755], ["D077", 1.0286109499839755], ["D084", 1.0286109499839755], ["D086", 1.0286109499839755], ["D088", 1.0286109499839755], ["D090", 1.0286109499839755], ["D091", 1.0286109499839755], ["D092", 1.0286109499839755], ["D094", 1.0286109499839755], ["D096", 1.0286109499839755], ["D102", 1.0286109499839755], ["D104", 1.0286109499839755], ["D106", 1.0286109499839755], ["D108", 1.0286109499839755], ["D109", 1.0286109499839755], ["D110", 1.0286109499839755], ["D112", 1.0286109499839755], ["D114", 1.0286109499839755], ["D120", 1.0286109499839755], ["D122", 1.0286109499839755], ["D124", 1.0286109499839755], ["D126", 1.0286109499839755], ["D127", 1.0286109499839755], ["D128", 1.0286109499839755], ["D130", 1.0286109499839755], ["D132", 1.0286109499839755], ["D138", 1.0286109499839755], ["D140", 1.0286109499839755], ["D142", 1.0286109499839755], ["D144", 1.0286109499839755], ["D145", 1.0286109499839755], ["D146", 1.0286109499839755], ["D148", 1.0286109499839755], ["D150", 1.0286109499839755], ["D156", 1.0286109499839755], ["D158", 1.0286109499839755], ["D160", 1.0286109499839755], ["D162", 1.0286109499839755], ["D163", 1.0286109499839755], ["D164", 1.0286109499839755], ["D166", 1.0286109499839755], ["D168", 1.0286109499839755], ["D174", 1.0286109499839755], ["D176", 1.0286109499839755], ["D178", 1.0286109499839755], ["D180", 1.0286109499839755], ["D181", 1.0286109499839755], ["D182", 1.0286109499839755], ["D184", 1.0286109499839755], ["D186", 1.0286109499839755], ["D192", 1.0286109499839755], ["D194", 1.0286109499839755], ["D196", 1.0286109499839755], ["D198", 1.0286109499839755], ["D199", 1.0286109499839755], ["D200", 1.0286109499839755], ["D202", 1.0286109499839755], ["D204", 1.0286109499839755], ["D210", 1.0286109499839755], ["D212", 1.0286109499839755], ["D214", 1.0286109499839755], ["D216", 1.0286109499839755], ["D217", 1.0286109499839755], ["D218", 1.0286109499839755], ["D220", 1.0286109499839755], ["D222", 1.0286109499839755], ["D223", 1.0286109499839755], ["D224", 1.0286109499839755], ["D225", 1.0286109499839755], ["D226", 1.0286109499839755], ["D227", 1.0286109499839755], ["D229", 1.0286109499839755], ["D231", 1.0286109499839755], ["D233", 1.0286109499839755], ["D239", 1.0286109499839755], ["D066", 1.0065677559926725], ["D068", 1.0065677559926725], ["D070", 1.0065677559926725], ["D072", 1.0065677559926725], ["D073", 1.0065677559926725], ["D074", 1.0065677559926725], ["D076", 1.0065677559926725], ["D078", 1.0065677559926725], ["D228", 1.0065677559926725], ["D230", 1.0065677559926725], ["D232", 1.0065677559926725], ["D234", 1.0065677559926725], ["D235", 1.0065677559926725], ["D236", 1.0065677559926725], ["D238", 1.0065677559926725], ["D240", 1.0065677559926725], ["D001", 0.0], ["D009", 0.0], ["D011", 0.0], ["D013", 0.0], ["D016", 0.0], ["D021", 0.0], ["D023", 0.0]], "abstain": false, "online_ms": 0.9822079446166754, "success": true}
{"scale": 240, "query_id": "Q24", "category": "negative", "relevant": [], "method": "embedding", "ranking": [["D018", 0.5670013461626371], ["D017", 0.5334087184321461], ["D003", 0.26910016570181017], ["D165", 0.2524730415311953], ["D075", 0.19682454748665296], ["D057", 0.19639398955206416], ["D237", 0.19618772142489152], ["D111", 0.19458322014386545], ["D147", 0.1912133937690363], ["D159", 0.18596594822529036], ["D093", 0.17613643331401593], ["D013", 0.16991454558369828], ["D129", 0.1667195232955629], ["D201", 0.15859592182796575], ["D231", 0.15840470611708318], ["D051", 0.15804078135539246], ["D069", 0.15762754560563602], ["D007", 0.15530437026127036], ["D141", 0.15516447477592116], ["D105", 0.14920583656821304], ["D039", 0.144616079181106], ["D151", 0.1435694837708716], ["D158", 0.1428302992675048], ["D156", 0.14256478900275868], ["D023", 0.1362545559892671], ["D154", 0.1350787812297663], ["D005", 0.13212201652310493], ["D161", 0.13100388618702452], ["D123", 0.12886575400147166], ["D006", 0.12588034048596916], ["D219", 0.12507578157804608], ["D087", 0.12306976630717359], ["D167", 0.12276964418198283], ["D163", 0.11895940315754873], ["D153", 0.11768757743388483], ["D234", 0.11739982776720688], ["D072", 0.1154152730066659], ["D162", 0.1131160083856125], ["D164", 0.11048763570115797], ["D001", 0.11002119581682576], ["D195", 0.1086205534230277], ["D068", 0.10852946870899713], ["D183", 0.10846500524410482], ["D155", 0.10454094039702198], ["D066", 0.10428439844317466], ["D230", 0.10412139249388257], ["D104", 0.10358625045527793], ["D228", 0.10301905637720876], ["D061", 0.10118929238567362], ["D050", 0.10006812887537364], ["D071", 0.09969306813914852], ["D233", 0.09836517565492685], ["D020", 0.0983487627033318], ["D048", 0.09824049285978649], ["D223", 0.0973753790610377], ["D097", 0.09641530690221306], ["D166", 0.09621414942532604], ["D015", 0.0948617441613967], ["D168", 0.09482639264239971], ["D077", 0.09479664004090876], ["D024", 0.09476969250597281], ["D239", 0.09432896097907625], ["D012", 0.09431491602260965], ["D102", 0.09347097313514413], ["D010", 0.09277442439813455], ["D021", 0.09218738506669673], ["D022", 0.09185639108897115], ["D043", 0.09164841741697961], ["D084", 0.09125402873802702], ["D064", 0.09083876882203006], ["D140", 0.0905393558950349], ["D073", 0.09049606881516309], ["D226", 0.09002728129345414], ["D235", 0.08963462638419864], ["D033", 0.0882249013427093], ["D122", 0.08530293774712544], ["D056", 0.08513566823152488], ["D004", 0.0849409692046388], ["D011", 0.084792687748019], ["D055", 0.08477049785031135], ["D086", 0.08438203181303242], ["D160", 0.0837346099682197], ["D107", 0.08290117497200747], ["D059", 0.08283474317124749], ["D046", 0.08110051884508375], ["D138", 0.07984384770051081], ["D100", 0.07862925361067519], ["D053", 0.07754968559201694], ["D074", 0.07706266638467019], ["D054", 0.07691488675829432], ["D109", 0.07691328207379879], ["D236", 0.07658697868123142], ["D120", 0.07553459494960231], ["D090", 0.07499923638839458], ["D076", 0.07403063708668207], ["D194", 0.07390814510313133], ["D143", 0.07352787633842447], ["D108", 0.07321588953301025], ["D238", 0.07289346931116818], ["D192", 0.07220016525467021], ["D149", 0.07182318206630152], ["D091", 0.07171499589207624], ["D225", 0.0714649783345426], ["D079", 0.07093947872742459], ["D063", 0.07083153668414582], ["D133", 0.06967728087043226], ["D113", 0.06919266104217983], ["D136", 0.06735689647884505], ["D213", 0.06705545601944386], ["D177", 0.06646577575368846], ["D146", 0.0663592090817085], ["D115", 0.06597227282145814], ["D045", 0.06520701128149524], ["D227", 0.06481363873377727], ["D019", 0.06421083781048312], ["D099", 0.06384986077133786], ["D144", 0.06330285348605354], ["D078", 0.06324648545291038], ["D065", 0.06288710329395075], ["D240", 0.0620841645119729], ["D152", 0.061927166899615096], ["D058", 0.06180925184710179], ["D199", 0.06180470443319458], ["D110", 0.06129547306938758], ["D145", 0.06076285104600856], ["D198", 0.059139866007097044], ["D127", 0.05884950203118157], ["D032", 0.058033372053466925], ["D089", 0.0567662989689522], ["D125", 0.05640094330526163], ["D232", 0.05637979750468894], ["D070", 0.0560207527100251], ["D157", 0.05491860765576665], ["D047", 0.05468603247675108], ["D126", 0.053392082767891896], ["D131", 0.05309378186990346], ["D118", 0.05285852507053174], ["D082", 0.052300114341317636], ["D092", 0.05114960194986254], ["D060", 0.050776483171448304], ["D030", 0.049816585365307704], ["D037", 0.04956507906030537], ["D052", 0.048861557873093084], ["D036", 0.0488422063077901], ["D112", 0.0488322075006912], ["D014", 0.04846036708974326], ["D095", 0.04773818854933147], ["D137", 0.047583404218492456], ["D135", 0.046928902103357456], ["D101", 0.04669058061279048], ["D187", 0.04492251625697429], ["D224", 0.04480130332912566], ["D062", 0.04468510460472032], ["D081", 0.0444100988022306], ["D114", 0.044132003959327655], ["D094", 0.0429272031531748], ["D197", 0.04268810222758508], ["D148", 0.0426432474255443], ["D128", 0.04260698809165203], ["D035", 0.04109014938342173], ["D025", 0.040249464115301975], ["D212", 0.03708558486031057], ["D142", 0.03704738179380001], ["D203", 0.03626581667114617], ["D150", 0.03569411595638358], ["D028", 0.03486026702795719], ["D083", 0.03390629661046031], ["D117", 0.03375758994371101], ["D202", 0.03321166079187744], ["D041", 0.03206409651634217], ["D176", 0.03125726106414362], ["D130", 0.03108327063345738], ["D096", 0.030991638585657393], ["D190", 0.03026439332874395], ["D200", 0.030009543036753857], ["D132", 0.027496922698545496], ["D216", 0.027483578790429133], ["D174", 0.02713344283069991], ["D210", 0.026308263911449428], ["D189", 0.026061295674606785], ["D038", 0.025664692271523522], ["D040", 0.02529334579939075], ["D119", 0.02500779393728965], ["D204", 0.024615227123299114], ["D217", 0.023646707368456088], ["D205", 0.02081149623004093], ["D229", 0.020620809426143707], ["D008", 0.020284821617404386], ["D044", 0.019441704414566795], ["D215", 0.019233900823097463], ["D067", 0.018902773634605456], ["D106", 0.01888276822492336], ["D027", 0.017929365263716447], ["D029", 0.016388489178879306], ["D002", 0.015921745545675565], ["D042", 0.014845325608315089], ["D196", 0.014638400235449048], ["D180", 0.013731002167189036], ["D098", 0.012552515802517386], ["D088", 0.011759694446990727], ["D181", 0.010174379885864122], ["D049", 0.009861602698267732], ["D208", 0.00964500439159166], ["D134", 0.008018434992281803], ["D124", 0.007100400964838563], ["D207", 0.0045156194657528514], ["D221", 0.004034030447972042], ["D191", 0.0037168445126634087], ["D218", 0.001674686355037619], ["D034", 0.001584832751382284], ["D103", 0.0009082825042723286], ["D169", 0.0008503869543782724], ["D182", -0.0002354895855172512], ["D139", -0.0006754323365214948], ["D080", -0.0023948970167331288], ["D220", -0.0035297925640919645], ["D185", -0.005224657303899243], ["D209", -0.006679316466616299], ["D222", -0.006938289899488019], ["D179", -0.007173065176556012], ["D116", -0.007593256389190152], ["D171", -0.01185993930082245], ["D184", -0.012606410785673955], ["D172", -0.012851471994391322], ["D188", -0.016339601640041987], ["D121", -0.018680955139433547], ["D085", -0.01985349866757559], ["D186", -0.020179309220863383], ["D026", -0.021308550292925235], ["D031", -0.02357763372364785], ["D193", -0.024527982953947335], ["D214", -0.025182133579831786], ["D178", -0.027452310760855782], ["D173", -0.03597438886344919], ["D009", -0.036006366580618586], ["D206", -0.046275928812867934], ["D016", -0.047576006304807794], ["D211", -0.05299209302381755], ["D175", -0.05660655847782836], ["D170", -0.06533359775874255]], "abstain": false, "online_ms": 69.84878098592162, "success": true}
{"scale": 240, "query_id": "Q24", "category": "negative", "relevant": [], "method": "hybrid", "ranking": [["D018", 0.15], ["D017", 0.12], ["D003", 0.03], ["D019", 0.03], ["D020", 0.03], ["D039", 0.03], ["D057", 0.02], ["D093", 0.02]], "abstain": true, "online_ms": 146.45624510012567, "api_roundtrip_ms": 145.474037155509, "success": true, "usage": {"input_tokens": 1143, "output_tokens": 156}}
{"scale": 240, "query_id": "Q24", "category": "negative", "relevant": [], "method": "direct", "ranking": [["D018", 0.05], ["D001", 0.0], ["D002", 0.0], ["D003", 0.0], ["D004", 0.0], ["D005", 0.0], ["D006", 0.0], ["D007", 0.0], ["D008", 0.0], ["D009", 0.0], ["D010", 0.0], ["D011", 0.0], ["D012", 0.0], ["D013", 0.0], ["D014", 0.0], ["D015", 0.0], ["D016", 0.0], ["D017", 0.0], ["D019", 0.0], ["D020", 0.0], ["D021", 0.0], ["D022", 0.0], ["D023", 0.0], ["D024", 0.0], ["D025", 0.0], ["D026", 0.0], ["D027", 0.0], ["D028", 0.0], ["D029", 0.0], ["D030", 0.0], ["D031", 0.0], ["D032", 0.0], ["D033", 0.0], ["D034", 0.0], ["D035", 0.0], ["D036", 0.0], ["D037", 0.0], ["D038", 0.0], ["D039", 0.0], ["D040", 0.0], ["D041", 0.0], ["D042", 0.0], ["D043", 0.0], ["D044", 0.0], ["D045", 0.0], ["D046", 0.0], ["D047", 0.0], ["D048", 0.0], ["D049", 0.0], ["D050", 0.0], ["D051", 0.0], ["D052", 0.0], ["D053", 0.0], ["D054", 0.0], ["D055", 0.0], ["D056", 0.0], ["D057", 0.0], ["D058", 0.0], ["D059", 0.0], ["D060", 0.0], ["D061", 0.0], ["D062", 0.0], ["D063", 0.0], ["D064", 0.0], ["D065", 0.0], ["D066", 0.0], ["D067", 0.0], ["D068", 0.0], ["D069", 0.0], ["D070", 0.0], ["D071", 0.0], ["D072", 0.0], ["D073", 0.0], ["D074", 0.0], ["D075", 0.0], ["D076", 0.0], ["D077", 0.0], ["D078", 0.0], ["D079", 0.0], ["D080", 0.0], ["D081", 0.0], ["D082", 0.0], ["D083", 0.0], ["D084", 0.0], ["D085", 0.0], ["D086", 0.0], ["D087", 0.0], ["D088", 0.0], ["D089", 0.0], ["D090", 0.0], ["D091", 0.0], ["D092", 0.0], ["D093", 0.0], ["D094", 0.0], ["D095", 0.0], ["D096", 0.0], ["D097", 0.0], ["D098", 0.0], ["D099", 0.0], ["D100", 0.0], ["D101", 0.0], ["D102", 0.0], ["D103", 0.0], ["D104", 0.0], ["D105", 0.0], ["D106", 0.0], ["D107", 0.0], ["D108", 0.0], ["D109", 0.0], ["D110", 0.0], ["D111", 0.0], ["D112", 0.0], ["D113", 0.0], ["D114", 0.0], ["D115", 0.0], ["D116", 0.0], ["D117", 0.0], ["D118", 0.0], ["D119", 0.0], ["D120", 0.0], ["D121", 0.0], ["D122", 0.0], ["D123", 0.0], ["D124", 0.0], ["D125", 0.0], ["D126", 0.0], ["D127", 0.0], ["D128", 0.0], ["D129", 0.0], ["D130", 0.0], ["D131", 0.0], ["D132", 0.0], ["D133", 0.0], ["D134", 0.0], ["D135", 0.0], ["D136", 0.0], ["D137", 0.0], ["D138", 0.0], ["D139", 0.0], ["D140", 0.0], ["D141", 0.0], ["D142", 0.0], ["D143", 0.0], ["D144", 0.0], ["D145", 0.0], ["D146", 0.0], ["D147", 0.0], ["D148", 0.0], ["D149", 0.0], ["D150", 0.0], ["D151", 0.0], ["D152", 0.0], ["D153", 0.0], ["D154", 0.0], ["D155", 0.0], ["D156", 0.0], ["D157", 0.0], ["D158", 0.0], ["D159", 0.0], ["D160", 0.0], ["D161", 0.0], ["D162", 0.0], ["D163", 0.0], ["D164", 0.0], ["D165", 0.0], ["D166", 0.0], ["D167", 0.0], ["D168", 0.0], ["D169", 0.0], ["D170", 0.0], ["D171", 0.0], ["D172", 0.0], ["D173", 0.0], ["D174", 0.0], ["D175", 0.0], ["D176", 0.0], ["D177", 0.0], ["D178", 0.0], ["D179", 0.0], ["D180", 0.0], ["D181", 0.0], ["D182", 0.0], ["D183", 0.0], ["D184", 0.0], ["D185", 0.0], ["D186", 0.0], ["D187", 0.0], ["D188", 0.0], ["D189", 0.0], ["D190", 0.0], ["D191", 0.0], ["D192", 0.0], ["D193", 0.0], ["D194", 0.0], ["D195", 0.0], ["D196", 0.0], ["D197", 0.0], ["D198", 0.0], ["D199", 0.0], ["D200", 0.0], ["D201", 0.0], ["D202", 0.0], ["D203", 0.0], ["D204", 0.0], ["D205", 0.0], ["D206", 0.0], ["D207", 0.0], ["D208", 0.0], ["D209", 0.0], ["D210", 0.0], ["D211", 0.0], ["D212", 0.0], ["D213", 0.0], ["D214", 0.0], ["D215", 0.0], ["D216", 0.0], ["D217", 0.0], ["D218", 0.0], ["D219", 0.0], ["D220", 0.0], ["D221", 0.0], ["D222", 0.0], ["D223", 0.0], ["D224", 0.0], ["D225", 0.0], ["D226", 0.0], ["D227", 0.0], ["D228", 0.0], ["D229", 0.0], ["D230", 0.0], ["D231", 0.0], ["D232", 0.0], ["D233", 0.0], ["D234", 0.0], ["D235", 0.0], ["D236", 0.0], ["D237", 0.0], ["D238", 0.0], ["D239", 0.0], ["D240", 0.0]], "abstain": true, "online_ms": 289.095550077036, "api_roundtrip_ms": 289.095550077036, "success": true, "choice": "NONE", "answer_exists": 0.11, "usage": {"input_tokens": 21287, "output_tokens": 2441}}