perf(backend): use websockets/ws instead of theturtle32/WebSocket-Node

[syuilo]

Resolve #10883

What

Why

Additional info (optional)

Checklist

• Read the contribution guide
• Test working in a local environment
• (If needed) Add story of storybook
• (If needed) Update CHANGELOG.md
• (If possible) Add tests

[codecov]

Codecov Report

Merging #10884 (57d1b2d) into develop (fd7b77c) will decrease coverage by 0.02%.
The diff coverage is 83.75%.

@@             Coverage Diff             @@
##           develop   #10884      +/-   ##
===========================================
- Coverage    77.34%   77.33%   -0.02%     
===========================================
  Files          740      740              
  Lines        70409    70428      +19     
  Branches      6423     6422       -1     
===========================================
+ Hits         54459    54465       +6     
- Misses       15950    15963      +13     

Impacted Files	Coverage Δ
...ackend/src/server/api/StreamingApiServerService.ts	85.41% <80.59%> (-8.19%)	⬇️
packages/backend/src/server/ServerService.ts	48.90% <100.00%> (+0.22%)	⬆️
...ages/backend/src/server/api/AuthenticateService.ts	56.81% <100.00%> (ø)
packages/backend/src/server/api/stream/index.ts	75.08% <100.00%> (-0.09%)	⬇️

[syuilo]

Merging #10884 (6f8d921) into develop (1de774f) will increase coverage by 17.45%.

なぜ？

[syuilo]

Cannot destructure property 'user' of 'ctx' as it is undefined. なんでだ

[syuilo]

noServer: true にしないとダメかも

[syuilo]

ローカルでは動いた

[syuilo]

フロントエンドのテストが失敗しているのは関係なさそう

[syuilo]

バックエンドも落ちたわ

[syuilo]

これは関係あるかも

[syuilo]

connection.once('close' が呼ばれてなさそうな雰囲気

[syuilo]

謎

[syuilo]

謎

[syuilo]

何らかの理由でnestインスタンスがシャットダウンされてもstreaming処理が動いたままになってしまっていそうということは分かるけどなぜそうなるのかが不明
OnApplicationShutdownで閉じてはいるんだけども

[syuilo]

ヌァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァンンンンオオオオンンオンオンオンオンンンンンンンンン゛ン゛！！！！！！！！！！！！！！！！

[tamaina]

Ctrl+Cした時masterがkillされないみたいな感じよな

[tamaina]

ローカルで動かすとメモリリークしまくる？

[tamaina]

まずこれが謎

[tamaina]

NoteはuploadUrlにめっちゃ時間がかかってるっぽい

[tamaina]

uploadUrlってなんかストリーミングと関係あったっけと思ったら普通にあった

misskey/packages/backend/test/utils.ts

Lines 271 to 285 in b16fdaf

	export const uploadUrl = async (user: any, url: string) => {
	let file: any;
	const marker = Math.random().toString();
	const ws = await connectStream(user, 'main', (msg) => {
	if (msg.type === 'urlUploadFinished' && msg.body.marker === marker) {
	file = msg.body.file;
	}
	});
	await api('drive/files/upload-from-url', {
	url,
	marker,
	force: true,
	}, user);

[tamaina]

つまり

普通にストリーミングがバグってるだけだわ

[tamaina]

'connect' with pong: trueしても'connected'が返ってこない

[tamaina]

this.#wss.on('connection'はきてるけどtoken/appがnullになっとる

仕様だった

[tamaina]

わかった

misskey/packages/backend/src/server/api/stream/index.ts

Line 71 in b16fdaf

await this.fetch();

をawaitしている間に

misskey/packages/backend/test/utils.ts

Line 307 in b16fdaf

ws.send(JSON.stringify({

が来てしまうため、connectできないということだった

[tamaina]

手元ではテストが成功している

[tamaina]

何らかの理由でnestインスタンスがシャットダウンされてもstreaming処理が動いたままになってしまっていそうということは分かるけどなぜそうなるのかが不明

これはredis周りの話なので関係ない感じがある

[tamaina]

（redis周りというかprocess.exitが来てない感じがあり

[tamaina]

workerしか殺していない（workerのdied :(しか見えない）

[syuilo]

わかった

misskey/packages/backend/src/server/api/stream/index.ts

Line 71 in b16fdaf

await this.fetch();

をawaitしている間に

misskey/packages/backend/test/utils.ts

Line 307 in b16fdaf

ws.send(JSON.stringify({

が来てしまうため、connectできないということだった

this.userがあるならthis.userProfileなどもあるという前提で書かれているからfetchが完了する前にメッセージ受け付けるようにすると何か不具合が起きそう

[tamaina]

fetchのPromiseを持っておいてawaitを必要な箇所に仕込めば良くねと思ったけど、なんか色々無理がありそう

バックエンド側が準備できたらreadyメッセージを送って、クライアントにはそれを待たせるとかがいいのか？

[syuilo]

theturtle32/WebSocket-Node時代では普通にこれで動いてたけどwebsockets/wsで動かなくなった理由が分かっていない

[tamaina]

server.on('upgrade', のコールバック関数内でawait main.init(connection);しなくなったから説

[syuilo]

あー前まではthis.fetchが終わらないとwsコネクションの確立自体してないからか

[tamaina]

this.#wss.emit('connection', の前にawait main.init(connection);する必要があるかも？

[syuilo]

server.on('upgrade' 内でMainStreamConnectionの初期化しょりやれば解決するかも

[syuilo]

🙏🏻🙏🏻🙏🏻