discord_crew/bot.js

const sodium = require('libsodium-wrappers');
const { Client, GatewayIntentBits } = require('discord.js');
const { joinVoiceChannel, getVoiceConnection, VoiceConnectionStatus, EndBehaviorType, createAudioPlayer, createAudioResource, AudioPlayerStatus } = require('@discordjs/voice');
const fs = require('fs');
const { OpusEncoder } = require('@discordjs/opus');
const { spawn } = require('child_process');  // execからspawnに変更
const OpenAI = require('openai');
const axios = require('axios');

// OpenAI APIキーの確認
const apiKey = process.env.OPENAI_API_KEY || 'your-openai-api-key';
if (!apiKey || apiKey === 'your-openai-api-key') {
    console.error('Error: OpenAI API key is missing or invalid. Set the API key in the environment variables.');
    process.exit(1); // エラーコード1で終了
}

const openai = new OpenAI({ apiKey });

sodium.ready.then(() => {
    console.log('Sodium library loaded!');
});

const client = new Client({
    intents: [
        GatewayIntentBits.Guilds,
        GatewayIntentBits.GuildVoiceStates,
        GatewayIntentBits.GuildMessages,
        GatewayIntentBits.MessageContent,
    ],
});

client.once('ready', () => {
    console.log('Bot is ready!');
});

client.on('messageCreate', async message => {
    if (message.content === '!cs_join') {
        if (message.member.voice.channel) {
            const connection = joinVoiceChannel({
                channelId: message.member.voice.channel.id,
                guildId: message.guild.id,
                adapterCreator: message.guild.voiceAdapterCreator,
                selfDeaf: false,
                selfMute: false,
            });

            connection.on(VoiceConnectionStatus.Ready, () => {
                console.log('Bot has connected to the channel!');
                startRecording(connection, message.member.voice.channel);
            });
        } else {
            message.reply('ボイスチャンネルに接続してください。');
        }
    }

    if (message.content === '!cs_leave') {
        const connection = getVoiceConnection(message.guild.id);
        if (connection) {
            connection.destroy(); // ボイスチャンネルから切断

            // 進行中のFFmpegなどのプロセスを強制終了
            if (ffmpeg) {
                ffmpeg.kill('SIGKILL');
                console.log('FFmpeg process killed on leave');
            }

            message.reply('ボイスチャンネルを離れました。');
        } else {
            message.reply('ボイスチャンネルに接続していません。');
        }
    }
});

function startRecording(connection, voiceChannel) {
    const receiver = connection.receiver;
    const activeStreams = new Map(); // ユーザーごとの音声ストリーム管理

    receiver.speaking.on('start', (userId) => {
        const user = voiceChannel.members.get(userId);
        if (!user) {
            console.error('User is undefined');
            return;
        }

        console.log(`Started receiving audio from user: ${user.id}`);

        if (activeStreams.has(user.id)) {
            return;
        }

        const audioStream = receiver.subscribe(user.id, {
            end: EndBehaviorType.Manual
        });

        const filePath = `./recordings/${user.id}-${Date.now()}.pcm`;
        const writableStream = fs.createWriteStream(filePath);
        activeStreams.set(user.id, { audioStream, writableStream, filePath });

        const opusDecoder = new OpusEncoder(48000, 2); // Opusデコーダーを使用
        audioStream.on('data', (chunk) => {
            try {
                const pcmData = opusDecoder.decode(chunk);
                writableStream.write(pcmData);
            } catch (err) {
                console.error('Error decoding audio chunk:', err);
            }
        });

        audioStream.on('error', (err) => {
            console.error('Error in the audio stream:', err);
        });
    });

    receiver.speaking.on('end', (userId) => {
        const streamData = activeStreams.get(userId);
        if (!streamData) {
            return;
        }

        const { writableStream, filePath } = streamData;

        writableStream.end(() => {
            console.log(`Recording saved to ${filePath}`);
            activeStreams.delete(userId);

            fs.stat(filePath, (err, stats) => {
                if (err) {
                    console.error('Error checking file:', err);
                    return;
                }
                if (stats.size > 0) {
                    convertToWavAndTranscribe(filePath, connection);  // バックグラウンドで変換と文字起こしを実行
                } else {
                    console.log(`File ${filePath} is empty, skipping conversion.`);
                    fs.unlinkSync(filePath); // 空のファイルを削除
                }
            });
        });
    });
}

// PCMファイルをWAVファイルに変換し、文字起こしを実行
function convertToWavAndTranscribe(pcmPath, connection) {
    const wavPath = pcmPath.replace('.pcm', '.wav');
    console.log(`Converting ${pcmPath} to ${wavPath} and transcribing in the background`);

    const ffmpeg = spawn('ffmpeg', ['-f', 's16le', '-ar', '48000', '-ac', '2', '-i', pcmPath, wavPath]);

    // プロセスがフリーズした場合、タイムアウトして強制終了する
    const ffmpegTimeout = setTimeout(() => {
        ffmpeg.kill('SIGKILL'); // 強制終了
        console.error('FFmpeg process timed out and was killed');
    }, 10000); // 10秒でタイムアウト

    ffmpeg.stdout.on('data', (data) => {
        console.log(`FFmpeg stdout: ${data}`);
    });

    ffmpeg.stderr.on('data', (data) => {
        console.error(`FFmpeg stderr: ${data}`);
    });

    ffmpeg.on('close', (code) => {
        clearTimeout(ffmpegTimeout); // 正常に終了したらタイムアウトをクリア

        if (code === 0) {
            console.log(`Successfully converted ${pcmPath} to ${wavPath}`);
            fs.unlinkSync(pcmPath); // PCMファイルを削除

            // Whisper APIを使って文字起こしを実行
            transcribeAudio(wavPath, connection);
        } else {
            console.error(`FFmpeg exited with code ${code}, conversion failed.`);
        }
    });

    ffmpeg.on('error', (err) => {
        console.error('FFmpeg process error:', err);
    });
}

// Whisper APIを使って音声ファイルを文字起こしする関数
async function transcribeAudio(filePath, connection) {
    try {
        console.log(`Transcribing file: ${filePath}`);

        const response = await openai.audio.transcriptions.create({
            file: fs.createReadStream(filePath),
            model: 'whisper-1',
            response_format: 'json', // レスポンス形式をJSONに指定
            language: 'ja' // 言語を日本語に固定
        });

        // 文字起こし結果を取得
        if (response && response.text) {
            const transcription = response.text;
            console.log('Transcription:', transcription);

            // ChatGPTに反応すべきか判断させる
            const shouldReact = await shouldReactToTranscription(transcription);
            if (!shouldReact) {
                console.log('ChatGPT decided not to react to this transcription.');
                // 文字起こし完了後、WAVファイルを削除
                fs.unlink(filePath, (err) => {
                    if (err) {
                        console.error(`Error deleting recording file: ${err}`);
                    } else {
                        console.log(`Deleted recording file: ${filePath}`);
                    }
                });
                return;
            }

            // ChatGPTを使用して返答を生成
            const reply = await generateChatResponse(transcription);
            console.log('ChatGPT response:', reply);

            // 合成音声を生成して再生
            const voiceFilePath = await generateVoiceFromText(reply);
            if (voiceFilePath) {
                playVoiceInChannel(connection, voiceFilePath); // 音声を再生
            }

            // 文字起こし完了後、WAVファイルを削除
            fs.unlink(filePath, (err) => {
                if (err) {
                    console.error(`Error deleting recording file: ${err}`);
                } else {
                    console.log(`Deleted recording file: ${filePath}`);
                }
            });

        } else {
            console.error('Error: Transcription response is missing "text" field.');
        }
    } catch (error) {
        console.error('Error during transcription:', error.response ? error.response.data : error.message);
    }
}

// ChatGPTに反応すべきかどうかを判断させる関数
async function shouldReactToTranscription(transcription) {
    try {
        const systemPrompt = 'あなたは「セカイ」というキャラクターです。次のユーザーの発言に対して反応すべきかどうかを判断してください。反応すべき場合は「はい」、反応しない場合は「いいえ」と答えてください。';

        const response = await openai.chat.completions.create({
            model: 'gpt-4',
            messages: [
                { role: 'system', content: systemPrompt },
                { role: 'user', content: transcription }
            ]
        });

        if (response && response.choices && response.choices.length > 0) {
            const result = response.choices[0].message.content.trim();
            return result.toLowerCase() === 'はい';
        } else {
            console.error('Error: ChatGPT response is missing choices.');
            return false;
        }
    } catch (error) {
        console.error('Error during shouldReactToTranscription generation:', error.response ? error.response.data : error.message);
        return false;
    }
}

// ChatGPTに応答を生成させる関数
async function generateChatResponse(transcription) {
    try {
        const systemPrompt = 'あなたはこれから「セカイ」という名前の幼い少女を演じてユーザーとの会話を楽しんでください。回答メッセージは最大でも200字になるようにしてください。';

        const chatResponse = await openai.chat.completions.create({
            model: 'gpt-4',
            messages: [
                { role: 'system', content: systemPrompt },
                { role: 'user', content: transcription }
            ]
        });

        if (chatResponse && chatResponse.choices && chatResponse.choices.length > 0) {
            return chatResponse.choices[0].message.content;
        } else {
            console.error('Error: ChatGPT response is missing choices.');
            return null;
        }
    } catch (error) {
        console.error('Error during ChatGPT response generation:', error.response ? error.response.data : error.message);
        return null;
    }
}

// ChatGPTの返答を合成音声に変換する関数
async function generateVoiceFromText(text, retryCount = 10) {
    try {
        const response = await axios.post('http://192.168.100.252:5000/generate_voice', {
            text: text,
            narrator: "SEKAI",
            emotion_happy: "80",
            emotion_sad: "20",
            emotion_angry: "10",
            emotion_fun: "50",
            pitch: "1"
        }, {
            responseType: 'arraybuffer' // 音声ファイルをバイナリデータとして取得
        });

        const outputFilePath = `./voices/output-${Date.now()}.wav`;
        await fs.promises.writeFile(outputFilePath, response.data); // 非同期でファイルを書き込み
        console.log(`Voice file saved to ${outputFilePath}`);
        return outputFilePath; // 音声ファイルのパスを返す
    } catch (error) {
        console.error('Error generating voice:', error.message);

        // リトライ処理
        if (retryCount > 0) {
            console.log(`Retrying to generate the voice... (${retryCount} retries left)`);
            await new Promise(resolve => setTimeout(resolve, 1000)); // 1秒待機
            return generateVoiceFromText(text, retryCount - 1); // リトライ
        } else {
            console.error('Max retries reached. Could not generate the voice.');
            return null;
        }
    }
}

// ボイスチャンネルで音声を再生する関数
function playVoiceInChannel(connection, filePath, retryCount = 3) {
    const player = createAudioPlayer();
    const resource = createAudioResource(filePath);

    player.play(resource);
    connection.subscribe(player);

    player.on(AudioPlayerStatus.Idle, () => {
        console.log('Finished playing voice.');

        // 再生が終了した後にWAVファイルを削除
        setTimeout(() => {
            fs.unlink(filePath, (err) => {
                if (err) {
                    console.error(`Error deleting file: ${err}`);
                } else {
                    console.log(`Deleted file: ${filePath}`);
                }
            });
        }, 1000); // 1秒の待機後にファイル削除
    });

    player.on('error', error => {
        console.error('Error playing audio:', error.message);

        // リトライ処理
        if (retryCount > 0) {
            console.log(`Retrying to play the voice... (${retryCount} retries left)`);
            setTimeout(() => {
                playVoiceInChannel(connection, filePath, retryCount - 1);
            }, 1000); // 1秒待機してリトライ
        } else {
            console.error('Max retries reached. Could not play the audio.');
        }
    });
}

client.login(process.env.BOT_TOKEN);